首页 > 代码库 > Python网页抓取
Python网页抓取
#coding:utf-8import urllib #导入模块print dir(urllib) #查看urllib方法print help(urllib.urlopen) #查看帮助文档url="http://www.baidu.com" #定义网址html=urllib.urlopen(url) #打开urlprint html.read() #urlopen有一个方法是read()# 解决编码问题print html.read().decode("gb2312").encode("utf-8")# 忽略不能识别的内容print html.read().decode("gbk",‘ignore‘).encode("utf-8") # 获取头部信息print html.info()# 获取状态码print html.getcode()# 获取url地址print html.geturl()# 下载网页urllib.urlretrieve(url,"F:\\1.txt") # 参数:1、网址(必须是字符串);2、本地保存路径+文件名(注意Windows下的路径转义) # 3、一个函数调用,可以任意定义函数的行为(要保证函数有3个参数) # 3.1 到目前为止传递的数据块数量 # 3.2 每个数据块的大小,单位byte,字节 # 3.3 远程文件大小# 函数定义def callback(a,b,c): """ 这里是注释 """# 关闭打开的文件,这是很重要的!html.close() # 判断内容code=html.getcode() # 判断类型 print type(code)if code==200: print "正常"else: print "网页异常"
Python网页抓取
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。