首页 > 代码库 > Python爬虫学习——获取网页
Python爬虫学习——获取网页
通过GET请求获取返回的网页，其中加入了User-agent信息，不然会抛出"HTTP Error 403: Forbidden"异常，
因为有些网站为了防止这种没有User-agent信息的访问，会验证请求信息中的UserAgent(它的信息包括硬件平台、系统软件、应用软件和用户个人偏好)，如果UserAgent存在异常或者是不存在,那么这次请求将会被拒绝。
#coding=utf-8
import urllib2
import re
#使用Python2.7
def getHtml(url,user_agent="wswp",num_retries=2): #下载网页，如果下载失败重新下载两次
print ‘开始下载网页：‘,url
headers = {"User-agent":user_agent}
# headers = {
# ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 6.1; rv:24.0) Gecko/20100101 Firefox/24.0‘,
# ‘cookie‘: cookie
# }
request = urllib2.Request(url,headers=headers)
try:
html = urllib2.urlopen(request).read() #GET请求
except urllib2.URLError as e:
print "下载失败：",e.reason
html = None
if num_retries > 0:
if hasattr(e,‘code‘) and 500 <= e.code < 600:
return getHtml(url,num_retries-1)
return html
if __name__ == ‘__main__‘:
html = getHtml("http://www.baidu.com")
print html
print "结束"
...
Python爬虫学习——获取网页
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。