首页 > 代码库 > HTTP Error 403: Forbidden
HTTP Error 403: Forbidden
在写网页爬虫的时候,有的网站会有反爬取措施,所以有可能出现上面所示bug
出现bug的地方可能有两处:
1. requests请求时
requests.get(url),返回结果是403。
解决方法:
headers= {
‘User-Ageent‘:‘一些字符‘,
‘Cookie‘:‘一些字符‘
}
requests.get(url, headers=headers),
此时返回结果应该就是200,正常。加入headers的目的是,模拟人的行为,让服务器认为是人在操作,
User-Agent, Cookie可以查看网页requests,即可查明,不同网页,Cookie不同
2. urlretrieve下载东西时
解决方法:
import urllib.request opener=urllib.request.build_opener() opener.addheaders=[(‘User-Agent‘,‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36‘)] urllib.request.install_opener(opener) url=‘‘ local=‘‘ urllib.request.urlretrieve(url,local)
原理还不是很清楚,在stackoverflow上找到的,结果正确。
HTTP Error 403: Forbidden
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。