首页 > 代码库 > 爬虫使用代理+头信息
爬虫使用代理+头信息
#coding:utf-8 import urllib2 def url_user_agent(url): proxy = {‘http‘:‘127.0.0.1:8080‘} proxy_support = urllib2.ProxyHandler(proxy) # opener = urllib2.build_opener(proxy_support,urllib2.HTTPHandler(debuglevel=1)) opener = urllib2.build_opener(proxy_support) urllib2.install_opener(opener) converted = {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1)‘, ‘X-Forward-For‘:‘127.0.0.1‘} req = urllib2.Request(url,headers=converted) html = urllib2.urlopen(req) if url == html.geturl(): doc = html.read() return doc return url = ‘http://www.baidu.com‘ doc = url_user_agent(url) print doc
爬虫使用代理+头信息
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。