首页 > 代码库 > 爬虫--用cookie访问任意网页
爬虫--用cookie访问任意网页
#!/usr/bin/env python# -*- coding: utf-8 -*-############################################## File : requestAnyURLWithCookie.py# Author : lucasysfeng# Revision : 2014-06-13 11:08:00# Description : 用cookie访问任何网页(已经有cookie了,不需要登录等验证)# : cookie用浏览器查看#############################################import cookielibimport urllib2import urllibURL = ""URLCookie = ""### 存储cookiecj = cookielib.CookieJar()opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))urllib2.install_opener(opener)### 将cookie放在请求头中opener.addheaders = [("user-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36"), ("cookie", URLCookie)]### 提交的数据postValues = {}postData = urllib.urlencode(postValues)### 访问URLtry: fileObject = opener.open(URL, postData)except: print "error: open() error"print fileObject.read()
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。