首页 > 代码库 > Python抓取需要cookie的网页
Python抓取需要cookie的网页
Python抓取需要cookie的网页
在仿照《Python小练习：可视化人人好友关系》一文时，需要登录模拟登录人人网。然而自从CSDN事件之后，人人网开始使用加密方式处理登录名和密码，直接使用post方式已经无法登陆人人网。这时，从豆瓣讨论中找到了解决方法：
1. 首先使用浏览器登陆人人，然后找到浏览器中关于登陆的Cookie；
2. 将Cookie记录下来，在Python中使用cookie模块模拟浏览器的行为；
3. 取得并解析数据。
1. HTTP协议与Cookie
抓取网页的过程跟浏览器浏览网页的过程是一样的，了解浏览器的工作原理就进行网页抓取的第一步。
了解HTTP协议和Cookie的有一系列非常好的文章：
* HTTP协议详解
* HTTP协议 (二) 基本认证
* HTTP协议 (七) Cookie
想要使用Python模拟浏览器的登陆，需要使用它自带的两个模块urllib2和cookie，了解urllib2和cookie的使用可以参考：
* HOWTO Fetch Internet Resources Using urllib2
* cookielib and ClientCookie:Handling Cookies in Python
* Dive Into Python:Chapter 11
2. urllib2与cookie使用分析
2.1. 最简单用法
1 import urllib2 2 page = urllib2.urlopen("http://www.baidu.com") 3 page_data =http://www.mamicode.com/ page.read() 4 print page_data
它直接模拟了登陆百度首页的方法，打印出来的话你可以看到page_data的内容和浏览器里查看到的网页源码是一样的。
2.2. 设置Request信息
有些网页不希望被抓取，这些网页所在的服务器可以通过Request的Header信息识别你使用的哪种浏览器访问的。比如大家在论坛常见的这样的图片就是这一种原理。
因此我们需要手修改Request的信息，urllib2提供了这一功能。
例：未更改Request
1 import urllib2 2 request = urllib2.Request("http://www.baidu.com") 3 opener = urllib2.build_opener(urllib2.HTTPHandler(debuglevel=1))#为了开启回显，需要手动构造一个HTTPHandler 4 feeddata = http://www.mamicode.com/opener.open(request).read()
可以得到回显：
1 send:‘GET / HTTP/1.1\r\nAccept-Encoding: identity\r\nHost: www.baidu.com\r\nConnection: close\r\nUser-Agent: Python-urllib/2.7\r\n\r\n‘ 2 reply:‘HTTP/1.1 200 OK\r\n‘ 3 header:Date:Tue,25Mar201411:02:30 GMT 4 header:Content-Type: text/html 5 header:Transfer-Encoding: chunked 6 header:Connection:Close 7 header:Vary:Accept-Encoding 8 header:Set-Cookie: BAIDUID=A12BBEA0BBB616F70334E89B4BB19228:FG=1; expires=Thu,31-Dec-3723:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com 9 header:Set-Cookie: BDSVRTM=0; path=/ 10 header:Set-Cookie: H_PS_PSSID=5610_5631_1428_5224_5723_4261_5567_4759; path=/; domain=.baidu.com 11 header: P3P: CP=" OTI DSP COR IVA OUR IND COM " 12 header:Expires:Tue,25Mar201411:02:20 GMT 13 header:Cache-Control: private 14 header:Server: BWS/1.1 15 header: BDPAGETYPE:1 16 header: BDQID:0xcd6b513700008d44 17 header: BDUSERID:0
其中 send: ‘GET / HTTP/1.1\r\nAccept-Encoding: identity\r\nHost: www.baidu.com\r\nConnection: close\r\nUser-Agent: Python-urllib/2.7\r\n\r\n 就是urllib2库发送的Request Header。服务器可以通过User-Agent分辨出是哪种浏览器浏览的网页。
例：手工设置Request Header:
1 import urllib2 2 request = urllib2.Request("http://www.baidu.com") 3 opener = urllib2.build_opener(urllib2.HTTPHandler(debuglevel=1))#为了开启回显，需要手动构造一个HTTPHandler 4 user_agent ="Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.43 BIDUBrowser/6.x Safari/537.31" 5 request.add_header("User-Agent", user_agent) 6 feeddata = http://www.mamicode.com/opener.open(request).read()
得到的回显‘ send: ‘GET / HTTP/1.1\r\nAccept-Encoding: identity\r\nHost: www.baidu.com\r\nConnection: close\r\nUser-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.43 BIDUBrowser/6.x Safari/537.31\r\n\r\n 此时服务器会认为我们在使用其它的浏览器浏览网页。
2.3. 使用cookie
使用浏览器登陆一个以前已经登陆过的网页，往往不再需要输入用户名和密码再次登陆，这颗因为浏览器已经保存了网站发送来的cookie。下次登陆时，浏览器会自动发送相关cookie到服务器，确定目前登陆状态。因此如果能够取得一个网站的cookie，就可以不输入用户名和密码模拟登陆这个网站。
Python需要使用cookielib处理cookie。
在登陆一个网页之后，可以使用Firebug或Chrome的“开发人员工具”查看网页的cookie。 
1 import urllib2 2 import cookielib 3 request = urllib2.Request("http://www.renren.com") 4 cookie = cookielib.CookieJar() 5 opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)) 6 opener.handle_open["http"][0].set_http_debuglevel(1)#设定开启回显 7 user_agent ="Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.43 BIDUBrowser/6.x Safari/537.31" 8 request.add_header("User-Agent", user_agent) 9 cookie ="t=*************************"#设定cookie的内容 10 request.add_header("Cookie", cookie) 11 feeddata = http://www.mamicode.com/opener.open(request).read()
此时就可以模拟登陆人人网。