首页 > 代码库 > Python3网络爬虫——三、Requests库的基本使用

Python3网络爬虫——三、Requests库的基本使用

一、什么是Requests

  Requests是用Python语言编写,基于urllib,采用Apache2 Licensed开元协议的HTTP库。它比urllib更加的方便,可以节约我们大量的工作完全满足HTTP测试需求。简单来讲,即Python实现的简单易用的HTTP库。

二、Requests库的安装

  如果是初学者,建议使用原生Python3进行安装。

1 >> pip3 install requests

  如果有一定的Python基础(会基本语法即可),使用anaconda进行安装更加方便,可以避免一些版本问题,毕竟Python2和Python3是两种不同的语言(高级黑(⊙﹏⊙)b)。

1 >> conda install requests

三、常用方法

  首先来感受一下Requests的方便之处。

1 import requests
2 
3 response = requests.get(http://www.baidu.com)
4 
5 print(response.status_code)
6 print(response.text)
7 print(type(response.text))
8 print(response.cookies)

  运行代码,可以看到response的类型为str类型,即我们不需要再用decode方法进行转码,其次可以直接获得cookie对象。

1 import requests
2 
3 requests.post(http://httpbin.org/post)
4 requests.put(http://httpbin.org/put)
5 requests.options(http://httpbin.org/get)

  可以看到我们可以方便的进行各种请求。httpbin.org是一个http验证网址。下面看一下常用的一些方法。

  • 普通的get请求
 1 import requests
 2 
 3 response = requests.get(http://httpbin.org/get)
 4 print(response.text)
 5 ‘‘‘
 6 {
 7   "args": {},
 8   "headers": {
 9     "Accept": "*/*",
10     "Accept-Encoding": "gzip, deflate",
11     "Connection": "close",
12     "Host": "httpbin.org",
13     "User-Agent": "python-requests/2.14.2"
14   },
15   "origin": "127.0.0.1",
16   "url": "http://httpbin.org/get"
17 }
18 ‘‘‘

  这是最简单的get请求,可以看一下返回结果(‘‘‘ ‘‘‘内的字符串)。是以字典形式返回的结果。注:没有使用代理,为了防止恶意的IP攻击,将origin的值修改了下,实际返回的是请求的IP地址。

  • 带参数的get请求
 1 import requests
 2 
 3 data =http://www.mamicode.com/ {
 4     name:zhangsan,
 5     age:22
 6 }
 7 response = requests.get(http://httpbin.org/get,params=data)
 8 print(response.text)
 9 ‘‘‘
10 {
11   "args": {
12     "age": "22",
13     "name": "zhangsan"
14   },
15   "headers": {
16     "Accept": "*/*",
17     "Accept-Encoding": "gzip, deflate",
18     "Connection": "close",
19     "Host": "httpbin.org",
20     "User-Agent": "python-requests/2.14.2"
21   },
22   "origin": "127.0.0.1",
23   "url": "http://httpbin.org/get?name=zhangsan&age=22"
24 }
25 ‘‘‘

  我们可以构造一个字典,传给params参数,这样就可以向服务器发送参数,从url参数可以看出,效果相当于utl?name=zhangsan&age=22。

  • 解析json
 1 import requests
 2 import json
 3 
 4 response = requests.get(http://httpbin.org/get)
 5 print(response.json()) # 等同于 json.loads(response)
 6 print(type(response.json()))
 7 
 8 ‘‘‘
 9 {‘args‘: {}, ‘headers‘: {‘Accept‘: ‘*/*‘, ‘Accept-Encoding‘: ‘gzip
10 , deflate‘, ‘Connection‘: ‘close‘, ‘Host‘: ‘httpbin.org‘, ‘User-Ag
11 ent‘: ‘python-requests/2.14.2‘}, ‘origin‘: ‘113.128.88.6‘, ‘url‘:
12 ‘http://httpbin.org/get‘}
13 <class ‘dict‘>
14 ‘‘‘

  这样返回的数据就被转换成了json格式,类型为字典类型 。

  • 二进制数据
1 import requests
2 
3 response = requests.get(http://github.com/favicon.ico)
4 with open(rF:\favicon.ico,wb) as f:
5     f.write(response.content)

  以上将一张图片保存到本地的过程。

1 >>> print(type(response.text))
2 <class str>
3 >>> print(type(response.content))
4 <class bytes>

  可以看出text和content的区别。content的内容为二进制数据,所以想要进行存储时,保存的是其二进制数据。

  • 添加headers
1 import requests
2 
3 headers = {
4   User-Agent:Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3100.0 Safari/537.36
5 }
6 
7 response = requests.get(‘http://www.zhihu.com/explore‘,headers=headers)
  • post请求
 1 import requests
 2 
 3 data = http://www.mamicode.com/{name:zhangsan,age:22}
 4 response = requests.post(http://httpbin.org/post,data=http://www.mamicode.com/data)
 5 print(response.text)
 6 
 7 ‘‘‘
 8 {
 9   "args": {},
10   "data": "",
11   "files": {},
12   "form": {
13     "age": "22",
14     "name": "zhangsan"
15   },
16   "headers": {
17     "Accept": "*/*",
18     "Accept-Encoding": "gzip, deflate",
19     "Connection": "close",
20     "Content-Length": "20",
21     "Content-Type": "application/x-www-form-urlencoded",
22     "Host": "httpbin.org",
23     "User-Agent": "python-requests/2.14.2"
24   },
25   "json": null,
26   "origin": "127.0.0.1",
27   "url": "http://httpbin.org/post"
28 }
29 ‘‘‘

  可以看到,data参数接收的数据,将以表单的形式进行提交。

  • file提交
1 import requests
2 
3 files = {file:open(rF:\favicon.ico,rb)}
4 response = requests.post(http://httpbin.org/post,files=files)

  运行代码,就会看到在key=file的值为该本地图片的二进制代码。

  •  获取cookie并输出
1 import requests
2 
3 response = requests.get(https://www.baidu.com)
4 for key,value in response.cookies.items():
5     print(key +  =  + value)
6 
7 # BDORZ = 27315

  通过这种方式可以获得cookie的具体信息。

  • 会话维持 

   我们获取cookie信息是为了维持会话,下面的例子用到了http测试网址的特性,即我们先通过url进行cookie的设置,然后通过访问服务器获取cookie。

 1 import requests
 2 
 3 requests.get(http://httpbin.org/cookies/set/name/zhangsan)
 4 response = requests.get(http://httpbin.org/cookies)
 5 print(response.text)
 6 
 7 ‘‘‘
 8 {
 9   "cookies": {}
10 }
11 ‘‘‘

  这时我们看到,cookies信息为空。这是因为我们通过以上方式进行测试,相当于进行了两次独立的请求(可以想象成用两个浏览器进行请求),因为第一次设置的cookie在第二次访问中并拿不到,所以我们需要会话维持。

 1 import requests
 2 
 3 s = requests.Session()
 4 print(type(s)) # <class ‘requests.sessions.Session‘>
 5 
 6 s.get(http://httpbin.org/cookies/set/name/zhangsan)
 7 response = s.get(http://httpbin.org/cookies)
 8 print(response.text)
 9 
10 ‘‘‘
11 {
12   "cookies": {
13     "name": "zhangsan"
14   }
15 }
16 ‘‘‘

  通过session对象我们就可以实现会话维持。

  • SSL证书验证问题
1 import requests
2 
3 response = requests.get(http://www.12306.cn)
4 
5 ‘‘‘
6 raise SSLError(e, request=request)
7 requests.exceptions.SSLError: ("bad handshake: Error([(‘SSL routin
8 es‘, ‘ssl3_get_server_certificate‘, ‘certificate verify failed‘)],
9 ‘‘‘

  https进行了网站的安全验证,因此当我们访问一个没有SSL证书的网址时会抛出SSL错误。为了解决这个问题,需要进行参数设置。

1 import requests
2 from requests.packages import urllib3
3 urllib3.disable_warnings() # 消除警告信息
4  
5 response  =requests.get(https://www.12306.cn,verify=false)

  这样就可以成功的返回网页。

  • 异常处理
 1 import requests
 2 from requests.exceptions import ReadTimeout,HTTPError,RequestException
 3 
 4 try:
 5     response = requests.get(http://www.baidu.com,timeout=0.01)
 6     print(response.status_code)
 7 except ReadTimeout:
 8     print(Timeout)
 9 except HTTPError:
10     print(http error)
11 except RequestException:
12     print(Error)
13 
14 # Timeout

  可以点开异常处理的链接查看官方文档,Requests库封装了很多异常处理的class。

 

  YouTube学习视频(Elnino Chen老师):https://www.youtube.com/channel/UC0gXu_5GOwzAaxkFymbwRhg

Python3网络爬虫——三、Requests库的基本使用