首页 > 代码库 > 一个咸鱼的Python爬虫之路(一):requests库

一个咸鱼的Python爬虫之路(一):requests库

作为一个咸鱼大学打了3年游戏才幡然醒悟,现在开始学点东西,这里记录下自己的所学。

urllib库之前有些了解就不写了,从requests 库开始吧(ˉ▽ ̄~) 。

首先要说的是一定要用好官方文档:http://docs.python-requests.org/en/master/

先来看个列子吧:

 

技术分享

下面介绍requests库的几种基本用法:

技术分享

具体代码略过参考官方文档练习就好,这里面get是最常用的方法。

response对象包含了服务器返回的所有信息,也包含了requests的请求信息。

技术分享

属性

技术分享

 

给一个标准的爬取网页的代码:

 1 import requests
 2 
 3 def geturl(url):
 4    try:
 5        r=requests.get(url,timeout=100)
 6        r.raise_for_status()
 7        r.encoding=r.apparent_encoding  #替换编码有些网页猜测编码会报错
 8        return r.text
 9    except:
10        return "异常"
11 
12 
13 if __name__=="__main__":
14     url="http://jwweb.scujcc.cn/"
15     print(geturl(url))

 

 

代码中给的是我们学校的教务网网址如果不用r.apparent_encoding替换r.enconding会报编码错误大家可以试一下

 

 

第一次写这个也没有什么思路大佬轻喷,内容以后有新的理解也会加进来慢慢完善也希望大家给点建议。

一个咸鱼的Python爬虫之路(一):requests库