首页 > 代码库 > 关于爬数据的一点点事情

关于爬数据的一点点事情

由于项目需要,最近需要从网上爬数据,也因此对爬数据这一块进行了一些了解。

关于爬虫,主要说说在实验过程中几个重要的点

1.伪装浏览器访问

 

一开始没注意这个问题,导致多次访问不是很顺畅,有时候需要等待好久。作为一个纯真的小男孩,初始代码非常简单,就像下面这样直接建立连接,然后获得对应url的内容。

s = requests.Session()
connection = s.get(url)

后来,发现了上面所说的问题后,上网相关搜索了一下,对原有“纯真”的代码进行了改造,加了浏览器的一些元素,让代码在外部看起来更像人为正常的浏览器访问,而不是一个爬虫。具体改造如下

s = requests.Session()
connection = s.get(url, headers={
                    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"
                })

也就是加了headers中user-agent这个元素而已。具体user-agent可以从浏览器中的任意网页-->右键(检查)-->Network-->刷新-->选中一个js文件(中可以查看对应的request header),然后复制过来即可。

探索着,觉得爬虫好像也挺有意思的。

 

关于爬数据的一点点事情