首页 > 代码库 > 关于爬数据的一点点事情
关于爬数据的一点点事情
由于项目需要,最近需要从网上爬数据,也因此对爬数据这一块进行了一些了解。
关于爬虫,主要说说在实验过程中几个重要的点
1.伪装浏览器访问
一开始没注意这个问题,导致多次访问不是很顺畅,有时候需要等待好久。作为一个纯真的小男孩,初始代码非常简单,就像下面这样直接建立连接,然后获得对应url的内容。
s = requests.Session()
connection = s.get(url)
后来,发现了上面所说的问题后,上网相关搜索了一下,对原有“纯真”的代码进行了改造,加了浏览器的一些元素,让代码在外部看起来更像人为正常的浏览器访问,而不是一个爬虫。具体改造如下
s = requests.Session() connection = s.get(url, headers={ "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36" })
也就是加了headers中user-agent这个元素而已。具体user-agent可以从浏览器中的任意网页-->右键(检查)-->Network-->刷新-->选中一个js文件(中可以查看对应的request header),然后复制过来即可。
探索着,觉得爬虫好像也挺有意思的。
关于爬数据的一点点事情
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。