首页 > 代码库 > http协议请求实战——get请求示例之抓取百度搜索关键词对应网页信息
http协议请求实战——get请求示例之抓取百度搜索关键词对应网页信息
1通过分析搜索关键词对应的网址发现字段名和内容均在网址中网址可简化为www.baidu.com/s?wd=搜索的关键词
根据分析出的规律可通过构造get请求用爬虫实现在百度上自动查询某个关键词
代码如下:
import urllib.request 导入urllib.request
keywd = ‘高同同‘ 指定关键词
keywd_cod = urllib.request.quote(keywd)将关键词进行编码
url = ‘https://www.baidu.com/s?wd=‘输入网址
url_all = url +keywd_cod构造出最终抓取网址
req =urllib.request.Request(url)使用urllib.request.Request构造一个Request对象并赋给变量req
data = http://www.mamicode.com/urllib.request.urlopen(req).read()通过url.request.urlopen()打开对应的Request对象
fandle = open(‘D:/siq/part4/10.html‘,‘wb‘)
fandle.write(data)
将爬去的内容写到一个html文件中
fandle.close()结束
思路总结:
1构建对应的url地址,该url包含get请求的字段名称及字段内容等信息并且url地址满足get请求格式“http://网址?字段名1=字段内容1&字段名2=字段内容2”
2以对应的url为参数,构建request对象
3通过urlopen()打开构建的request对象
4读取内容并保存
http协议请求实战——get请求示例之抓取百度搜索关键词对应网页信息
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。