首页 > 代码库 > 用python爬取搜索引擎关键词的简易方案
用python爬取搜索引擎关键词的简易方案
环境：python2.7
以360为例，用http截取工具获得url，具体的获取方法根据要求实现功能而定。例如：我要爬取她的关键词，就是截取以...word=结尾的一串url。
没有加入浏览器信息，系统版本，事实证明360对爬虫很友好呢=、=。
1、关于正则表达式的处理，根据实际情况自己写，没有特别统一的格式。
2、关于网站的编码，都可以修改处理，这里用的gbk。
1 #coding=gbk 2 ‘‘‘ 3 Created on 2014-9-23 4 5 @author: Administrator 6 ‘‘‘ 7 import urllib2 8 import urllib 9 import re10 11 12 key = urllib.quote(raw_input("输入关键词:"))13 url = ‘http://sug.so.360.cn/suggest?callback=suggest_so&encodein=gbk&encodeout=gbk&format=json&fields=word,obdata&word=‘+key14 req = urllib2.Request(url)15 16 17 html = urllib2.urlopen(req).read()18 19 20 ss = re.findall("\:\"(.*?)\"",html)21 22 for i in ss:23 print i
用python爬取搜索引擎关键词的简易方案
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。