首页 > 代码库 > 继续Python爬虫

继续Python爬虫

先贴上代码

# coding:utf-8import urllib2import urllibimport regjc = urllib.quote(‘你好‘)url = ‘http://sug.so.360.cn/suggest?callback=suggest_so&encodein=utf-8&encodeout=utf-8&format=json&fields=word,obdata&word=‘+gjcheader = {                    ‘GET‘:url,                    ‘Host‘:‘sug.so.360.cn‘,                    ‘User-Agent‘:‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36‘,                    ‘Referer‘:‘http://www.haosou.com‘                                         }req = urllib2.Request(url)for key in header:    req.add_header(key,header[key])r = urllib2.urlopen(req).read()uu = re.findall(‘\"(.*?)\"‘,r)for i in uu:    print i

  今天这个是跟着视频学的,查了下Python官网的API,主要有几点:

1urillib的quote把字符转变成一段特殊的贴在URL后面的字符。

2防止被网站拉黑需要用到add_header,虽然我也不晓得具体啥意思。。。

3如果不用最后的for循环的话打印的时一个字母列表,需要用这个循环来转换成自然语言。

继续Python爬虫