首页 > 代码库 > Python 爬虫学习2
Python 爬虫学习2
这是小白学习笔记....大神勿喷。
本次学习糗事百科的网络爬虫。
http://blog.csdn.net/pleasecallmewhy/article/details/8932310
因为那个糗事百科网页改版了，content类中已经没有title...所以源码也有所改动。
所以找到一个改进版的
http://blog.csdn.net/u011350541/article/details/52264073
感谢以上作者的无私分享。
改进源码：
# -*- coding: utf-8 -*- import urllib2 import urllib import re import thread import time import json #----------- 加载处理糗事百科 ----------- class Spider_Model: def __init__(self): self.page = 1 self.pages = [] self.enable = False # 将所有的段子都扣出来，添加到列表中并且返回列表 def GetPage(self,page): myUrl = "http://m.qiushibaike.com/hot/page/" + page user_agent = ‘Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)‘ headers = { ‘User-Agent‘ : user_agent } req = urllib2.Request(myUrl, headers = headers) myResponse = urllib2.urlopen(req) myPage = myResponse.read() # print myPage unicodePage = myPage.decode("utf-8") # 找出所有class="content"的div标记 #re.S是任意匹配模式，也就是.可以匹配换行符 myItems = re.findall(‘<div.*?class="content">(.*?)</div>‘,unicodePage,re.S) items = [] # print myItems # print str(myItems).decode(‘string_escape‘) # print json.dumps(myItems, encoding="UTF-8", ensure_ascii=False) # for item in myItems: # # item 中第一个是div的标题，也就是时间 # # item 中第二个是div的内容，也就是内容 # items.append([item[0].replace("\n",""),item[1].replace("\n","")]) # print myItems # print str(myItems).decode(‘string_escape‘) # print str(myItems).encode("UTF-8") # print myItems[0] return myItems # 用于加载新的段子 def LoadPage(self): # 如果用户未输入quit则一直运行 while self.enable: # 如果pages数组中的内容小于2个 # print len(self.pages) if len(self.pages) < 2: try: # 获取新的页面中的段子们 myPage = self.GetPage(str(self.page)) self.page += 1 self.pages.append(myPage) except: print ‘无法链接糗事百科！‘ else: time.sleep(5) # def ShowPage(self,nowPage,page): # print u‘第%d页‘ % page,json.dumps(nowPage, encoding="UTF-8", ensure_ascii=False) def ShowPage(self,nowPage,page): i = 0 # print len(nowPage) for i in range(0,len(nowPage)): if i < len(nowPage): print u‘第%d页,第%d个故事‘ %(page,i) ,nowPage[i].replace("\n\n","") i += 1 else: break def Start(self): self.enable = True page = self.page print u‘正在加载中请稍候......‘ # 新建一个线程在后台加载段子并存储 thread.start_new_thread(self.LoadPage,()) #----------- 加载处理糗事百科 ----------- while self.enable: # 如果self的page数组中存有元素 if self.pages: nowPage = self.pages[0] del self.pages[0] self.ShowPage(nowPage,page) page += 1 #----------- 程序的入口处 ----------- print u""" --------------------------------------- 程序：糗百爬虫 版本：0.3 作者：why 日期：2014-06-03 语言：Python 2.7 操作：输入quit退出阅读糗事百科 功能：按下回车依次浏览今日的糗百热点 --------------------------------------- """ print u‘请按下回车浏览今日的糗百内容：‘ raw_input(‘ ‘) myModel = Spider_Model() myModel.Start()
这个源码是可以跑的，但是我跑有点问题。
会出现乱码。
接下来学习并尝试找出原因。
////////////////////////////////////////////////////////////////////////////////////////////
#重新跑了几次后
再跑就不会出现乱码了....好奇怪
但出现了
UnicodeEncodeError: ‘gbk‘ codec can‘t encode character u‘\u22ef‘ in position 13: illegal multibyte sequence
Unhandled exception in thread started by
sys.excepthook is missing
lost sys.stderr
对于这种错误，查了一下，发现
http://www.crifan.com/unicodeencodeerror_gbk_codec_can_not_encode_character_in_position_illegal_multibyte_sequence/
这个帖子讲得很详细。
PS：编码知识
再贴一个讲计算机编码的知乎帖子~
https://www.zhihu.com/question/23374078
讲python编码的帖子
http://lukejin.iteye.com/blog/598303
简而言之：
unicode是信源编码，对字符集数字化;
utf8是信道编码，为更好的存储和传输。
////////////////////////////////////////////////////////////////////////////////////////////
又跑了几次，又出现乱码....
我一步步进行调试，可是却是可以正常运行的，每一页都可以显示出来。
但是跑起来却是正常显示几页后，就乱码了。
不知道为什么....
///////////////////////////////////////////////////////////////////////////////////////////
1.正则表达式
不展开学习，一次性看完会有点乱。
就说一下这个源码里面的。
因为要找出百科里面的段子，所以看了一下网页的html源代码。是这样的。
所以我们就要找<div class = "content">....</div>中间的东西。
就要用到re.findall(）
用法：re.findall(pattern, string[, flags]): 返回列表。
举个栗子，eg：
relink为搜索条件
info为搜索目标
然后本次源码如下：
myItems = re.findall(‘<div.*?class="content">(.*?)</div>‘,unicodePage,re.S)
意思就是：
在unicodePage中用‘<div.*?class="content">(.*?)</div>‘这个正则表达式来搜索一切
匹配我们的条件<div class = "content">....</div>的部分，并把搜索结果放进myItems列表中。
2.print的问题
主要针对这条
print u‘第%d页,第%d个故事‘ %(page,i) ,nowPage[i].replace("\n\n","")
%d为占位符，就是先占着一个位置，后面再填充回去。
填充内容就在后面的（）里面，就是%d对应page，第二个%d对应 i 。
然后接着输出nowPage[i].replace("\n\n","")
.replace（）表示将nowPage[i]里的两个换行符"\n\n"替换成没有东西" "。
这样做的原因是 每行可以显示一则段子。
/////////////////////////////////////////////////////////////////////////////////////
经过调试
大致了解整个源码怎么运行...
后台有一个加载网页的线程LoadPage（），用len（self.pages）是否大于2来进行判断是否加载存储网页，每次只加载一个网页，就是20个段子。
主进程则是显示网页的作用，把第一次加载下来的网页放进列表nowpage里，然后删除self.pages，使它的长度len（self.pages）又回复到1。
接着，后面的线程又可以进行第二次加载，然后在cmd显示出第一次加载的网页段子。
Python 爬虫学习2