首页 > 代码库 > python爬虫:使用urllib.request和BeautifulSoup抓取新浪新闻标题、链接和主要内容

python爬虫:使用urllib.request和BeautifulSoup抓取新浪新闻标题、链接和主要内容

案例一

抓取对象:

新浪国内新闻(http://news.sina.com.cn/china/),该列表中的标题名称、时间、链接。

技术分享

完整代码:

 
  1. from bs4 import BeautifulSoup  
  2. import requests  
  3.   
  4. url = ‘http://news.sina.com.cn/china/‘  
  5. web_data = requests.get(url)  
  6. web_data.encoding = ‘utf-8‘  
  7. soup = BeautifulSoup(web_data.text,‘lxml‘)  
  8.   
  9. for news in soup.select(‘.news-item‘):  
  10.     if(len(news.select(‘h2‘)) > 0):  
  11.         h2 = news.select(‘h2‘)[0].text  
  12.         time = news.select(‘.time‘)[0].text  
  13.         a = news.select(‘a‘)[0][‘href‘]  
  14.         print(h2,time,a)  

运行结果:(只展示部分)

技术分享

详细解说:

1. 首先插入需要用到的库:BeautifulSoup、requests,然后解析网页。解析完后print下,确认是否解析正确。

 
  1. from bs4 import BeautifulSoup  
  2. import requests  
  3.   
  4. url = ‘http://news.sina.com.cn/china/‘  
  5. web_data = requests.get(url)  
  6. soup = BeautifulSoup(web_data.text,‘lxml‘)  
  7. print(soup)  

这时,我们可以看到,解析出来的网页里面有很多乱码,并没有正确解析。观察下结果,看到开头的这句:

<meta content="text/html; charset=utf-8" http-equiv="Content-type"/>

【charset=utf-8】表示当前内容的字符集是采用utf-8编码格式,所以我们需要用encoding来解锁下,这时就能解析出来正常内容。

  1. from bs4 import BeautifulSoup  
  2. import requests  
  3.   
  4. url = ‘http://news.sina.com.cn/china/‘  
  5. web_data = requests.get(url)  
  6. web_data.encoding = ‘utf-8‘  
  7. soup = BeautifulSoup(web_data.text,‘lxml‘)  
  8. print(soup)  

2. 解析出网页后,开始抓取我们需要的内容。首先,先补充几点知识。

看下面代码中的第一行,soup.select(‘.news-item‘),取出含有特定CSS属性的元素时,比如:

  • 找出所有class为news-item的元素,class名前面需要加点(.),即英文状态下的句号;
  • 找出所有id为artibodyTitle的元素,id名前面需要加井号(#)。

另外,取得含有特定标签的HTML元素时,直接在select后写标签名即可,如下面for循环中的第3行,news.select(‘h2‘)。 

  1. for news in soup.select(‘.news-item‘):  
  2.     # print(news)  
  3.     if(len(news.select(‘h2‘)) > 0):  
  4.         # print(news.select(‘h2‘)[0].text)  
  5.         h2 = news.select(‘h2‘)[0].text  
  6.         time = news.select(‘.time‘)[0].text  
  7.         a = news.select(‘a‘)[0][‘href‘]  
  8.         print(h2,time,a)  

现在来详细看下这段代码每行的释义。

第1行:soup.select(‘.news-item‘),取出news-item该类中的元素;

第2行:print下news,查看是否被正常解析,正常后继续,不用时可以注释掉;

第3行:通过观察代码,可以看到标题被储存在标签h2中,如果h2的长度大于0,这里是为了去除为空的标题数据;

第4行:print中news.select(‘h2‘)[0].text,[0]是取该列表中的第一个元素,text是取文本数据,print后查看是否正确,不用时可以注释掉;

第5行:将news.select(‘h2‘)[0].text存储在变量h2中;

第6行:time是class类型,前面加点来表示,同上,将其数据存储在变量time中;

第7行:我们要抓取的链接存放在a标签中,链接已经不是text了,后面用href,将链接数据存储在变量a中;

第8行:最后输出我们想要抓取的数据,标题、时间、链接。

案例二

抓取对象:

抓取新闻详情页的标题、时间(进行格式转换)、新闻来源、新闻详情、责任编辑、评论数量和新闻ID。

示例新闻:http://news.sina.com.cn/c/nd/2017-05-08/doc-ifyeycfp9368908.shtml

完整代码:

  1. from bs4 import BeautifulSoup  
  2. import requests  
  3. from datetime import datetime  
  4. import json  
  5. import re  
  6.   
  7. news_url = ‘http://news.sina.com.cn/c/nd/2017-05-08/doc-ifyeycfp9368908.shtml‘  
  8. web_data = requests.get(news_url)  
  9. web_data.encoding = ‘utf-8‘  
  10. soup = BeautifulSoup(web_data.text,‘lxml‘)  
  11. title = soup.select(‘#artibodyTitle‘)[0].text  
  12. print(title)  
  13.   
  14. time = soup.select(‘.time-source‘)[0].contents[0].strip()  
  15. dt = datetime.strptime(time,‘%Y年%m月%d日%H:%M‘)  
  16. print(dt)  
  17.   
  18. source = soup.select(‘.time-source span span a‘)[0].text  
  19. print(source)  
  20.   
  21. print(‘\n‘.join([p.text.strip() for p in soup.select(‘#artibody p‘)[:-1]]))  
  22.   
  23. editor = soup.select(‘.article-editor‘)[0].text.lstrip(‘责任编辑:‘)  
  24. print(editor)  
  25.   
  26. comments = requests.get(‘http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=gn&newsid=comos-fyeycfp9368908&group=&compress=0&ie=utf-8&oe=utf-8&page=1&page_size=20‘)  
  27. comments_total = json.loads(comments.text.strip(‘var data=http://www.mamicode.com/‘))
  28. print(comments_total[‘result‘][‘count‘][‘total‘])  
  29.   
  30. news_id = re.search(‘doc-i(.+).shtml‘,news_url)  
  31. print(news_id.group(1))  

运行结果:

国土部:5月到9月实行汛期地质灾害日报告制度

2017-05-08 17:21:00

央视新闻

原标题:国土资源部:地质灾害高发期 实行日报告制度

国土资源部消息,5月份将逐渐进入地质灾害的高发期,防灾减灾形势更加严峻。据中国气象局预计,5月份我国江南大部、华南东部、西北地区大部降水较常年同期偏多,应加强防范极端气象事件诱发的滑坡、泥石流等地质灾害。对此从5月起至9月,国土资源部应急办实行汛期地质灾害日报告制度,各地必须将每天发生的灾情险情及其重大工作部署于当天下午3点前报告国土资源部应急办。

李伟山 

4

fyeycfp9368908

详细解说:

1. 首先插入需要用到的库:BeautifulSoup、requests、datetime(时间处理)、json(解码:把json格式字符串解码转换成Python对象)、re(正则表达式),然后解析网页。

先抓取标题:

  1. from bs4 import BeautifulSoup  
  2. import requests  
  3. from datetime import datetime  
  4. import json  
  5. import re  
  6.   
  7. url = ‘http://news.sina.com.cn/c/nd/2017-05-08/doc-ifyeycfp9368908.shtml‘  
  8. web_data = requests.get(url)  
  9. web_data.encoding = ‘utf-8‘  
  10. soup = BeautifulSoup(web_data.text,‘lxml‘)  
  11. title = soup.select(‘#artibodyTitle‘)[0].text  
  12. print(title)  

datetime、json、re在后面时间转换和从js中抓取数据时会用到。

我们主要来看下倒数第二行代码:title = soup.select(‘#artibodyTitle‘)[0].text,这里的用法和案例一中一样,id前用井号(#)来表示该类元素的位置,解锁唯一元素用[0],提取文本信息text。

2. 抓取时间,并将原有日期格式转化为标准格式

  1. # time = soup.select(‘.time-source‘)[0]  
  2. # print(time)  
  3. time = soup.select(‘.time-source‘)[0].contents[0].strip()  
  4. dt = datetime.strptime(time,‘%Y年%m月%d日%H:%M‘)  
  5. print(dt)  

第1行:抓取时间;

第2行:print下时间,这时会发现运行结果中既含有时间,还有新闻的来源,如下:

<span class="time-source" id="navtimeSource">2017年05月08日17:21<span>
<span data-sudaclick="media_name"><a href="http://m.news.cctv.com/2017/05/08/ARTIPEcvpHjWzuGDPWQhn77z170508.shtml" rel="nofollow" target="_blank">央视新闻</a></span></span>
</span>

那么,接下来我们需要想办法将时间和来源分开来,这时需要使用到contents;

第3行:我们先在后面加上.contents,运行下后会看到上面的内容会在列表中分为如下2个元素,此时,我们取的时间为第一个元素,在contents后加[0],最后的.strip()可以去除时间末尾的\t;

[‘2017年05月08日17:21\t\t‘, <span>   
<span data-sudaclick="media_name"><a href="http://m.news.cctv.com/2017/05/08/ARTIPEcvpHjWzuGDPWQhn77z170508.shtml" rel="nofollow" target="_blank">央视新闻</a></span></span>, ‘\n‘]

第4行:用datetime.strptime()来做时间格式化,原有的时间是年月日时分,所以转化时用到年月日时分,其中%Y是四位数的年份表示、%m是月份、%d是月份内的一天、%H是24小时制中的小时、%M是分钟数,并将其存储在变量dt中;

第5行:输出dt,会得到格式化后的时间,比如:2017-05-08 17:21:00。

3. 抓取新闻来源:

之前文章《Python爬虫:爬取人人都是产品经理的数据 》中有提到可以用【Copy selector】来复制粘贴出新闻来源的位置,如下第一行;也可以用本篇文章经常用到的class类的表述方法说明其位置,如下第二行;

  1. # source = soup.select(‘#navtimeSource > span > span > a‘)[0].text  
  2. source = soup.select(‘.time-source span span a‘)[0].text  
  3. print(source)  

4. 抓取新闻详情:

  1. article = []  
  2. for p in soup.select(‘#artibody p‘)[:-1]:  
  3.     article.append(p.text.strip())  
  4. # print(article)  
  5. print(‘\n‘.join(article))  

第1行:article为空列表;

第2行:通过观察代码可以发现,新闻详情存放在p标签中,如果直接输出,能看到最后一栏有责任编辑的信息,如果不想要责任编辑,增加[:-1]可以去除最后一个编辑信息;

第3行:将抓取的数据插入article列表中,.strip()去除空白信息;

第4行:可以先print下看结果是否正确,发现新闻详情的原标题和正文是在一排的,不是很好,注释掉后我们换新的方法;

第5行:join()方法用来将列表中的元素用指定的字符连接生成新的字符串,这里用\n换行来连接列表中的原标题和正文两块内容。

上面这是一种文章连接的方法,当然还有比较简洁的写法。我们将上面的for循环一句拿出来,前面加p.text.strip(),然后整体加中括号,这样就形成了一个列表,然后前面再用join将其连接起来,就用简单的一行代码替代了上面的多行代码。

  1. print(‘\n‘.join([p.text.strip() for p in soup.select(‘#artibody p‘)[:-1]]))  

5. 抓取责任编辑:

这里用到的lstrip是去除左侧的内容,括号内‘责任编辑:’是指去除这部分内容,只保留编辑人员姓名。之前用到的strip是去除两侧,lstrip是去除左侧,后面会用到的rstrip是去除右侧内容。

  1. editor = soup.select(‘.article-editor‘)[0].text.lstrip(‘责任编辑:‘)  
  2. print(editor)  

6. 抓取评论数:

  1. # comments = soup.select(‘#commentCount1‘)  
  2. # print(comment)  
  3. comments = requests.get(‘http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=gn&newsid=comos-fyeycfp9368908&group=&compress=0&ie=utf-8&oe=utf-8&page=1&page_size=20‘)  
  4. # print(comments.text)  
  5. comments_total = json.loads(comments.text.strip(‘var data=http://www.mamicode.com/‘))
  6. # print(comments_total)  
  7. print(comments_total[‘result‘][‘count‘][‘total‘])  

首先,我们先select(‘#commentCount1‘)来筛选出评论数,这时print下输出结果为[<span id="commentCount1"></span>],span中间为空白信息,没有我们想要的评论数。

这时,我们需要重新去观察下网页代码,发现评论数可能是通过JavaScript来增加上去的,那么我们需要找到是从哪里调用JavaScript(即JS)的。

鼠标放在评论数(4)上,Google浏览器鼠标右键点击“检查”,选择顶部的network,然后在下面海量的链接里找到有数量4的链接。
技术分享

复制该链接,中间加粗部分是newid,最后有一段像时间戳的字串“&jsvar=loader_1494295822737_91802706”,我们需要把这块内容去掉,然后试着print下,可以发现结果也不会有影响。

http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=gn&newsid=comos-fyeycfp9368908&group=&compress=0&ie=utf-8&oe=utf-8&page=1&page_size=20&jsvar=loader_1494295822737_91802706

处理好链接后,那么,我们该如何从JavaScript中读取数据呢?这时我们需要使用到json来处理,在开头,我们导入库的时候已经import json了,这里可以直接使用。

json.loads是用于解码json数据的。第5行,我们将解码后的数据存储在变量comments_total中;第6行,我们print该变量时,会得到结果,发现除了评论数之外,还有一些其他的信息。

所以我们需要重新输出,根据上一行print的结果,观察发现,最后一行我们可以用[‘result‘][‘count‘][‘total‘]来表示评论数的位置。

7. 抓取新闻ID:

  1. print(news_url.split(‘/‘)[-1].rstrip(‘.shtml‘).lstrip(‘doc-i‘))  

刚在上面第6点抓取评论数时,我们发现链接中有一个newsid,该新闻页面的链接中也有相同的ID部分,这时我们可以明确其新闻ID的位置。

split()是通过指定分隔符对字符串进行切片,[-1]是截取最后一个元素,然后用rstrip去除掉末尾的.shtml,用lstrip去除掉左侧的doc-i,得到我们想要的新闻ID。

除了这种方法外,我们还可以用正则表达式来表达。这时我们需要用到re库,在开头时,我们已经事先import re了,这里直接使用。

其中re.search是扫描整个字符串并返回第一个成功的匹配,group()是匹配到的字符串,其中group(0),是匹配到的字符串全部显示(doc-ifyeycfp9368908.shtml),group(1)是(.+)内的显示,即我们想要的新闻ID。

    1. news_id = re.search(‘doc-i(.+).shtml‘,news_url)  
    2. # print(news_id.group(0))  
    3. print(news_id.group(1))  

python爬虫:使用urllib.request和BeautifulSoup抓取新浪新闻标题、链接和主要内容