首页 > 代码库 > scrapy-splash抓取动态数据例子二
scrapy-splash抓取动态数据例子二
一、介绍
本例子用scrapy-splash抓取一点资讯网站给定关键字抓取咨询信息。
给定关键字:电视;数字电视;OTT
抓取信息内如下:
1、资讯标题
2、资讯链接
3、资讯时间
4、资讯来源
二、网站信息
三、数据抓取
针对上面的网站信息,来进行抓取
1、首先抓取信息列表,由于信息列表的class值有“item doc style-small-image style-content-middle” 和“item doc style-multi-image”两种情况,所以用contains包含item doc style-的语法来抓
抓取代码:sels = site.xpath(‘//a[contains(@class,"item doc style-")]‘)
2、抓取标题
抓取代码:sels = site.xpath(‘//a[contains(@class,"item doc style-")]‘)
3、抓取链接
抓取代码:sels = site.xpath(‘//a[contains(@class,"item doc style-")]‘)
4、抓取日期
抓取代码:sels = site.xpath(‘//a[contains(@class,"item doc style-")]‘)
5、抓取来源
抓取代码:sels = site.xpath(‘//a[contains(@class,"item doc style-")]‘)
scrapy-splash抓取动态数据例子二