首页 > 代码库 > scrapy-splash抓取动态数据例子二

scrapy-splash抓取动态数据例子二

  一、介绍

    本例子用scrapy-splash抓取一点资讯网站给定关键字抓取咨询信息。

    给定关键字:电视;数字电视;OTT

    抓取信息内如下:

      1、资讯标题

      2、资讯链接

      3、资讯时间

      4、资讯来源

  二、网站信息

    技术分享

    技术分享

    技术分享

  三、数据抓取

    针对上面的网站信息,来进行抓取

    1、首先抓取信息列表,由于信息列表的class值有“item doc style-small-image style-content-middle” 和“item doc style-multi-image”两种情况,所以用contains包含item doc style-的语法来抓

      抓取代码:sels = site.xpath(‘//a[contains(@class,"item doc style-")]‘)

    2、抓取标题

      抓取代码:sels = site.xpath(‘//a[contains(@class,"item doc style-")]‘)

    3、抓取链接

      抓取代码:sels = site.xpath(‘//a[contains(@class,"item doc style-")]‘)

    4、抓取日期

      抓取代码:sels = site.xpath(‘//a[contains(@class,"item doc style-")]‘)

    5、抓取来源

      抓取代码:sels = site.xpath(‘//a[contains(@class,"item doc style-")]‘)

 

  

scrapy-splash抓取动态数据例子二