首页 > 代码库 > python爬虫框架scrapy初试(二点一)
python爬虫框架scrapy初试(二点一)
功能:爬取某网站部分新闻列表和对应的详细内容。
列表页面http://www.zaobao.com/special/report/politic/fincrisis
实现代码:
import scrapy
class ZaobaoSpider(scrapy.Spider):
name = ‘zaobao‘
start_urls=["http://www.zaobao.com/special/report/politic/fincrisis"]
def parse(self,response):
for href in response.xpath(‘//*[@id="DressUp"]/div[2]/div[1]/div/div/div/a/@href‘):
full_url = response.urljoin(href.extract())
yield scrapy.Request(full_url,callback=self.parse_news) #将列表url返回给parse_news函数进行详细爬取
def parse_news(self,response):
yield {
‘title‘:response.xpath(‘//*[@id="MainCourse"]/div/h1‘).extract(),‘body‘:response.xpath(‘//*[@id="FineDining"]‘).extract(),
‘link‘:response.url
}
运行方法:
scrapy runspider zao.py -o ac.csv #-o 输出为文件,保存格式为csv格式
结果:
python爬虫框架scrapy初试(二点一)
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。