首页 > 代码库 > Scrapy 豆瓣电影爬虫

Scrapy 豆瓣电影爬虫

  本篇主要介绍通过scrapy 框架来豆瓣电影

  下面我简单总结一下Scrapy爬虫过程:

  1、在Item中定义自己要抓取的数据

  技术分享

2、编辑在spiders目录下DoubanSpider文件

  技术分享

  3、编辑pipelines.py文件,可以通过它将保存在MoveScrapyPipeline中的内容写入到数据库或者文件中

  技术分享

 

Scrapy 豆瓣电影爬虫