首页 > 代码库 > Python爬虫框架Scrapy 学习笔记 3 ------- 第一个Scrapy项目
Python爬虫框架Scrapy 学习笔记 3 ------- 第一个Scrapy项目
开发环境PyCharm
目标网站和上一次一样,可参考:http://dingbo.blog.51cto.com/8808323/1597695
但是这次不是在单个文件中运行,而是创建一个scrapy项目
1.使用命令行工具创建scrapy项目的基本目录结构
2. 编辑items.py
3.在spiders目录下,新建spider1.py
报错很正常
我们按照scrapy project的目录结构导入了TorrentItem,而不是pyCharm project的目录结构
4.运行spider
抓取到数据被存到文件mininova-data.json
本文出自 “大数之为用” 博客,请务必保留此出处http://dingbo.blog.51cto.com/8808323/1599566
Python爬虫框架Scrapy 学习笔记 3 ------- 第一个Scrapy项目
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。