首页 > 代码库 > Python爬虫框架Scrapy 学习笔记 3 ------- 第一个Scrapy项目

Python爬虫框架Scrapy 学习笔记 3 ------- 第一个Scrapy项目

开发环境PyCharm

目标网站和上一次一样,可参考:http://dingbo.blog.51cto.com/8808323/1597695

但是这次不是在单个文件中运行,而是创建一个scrapy项目


1.使用命令行工具创建scrapy项目的基本目录结构

技术分享


2. 编辑items.py


技术分享


3.在spiders目录下,新建spider1.py

技术分享

报错很正常

我们按照scrapy project的目录结构导入了TorrentItem,而不是pyCharm project的目录结构


4.运行spider

技术分享

抓取到数据被存到文件mininova-data.json

本文出自 “大数之为用” 博客,请务必保留此出处http://dingbo.blog.51cto.com/8808323/1599566

Python爬虫框架Scrapy 学习笔记 3 ------- 第一个Scrapy项目