首页 > 代码库 > 爬虫例子及知识点（scrapy知识点）
爬虫例子及知识点（scrapy知识点）
新知识：
新建一个scrapy项目：scrapy startproject xxx(项目名称）
运行一个scrapy项目：
scrapy crawl xxx（项目名称）
项目文件说明：
文件说明：
? scrapy.cfg 项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中）
? items.py 设置数据存储模板，用于结构化数据，如：Django的Model
? pipelines 数据处理行为，如：一般结构化的数据持久化
? settings.py 配置文件，如：递归的层数、并发数，延迟下载等
? scrapy.cfg 项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中）
? items.py 设置数据存储模板，用于结构化数据，如：Django的Model
? pipelines 数据处理行为，如：一般结构化的数据持久化
? settings.py 配置文件，如：递归的层数、并发数，延迟下载等
? spiders 爬虫目录，如：创建文件，编写爬虫规则
代码如下：
爬虫例子及知识点（scrapy知识点）
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。