首页 > 代码库 > 爬虫框架--scrapy简介

爬虫框架--scrapy简介

简介

  scrapy被认为是比较简单的爬虫框架,资料比较齐全,网上也有很多教程。官网上介绍了它的四种安装方法,PyPI、Conda、APT、Source,我们只介绍最简单的安装方法。

 

Windows下的安装

  pip install scrapy

Linux下的安装

  apt-get install python-scrapy

  APT

 

  因为Linux的强大及辅助工具比较多,大家比较喜欢在Linux下使用scrapy爬虫框架,Linux下编写python代码最强大的工具可属eclipse,但最方便的要属vi的强化版本vim了,对不同的编程语言配合不同的插件,可将vim配置成为一个专属的IDE。

 

VIM模块

 

爬虫框架--scrapy简介