首页 > 代码库 > 爬虫框架scrapy安装

爬虫框架scrapy安装

环境:Python3.4版本,win732位系统

 

 1.Mac OS 安装
pip install scrapy
2.Ubuntu安装
(1)首先要安装依赖库: sudo apt-get install python3-dev python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
(2)安装scrapy:sudo pip install scrapy
 
 
 

3.Windows安装(本人建议自己找whl文件安装,不建议pip直接安装)
       (1)安装 lxml
方法一:pip install lxml 
方法二:下载whl文件,然后pip安装
(2)安装twisted
方法一:pip install twisted
方法二:下载whl文件,然后pip安装
(3)安装scrapy()
方法一:pip install scrapy
方法二:下载whl文件,然后pip安装
备注:
whl文件自己可以去 lfd 去寻找适合自己开发环境的版本,链接:http://www.lfd.uci.edu/~gohlke/pythonlibs/

爬虫框架scrapy安装