首页 > 代码库 > 第三百二十三节,web爬虫,scrapy模块以及相关依赖模块安装
第三百二十三节,web爬虫,scrapy模块以及相关依赖模块安装
第三百二十三节,web爬虫,scrapy模块以及相关依赖模块安装
当前环境python3.5 ,windows10系统
Linux系统安装
在线安装,会自动安装scrapy模块以及相关依赖模块
pip install Scrapy
手动源码安装,比较麻烦要自己手动安装scrapy模块以及依赖模块
安装以下模块
1、lxml-3.8.0.tar.gz (XML处理库)
2、Twisted-17.5.0.tar.bz2 (用Python编写的异步网络框架)
3、Scrapy-1.4.0.tar.gz (高级web爬行和web抓取框架)
4、pyOpenSSL-17.2.0.tar.gz (OpenSSL库)
5、queuelib-1.4.2.tar.gz (Queuelib是用于Python的持久(基于磁盘的)队列的集合)
6、w3lib-1.17.0.tar.gz (与web相关的函数的Python库)
7、cryptography-2.0.tar.gz (密码学是一种包)
8、pyasn1-0.2.3.tar.gz (ASN类型和编解码器)
9、pyasn1-modules-0.0.9.tar.gz (ASN的集合。基于协议模块)
10、cffi-1.10.0.tar.gz (用于Python调用C代码的外部函数接口)
11、asn1crypto-0.22.0.tar.gz (快速的ASN一个解析器和序列化器)
12、idna-2.5.tar.gz (应用程序中的国际化域名(IDNA))
13、pycparser-2.18.tar.gz (C解析器在Python中)
windows系统安装
windows安装,首先要安装pywin32,根据自己的系统来安装32位还是64位
pywin32-221.win32-py3.5.exe
pywin32-221.win-amd64-py3.5.exe
在线安装
pip install Scrapy
手动源码安装,比较麻烦要自己手动安装scrapy模块以及依赖模块
安装以下模块
1、lxml-3.8.0.tar.gz (XML处理库)
2、Twisted-17.5.0.tar.bz2 (用Python编写的异步网络框架)
3、Scrapy-1.4.0.tar.gz (高级web爬行和web抓取框架)
4、pyOpenSSL-17.2.0.tar.gz (OpenSSL库)
5、queuelib-1.4.2.tar.gz (Queuelib是用于Python的持久(基于磁盘的)队列的集合)
6、w3lib-1.17.0.tar.gz (与web相关的函数的Python库)
7、cryptography-2.0.tar.gz (密码学是一种包)
8、pyasn1-0.2.3.tar.gz (ASN类型和编解码器)
9、pyasn1-modules-0.0.9.tar.gz (ASN的集合。基于协议模块)
10、cffi-1.10.0.tar.gz (用于Python调用C代码的外部函数接口)
11、asn1crypto-0.22.0.tar.gz (快速的ASN一个解析器和序列化器)
12、idna-2.5.tar.gz (应用程序中的国际化域名(IDNA))
13、pycparser-2.18.tar.gz (C解析器在Python中)
测试是否安装成功
在cmd终端,运行python
然后运行:import scrapy ,没有提示错误说明安装成功
第三百二十三节,web爬虫,scrapy模块以及相关依赖模块安装