首页 > 代码库 > 怎么在32位windows系统上搭建爬虫框架scrapy?

怎么在32位windows系统上搭建爬虫框架scrapy?

禁止转载:

  自学python,然后搭建爬虫框架scrapy。费了我一上午的心血。终于搭建成功,以防以后忘记搭建流程,特此撰写此贴,开写

***************************************************************************************************************

首先安装python,我安装的是python2.7.12,安装在F:\python2.7.12,资源自行下载。由于在安装python的时候,会自动安装pip这个python管理工具,不要管pip的安装.你只要一步步安装就可以了。

 

接下来就是在cmd中能运行python,所以要进行环境变量的配置:

在path路径中加上:

  ";F:\python2.7.12;F:\python2.7.12\Scripts\"

这是我的path路径:C:\ProgramData\Oracle\Java\javapath;

%SystemRoot%\system32;

%SystemRoot%;

%SystemRoot%\System32\Wbem;

%SYSTEMROOT%\System32\WindowsPowerShell\v1.0\;

%JAVA_HOME%\bin;

%CATALINA_HOME%\lib;

E:\mysql-5.6.24-win32\bin;

F:\mongodb2.6.9\bin\;

F:\python2.7.12;

F:\python2.7.12\Scripts\(一定要配置好Scripts)

 

可以根据自己的安装目录进行配置,不要盲目效仿。配置好以后,打开cmd窗口,输入python,然后就可以获得python的版本号,说明安装成功

那么怎么知道python管理工具pip是否装好,可i以在cmd中输入pip,可以运行说明成功,这一部分可以参考网上很多教程

*********************************************************************************************************

接下来就是爬虫框架scrapy的安装:

1、安装setuptools

打开,cmd窗口,输入pip检查pip是否安装成功,成功后,然后输入:

pip install setuptools

观察cmd窗口,如果出现Successfully installed setuptools说明安装成功。

2、安装lxml

本来以为输入下面这个命令,就能顺利安装成功但是出现了问题:

pip install lxml

这一步,耗费了我一个多小时,安装出现了问题,如:

 fatal error: ‘libxml/xmlversion.h‘ file not found

在网上各种找原因,有大神是说没安装libxml2-devel and libxslt-devel,和没有安装 libxml2和 libxslt文件。其实报错原因中也说明了没有安装好 libxml2

各种解决方案,但是找了很久,试了很多种方法,最终我就参考了

http://coding.derkeiler.com/Archive/Python/comp.lang.python/2012-11/msg00520.html       

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml(很多python依赖的库资源下载)

http://jingyan.baidu.com/article/cbcede07177b8702f40b4df9.html

最后解决了问题,解决步骤如下:

  1)、首先安装wheel,确定安装成功:

pip install wheel

  2)、下载依赖库,可以在http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml中下载

  • lxml-3.6.4-cp27-cp27m-win32.whl(python2.7版本,适用于windows32位系统)
  • lxml-3.6.4-cp27-cp27m-win_amd64.whl(python2.7版本,适用于windows64位系统)

  然后,把下载好的依赖文件放在python的安装包中,我的是放在F:\python2.7.12中

  3)、开始安装lxml

pip install F:\python2.7.12\lxml-3.6.4-cp27-cp27m-win32.whl

  然后就安装成功了

3、安装zope.interface

pip install zope.interface

这一步没有遇到问题

4、安装Twisted

安装Twisted出现了问题:参考文档python2.7安装Twisted报Microsoft Visual C++9.0 required然后解决了

pip install Twisted

5、安装pyOpenSSL

 

pip install pyOpenSSL

 

6、安装win32py

这一部卡住了,原来http://www.cnblogs.com/pang1567/p/4168768.html这个帖子,没有win32py这个文件,其实是安装pypiwin32

pip install pypiwin32

 

7、安装Scrapy

  pip install Scrapy

终于到了激动人心的时候了!安装了那么多小部件之后终于轮到主角登场。然后就显示安装成功了

直接在cmd中输入Scrapy回车即可。大功告成了啊。so happy


  

 

 

参考贴:

http://coding.derkeiler.com/Archive/Python/comp.lang.python/2012-11/msg00520.html

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

http://jingyan.baidu.com/article/cbcede07177b8702f40b4df9.html

http://www.cnblogs.com/pang1567/p/4168768.html

http://stackoverflow.com/questions/26669972/install-pywin32-with-pip-in-windows-7-does-not-work-in-python-3-4-2

python2.7安装Twisted报Microsoft Visual C++9.0 required

 

 

怎么在32位windows系统上搭建爬虫框架scrapy?