首页 > 代码库 > Ubuntu 14.04 安装 scrapy
Ubuntu 14.04 安装 scrapy
按照官方文档的说明,安装scrapy 需要以下程序或者库:
- Python 2.7
- lxml. Most Linux distributions ships prepackaged versions of lxml. Otherwise refer tohttp://lxml.de/installation.html
- OpenSSL. This comes preinstalled in all operating systems except Windows (see Platform specific installation notes)
- pip or easy_install Python package managers
Ubuntu 14.04 已经自带了前三者。通过以下命令可以验证:
- 查看python 版本: python -V
qidong@qidong-Vostro-1400:~/Pictures$ python -V
Python 2.7.6
- 查看是否安装了lxml 和 OpenSSL 库:
qidong@qidong-Vostro-1400:~/Pictures$ python
Python 2.7.6 (default, Mar 22 2014, 22:59:38)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import lxml
>>> import OpenSSL
>>>
如果没有报错,那就说明已经有这两个库了。如果没有,可以用第四个工具--pip 下载和安装。
- 安装pip:
在Ubuntu software center中搜索:easy_install .搜索结果的第二个就是。至于为什么不是easy_install ,我也没有搞明白 -_-||.如图示:
安装好pip之后,我们就可以开始安装scrapy了。 官方文档说了,不要使用ubuntu 源里面python-scrapy, 因为那个可能很旧了。
- 安装scrapy
在终端输入:sudo pip install Scrapy , 注意S 是大写的。然后pip 就会自动安装了(注意要添加sudo 命令,否则就会报写入被禁止的错误)。
但是在安装的过程中,出现了一个错误:
twisted/runner/portmap.c:10:20: fatal error: Python.h No such file or directory.
根据网上的说法,这个头文件是被gcc 使用,用于编译其他应用(在这里,我猜测应该是twisted)。 我们需要安装一个叫 python-dev的包。
于是,我们在终端输入: sudo apt-get install python-dev .
安装结束之后,再次输入 sudo pip install Scrapy 。 就可以正常安装scrapy了。
安装结束之后,在终端输入 scrapy 来验证我们是否安装成功并且能否正常运行。 答案是不能。
提示: UserWarning: You do not have the service_identity module installed 。
这个简单, 在终端输入 sudo pip install service_identity . 等它安装结束之后,就OK 了。
再次在终端输入: scrapy startproject sinaweibo 来创建一个工程来验证是否安装成功。 这次成功了!
tips: pip 是个很有用的工具,python使用的包基本都可以用这个工具来安装。