Scrapy 是采用Python 开发的一个快速可扩展的抓取WEB 站点内容的爬虫框架。

安装依赖 

yum install gcc gcc-c++ openssl  mysql mysql-server libffi* libxml* libxml2 libxml2-dev libxslt libxslt-dev libxslt1-dev

    框架插件：

Python2.7 以上

pip

zope.interface

Twisted

w3lib

mysql-python

six

setuptools

lxml

scrapy

本文出自 “logs” 博客，请务必保留此出处http://51log.blog.51cto.com/6076767/1922987

Python 和 Scrapy 爬虫框架部署