scrapy安装脚本

#

###### install dependent package and development-lib #######
yum  -y install gcc zlib zlib-devel openssl openssl-devel bzip* libxml2* libxslt* libffi-devel libffi
####### install python-2.7.7
wget ‘https://www.python.org/ftp/python/2.7.7/Python-2.7.7.tgz‘
tar -zxvf Python-2.7.7.tgz
cd Python-2.7.7
./configure
make && make install
####### modified yum for os-python
sed -i s/python$/python2.6/ /usr/bin/yum
####### modified os-python to python 2.7
mv /usr/bin/python /usr/bin/python.bak
ln -s /usr/local/bin/python2.7 /usr/bin/python
####### install setuptools 
cd
wget https://bitbucket.org/pypa/setuptools/raw/bootstrap/ez_setup.py
python ez_setup.py
####### install pip tools
cd
wget ‘https://bootstrap.pypa.io/get-pip.py‘
python get-pip.py
pip -V
####### install Twisted
cd
wget https://pypi.python.org/packages/source/T/Twisted/Twisted-14.0.0.tar.bz2#md5=9625c094e0a18da77faa4627b98c9815
tar -jxf  Twisted-14.0.0.tar.bz2
cd Twisted-14.0.0
python setup.py install
####### install scrapy
pip install scrapy
pip list

centos6.3 安装python爬虫框架scrapy