selenium是一个web测试应用框架也可以拿来做爬虫。

1.安装selenium模块

　　pip install -U selenium 

2.安装selenium模块后需要有相应的浏览器驱动

　　A.使用phantomjs

　　　　phantomjs是无界面的测试浏览器 

　　　　我用的是phantomjs-2.1.0-linux-x86_64只要直接使用phantomjs-2.1.0-linux-x86_64文件夹里面的额phantonjs就可以了

1 　　from selenium import webdriver
2 
3 　　driver = webdriver.PhantomJS(‘/home/xx/xx/phantomjs-2.1.0-linux-x86_64/bin/phantomjs‘)##里面是phantomjs的地址
4 　　driver.get("http://www.baidu.com")

　　这样就可以直接使用driver操作无界面的浏览器了

　　phantomjs下载地址：

　　B.有见面的chrome浏览器安装配置

　　首先需要安装chrome浏览器 和配置相关环境

　　sudo apt-get install libxss1 libappindicator1 libindicator7
　　wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb

　　sudo dpkg -i google-chrome*.deb
　　sudo apt-get install -f
　　sudo apt-get install xvfb
　　sudo apt-get install unzip

　　wget -N http://chromedriver.storage.googleapis.com/2.26/chromedriver_linux64.zip
　　unzip chromedriver_linux64.zip
　　chmod +x chromedriver

　　sudo mv -f chromedriver /usr/local/share/chromedriver
　　sudo ln -s /usr/local/share/chromedriver /usr/local/bin/chromedriver
　　sudo ln -s /usr/local/share/chromedriver /usr/bin/chromedriver

　　安装相关selenimu

　　sudo apt-get install python-pip
　　pip install pyvirtualdisplay selenium

　　测试代码

1 from pyvirtualdisplay import Display
2 from selenium import webdriver3 driver = webdriver.Chrome()
4 driver.get(‘https://www.baidu.com/‘)
5 print driver.title

　　相关链接：https://christopher.su/2015/selenium-chromedriver-ubuntu/

python selenium 开发环境配置