首页 > 代码库 > Python爬虫框架Scrapy 学习笔记 9 ----selenium
Python爬虫框架Scrapy 学习笔记 9 ----selenium
selenium本是用来对web application做自动化测试的。不过,它有个天大的好处:能让我们用python(当然不仅是python)代码模拟人对浏览器的操作。
所需软件:python2.7 , firefox 25.0.1(版本不能太高), selenium2.44.0(使用pip install selenium安装即可)
1. 打开浏览器,请求百度主页,5秒钟后关闭浏览器
from selenium import webdriver import time brower = webdriver.Firefox() brower.get(‘http://www.baidu.com‘) time.sleep(5) brower.close()
注意 url的写法,前面必须加 http://
2. 打开浏览器,请求一个带有动态内容的网页,等待js执行完毕(10秒钟足够),获取当前浏览器render的内容的源码,关闭浏览器
from selenium import webdriver import time browser = webdriver.Firefox() browser.get(‘http://detail.tmall.com/item.htm?id=12577759834 ‘) time.sleep(10) pageSource = browser.page_source print pageSource browser.close()
Python爬虫框架Scrapy 学习笔记 9 ----selenium
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。