首页 > 代码库 > HtmlUnitDriver 网页内容动态抓取

HtmlUnitDriver 网页内容动态抓取

#抓取内容
WebDriver driver = new HtmlUnitDriver(false);
driver.get(url);
String html = driver.getPageSource();

#如何想等待一会元素渲染完毕
driver.manage().timeouts().implicitlyWait(2, TimeUnit.SECONDS);
#进行百度搜索
public static void doSearch(String keyword) {
  final String url = "http://www.baidu.com";
  WebDriver driver = new HtmlUnitDriver(false);
  driver.get(url);
  driver.findElement(By.id("kw")).sendKeys(keyword);
  Actions action = new Actions(driver);
  action.sendKeys(Keys.ENTER).perform();
  System.out.println(driver.getPageSource());
}

1 Selenium可支持的【真实】浏览器驱动:

  PC端驱动:firefox、safari、ie、chrome、opera driver

  移动端驱动: Windows Phone、Selendroid、ios-driver、Appium  支持iphone、ipad、android、FirefoxOS【第三方】

 

  safari、ff都是以插件形式驱动浏览器本身的;ie、chrome都是通过二进制文件来驱动浏览器本身的;

  这些driver都是直接启动并通过调用浏览器的底层接口来驱动浏览器的,因此具有最真实的用户场景模拟,主要用于进行web的兼容性测试使用。

 

2 selenium可支持的【伪浏览器】驱动:

  HtmlUnit 、PhantomJS 

  它们都不是真正的在浏览器、都没有GUI,而是具有支持html、js等解析能力的类浏览器程序;这些程序不会渲染出网页的显示内容,但是支持页面元素的查找、JS的执行等;由于不进行css及GUI渲染,所以运行效率上会比真实浏览器要快很多,主要用在功能性测试上面。htmlunit是Java实现的类浏览器程序,包含在selenium server中,无需驱动,直接实例化即可;其js的解析引擎是Rhino。

HtmlUnitDriver 网页内容动态抓取