首页 > 代码库 > 使用Jsoup获取网页内容超时设置
使用Jsoup获取网页内容超时设置
使用Jsoup获取网页内容超时设置
最近使用Jsoup来抓取网页,并对网页进行解析,发现很好用。在抓取过程中遇到一个问题,有些页面总是报Timeout异常,开始想是不是被抓取网站对IP进行了限制,后来发现用HttpClient可以获取到内容。
原来我最开始使用Jsoup.connect(url).get();方法获取网页内容,这种方式使用的是默认超时时间3秒。
原来Jsoup是可以设置超时的,修改成如下就可以了:
Jsoup.connect(url).timeout(30000).get(); // 30S
使用Jsoup获取网页内容超时设置
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。