首页 > 代码库 > 爬虫超时解决办法
爬虫超时解决办法
做网络爬虫怕的就是超时,当恰恰出现最多的就是超时,那该怎么办呢!
1,HttpClient默认请求为3次,你可以修改成N次,建议根据实际情况修改
2,设置get方法请求超时为 5 秒
GetMethod getMethod=new GetMethod(url); getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT,5000);
3,设置 Http 连接超时为5秒
HttpClient httpClient=new HttpClient(); httpClient.getHttpConnectionManager().getParams().setConnectionTimeout(5000);
4,将请求超时的链接储存在队列中,选择其他时间再次请求
5,代理IP地址请求重试
6,分时段请求链接
7,记录请求Log输出,解决坏死链接
待完善,续……
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。