首页 > 代码库 > 【头条】隐身爬虫
【头条】隐身爬虫
开发的一个系统中其中有一个抓取第三方网站信息的功能，但是，系统运行一段时间后，被对方服务器拒绝抓取。
解决办法，只要我们伪装成浏览器。即可继续正常运行。
1 private static readonly string DefaultUserAgent = "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)"; 2 3 4 5 //获取信息6 7 HttpWebRequest request = WebRequest.Create(strCoumnTopPage) as HttpWebRequest;8 request.Method = "GET";9 request.UserAgent = DefaultUserAgent;
【头条】隐身爬虫
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。