首页 > 代码库 > 无节操爬虫越来越多,看来要对服务器做一些调整
无节操爬虫越来越多,看来要对服务器做一些调整
最近无节操爬虫越来越多,越来越流氓,主要体现在完全不控制速率的用一整段的 IP 地址来爬取你的网页,而且有些根本就是伪装成普通浏览器访问。尽管 OSC 对单 IP 做了并发的限制,但架不住大量的 IP 进行爬取。
OSChina 目前是专门针对爬虫用独立的 Tomcat 来处理爬虫的请求(Tomcat_Spider),而普通用户的访问走的是另外独立 Tomcat(Tomcat_User)。这个是根据 User-Agent 在 Nginx 这一端进行判断并分流的。
由于爬虫的 Tomcat 我们很少更新,在上面我们还配置了一旦爬虫 Tomcat 挂掉后就自动使用普通用户的独立 Tomcat,其实这个配置很危险。
因为今天早上又有无节操爬虫把爬虫 Tomcat_Spider 搞死了,导致大量的访问堆积到普通用户的 Tomcat_User 上,直接导致 Tomcat_User 也挂掉了!
目前已经取消了 Tomcat_User 作为 Tomcat_Spider 备用的配置。
接下来我们要将 Team 的请求也独立到一个 Tomcat_Team 之上,因为 Team 都是私密页面,爬虫访问不到,就算再出现今天早上的情况也不会影响大家使用 Team 服务。另外因为 Team 是大家工作用的系统,要保证高可用。
春节前将会完成此配置调整,包括启用 Team 的 HTTPS 支持。
无节操爬虫越来越多,看来要对服务器做一些调整
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。