首页 > 代码库 > 无节操爬虫越来越多,看来要对服务器做一些调整

无节操爬虫越来越多,看来要对服务器做一些调整

最近无节操爬虫越来越多,越来越流氓,主要体现在完全不控制速率的用一整段的 IP 地址来爬取你的网页,而且有些根本就是伪装成普通浏览器访问。尽管 OSC 对单 IP 做了并发的限制,但架不住大量的 IP 进行爬取。

OSChina 目前是专门针对爬虫用独立的 Tomcat 来处理爬虫的请求(Tomcat_Spider),而普通用户的访问走的是另外独立 Tomcat(Tomcat_User)。这个是根据 User-Agent 在 Nginx 这一端进行判断并分流的。

由于爬虫的 Tomcat 我们很少更新,在上面我们还配置了一旦爬虫 Tomcat 挂掉后就自动使用普通用户的独立 Tomcat,其实这个配置很危险。

因为今天早上又有无节操爬虫把爬虫 Tomcat_Spider 搞死了,导致大量的访问堆积到普通用户的 Tomcat_User 上,直接导致 Tomcat_User 也挂掉了!

目前已经取消了 Tomcat_User 作为 Tomcat_Spider 备用的配置。

接下来我们要将 Team 的请求也独立到一个 Tomcat_Team 之上,因为 Team 都是私密页面,爬虫访问不到,就算再出现今天早上的情况也不会影响大家使用 Team 服务。另外因为 Team 是大家工作用的系统,要保证高可用。

春节前将会完成此配置调整,包括启用 Team 的 HTTPS 支持。

无节操爬虫越来越多,看来要对服务器做一些调整