首页 > 代码库 > Discuz封锁蜘蛛最有效的方法
Discuz封锁蜘蛛最有效的方法
闲来无事翻代码,发现一个好东西,Discuz设计者考虑到了有些流氓搜索引擎不遵守roborts.txt,于是设计了一个NOROBOT变量,当这个变量为true 的时候,定义中的搜索引擎都会无法访问,默认比如在post.php里面开头就定义了
define(‘NOROBOT‘, TRUE);
这样就可以有效防止蜘蛛乱爬了
但是至于像viewthread.php,forumdisplay.php(还有其他。比如,feed页面等)默认就是要给虫子爬的,所以,这一句话没有,如果要封锁蜘蛛,在这些页面中加入这个定义即可
加入后,在在线会员列表中,出现了好多游客的“无效的越权访问”,这些“游客,就是蜘蛛了”
查看common.inc.php,可以看到如下函数
getrobot(); if(defined(‘NOROBOT‘) && IS_ROBOT) { exit(header("HTTP/1.1 403 Forbidden")); }
这个可见,如果discuz调用getrobot()这个函数发现来访者是蜘蛛,就返回http 403禁止访问的错误提示
这个函数是在global.func.php被定义的
function getrobot() { if(!defined(‘IS_ROBOT‘)) { $kw_spiders = ‘Bot|Crawl|Spider|slurp|sohu-search|lycos|robozilla‘; $kw_browsers = ‘MSIE|Netscape|Opera|Konqueror|Mozilla‘; if(!strexists($_SERVER[‘HTTP_USER_AGENT‘], ‘http://‘) && preg_match("/($kw_browsers)/i", $_SERVER[‘HTTP_USER_AGENT‘])) { define(‘IS_ROBOT‘, FALSE); } elseif(preg_match("/($kw_spiders)/i", $_SERVER[‘HTTP_USER_AGENT‘])) { define(‘IS_ROBOT‘, TRUE); } else { define(‘IS_ROBOT‘, FALSE); } } return IS_ROBOT; }
Discuz封锁蜘蛛最有效的方法
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。