服务端可以通过三种途径进行robot检测：

第一种，利用http的User-Agent header进行判断，这种是最正常的判断，但这种不能检测出不友好的请求，它可以伪造。

第二种，限制请求频率，也就是进行流控。普通用户不可能在一定的时间内请求过多次，所以可以检测出。但请求方可以进行随机，限时进行请求。

第三种，根据日志进行分析来检测robot,这种可以检测出slow robot.

原文:http://blog.csdn.net/hongchangfirst/article/details/24704869

作者:hongchangfirst

hongchangfirst的主页:http://blog.csdn.net/hongchangfirst

怎么进行robot检测