首页 > 代码库 > awstats 日志分析工具linux下的安装和使用

awstats 日志分析工具linux下的安装和使用

合并日志文件可以使用 bash 的sort命令:

#sort -m -t " " -k 4 -o log_all access*.log

也可以使用  awstats 提供的 logresolvemerge.pl

#perl /usr/local/awstats/tools/logresolvemerge.pl -dnslookup=100 -showsteps access*.log >log_all
-showsteps 表示每8192行显示一次进度。
-dnslookup=100 表示用100个线程对 访问 IP进行dns解析。

以上命令,将需要分析的日志合并成一个 log_all文件

#perl awstats_configure.pl#perl awstats.pl -config=www.mysite.com -update  -showdropped  -showcorrupted#perl awstats_buildstaticpages.pl -config=www.mysite.com -month=05 -year=2016 -dir=/root/mysite

 

 需要关注的参数:
Not viewed traffic * 里面包含了ua 为爬虫的数据,以及应答码为404错误等信息。

awstats是用于统计分析的,一些指标不能分析到,一些时候我们需要查相关的原始日志。这些情况可以考虑使用正则表达式工具直接对日志进行分析。

如果是 windows下的 log文件,在unix下使用正则表达式处理,需要将末尾的 \r\n 替换为 \n.可以使用 dos2unix命令,但如果日志中有二进制数据,会失败。这时需要使用 sed命令。

#sed -i -e s/^M$/\n/g log_all

-i 表示修改结果直接写入到文件。

-e 表示使用正则表达式

 

awstats 日志分析工具linux下的安装和使用