首页 > 代码库 > piwik日志工具

piwik日志工具

2024-08-04 09:32:09   220人阅读

如何使用日志分析工具

Piwik服务器日志分析 > 如何使用日志分析工具

本页解释了如何用Piwik日志分析工具将服务器日志导入到Piwik

  • 系统要求

  • 如何：使用默认参数运行日志文件分析脚本

  • 如何：导入其他数据包括机器人、静态文件、HTTP错误报告

  • 如何：排除特定的记录

系统要求

  • 安装或升级Piwik。需要花大概5分钟以内。

  • 要执行脚本，你需要通过SSH或者其他能执行脚本的途径访问你的服务器

  • 需要Python 2.6。注意：载入和解析日志文件的脚本是用Python写的，但是Piwik的API是用PHP5写的。

  • 你还需要一个或多个日志文件来用Piwik解析、分析。（日志文件内的每一行记录都必须是按时间排序的）

  • 注意：我们建议你使用包含User Agent, Referrer URL和完整URLs的扩展日志格式。如果这些字段没有在日志中，分析数据可能不精确。

  • 设置GEO Location来精确探测国家和城市。Piwik推断访问者的国家是基于访问者的浏览器语言的，但是这些信息访问日志（access log）都不支持，所以Geo Location是必要的。

  • 最低版本：Piwik 1.7.2，但是我们始终建议更新到最新的版本。

注意：数据精确性

使用服务器日志导入（相对于js跟踪）会有少部分用户数据点丢失：屏幕分辨率、浏览器插件和页面（title）都不支持 （report Actions > Page Titles大部分会是空）。跟踪cookies不能被用于计算“一些丢失的数据点”，见“FAQ”。

如何：使用默认参数运行日志文件分析脚本

一旦Piwik开始运行，你将会找到这个脚本：misc/log-analytics/import_logs.py

$ python /path/to/piwik/misc/log-analytics/import_logs.py

这个会显示在帮助信息中。唯一必要的参数是：

--url=http://analytics.example.com

用来指定Piwik的根URL。然后，你可以指定一个或多个日志文件用于导入。

查看输出帮助和README获得更多可用参数的信息和说明。

如：如果你想要跟踪所有请求（静态文件、机器人请求、HTTP错误、HTTP 跳转），可以使用下面的命令

python /path/to/piwik/misc/log-analytics/import_logs.py --url=http://analytics.example.com access.log
--idsite=1234 --recorders=4 --enable-http-errors --enable-http-redirects --enable-static
--enable-bots

如何：导入其他数据包括机器人、静态文件、HTTP错误报告

脚本默认不会跟踪静态文件（JS、CSS、图片等）和所有机器人流量。

你可以用下面的命令来启用这些流量：

  • --enable-bots

用于跟踪搜索、垃圾信息机器人，并给它们指定一个自定义变量名：Bot。启用后，日志文件会需要更长的处理时间知道所有机器人的page view都被传到Piwik中。

  • --enable-static

用于指定跟踪静态文件（图片、JS、CSS）。这会延长一些日志的处理时间。

  • --enable-http-errors

用于指定跟踪page view的HTTP错误（4xx、5xx状态），并将自定义变量HTTP-code设置成400、500等。如果有的话，页面title会显示成URL referrer（用于帮助找到是哪一个页面链接到了不错在的页面等）。

  • --enable-reverse-dns

用于启用反向DNS（用于生成访客>服务提供商报告），可用于探测诸如DNS太慢引起的一些性能问题。

  • --recorders=N

指定线程的数量：我们建议设置成系统的CPU的核心数量。（或者视你的服务器配置而定）

  • --recorder-max-payload-size=N

这个入口用于批量跟踪来达到更好的性能。默认300PV（日志记录）会被一次性发送到Piwik。你可以实验这个数字来获得更好的性能，但是需要有个上限。

如何：排除特定的记录

有几个方式来排除特定被跟踪的日志记录或者访客。

  • 你可以排除特定IP地址或者IP段。通过用管理员登陆Piwik，在“设置 > 网站”中配置excluded IPs

  • 脚本提供一个选项通过HTTP头的User Agent排除来访问者：

    --useragent-exclude

  • 脚本提供一个选来来强制使用URL域名白名单，不再白名单中的域名会被过滤：

    --hostname

  • 它可以用于通过URL路径排除一些特定的日志记录：

    --exclude-path

  • Status

  • API

  • Training

  • Shop

  • Blog

  • About

  • 08 2014 GitHub, Inc.

  • Terms

  • Privacy

  • Security

  • Contact



我测试的参数：

# time  ../import_logs.py  --url=http:/XXX /XXX.gz --recorders=64  --enable-http-errors --enable-http-redirects --idsite=4 --enable-static 


log追踪

log追踪无需修改web项目，但是必须要有登录服务器并读取accesslog的权限。

log追踪的详细用法参考官方文档: http://piwik.org/faq/log-analytics-tool/, https://piwik.org/log-analytics/

log追踪的过程是解析webserver的accesslog，然后通过piwik的API上传，最终在piwik页面上展示。

这个过程不用自己去实现了，piwik的压缩包中已经带有一个python脚本可以帮助我们完成这个工作了，该脚本存储于piwik目录下的misc/log-analytics/import_logs.py。

将这个脚本远程拷贝到目标服务器上，按照脚本的参数格式执行即可，我的命令行：

?

1
./import_logs.py --url=http://192.168.1.106/piwik/ --idsite=1 --recorders=2 --token-auth=319fb461d3225905039551e861edde60 --enable-static --enable-bots --enable-http-errors --enable-http-redirects /var/log/apache2/access.log

使用--help参数即可看到这个脚本的命令行，只有一个--url参数是必须的，指明piwik的访问路径。详细帮助参见官方文档(https://piwik.org/docs/log-analytics-tool-how-to/)，这里对我使用的参数做一下简介：

--idsite表明抓取到的信息上传到哪个序号对应的网站(这里的参数为1，代表解析的数据会统计到first_web这个网站中)

--token-auth这个参数是管理员的访问token，在系统页面最顶上的API点开即可看到，如下图所示。这个参数可以使用--login=LOGIN --password=PASSWORD这两个参数替代，必须是管理员的账户和密码。

在此输入图片描述

--recorders使用多线程解析，默认为1，官方建议这个参数和核心数一致。

--enable-static --enable-bots --enable-http-errors这三个参数基本上把apache的accesslog能抓取到的全部信息都抓全了，抓取静态资源(jpg,png,js,css等非html的访问)，抓取bots(不知道这个是什么，猜测是否是机器人？)，抓取html错误码(如40X请求等等)

/var/log/apache2/access.logapache的accesslog存放路径，常见的webserver如nginx,lighthttpd等，脚本自带有解析引擎，无需别的参数，如果非常见webserver的话，加上--log-format-regex这个参数来自定义日志格式抓取。

当脚本执行完毕时，即可在piwik中看到网站的访问记录了，使用也很方便。长期使用可以写入crontab即可。

注意:

  • log解析的方式追踪比较慢，不适合实时追踪用户访问记录，建议每过几小时执行一次crontab，来定时解析log。

  • 如果开启了--enable-static --enable-bots --enable-http-errors这三个参数，解析过程将会很缓慢(我这边大概十几条每秒)，不要让crontab太频繁，会直接让mysql数据库超出连接而挂掉，我是每4小时执行一次crontab。



piwik日志工具


联系
我们