首页 > 代码库 > 海量日志数据如何处理统计?
海量日志数据如何处理统计?
项目需要做一个dashboard图表网站,展示日志的相关统计信息。这个页面图表很多,一次性会加载出很多数据。
日志表有很多种,都是一些入侵攻击日志、恶意站点访问日志等等,需要统计出当前时间、过去24小时、过去一周被攻击主机个数、恶意站点数(这是其中两个需求)等等数据。
比如被攻击主机个数,需要查多张数据表,然后统计出这个数据。
日志存储在PostgreSQL
里面,已经基于时间做了分表,但是每天的的日志量都在100W以上。
写入数据库的模式是随时从其他的系统中写入。
根据这个应用场景,如果设计这个后端统计呢?还请大神提供一点思路,谢谢。
海量日志数据如何处理统计? >> mysql
这个答案描述的挺清楚的:
http://www.goodpm.net/postreply/mysql/1010000007402947/海量日志数据如何处理统计.html
海量日志数据如何处理统计?
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。