首页 > 代码库 > 日志收集系统简介
日志收集系统简介
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍的一样，使用Flume，HDFS，HBase三大
构建实现这个功能。
2 查询不同系统的日志信息。提供Web界面，查询对应日志信息。
3 周期性统计错误日志信息，并使用邮件发出来。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍的一样，使用Flume，HDFS，HBase三大
构建实现这个功能。
2 查询不同系统的日志信息。提供Web界面，查询对应日志信息。
3 周期性统计错误日志信息，并使用邮件发出来。
日志收集系统简介
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。