elk 开源分布式日志分析平台

一.简介
1.核心组成
2.三大组件
3.elk 的工作流程
4.elk 的帮助手册
二.Logstash 和 elasticsearch(elasticsearch 和 logstash 依赖 java
环境)
1.java
2.nginx 的安装
3.redis 的安装
4.安装 elasticsearch
5.安装 logstash
6.安装 kibana
三.检验 elk 的日志结果

一.简介
1.核心组成
>.elk 由 Elasticsearch,Logstash 和 Kibana 三部分组件组成。
>.Elasticsearch 是一个开源分布式搜索引擎,它的特点有:分布式,零配置,
自动发现,索引自动分片,索引副本机制,restful 风格接口,多数据源,自动
搜索负载等.
>.Logstash 是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其
存储供以后使用.
>.kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提
供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。
2.三大组件
>.Logstash:logstash server 端用来搜索日志
>.Elasticsearch:存储各类日志
>.Kibana:web 化接口用做查询和可视化日志
3.elk 的工作流程
>.在需要收集日志的所有服务上部署 logstash,作为 logstash agent(logstash
shipper)用于监控并过滤收集日志,将过滤后的内容发送到 redis,然后 logstash
indexer 将日志 收集在一起交给全文搜索服务 ElasticSearch,可以用于
ElasticSearch 进行自定义搜索,通过 Kibana 来结合自定义搜索进行页面展示。
>.logstash,elasticsearch,kibana 怎么进行 nginx 的日志分析呢?首先,架构方
面,nginx 是有日志文件的,它的每个请求的状态等都有日志文件进行记录。其次,需要有个队列,redis 的 list 结构正好可以作为队列使用。然后分析使用
elasticsearch 就可以进行分析和查询了。
>.我们需要的是一个分布式的,日志收集和分析系统。logstash 有 agent 和
indexer 两个角色。对于 agent 角色,放在单独的 web 机器上面,然后这个
agent 不断地读取 nginx 的日志文件,每当它读到新的日志信息以后,就将日志
传送到网络上的一台 redis 队列上。对于队列上的这些未处理的日志,有不同的
几台 logstash indexer 进行接收和分析。分析之后存储到 elasticsearch 进行
搜索分析。再由统一的 kibana 进行日志 web 界面的展示。

4.elk 的帮助手册
ELK 官网:https://www.elastic.co/
ELK 官方文档:https://www.elastic.co/guide/index.html
ELK 中文手
册:http://kibana.logstash.es/content/elasticsearch/monitor/logging.html
ELK 的 rpm 包:https://www.elastic.co/downloads(官网下载最新的 rpm 包)
注释
ELK 有两种安装方式
>.集成环境:Logstash 有一个集成包,里面包括了其全套的三个组件,相当于安
装一个集成包
>.独立环境:三个组件分别单独安装/运行/各司其职。在接下来的实验中将采用
独立环境。
>.系统环境:selinux and iptables disabled
rhel6.5elasticsearch:2.3.3
logstash:2.3.3
kibana:4.5.1
主机地址:172.25.39.1 server1.example.com

具体的搭建如附件，谢谢查阅！

本文出自 “12040125” 博客，请务必保留此出处http://12050125.blog.51cto.com/12040125/1870030

elk开源分布式日志分析平台