首页 > 代码库 > ELKStack-使用消息队列扩展
ELKStack-使用消息队列扩展
ELKStack-使用消息队列扩展
官方文档:https://www.elastic.co/guide/en/logstash/5.x/deploying-and-scaling.html
流程图
流程:数据源 --> logstash(input收集、output消息队列) --> MQ --> logstash (input收集消息队列、filter过滤、output ES) --> ES
使用这个流程,主要是基于性能考虑,第一层logstash主要做原始数据收集,不对数据进行处理,提高对数据源的收集性能。同时部署第一层logstash需要放在生产环境的服务器上,做为agent端,这样使用也是基于尽量少消耗服务器性能的考量。
本章使用redis做消息队列
yum install -y redis
配置/etc/redis.conf
daemonize yes bind 192.168.137.11
启动 systemctl start redis
logstash output redis使用
官方文档:https://www.elastic.co/guide/en/logstash/5.x/plugins-outputs-redis.html
1、标准输入、redis输出
input { stdin {} } filter { } output{ redis { host => ["192.168.137.11"] port => 6379 db => 1 data_type => "list" key => "demo" timeout => 10 } }
启动/opt/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf
2、apache日志输入,redis输出
input { file { path => "/etc/httpd/logs/access_log" start_position => "beginning" } } filter { } output{ redis { host => ["192.168.137.11"] port => 6379 db => 1 data_type => "list" key => "apache" timeout => 10 } }
启动/opt/logstash/bin/logstash -f /etc/logstash/conf.d/apache.conf
ELKStack-使用消息队列扩展
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。