首页 > 代码库 > Rsyslog初步学习

Rsyslog初步学习

一、Rsyslog整体架构 

技术分享

Rsyslog消息流:输入模块——>预处理模块——>主队列——>过滤模块——>执行队列——>输出模块

1. 输入模块

  输入模块是消息来源

 技术分享

 

2. 预处理模块

  主要解决各种syslog协议实现间的差异

3. 队列模块

  负责消息的存储,从Input传入的未经过滤的消息放在主队列,过滤后的消息放入到不同的action queue中,再由执行队列送到各个输出模块

 

4. 过滤模块

  Filter模块处理消息的分析和过滤,rsyslog可以对消息的任何部分进行过滤

 技术分享

5. 输出模块

  消息的目的地

 

 技术分享

 

6. rsyslog命令的参数

技术分享

7. 其他概念

基本结构:数据流动过程中内置的基本处理框架,但是对于消息流,是可以高度定制化的。定制工作是通过自定义rsyslog对象来完成的。

消息流和对象概览:消息通过input模块进入rsyslog,接着到ruleset,进行规则匹配,也就是做一些处理,比如写到文件,数据库或者继续转发到远程主机。

处理原则:每个ruleset会包含>=0个规则,一条规则包含一个过滤器和一个动作列表,一个动作列表会包含一个或多个动作

过滤器:控制流量,动作列表不会再出现过滤器

处理顺序:rsyslog.conf中得命令是从上到下一次执行的,所以,如果你停止了对某消息的处理,那么这行之后的命令就不会再被检查和执行了

流程控制语句

if expr then ... else ...- 条件语句

stop - 停止处理当前消息

call - 调用一个rulese(类似子程序调用)

continue - 一个空操作(NOP),很有用。比如在if语句的then部分

 

流控制也可以通过过滤器条件来实现

数据操作语言

set - 设置一个用户变量

unset - 删除之前设置的用户变量

二、Rsyslog的作用

  • 接收来自多种源的输入
  • 传输接收的内容
  • 输出到不同类型的目的端

三、Rsyslog的特征

  • 多线程
  • TCP/SSL/TLS/RELP
  • MySQL/PostgreSQL/Oracle等
  • 对syslog日志的任何部分进行筛选和过滤
  • 完全可控的输出格式
  • 适合企业级的日志系统

四、 rsyslog配置相关概念

1. 属性替代

  Rsyslog 预定义了一些属性,来代表消息中的信息,我们可以在定义输出格式、动态文件名的时候使用到这些属性。这里面比较重要的属性比如:msg(消息体)、hostname、pri(消息等级和类别)、time(时间有关),属性的名称中以$开头的是从本地系统获得的变量、不带$是从消息中获得变量。

  属性替代的语法格式:

%propname:fromChar:toChar:options:fieldname%

 

  属性替换的功能很强大,你可以使用起始字符获取自己所需的字段,也可以使用正则表达式,也可以使用分隔符。举几个例子:为了兼容一个rfc协议,rsyslog规定如果用户输入的msg不是以空格开头,rsyslog会自动补充一个空格,因此如果你希望输出的时候去掉这个空格,就可以使用,举例:

%msg:2:$%    #选取msg变量中,起始位置为2,终止位置为结尾

 

  我们经常需要根据空格来分析字符串,F表示使用字符分割,32是空格的ascii码,例:

%msg:F,32:3%  #按照空格分隔,取第三个子串

 

  正则匹配可以匹配特定的文字和格式,属性替代中还用到了一类特殊的以$!开头的变量,这是使用mmnormalize模块时特有的,可以实现类似于syslog-ng中parser模块的功能。

2. 模板(详细使用见Rsyslog模板文章)

功能

(1)定义输出的格式

(2)定义omfile模块的动态路径、动态文件。需要用到属性替换

形式

(1)一般简单格式,可以使用string的形式

(2)复杂的格式,可使用list形式

(3)子树(subtree)

(4)插件(plugin)

3. Ruleset(规则集)

(1)实现多实例功能

(2)针对syslog的来源使用不同的过滤规则

(3)需要在配置文件中先定义ruleset,才可以使用

举例:针对不同端口使用不同的过滤规则

#定义规则:以local3开头的所有日志发送到10.0.0.44的1999端口,以local4开头的日志发送到10.0.0.44的2000端口

$Ruleset    tcp1999

$RulesetCreateMainQueue on

Local3.*    @@10.0.0.44:1999

#定义规则2 类似于上

$Ruleset    tcp2000

$RulesetCreateMainQueue on

Local4.*    @@10.0.0.44:2000

 

4. Filter模块

  rsyslog可使用rsyslog标准的过滤规则,同时自己添加了一些扩展。比如在输出中指定rsyslog自己的处理方式,可以指定输出模板(template)

  使用方法:在规则(ruleset)后面添加模板的名字,用分号隔开

  举例:

#第一种方式:将local3.*的日志保存到所指目录中,输出处理使用t_msg模块

Local3.*    -/data0/logs/local3.log;t_msg


#?问号表示使用模板定义的动态路径

Local4.*    -?f_local3_test;t_msg

#第二种方式

#除了syslog标准的规则,rsyslog的作者还自己开发了一个叫做rainerscript的脚本语言,来定义更复杂的过滤规则,rainerscript可以对

#属性进行startwith、contains、%(取余)等过滤规则

if $pri-txt == local3.* and $msg contains "abc" then {

    *.* -/data0/logs/local3.log;t_msg

}

#这个例子表示如果pri是local3,且在消息中包含子串‘abc’

#第三种方式:使用属性的表示方式

:msg, regex, "^ [g-z]"  /root/rsyslog_worker_dir/2000.log   #以字母g到z开头的消息,注意msg开头有空格

5. 队列

队列的种类:主队列和工作队列。从输入模块进入主队列;主队列的消息,经过过滤模块,进入到相应的工作队列队列的四种工作模式。

队列的四种工作模式

 技术分享

此外,内存队列还可以通过指定一个queuename来添加DA模式,DA模式主要是为了防止意外情况(进程关闭,server端宕机)下,内存队列可以不丢失。

关于队列的配置:

因为 MainMsgQueue 和 ActionQueue 的配置基本一样(除了有些默认值可能不同), 所以这里以MainMsgQueue 为例:

$MainMsgQueueType [FixedArray/LinkedList/Direct/Disk]

$MainMsgQueueFileName <name>                 #针对disk queue的配置,定义队列名,存储队列数据时用的文件名就是这个名称

MainMsgQueueCheckpointInterval <number>           #针对disk queue的配置,单位条数,设置在检查点写入相关信息,增加可靠性,但是会降低性能

$MainMsgQueueDequeueBatchSize <number> [default 32]     #设置多少条队列作为一个batch一起出队,针对一个日志量很大的系统,可以考虑把这个值调高来增加性能,不过要结合可使用内存考虑实际情况

 

对于DA队列,最有特点就是队列阈值的设置了。主要包括这几个配置:

$MainMsgQueueSize                       #设置队列的最大大小

$MainMsgQueueDiscardMark <number> [default 9750]     #配合下面的 $MainMsgQueueDiscardSeverity,超过这个watermark后,不重要的日志都会丢弃,包括新进来和已经在队列里的

$MainMsgQueueDiscardSeverity <severity> [default 4 (warning)] 0-Emergency, 1-Alert, 2-Critical, 3-Error, 4-Warning, 5-Notice, 6-Informational, 7-Debug

$MainMsgQueueHighWaterMark <number> [default 8000]     #设置 high watermark

$MainMsgQueueLowWaterMark <number> [default 2000]     #设置 low watermark

$MainMsgQueueMaxFileSize <size_nbr> [default 1m]       #针对disk情况下,单个文件的最大大小

$MainMsgQueueMaxDiskSpace                     #控制占用硬盘总空间大小

 

DA 对于阈值处理的逻辑比较有意思,并不是单纯的内存满了就开始使用硬盘。首先,有 low watermark 和 high watermark 这两个概念。

如果队列大小达到 high watermark,队列开始写数据到disk 如果队列大小降到 low watermark,停止写入disk(直到再次达到 high watermark); 或者 disk queue 队列为空(即da队列里的数据处理完),这两种情况都会进入in-memory 模式

关于终止队列的一些处理配置:

$MainMsgQueueTimeoutEnqueue [number is timeout in ms (1000ms is 1sec!), default 2000, 0 means indefinite]         #当队列或硬盘满了,在这个超时时间后新来的日志,设置0可以直接丢弃掉

$MainMsgQueueTimeoutShutdown <number> [number is timeout in ms (1000ms is 1sec!), default 0 (indefinite)]         #当队列关闭时,还有数据在进入队列,rsyslog会尽可能在这个timeout周期内处理掉这些数据

$MainMsgQueueTimeoutActionCompletion <number> [number is timeout in ms (1000ms is 1sec!), default 1000, 0 means immediate!]     #配置需要多久来处理完当前的数据

$MainMsgQueueSaveOnShutdown [**on**/off]                                                     #针对disk queue的配置,当运行中的队列关闭时,会先把队列中的数据存在硬盘中

$MainMsgQueueDequeueSlowdown <number> [number is timeout in microseconds (1000000us is 1sec!), default 0 (no delay). Simple rate-limiting!]    # 简单的出队速度限制,单位微秒

$MainMsgQueueImmediateShutdown [on/off]     #弃用的选项,当配置的队列大小或硬盘空间满了以后,rsyslogd 会限制数据submitter。配置 $MainMsgQueueTimeoutEnqueue 后,当超过这个时间后新来的日志会被丢弃;设置0为直接丢弃。

#$MainMsgQueueTimeoutShutdown、$MainMsgQueueTimeoutActionCompletion 和 $MainMsgQueueSaveOnShutdown 是在队列终止后可以做的一系列措施。

关于队列的worker thread:

$MainMsgQueueWorkerThreadMinumumMessages <number> [default 100]

$MainMsgQueueWorkerThreads <number> [num worker threads, default 1, recommended 1]

$MainMsgQueueWorkerTimeoutThreadShutdown <number> [number is timeout in ms (1000ms is 1sec!), default 60000 (1 minute)]

 

每个队列(direct queue除外)都有一个工作线程池(worker thread pool). 初始时,是没有worker thread的,当有消息来是,会自动启动一个. “$MainMsgQueueWorkerThreadMinumumMessages” 配置一个worker thread处理的消息大小, $MainMsgQueueWorkerThreads 配置work thread的上限值。

比如设置一个worker thread的最小处理消息大小是100个,当小于100个是,只有一个worker,当超过100个,小于200个时,会有两个worker...

以上配置要注意单位, 默认值,Main Queue 和 Action Queue 可能有些配置的默认值不一样。

另外所有指明针对disk的配置,都是包括 disk queue 和 DA queue.

更多配置参考这里:

在一般情况下,大部分的配置都可以直接使用默认的配置,这里给出一份Action使用DA队列的配置:

# 这两个是全局的

$ActionResumeRetryCount                  3

$ActionResumeInterval                    10

# 以下是每个ActionQueue自己的配置

$ActionQueueType                         LinkedList

$ActionQueueFileName                     da_queue

$ActionQueueMaxFileSize                  100M         # 设置单个disk文件的大小

$ActionQueueMaxDiskSpace                 10G          # 设置最大占用空间

$ActionQueueDisacdSeverity               3            # 设置忽略的等级

$ActionQueueLowWaterMark                 5000         # 默认是2000

$ActionQueueHighWatermark                15000        # 默认是8000

$ActionQueueDiscardMark                  30000        # 默认是9750

$ActionQueueSize                         80000        # 文档没写,测试发现默认是1000

$ActionQueueSaveOnShutdown               on


*.* @log-center.xxx.com:514

Main Queue 的默认模式是 FixedArray,Action Queue 的默认模式是 Direct

五、实例

 1. TCP+DA模式实现可靠消息传输

  tcp协议的不可靠性,比如server端宕机等情况,需要在client端配置一个本地文件,用在server端宕机的情况下,暂时保存消息。需要注意的是。队列名和过滤规则对应,一个队列只能用于一个过滤规则

  举例:

$ActionQueueType LinkedList

$ActionQueueFileName local3

$ActionResumeRetryCount -1

$ActionQueueSaveOnShutdown on

Local3.*                                            @@10.0.0.44:1999


$ActionQueueType LinkedList

$ActionQueueFileName local4

$ActionResumeRetryCount -1

$ActionQueueSaveOnShutdown on

Local4.*                                            @@10.0.0.44:1999

 

上例中可将两条过滤规则合成一条:local3.*;local4.*

强调一点:本地队列只有在需要使用的时候才会创建,当后端出现短暂不可用时,rsyslog的内存队列就可以保存消息,内存队列不够用时,才会创建本地队列。

Rsyslog初步学习