Linux系统下的进程监控工具Supervisor的基本使用方法

Supervisor是一个C/S系统，它允许用户在类UNIX系统上控制一些进程。它具有以下特性：

1    简单

Supervisor通过INI格式配置文件进行配置，很容易掌握，它为每个进程提供了很多配置选项，可以使你很容易的重启进程或者自动的轮转日志。

2    统一

Supervisor提供了一种统一的方式来start、stop、monitor你的进程， 进程可以单独控制，也可以成组的控制。你可以在本地或者远程命令行或者web接口来配置Supervisor。

3    有效

Supervisor通过fork/exec启动它的子进程，子进程并不是守护进程。当一个进程终止的时候，操作系统会立即给Supervisor发送一个信号，而不是像其他解决方案依赖PID文件。

4    可扩展

Supervisor包含一个简单的事件通知协议，因此任何程序都可以监控它，而且提供一个XML-RPC控制接口。

5    兼容

除了windows平台，其他平台都可运行。

Supervisor系统的组件：

supervisord：

服务会启动supervisord服务，它负责调用自己启动子程序，响应来自客户端的命令，重启crash或者退出的进程，记录进程的输出信息，收集事件信息。该服务的配置文件在/etc/supervisor/supervisord.conf

supervisorctl:

客户端的命令行工具，提供一个类shell接口，通过它你可以连接到不同的supervisord进程上来管理它们各自的子程序。客户端命令通过UNIX socket或者TCP来和服务通讯，服务端可以要求客户端提供身份验证之后才能进行操作([supervisorctl])。

Web Server：

一个小的web接口被集成进了supervisorctl，重启supervisord之后就可以访问了([inet_http_server])。   

XML-RPC Interface：

就像HTTP提供WEB UI一样，同时还提供了XML-RPC接口来控制supervisor和由它运行的程序。

安装：

supervisor是python编写的，显然用easy_install、pip都可以安装，我懒，直接apt-get了，在ubuntu14.04下安装完后版本是3.0b2。

Supervisor服务的启动

其实启动Supervisor很简单，supervisord -h看看就知道了，最简单的-c根配置文件即可：

代码如下:

supervisord -- run a set of applications as daemons.
Usage: /usr/bin/supervisord [options]
Options:-c/--configuration FILENAME -- configuration file
-n/--nodaemon -- run in the foreground (same as ‘nodaemon true‘ in config file)
-h/--help -- print this usage message and exit
-v/--version -- print supervisord version number and exit
-u/--user USER -- run supervisord as this user (or numeric uid)
-m/--umask UMASK -- use this umask for daemon subprocess (default is 022)
-d/--directory DIRECTORY -- directory to chdir to when daemonized
-l/--logfile FILENAME -- use FILENAME as logfile path
-y/--logfile_maxbytes BYTES -- use BYTES to limit the max size of logfile
-z/--logfile_backups NUM -- number of backups to keep when max bytes reached
-e/--loglevel LEVEL -- use LEVEL as log level (debug,info,warn,error,critical)-
j/--pidfile FILENAME -- write a pid file for the daemon process to FILENAME
-i/--identifier STR -- identifier used for this instance of supervisord
-q/--childlogdir DIRECTORY -- the log directory for child process logs
-k/--nocleanup --  prevent the process from performing cleanup (removal of old automatic child log files) at startup.
-a/--minfds NUM -- the minimum number of file descriptors for start success
-t/--strip_ansi -- strip ansi escape codes from process output 
    --minprocs NUM  
   -- the minimum number of processes available for start success
 --profile_options OPTIONS -- run supervisord under profiler and output results based on OPTIONS, which  is a comma-sep‘d                             list of ‘cumulative‘, ‘calls‘, and/or ‘callers‘,                             e.g. ‘cumulative,callers‘)

不过既然我这懒人是用apt-get安装的，那安装包的规范必然符合debian系的风格了，直接service supervisor start即可启动，且慢，我们还没配置supervisor的配置文件呢，启动了也没什么效果。我们后面详解配置文件的配置。

supervisorctl客户端的使用

supervisorctl有两种模式，一种是交互模式，一种是命令行模式。在命令行输入supervisorctl直接回车，即可进入交互模式。

代码如下:

supervisorctl -- control applications run by supervisord from the cmd line.
Usage: /usr/bin/supervisorctl [options] [action [arguments]] 
Options:-c/--configuration -- configuration file path (default /etc/supervisor.conf)
-h/--help -- print usage message and exit
-i/--interactive -- start an interactive shell after executing commands
-s/--serverurl URL -- URL on which supervisord server is listening     
                    (default "http://localhost:9001").  
-u/--username -- username to use for authentication with server
-p/--password -- password to use for authentication with server
-r/--history-file -- keep a readline history (if readline is available)

Supervisor的开机自启动

如果你是pip或者easy_install安装的，开机服务自启动还真是个麻烦事，不过官方已经给出一些rc.d脚本示例了，在github上，不过由于我是apt-get安装的，显然这个开机自启动是不用担心的，用debian的update-rc.d即可搞定。

Supervisor的进程安全

既然是用Supervisor来保证其他进程的正常运行，但是万一Supervisor进程挂了怎么办，我们可以使用daemontools来保证Supervisor正常运行，就类似于监控的监控。

supervisord的配置文件主要由几个配置段构成，配置项以K/V格式呈现，下面就看看各个配置端需要怎样配置：

[unix_http_server]
在该配置块的参数项表示的是一个监听在socket上的HTTP server，如果[unix_http_server]块不在配置文件中，
则不会启动基于socket的HTTP server。
file：一个unix domain socket的文件路径，HTTP/XML-RPC会监听在这上面
chmod：在启动时修改unix domain socket的mode
chown：修改socket文件的属主username：HTTP 
server在认证时的用户名password：认证密码

代码如下:

[unix_http_server]
file = /tmp/supervisor.sock
chmod = 0777
chown= nobody:nogroup
username = user
password = 123

[inet_http_server]
在该配置块的参数项表示的是一个监听在TCP上的HTTP server，如果[inet_http_server]块不在配置文件中，则不会启动基于TCP的HTTP server。
port：TCP监听的地址和端口(ip:port)，这个地址会被HTTP/XML-RPC监听username：HTTP server在认证时的用户名password：认证密码

eg：

代码如下:

[inet_http_server]
port = 127.0.0.1:9001
username = user
password = 123

[supervisord]
该配置块的参数项是关于supervisord进程的全局配置项。
logfile：log文件路径logfile_maxbytes：log文件达到多少后自动进行轮转，
单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小
logfile_backups：轮转日志备份的数量，默认是10，如果设置为0，则不备份
loglevel：error、warn、info、debug、trace、blather、critical
pidfile：pid文件路径umask：umask值，默认022
nodaemon：如果设置为true，则supervisord在前台启动，而不是以守护进程启动
minfds：supervisord在成功启动前可用的最小文件描述符数量，默认1024
minprocs：supervisord在成功启动前可用的最小进程描述符数量，默认200
nocleanup：防止supervisord在启动的时候清除已经存在的子进程日志文件
childlogdir：自动启动的子进程的日志目录
user：supervisord的运行用户
directory：supervisord以守护进程运行的时候切换到这个目录
strip_ansi：消除子进程日志文件中的转义序列environment：一个k/v对的list列表

eg：

代码如下:

[supervisord]
logfile = /tmp/supervisord.log
logfile_maxbytes = 50MB
logfile_backups=10
loglevel = info
pidfile = /tmp/supervisord.pid
nodaemon = false
minfds = 1024
minprocs = 200
umask = 022
user = chrism
identifier = supervisor
directory = /tmp
nocleanup = true
childlogdir = /tmp
strip_ansi = false
environment = KEY1="value1",KEY2="value2"

[supervisorctl]
该配置块参数是关于supervisorctl
serverurl：这个url是用来访问supervisord服务的(
username：supervisorctl连接supervisord的认证用户
password：认证密码
prompt：默认是supervisor
history_file：history文件路径

eg：

代码如下:

[supervisorctl]
serverurl = unix:///tmp/supervisor.sock
username = chris
password = 123
prompt = mysupervisor

[program:x]
该配置块包含一个或者多个program段，program来表明supervisord要控制哪些程序。
该配置块的头部是有固定格式的，一个关键字program，后面跟着一个冒号，接下来才是程序名。
例如：[program:foo]，foo就是程序名，在使用supervisorctl来操作程序的时候，就是以foo来标明的。
command：启动程序使用的命令，可以是绝对路径或者相对路径
process_name：一个python字符串表达式，用来表示supervisor进程启动的这个的名称，默认值是%(program_name)
snumprocs：Supervisor启动这个程序的多个实例，如果numprocs>1，则process_name的表达式必须包含%(process_num)s，默认是1
numprocs_start：一个int偏移值，当启动实例的时候用来计算numprocs的值
priority：权重，可以控制程序启动和关闭时的顺序，权重越低：越早启动，越晚关闭。默认值是999
autostart：如果设置为true，当supervisord启动的时候，进程会自动重启。
autorestart：值可以是false、true、unexpected。false：进程不会自动重启，unexpected：当程序退出时的退出码不是exit codes中定义的时，进程会重启，
        true：进程会无条件重启当退出的时候。
startsecs：程序启动后等待多长时间后才认为程序启动成功
startretries： supervisord尝试启动一个程序时尝试的次数。默认是3 
exitcodes：一个预期的退出返回码，默认是0,2。stopsignal：当收到stop请求的时候，
    发送信号给程序，默认是TERM信号，也可以是 HUP, INT, QUIT, KILL, USR1, or USR2。
stopwaitsecs：在操作系统给supervisord发送SIGCHILD信号时等待的时间
stopasgroup：如果设置为true，则会使supervisor发送停止信号到整个进程组
killasgroup：如果设置为true，则在给程序发送SIGKILL信号的时候，会发送到整个进程组，它的子进程也会受到影响。
user：如果supervisord以root运行，则会使用这个设置用户启动子程序
redirect_stderr：如果设置为true，进程则会把标准错误输出到supervisord后台的标准输出文件描述符。
stdout_logfile：把进程的标准输出写入文件中，如果stdout_logfile没有设置或者设置为AUTO，则supervisor会自动选择一个文件位置。
stdout_logfile_maxbytes：标准输出log文件达到多少后自动进行轮转，单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小
stdout_logfile_backups：标准输出日志轮转备份的数量，默认是10，如果设置为0，则不备份
stdout_capture_maxbytes：当进程处于stderr capture mode模式的时候，写入FIFO队列的最大bytes值，单位可以是KB、MB、GB
stdout_events_enabled：如果设置为true，当进程在写它的stderr到文件描述符的时候，PROCESS_LOG_STDERR事件会被触发
stderr_logfile：把进程的错误日志输出一个文件中，除非redirect_stderr参数被设置为true
stderr_logfile_maxbytes：错误log文件达到多少后自动进行轮转，单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小stderr_logfile_backups：错误日志轮转备份的数量，默认是10，如果设置为0，则不备份s
tderr_capture_maxbytes：当进程处于stderr capture mode模式的时候，写入FIFO队列的最大bytes值，单位可以是KB、MB、GBstderr_events_enabled：如果设置为true，当进程在写它的stderr到文件描述符的时候，PROCESS_LOG_STDERR事件会被触发
environment：一个k/v对的list列表
directory：supervisord在生成子进程的时候会切换到该目录
umask：设置进程的umask
serverurl：是否允许子进程和内部的HTTP服务通讯，如果设置为AUTO，supervisor会自动的构造一个url

代码如下:

[program:cat]
command=/bin/cat
process_name=%(program_name)s
numprocs=1
directory=/tmp
umask=022
priority=999
autostart=true
autorestart=true
startsecs=10
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=chrism
redirect_stderr=false
stdout_logfile=/a/path
stdout_logfile_maxbytes=1MB
stdout_logfile_backups=10
stdout_capture_maxbytes=1MB
stderr_logfile=/a/path
stderr_logfile_maxbytes=1MB
stderr_logfile_backups=10
stderr_capture_maxbytes=1MB
environment=A="1",B="2"
serverurl=AUTO

如果你使用supervisorctl 出现以下错误的话

Sorry, supervisord responded but did not recognize the supervisor namespace commands that supervisorctl uses to control it.  Please check that the [rpcinterface:supervisor] section is enabled in the configuration file (see sample.conf).

那么你需要在配置文件里添加以下一段

[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

以下是我的配置文件

[root@192.168.1.156 supervisord]# egrep -v ‘^;|^$‘ /etc/supervisord.conf 
[supervisord]
http_port=192.168.1.156:9001  ; (alternately, ip_address:port specifies AF_INET)
logfile=/var/log/supervisor/supervisord.log ; (main log file;default $CWD/supervisord.log)
logfile_maxbytes=50MB       ; (max main logfile bytes b4 rotation;default 50MB)
logfile_backups=10          ; (num of main logfile rotation backups;default 10)
loglevel=info               ; (logging level;default info; others: debug,warn)
pidfile=/var/run/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
nodaemon=false              ; (start in foreground if true;default false)
minfds=1024                 ; (min. avail startup file descriptors;default 1024)
minprocs=200                ; (min. avail process descriptors;default 200)
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
[supervisorctl]
serverurl=http://192.168.1.156:9001 ; use an http:// url to specify an inet socket
username=user              ; should be same as http_username if set
password=123                ; should be same as http_password if set
prompt=mysupervisor         ; cmd line prompt (default "supervisor")
[inet_http_server]
port = 192.168.1.156:9001
username = user
password = 123
[include]
files=/etc/supervisord/*.conf

[root@192.168.1.156 supervisord]# egrep -v ‘^;|^$‘ tomcat_carduser.conf 
[program:carduser]
command=/app/tomcat/warfare/carduser/bin/catalina.sh run ;此处需要修改为run，以及catalina.sh同目录的startup.sh 里的start改为run，意思是不用daemon模式
environment=JAVA_HOME="/usr/local/jdk/", JAVA_BIN="/usr/local/jdk/bin"
directory=/app/tomcat/warfare/carduser
autorestart=true
autostart=true
redirect_stderr=true
stdout_logfile=/dev/stdout
stdout_logfile_maxbytes=0

[root@192.168.1.156 supervisord]# egrep -v ‘^;|^$‘ wabao_s9992.conf 
[program:wabao_s9992]
command=/usr/local/jdk/bin/java -Xmx512m -Dfile.encoding=UTF-8 -jar /app/warfare/wabao_s9992/gameServer/warfare-game.jar
autorestart=true
autostart=true
redirect_stderr=true
stdout_logfile=/dev/stdout
stdout_logfile_maxbytes=0


以下的命令为supervisord的控制命令
当你新添加好一个配置文件后
supervisorctl update 启动最新的这个配置文件的进程，其他进程无影响

supervisorctl reload 重启配置文件中的所有进程

supervisorctl start/stop/restart program_game 开启/停止/重启 配置文件中的程序名

supervisorctl stop all 停掉所有的进程
 

mysupervisor> ?

default commands (type help <topic>):
=====================================
add    exit      open  reload  restart   start   tail   
avail  fg        pid   remove  shutdown  status  update 
clear  maintail  quit  reread  signal    stop    version

mysupervisor> ? version
version			Show the version of the remote supervisord process
mysupervisor> version
3.3.1
mysupervisor> status
carduser                         RUNNING   pid 6008, uptime 0:27:53
gametools                        RUNNING   pid 6009, uptime 0:27:53
wabao_s9992                      RUNNING   pid 6007, uptime 0:27:53
wabao_s9993                      RUNNING   pid 6143, uptime 0:25:35
mysupervisor> ? status
status <name>		Get status for a single process
status <gname>:*	Get status for all processes in a group
status <name> <name>	Get status for multiple named processes
status			Get all process status info
mysupervisor> status wabao_s9992
wabao_s9992                      RUNNING   pid 6007, uptime 0:28:04

官方参考文档: http://supervisord.org/subprocess.html

本文出自 “孜孜不倦的学习着...” 博客，请务必保留此出处http://jonyisme.blog.51cto.com/3690784/1906397

supervisord的使用用法