一、开源轻量级进程监控工具monit的应用

    今天在服务器杀进程时，发现有一个进程一直在重启，寻找服务器各种定时任务未发现有定时程序，也没有发现supervisord的进程管理服务，后来才发现服务器上启用了monit这个工具，monit是一个开源的轻量级监控工具，功能挺强大，基本可以满足大多数的需求，它能从多个层面进行监控，比如可以通过PID文件，可以通过端口号等来监控进程，也可以对服务器的负载内存等各数据进行监制，以自动维护进程，发送报警等。monit介绍：

系统监控：进程状态，系统负载，cpu负载，内存占用等。
进程监控：monit可以监控守护进程，当被监控进程异常退出时，可以自动被拉起。
文件系统：Monit可以监控本地文件、目录、文件系统的变化，包括时间戳、校验值、大小的变化。例如，可以监控文件sha1以及md5的值，来监控文件是否发生变化
网络监控：monit可以监控网络连接，支持TCP、UDP、Unix domain sockets以及HTTP、SMTP等。

        monit安装使用起来都特别简单，一个命令安装完毕，修改一下配置文件，启动进程就完成了进程监控。

第一步：monit安装

        安装非常简单，sudo yum install -y monit

[online@ER9 src]$ sudo yum install -y monit
......
Resolving Dependencies
--> Running transaction check
---> Package monit.x86_64 0:5.25.1-1.el6 will be installed
--> Finished Dependency Resolution
Installed:......
Complete!

 第二步：配置文件整理

    修改配置文件，比如我这里用来监控nginx服务。编辑/etc/monit.conf，在最后添加以下四行配置文本，其中各行的意思是：
    第一行，check process searchd with pidfile指明nginx的pid文件位置。process后面的nginx为监控的名称，在status可以看到。
    第二三行，start program和stop program 分别编辑好进程启动和停止命令sh文件位置，必须是绝对路径
    第四行，指定if failed host IP地址的port失败，然后进行停止再启动。配置文本如下：

[online@ER9 nginx]$ vim /etc/monit.conf
#检测间隔时间配置，默认是120s
set daemon  30
set mailserver localhost
set mail-format { from: test@04007.cn }
set alert test@04007.cn
#在最后添加以下配置并编辑
check process nginx with pidfile /opt/data/pid/nginx/nginx.pidstart program = "/opt/modules/nginx/sbin/start.sh"stop program = "/opt/modules/nginx/sbin/stop.sh"if failed host 192.168.168.11 port 80 then restart#对应的启动停止命令文本
[online@ER9 nginx]$ sudo cat /opt/modules/nginx/sbin/start.sh
#!/usr/bin/env bash
cd /opt/modules/nginx/opt/modules/nginx/sbin/nginx
exit $?
[online@ER9 nginx]$ sudo cat /opt/modules/nginx/sbin/stop.sh 
#!/usr/bin/env bash
cd /opt/modules/nginx
killall nginx
exit $?

 第三步：启动monit进程

        可以通过monit status查看监控列表，比如监控的Process

[online@ER9 nginx]$ which monit
/usr/bin/monit
[online@ER9 nginx]$ sudo /usr/bin/monitNew Monit id: bfada1971c1890edd164f7951d5d1a69Stored in '/root/.monit.id'
Starting Monit 5.25.1 daemon with http interface at [localhost]:2812
#查看monit的状态
[online@ER9 nginx]$ sudo monit status
Monit 5.25.1 uptime: 0m
Process 'nginx'status                       OKmonitoring status            Monitoredmonitoring mode              activeon reboot                    startpid                          23273parent pid                   1uid                          0effective uid                0gid                          0uptime                       19mthreads                      1children                     16cpu                          -cpu total                    -memory                       0.0% [1.9 MB]memory total                 2.9% [454.3 MB]security attribute           (null)disk write                   0 B/s [8 kB total]port response time           0.140 ms to 192.168.168.11:80 type TCP/IP protocol DEFAULTdata collected               Tue, 19 Mar 2019 15:53:19System 'BFG-OSER-4469'status                       OKmonitoring status            Monitoredmonitoring mode              activeon reboot                    startload average                 [0.00] [0.00] [0.00]cpu                          0.0%us 0.0%sy 0.0%wamemory usage                 1.8 GB [11.6%]swap usage                   180 kB [0.0%]uptime                       746d 23h 59mboot time                    Thu, 02 Mar 2017 15:53:35data collected               Tue, 19 Mar 2019 15:53:19

 现在，可以在服务上执行stop.sh，然后等着monit起作用将nginx进程启来吧。

二、monit进程监控工具常用的监控配置案例示例大全

1. monit监控检测语法：

IF <TEST> THEN ACTION [ELSE IF SUCCEEDED THEN ACTION]
【action】包括 altert,start,stop.restart,exec
【alert】 触发报警邮件
【start|stop|restart】 就是触发start、stop、restart program。restart就是先执行stop再执行start.

【exec】 可以自定义一个脚本来执行

2.monit监控配置常用写法及案例

        monit可以将启动停止命令写在单独的shell文件中，也可将启动停止命令直接写在配置中；可以监控服务IP，也可以指定域名host主机；可以指定监控循环周期，遵循分时日月周定时任务配置，也可以指定排除在哪些时间段不用检测等等设置。看到有一个网页有比较详细的介绍，链接：http://www.cnblogs.com/52fhy/p/6412547.html  此处也收集了很多monit的常用监控案例，如有需要可以搜索进来快速查看和应用，笔记收录于此：

#将启动停止命令写在单独的shell文件中
check process nginx with pidfile /opt/data/pid/nginx/nginx.pidstart program = "/opt/modules/nginx/sbin/start.sh"stop program = "/opt/modules/nginx/sbin/stop.sh"if failed host 192.168.162.11 port 80 then restartif failed host www.04007.cn port 443 then restart# 设置在10个监视周期内重，启了9次则超时,不再监视这个服务。if 9 restarts within 10 cycles then timeout# 如果在5个周期内该服务的cpu使用率都超过90%则提示if cpu usage > 90% for 5 cycles then alert# 若连续5个周期打开url都失败（120秒超时，超时也认为失败）则重启服务if failed url http://127.0.0.1:4000/ timeout 120 seconds for 5 cycles then restart#exec监控再执行另外的脚本check host 192.168.11.12 with address 192.168.11.12if failed port 80 with timeout 1 seconds for 2 cycles then exec "/opt/monit/contrab/notify.py"#也可将启动停止命令直接写在配置中
check process nginx with pidfile /usr/local/nginx/run/nginx.pid
start program = "/usr/local/nginx/sbin/nginx" with timeout 30 seconds
stop  program = "/usr/local/nginx/sbin/nginx -s stop"
if failed host 192.168.162.11 port 80 protocol http then restart
if 5 restarts within 5 cycles then timeout#可以指定监控循环周期，遵循分时日月周定时任务配置
check process nginx with pidfile /var/run/nginx.pidevery 2 cycles
Example 2: Check every workday 8AM-7PMcheck program checkOracleDatabase withpath /var/monit/programs/checkoracle.plevery “* 8-19 * * 1-5”
Example 3: 在这个时间端，就不要检测  Sunday 0AM-3AMcheck process mysqld with pidfile /var/run/mysqld.pidnot every “* 0-3 * * 0”#可以用expect做数据推送check process apache with pidfile /var/run/httpd.pidstart “/etc/init.d/httpd start”stop  “/etc/init.d/httpd stop”if failed host www.sol.no port 80 andsend “GET / HTTP/1.1\r\nHost: www.04007.cn\r\n\r\n”expect “HTTP/[0-9\.]{3} 200.*”then alert#监控配置文件修改后重启各种应用
check file monit.conf path /etc/monit.conf
group system
if changed sha1 checksum
then exec "/usr/bin/monit -c /etc/monit.conf reload"#监控sshd服务
check process sshd with pidfile /var/run/sshd.pidstart program  "/etc/init.d/sshd start"stop program  "/etc/init.d/sshd stop"if failed port 22 protocol ssh then restartif 5 restarts within 5 cycles then timeout#监控sshd服务
check process mysql with pidfile /var/run/mysqld/mysqld.pidgroup databasestart program = "/etc/init.d/mysqld start"stop program = "/etc/init.d/mysqld stop"if failed host 127.0.0.1 port 3306 then restartif 5 restarts within 5 cycles then timeout#监控phpcheck process php_fpm with pidfile /var/run/php_fpm.pidstart program = "/etc/init.d/php_fpm start"stop program  = "/etc/init.d/php_fpm stop"if failed host 127.0.0.1 port 9000 then restartif 5 restarts within 5 cycles then timeout