往下看文章前可先点击上面文字领取礼物
之前写过一篇文章，介绍Nginx如何监控各server流量，主要是通过新增第三方status模块查看所有server及upstream状态进行查看，之后总有人问有没有办法监控upstream并进行告警，所以今天介绍一下，完整的upstream监控及告警方法
应用：Nginx/Tengine
模块：ngx_http_upstream_check_module
监控：zabbix
告警：企业微信/钉钉
因为默认nginx的upstream是被动式的，不会进行主动监测，所以这里直接用tengine的upstream_check模块
如果你是tengine，只要是1.4以上版本，直接默认开启该模块了，如果你是nginx，需要重新编译nginx，添加该模块，编译方法这里不多说了，下载源码，用--add-module添加编译即可
upstream_check模块提供主动式后端服务器健康检查功能，下面是该模块提供的一些指令
Syntax: check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]
Default: interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp
Context: upstream该指令可以打开后端服务器的健康检查功能，指令后面的参数意义是：
interval：向后端发送的健康检查包的间隔
fall(fall_count)：如果连续失败次数达到fall_count，服务器就被认为是down
rise(rise_count)：如果连续成功次数达到rise_count，服务器就被认为是up
timeout：后端健康请求的超时时间
default_down：设定初始时服务器的状态，如果是true，就说明默认是down的
type：健康检查包的类型，现在支持以下多种类型
port：指定后端服务器的检查端口，你可以指定不同于真实服务的后端服务器的端口，比如后端提供的是443端口的应用，你可以去检查80端口的状态来判断后端健康状况。默认是0，表示跟后端server提供真实服务的端口一样该选项出现于Tengine-1.4.0
Syntax: check_keepalive_requests request_num
Default: 1
Context: upstream
该指令可以配置一个连接发送的请求数，其默认值为1，表示Tengine完成1次请求后即关闭连接
Syntax: check_http_send http_packet
Default: "GET / HTTP/1.0"
Context: upstream
该指令可以配置http健康检查包发送的请求内容。为了减少传输数据量，推荐采用”HEAD”方法。当采用长连接进行健康检查时，需在该指令中添加keep-alive请求头，如：”HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n”。同时，在采用”GET”方法的情况下，请求uri的size不宜过大，确保可以在1个interval内传输完成，否则会被健康检查模块视为后端服务器或网络异常
Syntax: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ]
Default: http_2xx | http_3xx
Context: upstream该指令指定HTTP回复的成功状态，默认认为2XX和3XX的状态是健康的
Syntax: check_shm_size size
Default: 1M
Context: http所有的后端服务器健康检查状态都存于共享内存中，该指令可以设置共享内存的大小。默认是1M，如果你有1千台以上的服务器并在配置的时候出现了错误，就可能需要扩大该内存的大小
Syntax: check_status [html|csv|json]
Default: check_status html
Context: location显示服务器的健康状态页面。该指令需要在http块中配置。在Tengine-1.4.0以后，你可以配置显示页面的格式。支持的格式有: html、csv、 json。默认类型是html。你也可以通过请求的参数来指定格式，假设‘/status’是你状态页面的URL， format参数改变页面的格式
比如：
/status?format=html
/status?format=csv
/status?format=json下面是一个HTML状态页面的例子（server number是后端服务器的数量，generation是Nginx reload的次数。Index是服务器的索引，Upstream是在配置中upstream的名称，Name是服务器IP，Status是服务器的状态，Rise是服务器连续检查成功的次数，Fall是连续检查失败的次数，Check type是检查的方式，Check port是后端专门为健康检查设置的端口）
下面是json格式
监控数据就是从这里获取，在zabbix的agent中添加脚本如下：
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time : 2021/1/13 11:49
# @Author : lijunpeng
# @File tengine_status.py
import json
import urllib3
def call_api():
url = 'http://localhost/status?format=json'
http = urllib3.PoolManager()
up_status = http.request('Get',url).data.decode('utf-8')
up_status = json.loads(up_status)
upstreams = []
for upserver in up_status['servers']['server']:
status = {'{#UPSTREAM}': upserver['upstream'],
'{#UPNAME}': upserver['name'],
'{#UPINDEX}': upserver['index'],
'{#UPSTATUS}': upserver['status'],
'{#RISE}': upserver['rise'],
'{#FALL}': upserver['fall']}
upstreams.append(status)
result = { "data": upstreams}
return result
if __name__ == '__main__':
try:
print(call_api())
except Exception as e:
print(e)这里主要是把status返回的数据处理成zabbix需要的格式，因为我是用zabbix自动发现功能，所以这里直接写成遍历server，执行脚本输出如下：
数据收集就没问题了，接着在zabbix中添加自动发现规则
接着添加监控项原型
监控项原型主要是获取upstream后端server状态，接着添加触发器
监控很简单，就添加完了，当upstream后端server状态down掉就会触发规则，将告警信息通过告警媒介发送到企业微信，当然你也可以是钉钉或短信，看你自己配置的告警媒介
恢复后通知：
另外总有大佬加微信说想加群，所以这里建了个群供大佬们交流，想进的公众号菜单点交流群，扫码直接进
本文分享自微信公众号 - 运维研习社（gh_4135e2716ad3）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。