原理
nginx 可以实现负载均衡,但 nginx 自身存在单点故障的问题,这时候最先想到的就是 keepalived,可以解决单点故障的问题
由于没有使用 lvs,所以这里 nginx 之间不存在负载均衡
同时,如果 keepalived 的 master 节点 nginx 服务宕了以后,如果 keepalived 还在运行,则用户就访问不到 nginx 服务了,所以需要添加监控脚本,当 nginx 宕机时,杀死本机的 keepalived 服务
这样,keepalived 的 master 就会切换,同时用户访问的 nginx 服务也会切换到原来的 backup 节点
测试节点
RIP | VIP | |
MASTER | 192.168.132.136 | 192.168.132.200 |
SLAVE | 192.168.132.140 | 192.168.132.200 |
配置nginx
安装 nginx 不是重点,这里就是用 yum 简单安装
yum -y install nginx
systemctl start nginx
配置keepalived
安装 keepalived 使用 yum 安装即可
keepalived 配置如下:
global_defs {
notification_email {
[email protected]
}
notification_email_from [email protected]
smtp_server smtp.exmail.qq.com
smtp_connect_timeout
router_id my-slave
} vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh"
interval
} vrrp_instance my_nginx {
state MASTER # BACKUP 节点这里配置成 BACKUP
interface ens37
virtual_router_id
priority # BACKUP 节点配置要比该值小
advert_int # vrrp_script定义的chk_nginx需要放到vrrp_instance里,用track_script指定,才能执行
track_script {
chk_nginx
} authentication {
auth_type PASS
auth_pass
}
virtual_ipaddress {
192.168.132.200/ dev ens37 label ens37:
}
}
以上配置中,重点在脚本 /etc/keepalived/nginx_check.sh
该脚本会被每 5s 执行一次,用来检测 nginx 是否存活,如果不存活,则尝试重启 nginx,启动失败的话,会将本机的 keepalived 服务也杀死,保证切换主节点,不影响 nginx 访问
脚本 /etc/keepalived/nginx_check.sh 内容如下:
#!/bin/bash # 注意,整个脚本的执行时间必须小于keepalived中定义的时间间隔,即interval定义的时间,否则下次执行脚本时,会杀死上次正在执行的脚本
systemctl status nginx &> /dev/null
# 检查nginx状态,nginx正常运行,$?为0,否则为非零数
if [ $? -ne ];then
systemctl start nginx # 启动nginx后等待2s,保证nginx已经正常启动运行,如果nginx还未正常运行,则关闭keepalived服务,使用备用keepalived
sleep
systemctl status nginx &> /dev/null if [ $? -ne ];then
systemctl stop keepalived
fi
fi
keepalived 配置公网虚拟IP
因为内网IP我们可以随意支配,随意容易配置,但配置公网虚拟IP时,还是有很大不同的,这里以云厂商提供的云主机为例
首先,需要主备keepalived机器都包含两个网卡,其中一个网卡为绑定内网,另一个绑定公网
事实上,两台云主机只需要有一个绑定了公网即可,但网卡数量不能少
大部分云厂商提供的云主机中,都包含公网网卡,但是也有只有内网网卡的
之所以可以使用公网IP访问,应该是通过路由器设置的,如金山云的云主机就只有内网网卡,这种机器暂时不知道怎么配置keepalived 的虚拟公网IP
这里服务器ip如下:
服务器 | 内网 | 外网 |
A | 192.168.10.30 | 118.110.20.14 |
B | 192.168.10.40 |
外网IP的默认路由为118.110.20.11
内网网卡名为 ens224
外网网卡名为 ens160
方法一:
这里需要将两个服务器外网网卡都配置成不包含IP的配置并启动:
[admin@test ~]$ cat /etc/sysconfig/network-scripts/ifcfg-ens160
# 其中大部分配置都不是必须的,只需要能保证网卡能正常启动且不包含IP即可
HWADDR=:::8b::
NAME=ens160
# GATEWAY=118.110.20.12
# NETMASK=255.255.255.240
# IPADDR=118.110.20.14
DNS1=8.8.4.4
DNS2=8.8.8.8
DOMAIN=example
DEVICE=ens160
ONBOOT=yes
USERCTL=no
BOOTPROTO=static
PEERDNS=no check_link_down() {
return ;
}
keepalived配置如下:
# 这里只列出了主要部分,其他部分按照前面的例子来即可
vrrp_instance my_nginx {
state MASTER
interface ens224 # 这里必须写成内网网卡名,不能写成外网网卡名
virtual_router_id
priority
advert_int track_script {
chk_nginx
} authentication {
auth_type PASS
auth_pass 111111
}
virtual_ipaddress {
118.110.20.14/ dev ens160 # 这里配置和上面的例子不一样,相当于直接配置ens160网卡,没用到label
}
virtual_routes {
default via 118.110.20.12 # 这里配置默认路由
}
}
注意,我们前面的例子中,interface 和虚拟网卡指定的网卡名都是一样,但事实上,这两个是没有联系的
interface 指定的网卡是用来发送arrp包的源地址,而虚拟网卡指定的网卡是为了做虚拟IP的
因为,如果我们这里interface 指定的网卡名为ens160,由于这个网卡没有IP,则由于发送arrp包时找不到源地址,而导致启动keepalived失败,报错如下,在/var/log/message中能找到报错信息:
Cannot find an IP address to use for interface
方法二:
主要思路是,两台机器都配置好公网网卡,IP都配置成118.193.20.4,然后让主的公网网卡启动,从的公网网卡关闭
具体步骤如下:
网卡配置如下:
[root@test sites]# cat /etc/sysconfig/network-scripts/ifcfg-ens160
HWADDR=:::8b:0e:
NAME=ens160
GATEWAY=118.110.20.12
DNS1=8.8.4.4
DNS2=8.8.8.8
DOMAIN=example
DEVICE=ens160
ONBOOT=yes
USERCTL=no
BOOTPROTO=static
NETMASK=255.255.255.240
IPADDR=118.110.20.14
PEERDNS=no check_link_down() {
return ;
}
keepalived配置如下:
vrrp_instance my_nginx {
state BACKUP
interface ens224 # 这里必须写成内网网卡名,不能写成外网网卡名
virtual_router_id
priority
advert_int track_script {
chk_nginx
} authentication {
auth_type PASS
auth_pass 111111
}
notify_master /etc/keepalived/script/master.sh
notify_backup /etc/keepalived/script/backup.sh
}
这里master.sh内容如下,主要功能是保证公网网卡启动:
#!/bin/bash ifconfig | grep 118.110.20.14
if [ $? -ne ];then
ifconfig ens160 up
fi
backup.sh内容如下,主要功能就是关闭公网网卡:
#!/bin/bash # 即使已经关闭了,再执行该命令也不会有报错,所以不用做判定
ifconfig ens160 down