一、LVS-DR原理剖析

(一)LVS-DR数据包流向分析

部署LVS-DR群集-LMLPHP部署LVS-DR群集-LMLPHP

1、Client向目标VIP发出请求,Director(负载均衡器)接收。此时IP包头及数据帧头信息为:

部署LVS-DR群集-LMLPHP

2、Director根据负载均衡算法选择RealServer_1,不修改也不封装IP报文,而是将数据帧的MAC地址改为RealServer_1的MAC地址,然后在局域网上发送。IP包头及数据帧头信息如下:

部署LVS-DR群集-LMLPHP

3、RealServer_1收到这个帧,解封装后发现目标IP与本机匹配(RealServer事先绑定了VIP),于是处理这个报文。随后重新封装报文,发送到局域网。此时IP包头及数据帧头信息为:

部署LVS-DR群集-LMLPHP

(二)LVS-DR中的ARP问题

1、问题阐述

部署LVS-DR群集-LMLPHP

  在LVS-DR负载均衡群集中,负载均衡器与节点服务器都要配置相同的VIP地址,在局域网中具有相同的IP地址,势必会造成各服务器ARP通信的紊乱,当一个ARP广播发送到LVS-DR集群时,因为负载均衡器和节点服务器都是连接到相同的网络上的,他们都会接受到ARP广播,这个时候应该只有前端的负载均衡器进行相应,其他节点服务器不应该响应ARP广播。

2、处理方法

  对节点服务器进行处理,使其不响应针对VIP的ARP请求

(1)使用虚接口lo:0承载VIP地址,意思就是我们给每个节点配置的VIP并不是针对网卡而设置的,虚接口里的VIP只是标识这个节点中有这么一个ip地址而已,但不是某一个具体网卡上的

(2)那么我们还需要设置系统只响应目的IP为本地IP的ARP请求,也就是说让这个VIP不响应ARP请求,这样我们可设置内核参数arp_ignore=1

3、应答过程分析

部署LVS-DR群集-LMLPHP

  RealServer返回报文(源IP是VIP)经路由器转发,在重新封装报文时,需要先获取路由器的MAC地址,发送ARP请求时,Linux默认使用IP包的源IP地址(即VIP)作为ARP请求包中的源IP地址,而不使用发送接口(例如eth0)的IP地址。路由器收到ARP请求后,将更新ARP表项,原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址

4、新ARP请求问题

部署LVS-DR群集-LMLPHP

  由于路由器更新了ARP表项,此时新来的请求报文,会将该报文转发给RealServer,从而导致Director的VIP失效!

5、新问题处理方法

  对节点服务器进行处理,让系统不使用IP包的源地址来设置ARP请求的源地址,而选择发送接口的IP地址,设置内核参数arp_announce=2

6、解决ARP的两个问题的设置方法:修改/etc/sysctl.conf 文件

net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

二、LVS-DR配置

案例环境

部署LVS-DR群集-LMLPHP

  一台LVS调度器、四台节点服务器,均配置双网卡:第一块网卡eth0连接至Internet,位于192.168.10.0/24网段,第二块网卡eth1连接至内网,位于192.168.7.0/24网段,共享存储由一台Linux服务器承担,将目录/var/www/html发布为NFS可写共享。只允许LVS调度器、节点服务器访问,以root用户挂载时允许写入,Web群集的地址为192.168.10.70,通过此地址访问公司的Web站点

部署步骤

(一)配置LVS调度器
1、配置IP和VIP
1)配置IP

[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 

2)配置VIP

[root@localhost ~]#cp /etc/sysconfig/network-scripts/ifcfg-eth0  /etc/sysconfig/networkscripts/ifcfg-eth0:0
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0:0
添加:
DEVICE=eth0:0
ONBOOT=yes
IPADDR=192.168.10.70
NETMASK=255.255.255.0
[root@localhost ~]# service network restart

2、调整响应参数

[root@localhost ~]# vim /etc/sysctl.conf
添加:
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.eth0.send_redirects = 0
[root@localhost ~]# sysctl -p

3、安装并配置ipvsadm

[root@localhost ~]# rpm -ihv /mnt/Packages/ipvsadm-1.26-2.el6.x86_64.rpm
[root@localhost ~]# ipvsadm -A -t 192.168.10.70:80 -s rr #添加虚拟director的vip地址,轮询的调度算法
[root@localhost ~]# ipvsadm -a -t 192.168.10.70:80 -r 192.168.10.77 -g -w 1 #添加rip,-g代表DR模式
[root@localhost ~]# ipvsadm -a -t 192.168.10.70:80 -r 192.168.10.78 -g -w 1
[root@localhost ~]# ipvsadm -L -n #查询配置
[root@localhost ~]# service ipvsadm save
[root@localhost ~]# chkconfig --add ipvsadm
[root@localhost ~]# chkconfig ipvsadm on
[root@localhost ~]# service ipvsadm start
 vim /etc/sysconfig/ipvsadm 进去可以删除

(二)配置WEB节点服务器
1、配置IP地址
1)设置IP

[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 

2)设置VIP

[root@localhost ~]# cp /etc/sysconfig/network-scripts/ifcfg-lo /etc/sysconfig/networkscripts/ifcfg-lo:0
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo:0
修改项如下:
DEVICE=lo:0
IPADDR=192.168.10.70
NETMASK=255.255.255.255
ONBOOT=yes

3)添加路由

[root@localhost ~]# route add -host 192.168.10.70 dev lo:0  #将vip限制在本机
[root@localhost ~]# echo "route add -host 192.168.10.70 dev lo:0" >> /etc/rc.local

2、调整响应参数

[root@localhost ~]# vim /etc/sysctl.conf
添加:
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
[root@localhost ~]# sysctl -p
arp——ignore定义了网卡在响应外部arp请求时候的相应级别,0默认值,不管哪块网卡接收到了arp请求,只要发现本机有这个mac都给响应,1总是使用最合适的网卡来响应,一个主机有多块网卡,其中一块网卡接收到了arp请求,发现所请求的mac是本机的另一块网卡的,这个时候接收到arp请求的这块网卡就一定不响应,只有发现请求的mac是自己的才响应。

 

3、配置http服务

[root@localhost ~]# echo "welcome to 192.168.10.78 web server" > /var/www/html/index.html
[root@localhost ~]# service httpd restart

(三)验证
1、客户端访问:

[root@localhost ~]# http://192.168.10.70/ 或者 while :;do curl 192.168.10.70;sleep 0.1;done

2、在LVS上查看:

[root@localhost ~]# ipvsadm -Lnc
05-23 06:05