Linux LVS(ipvsadm)配置

Linux Linux运维 2015年7月20日

LVS集群有DR、TUN、NAT三种配置模式，可以对www服务、FTP服务、MAIL服务等做负载均衡。LVS集群采用IP负载均衡技术和基于内容请求分发技术，调度器具有很好的吞吐率。LVS将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。下面通过搭建www服务的负载均衡，讲述基于DR模式的LVS集群配置。

一、 Director Server 的配置
在Director Server上配置LVS负载均衡集群，有两种方法：
通过ipvsadm命令行进行配置
安装IPVS后，就可以配置LVS集群了，首先在Director Server上绑定一个虚拟IP（也叫VIP），此IP用于对外提供服务，执行如下命令：
[cc lang=”bash”][root@raykaeso ~]# ifconfig eth0:0 192.168.60.200 broadcast 192.168.60.200 netmask 255.255.255.255 up[/cc]
此处在eth0设备上绑定了一个虚拟设备eth0:0，同时设置了一个虚拟IP是192.168.60.200，也就是上面我们规划的IP地址，然后指定广播地址也为192.168.60.200，需要特别注意的是，这里的子网掩码为255.255.255.255。
然后给设备eth0:0指定一条路由，执行如下指令：
[cc lang=”bash”][root@raykaeso ~]# route add -host 192.168.60.200 dev eth0:0[/cc]
接着启用系统的包转发功能，从而使系统充当路由器，执行如下指令：
[cc lang=”bash”][root@raykaeso ~]# echo “1” >/proc/sys/net/ipv4/ip_forward[/cc]
指令中，参数值为1时启用ip转发，为0时禁止ip转发。其实在DR模式中，开启系统的包转发功能不是必须的，而在NAT模式下此操作是必须的。
然后开始配置ipvs，执行如下操作：
[cc lang=”bash”][root@raykaeso ~]# ipvsadm -C
[root@raykaeso ~]# ipvsadm -A -t 192.168.60.200:80 -s rr -p 600
[root@raykaeso ~]# ipvsadm -a -t 192.168.60.200:80 -r 192.168.60.132:80 -g
[root@raykaeso ~]# ipvsadm -a -t 192.168.60.200:80 -r 192.168.60.144:80 -g[/cc]
上面操作中，第一行是清除内核虚拟服务器列表中的所有记录，第二行是添加一条新的虚拟IP记录。这个新的IP是192.168.60.200，同时指定持续服务时间为600秒。第三、四行是在新加虚拟IP记录中添加两条新的Real Server记录，并且指定LVS 的工作模式为直接路由模式。
最后，启动LVS服务，执行如下操作：
[cc lang=”bash”][root@raykaeso ~]# ipvsadm[/cc]
这样，LVS在Director Server上的配置就完成了。
为了管理和配置的方便，可以将上面的操作写出一个脚本文件，脚本内容如下：
[cc lang=”vim” escaped=”true”]#!/bin/bash
VIP=192.168.60.200
RIP1=192.168.60.132
RIP2=192.168.60.144
GW=192.168.60.1
# set the Virtual IP Address
/sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev eth0:0
echo “1” >/proc/sys/net/ipv4/ip_forward
#Clear IPVS table
/sbin/ipvsadm -C
#set LVS
/sbin/ipvsadm -A -t $VIP:80 -s rr -p 600
/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
#Run LVS
/sbin/ipvsadm
#end[/cc]
也可以写成可启动与停止的服务脚本，脚本内容如下：
[cc lang=”vim” escaped=”true”]#!/bin/sh
# description: Start LVS of Director server
VIP=192.168.60.200
RIP1=192.168.60.132
RIP2=192.168.60.144
./etc/rc.d/init.d/functions
case “$1″ in
start)
echo ” start LVS of Director Server”
# set the Virtual IP Address and sysctl parameter
/sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.255 up
echo “1” >/proc/sys/net/ipv4/ip_forward
#Clear IPVS table
/sbin/ipvsadm -C
#set LVS
/sbin/ipvsadm -A -t $VIP:80 -s rr -p 600
/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
#Run LVS
/sbin/ipvsadm
;;
stop)
echo “close LVS Directorserver”
echo “0” >/proc/sys/net/ipv4/ip_forward
/sbin/ipvsadm -C
/sbin/ifconfig eth0:0 down
;;
*)
echo “Usage: $0 {start|stop}”
exit 1
esac[/cc]
将此脚本命名为lvsDR文件，然后把文件放到/etc/init.d下，执行：
[cc lang=”bash”][root@raykaeso ~]# chomd 755 /etc/init.d/lvsDR[/cc]
最后可以通过下面命令启动或停止LVS服务：
[cc lang=”bash”][root@Linux ~]# service lvsDR {start|stop}[/cc]
到此为止，命令行方式配置Director Server完毕。

二、Real server 的配置
在lvs的DR和TUn模式下，用户的访问请求到达真实服务器后，是直接返回给用户的，而不再经过前端的Director Server，因此，就需要在每个Real server节点上增加虚拟的VIP地址，这样数据才能直接返回给用户，增加VIP地址的操作可以通过创建脚本的方式来实现，创建文件/etc/init.d/lvsrs，脚本内容如下：
[cc lang=”vim” escaped=”true”]#!/bin/bash
VIP=192.168.60.200
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev lo:0
echo “1” >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo “2” >/proc/sys/net/ipv4/conf/lo/arp_announce
echo “1” >/proc/sys/net/ipv4/conf/all/arp_ignore
echo “2” >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p
#end[/cc]
此操作是在回环设备上绑定了一个虚拟IP地址，并设定其子网掩码为255.255.255.255，与Director Server上的虚拟IP保持互通，然后禁止了本机的ARP请求。
上面脚本也可以写成可启动与停止的服务脚本，内容如下：
[cc lang=”bash” escaped=”true”][root@Linux ~]#more /etc/init.d/lvsrs
#!/bin/bash
#description : Start Real Server
VIP=192.168.60.200
./etc/rc.d/init.d/functions
case “$1″ in
start)
echo ” Start LVS of Real Server”
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
echo “1” >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo “2” >/proc/sys/net/ipv4/conf/lo/arp_announce
echo “1” >/proc/sys/net/ipv4/conf/all/arp_ignore
echo “2” >/proc/sys/net/ipv4/conf/all/arp_announce
;;
stop)
/sbin/ifconfig lo:0 down
echo “close LVS Director server”
echo “0” >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo “0” >/proc/sys/net/ipv4/conf/lo/arp_announce
echo “0” >/proc/sys/net/ipv4/conf/all/arp_ignore
echo “0” >/proc/sys/net/ipv4/conf/all/arp_announce
;;
*)
echo “Usage: $0 {start|stop}”
exit 1
esac[/cc]
然后，修改lvsrs有可执行权限：
[cc lang=”bash”][root@Linux ~]# chomd 755 /etc/init.d/lvsrs[/cc]
最后，可以通过下面命令启动或关闭lvsrs
[cc lang=”bash”][root@Linux ~]# service lvsrs {start|stop}[/cc]
由于虚拟ip，也就是上面的VIP地址，是Director Server和所有的Real server共享的，如果有ARP请求VIP地址时，Director Server与所有Real server都做应答的话，就出现问题了，因此，需要禁止Real server响应ARP请求。而lvsrs脚本的作用就是使Real Server不响应arp请求。
对于2.4以下低版本，在Real Server上要安装ARP hidden内核补丁,幸运的是，在2.6内核中通过调整内核参数即可忽略ARP广播回应。

三、在Director上配置冗余策略 Ldirectord
Ldirectord的作用是监测Real Server，当Real Server失效时，把它从虚拟服务器列表中删除，恢复时重新添加到列表，在前面文章介绍heartbeat时默认已经安装了Ldirectord，因此。这里只需进行配置即可。Ldirectord的配置文件是/etc/ha.d/ldirectord.cf。
下面是需要配置的选项，注意，#号后面的内容为注释：
[cc lang=”vim”]# Global Directives
checktimeout=20 #判定real server出错的时间间隔。
checkinterval=10 #指定ldirectord在两次检查之间的间隔时间。
fallback=127.0.0.1:80 #当所有的real server节点不能工作时，web服务重定向的地址。
autoreload=yes #是否自动重载配置文件，选yes时，配置文件发生变化，自动载入配置信息。
logfile=”/var/log/ldirectord.log” #设定ldirectord日志输出文件路径。
quiescent=no #当选择no时，如果一个节点在checktimeout设置的时间周期内没有响应，ldirectord将会从LVS的路由表中直接移除real server，此时，将中断现有的客户端连接，并使LVS丢掉所有的连接跟踪记录和持续连接模板，如果选择为yes，当某个real server失效时，ldirectord将失效节点的权值设置为0，新的连接将不能到达，但是并不从LVS路由表中清除此节点，同时，连接跟踪记录和程序连接模板仍然保留在Director上。
注意：以上几行为ldirectord.cf文件的“全局”设置，它们可以应用到下面多个虚拟主机，下面是每个虚拟主机的配置。
# Sample for an http virtual service
virtual=192.168.60.200:80 #指定虚拟的IP地址和端口号，注意，在virtual行后面的行必
须缩进4个空格或以一个tab字符进行标记。
real=192.168.60.132:80 gate #指定Real Server服务器地址和端口，同时设定LVS工作模式，
用gate表示DR模式，ipip表示TUNL模式，masq表示NAT模式。
real=192.168.60.144:80 gate
fallback=127.0.0.1:80 gate
service=http #指定服务的类型，这里是对http服务做负载均衡。
request=”index.html” #ldirectord将根据指定的Real Server地址，结合该选项给出
的请求路径，发送访问请求，检查Real Server上的服务是否正
常运行，确保这里给出的页面地址是可访问的，不然ldirectord
会误认为此节点已经失效，发生错误监控现象。
receive=”ok” #指定检测的关键字，这里的设置表示测试访问index.html页面是否包含ok关键字，如果有则说明该节点正常，否则认定为故障。
scheduler=rr #指定调度算法，这里是rr（轮叫）算法。
protocol=tcp #指定协议的类型，LVS支持TCP和UDP协议。
checktype=negotiate #指定Ldirectord的检测类型，默认为negotiate。
checkport=80 #指定监控的端口号。
virtualhost=www.gaojf.com #虚拟服务器的名称，随便指定。[/cc]
配置完毕，就可以执行如下命令启动或关闭ldirectord服务
[cc lang=”bash”][root@Linux ~]# /etc/init.d/ldirectord {start|stop}[/cc]
Ldirectord的核心作用是监控Real Server节点状态，同时，它还能调用ipvsadm自动创建LVS路由表，这点从ldirectord.cf中可以看出，
这里需要说明的是，ldirectord和Piranha都具有监控Real Server的功能，如果要通过ldirectord监控节点状态，只需启动ldirectord服务，整个集群系统就可以运行起来，而无需执行上面我们配置的LVS脚本，因为ldirectord会自动调用ipvsadm创建LVS路由表，而我们上面讲述的利用ipvsadm命令行方式配置LVS，是为了让读者能更深入的了解ipvsadm的实现细节和实现机制。

来源：Linux LVS(ipvsadm)配置