lvs+keepalived 实现 负载均衡
LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术(VS/NAT、VS/TUN和VS/DR)、十种调度算(rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq)。
LVS在Unix-like系统中是作为一个前端(Director)存在的,又称为调度器,它本身不提供任何的服务,只是将通过互联网进来的请求接受后再转发给后台运行的真正的服务器(RealServer)进行处理,然后响应给客户端。
LVS有两个重要的组件:一个是IPVS,一个是IPVSADM。ipvs是LVS的核心组件,它本身只是一个框架,类似于iptables,工作于内核空间中。ipvsadm 是用来定义LVS的转发规则的,工作于用户空间中。
在DR、TUN模式中,数据包是直接返回给用户的,所以,在Director Server上以及集群的每个节点上都需要设置这个地址。此IP在Real Server上一般绑定在回环地址上,例如lo:0,同样,在Director Server上,虚拟IP绑定在真实的网络接口设备上,例如eth0:0
Director :前端调度器
dip:director ip,前端调度器IP地址
DS:director server,前端调度器服务器
RS:real server
RIP:real server ip
虚拟ip : 192.168.0.200,默认指向Master(192.168.0.42) KP服务器1 : Master,192.168.0.42, 该机器上同时运行socket服务(端口8021),用作sorry_server且通常不提供服务; KP服务器2 : Backup,192.168.0.49 , 该机器上同时运行socket服务(端口8021),用作sorry_server且通常不提供服务; 真实服务器3 : web01 ,192.168.0.82, 该机器上运行socket服务(端口8021)用作后端server且通常提供服务; 真实服务器4 : web02 ,192.168.0.87, 该机器上运行socket服务(端口8021)用作后端server且通常提供服务;
注意:
当使用LVS+DR+Keepalived配置时,需要在real server上添加一条iptables规则(其中dport根据情况添加或缺省):
# iptables -t nat -A PREROUTING -p tcp -d 192.168.9.82 --dport 8021 -j REDIRECT
当使用LVS+NAT+Keepalived配置时,需要将real server的默认路由配置成Director的VIP10.67.15.94
,必须确保client的请求是通过10.67.15.94
到达real server的。
[root@slave02 ~]# yum install -y kernel-devel
[root@slave02 ~]# ln -s /usr/src/kernels/3.10.0-514.16.1.el7.x86_64/ /usr/src/linux
[root@slave02 ~]# yum install -y ipvsadm
[root@slave02 ~]# yum install keepalived
global_defs {
notification_email {
runzh@163.com # 指定keepalived在发生切换时需要发送email到的对象,一行一个
}
#notification_email_from Alexandre.Cassen@firewall.loc # 指定发件人
#smtp_server 192.168.200.1 # smtp 服务器地址
#smtp_connect_timeout 30 # smtp 服务器连接超时时间
router_id LVS_DEVEL # 运行keepalived机器的一个标识
}
vrrp_script chk_http_port {
# script "/usr/local/src/check_nginx_pid.sh"
script "</dev/tcp/127.0.0.1/80"
interval 2 #(检测脚本执行的间隔)
weight -2
}
# 以上意思是如果script中的指令执行失败,那么相应的vrrp_instance的优先级会减少10个点。
vrrp_instance VI_1 {
state MASTER #
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.0.200
}
}
virtual_server 192.168.14.200 8021 {
delay_loop 6 # 设置健康检查时间,单位是秒
lb_algo wlc # 设置负载调度的算法为wlc(最小加权算法)
lb_kind DR # 设置LVS负载均衡模式为dr机制(NAT、TUN、DR)
persistence_timeout 50 # 会话保持时间
protocol TCP # 指定转发协议类型(TCP、UDP)
sorry_server 127.0.0.1 8021 # 当所有的real_server都不可用时将请求转发到该server上
real_server 192.168.0.82 8021 { # 设置真实的后端server
weight 3 # 配置节点权值,数字越大权重越高
TCP_CHECK { # 健康检查方式
connect_timeout 10 # 连接超时
nb_get_retry 3 # 重试次数
delay_before_retry 3 # 重试间隔
connect_port 8021 # 检查时连接的端口
}
}
real_server 192.168.0.87 8021 { # 设置真实的后端server
weight 3 # 配置节点权值,数字越大权重越高
TCP_CHECK { # 健康检查方式
connect_timeout 10 # 连接超时
nb_get_retry 3 # 重试次数
delay_before_retry 3 # 重试间隔
connect_port 8021 # 检查时连接的端口
}
}
}
在Backup上,其keepalived.conf与Master上基本一致,注意修改state为BACKUP,priority值改小即可。
启动keepalived,
service keepalived start
在KP服务器上运行:
ipvsadm -L -n
结果:
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.0.200:8021 wlc persistent 50
-> 192.168.0.82:8021 Route 3 0 0
-> 192.168.0.87:8021 Route 3 0 0
keepalived常用的检查方式有:
其中常用的健康检查方式健康检查方式一共有HTTP_GET、SSL_GET、TCP_CHECK、SMTP_CHECK和MISC_CHECK等
需要ipvs及ipvsadm模块
如果你的linux版本在2.6以上,那么是已经安装IPVS的,如果不是2.6版本以上的,那就需要自己安装
通过这个命令可以查看IPVS是否安装:modprobe -l | grep ipvs
在DR、TUN模式中,数据包是直接返回给用户的,所以,在Director Server上以及集群的每个节点上都需要设置这个地址。此IP在Real Server上一般绑定在回环地址上,例如lo:0,同样,在Director Server上,虚拟IP绑定在真实的网络接口设备上,例如eth0:0。
Master、Backup:keepalived
web01、web02:设置lvs选项
vi /etc/init.d/lvs
#!/bin/bash
# decription:start realserver
vip=192.168.9.200 # 虚拟ip,注意和Master、Backup上的virtual_ipaddress保持一致
source /etc/rc.d/init.d/functions
case $1 in
start)
echo "Start Realserver"
/sbin/ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
;;
stop)
echo "Stop Realserver"
/sbin/ifconfig lo:0 down
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
;;
status)
# Status of LVS-DR real server.
islothere=`/sbin/ifconfig lo:0 | grep $vip`
isrothere=`netstat -rn | grep "lo:0" | grep $vip`
if [ ! "$islothere" -o ! "isrothere" ]
then
echo "LVS-DR real server Stopped."
else
echo "LVS-DR Running."
fi
;;
*)
echo "Usage: $0 (start | stop)"
exit 1
esac
RR算法: LVS负载均衡算法1.轮叫调度(Round-RobinScheduling)
WRR算法: LVS负载均衡算法2.加权轮叫调度(WeightedRound-RobinScheduling)
LC算法: LVS负载均衡算法3.最小连接调度(Least-ConnectionScheduling)
WLC算法: LVS负载均衡算法4.加权最小连接调度(WeightedLeast-ConnectionScheduling)
LBLC算法: LVS负载均衡算法5.基于局部性的最少链接(Locality-BasedLeastConnectionsScheduling)
LBLCR算法: LVS负载均衡算法6.带复制的基于局部性最少链接(Locality-BasedLeastConnectionswithReplicationScheduling)
DH算法: LVS负载均衡算法7.目标地址散列调度(DestinationHashingScheduling)
SH算法: LVS负载均衡算法8.源地址散列调度(SourceHashingScheduling)
keepalived是集群管理中保证集群高可用的一个服务软件,其功能类似于heartbeat,用来防止单点故障。
keepalived是以VRRP协议为实现基础的,VRRP全称Virtual Router Redundancy Protocol,即虚拟路由冗余协议。
虚拟路由冗余协议,可以认为是实现路由器高可用的协议,即将N台提供相同功能的路由器组成一个路由器组,这个组里面有一个master和多个backup,master上面有一个对外提供服务的vip(该路由器所在局域网内其他机器的默认路由为该vip),master会发组播,当backup收不到vrrp包时就认为master宕掉了,这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。
keepalived主要有三个模块,分别是core、check和vrrp。core模块为keepalived的核心,负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查,包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。
keepalived只有一个配置文件keepalived.conf,里面主要包括以下几个配置区域,分别是global_defs、static_ipaddress、static_routes、vrrp_script、vrrp_instance和virtual_server。
主要是配置故障发生时的通知对象以及机器标识
global_defs {
notification_email {
a@abc.com
b@abc.com
...
}
notification_email_from alert@abc.com
smtp_server smtp.abc.com
smtp_connect_timeout 30
enable_traps
router_id host163
}
static_ipaddress和static_routes区域配置的是是本节点的IP和路由信息。如果你的机器上已经配置了IP和路由,那么这两个区域可以不用配置。其实,一般情况下你的机器都会有IP地址和路由信息的,因此没必要再在这两个区域配置。
static_ipaddress {
10.210.214.163/24 brd 10.210.214.255 dev eth0
...
}
static_routes {
10.0.0.0/8 via 10.210.214.1 dev eth0
...
}
以上分别表示启动/关闭keepalived时在本机执行的如下命令:
# /sbin/ip addr add 10.210.214.163/24 brd 10.210.214.255 dev eth0
# /sbin/ip route add 10.0.0.0/8 via 10.210.214.1 dev eth0
# /sbin/ip addr del 10.210.214.163/24 brd 10.210.214.255 dev eth0
# /sbin/ip route del 10.0.0.0/8 via 10.210.214.1 dev eth0
注意: 请忽略这两个区域,因为我坚信你的机器肯定已经配置了IP和路由。
用来做健康检查的,当时检查失败时会将vrrp_instance
的priority
减少相应的值。
vrrp_script chk_http_port {
script "</dev/tcp/127.0.0.1/80"
interval 1
weight -10
}
以上意思是如果script
中的指令执行失败,那么相应的vrrp_instance
的优先级会减少10个点。
vrrp_instance用来定义对外提供服务的VIP区域及其相关属性。
vrrp_rsync_group用来定义vrrp_intance组,使得这个组内成员动作一致。举个例子来说明一下其功能:
两个vrrp_instance同属于一个vrrp_rsync_group,那么其中一个vrrp_instance发生故障切换时,另一个vrrp_instance也会跟着切换(即使这个instance没有发生故障)。
vrrp_sync_group VG_1 {
group {
inside_network # name of vrrp_instance (below)
outside_network # One for each moveable IP.
...
}
notify_master /path/to_master.sh
notify_backup /path/to_backup.sh
notify_fault "/path/fault.sh VG_1"
notify /path/notify.sh
smtp_alert
}
vrrp_instance VI_1 {
state MASTER
interface eth0
use_vmac <VMAC_INTERFACE>
dont_track_primary
track_interface {
eth0
eth1
}
mcast_src_ip <IPADDR>
lvs_sync_daemon_interface eth1
garp_master_delay 10
virtual_router_id 1
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 12345678
}
virtual_ipaddress {
10.210.214.253/24 brd 10.210.214.255 dev eth0
192.168.1.11/24 brd 192.168.1.255 dev eth1
}
virtual_routes {
172.16.0.0/12 via 10.210.214.1
192.168.1.0/24 via 192.168.1.1 dev eth1
default via 202.102.152.1
}
track_script {
chk_http_port
}
nopreempt
preempt_delay 300
debug
notify_master <STRING>|<QUOTED-STRING>
notify_backup <STRING>|<QUOTED-STRING>
notify_fault <STRING>|<QUOTED-STRING>
notify <STRING>|<QUOTED-STRING>
smtp_alert
}
注意: 同一网段中virtual_router_id的值不能重复,否则会出错,相关错误信息如下。
Keepalived_vrrp[27120]: ip address associated with VRID not present in received packet :
one or more VIP associated with VRID mismatch actual MASTER advert
bogus VRRP packet received on eth1 !!!
receive an invalid ip number count associated with VRID!
VRRP_Instance(xxx) ignoring received advertisment...
可以用这条命令来查看该网络中所存在的vrid:tcpdump -nn -i any net 224.0.0.0/8
首先nopreemt必须在state为BACKUP的节点上才生效(因为是BACKUP节点决定是否来成为MASTER的),其次要实现类似于关闭auto failback的功能需要将所有节点的state都设置为BACKUP,或者将master节点的priority设置的比BACKUP低。我个人推荐使用将所有节点的state都设置成BACKUP并且都加上nopreempt选项,这样就完成了关于autofailback功能,当想手动将某节点切换为MASTER时只需去掉该节点的nopreempt选项并且将priority改的比其他节点大,然后重新加载配置文件即可(等MASTER切过来之后再将配置文件改回去再reload一下)。
当使用track_script
时可以不用加nopreempt
,只需要加上preempt_delay 5
,这里的间隔时间要大于vrrp_script
中定义的时长。
nopreempt
选项。virtual_server_group一般在超大型的LVS中用到,一般LVS用不过这东西,因此不多说。
virtual_server IP Port {
delay_loop <INT>
lb_algo rr|wrr|lc|wlc|lblc|sh|dh
lb_kind NAT|DR|TUN
persistence_timeout <INT>
persistence_granularity <NETMASK>
protocol TCP
ha_suspend
virtualhost <STRING>
alpha
omega
quorum <INT>
hysteresis <INT>
quorum_up <STRING>|<QUOTED-STRING>
quorum_down <STRING>|<QUOTED-STRING>
sorry_server <IPADDR> <PORT>
real_server <IPADDR> <PORT> {
weight <INT>
inhibit_on_failure
notify_up <STRING>|<QUOTED-STRING>
notify_down <STRING>|<QUOTED-STRING>
# HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK
HTTP_GET|SSL_GET {
url {
path <STRING>
# Digest computed with genhash
digest <STRING>
status_code <INT>
}
connect_port <PORT>
connect_timeout <INT>
nb_get_retry <INT>
delay_before_retry <INT>
}
}
}
其他选项暂时不作说明。
主从切换比较让人蛋疼,需要将backup配置文件的priority选项的值调整的比master高50个点,然后reload配置文件就可以切换了。当时你也可以将master的keepalived停止,这样也可以进行主从切换。
iptables -F #删除所有iptables规则
iptables -X #删除除默认链之外的所有iptables链
最主要的原因是selinux未关闭,试了好多次才试出来.
vi /etc/sysconfig/selinux
selinux=disabled
然后reboot即可.
1.KP master 及 KP slave:
service keepalived start
2.Rs master 及RS slave
service lvs start
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。