一、  介绍

keepalived：是一个类似于 layer3, 4 & 7 交换机制的软件，也就是我们平时说的第 3 层、第 4 层和第 7层交换。 Keepalived 的作用是检测 web 服务器的状态，如果有一台 web 服务器死机，或工作出现故障，Keepalived 将检测到，并将有故障的 web 服务器从系统中剔除，当 web 服务器工作正常后 Keepalived 自动将web 服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web 服务器。

keepalived程序是vrrp协议在linux主机上以守护进程方式的实现，能够根据配置文件生成IPVS规则 ，并对各real server的健康做检测，以及Loadbalance主机和backup主机之间failover的实现，keepalived在Centos6.4+收录到了发行版光盘中

keepalived 理论工作原理

Layer3,4&5 工作在 IP/TCP 协议栈的 IP 层， TCP 层，及应用层,。

原理分别如下：
Layer3： Keepalived 使用 Layer3 的方式工作式时， Keepalived 会定期向服务器群中的服务器发送一个 ICMP 的数据包（既我们平时用的 Ping 程序） , 如果发现某台服务的 IP 地址没有激活，
Keepalived 便报告这台服务器失效，并将它从服务器群中剔除，这种情况的典型例子是某台服务器被非法关机。Layer3 的方式是以服务器的 IP 地址是否有效作为服务器工作正常与否的标准。
Layer4: 主要以 TCP 端口的状态来决定服务器工作正常与否。如 web server 的服务端口一般是
80，如果 Keepalived 检测到 80 端口没有启动，则 Keepalived 将把这台服务器从服务器群中删除。
Layer7：Layer5 就是工作在具体的应用层了，比 Layer3,Layer4 要复杂一点，在网络上占用的带宽也要大一些。Keepalived 将根据用户的设定检查服务器程序的运行是否正常，如果与用户的设定不相符，则Keepalived 将把服务器从服务器群中剔除。

比如说访问一个页面，它有没有这个页面，没有的话，它就会把它踢除啊

keepalived作用：

1.管理 VIP（虚拟IP）    VIP 会在 LVS 之间漂移

2.监控 LVS分发器

运行在主分发的 Keepalived 会以组播的形式向网络中宣告自己，即主分发器还活着，备用节点能收到。当备用节点，在一个时间单位中收不到组播，备用节点会认为主 LVS 挂了，开始接手主分发器工作，把 VIP 配给自己。

3.管理 RS

Keepalived 会每隔一个时间段去做一次类似于访问的操作如：

探针： elinkshttp://192.168.3.64 -dump

keepalived官网

http://www.keepalived.org/

LVS：LinuxVirtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统,此项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。

中文官方网站：http://zh.linuxvirtualserver.org/           http://www.linux-vs.org/zh/

二、keepalived+lvs-DR模式配置高可用负载均衡

拓扑如下：

IP地址与主机分配如下 ：

二、  在master和bakcup分别安装ipvsadm和keepalived软件包

注：安装完成ipvsadm后不需要任何配置，启动方式由keepalived来控制

keepalived包下载地址：http://www.keepalived.org/software/keepalived-1.2.16.tar.gz

ipvsadm包自带系统光盘中含有

1．在master上面安装

安装ipvsadm

[root@xuegod66~]# cd /media/Packages/

[root@xuegod66Packages]# rpm -ivh ipvsadm-1.26-2.el6.x86_64.rpm

warning:ipvsadm-1.26-2.el6.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID fd431d51:NOKEY

Preparing...               ########################################### [100%]

  1:ipvsadm               ########################################### [100%]

[root@xuegod66Packages]# ipvsadm

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:PortScheduler Flags

  -> RemoteAddress:Port          Forward Weight ActiveConn InActConn

检查模版是否加入了内核

[root@xuegod66Packages]# lsmod | grep ip_vs

ip_vs                125220  0

libcrc32c              1246  1 ip_vs

ipv6                 317340  158 ip_vs,ip6t_REJECT,nf_conntrack_ipv6,nf_defrag_ipv6

安装keepalived

[root@xuegod66tmp]# wget http://www.keepalived.org/software/keepalived-1.2.16.tar.gz

[root@xuegod66tmp]# tar zxf keepalived-1.2.16.tar.gz

[root@xuegod66tmp]# cd keepalived-1.2.16

[root@xuegod66keepalived-1.2.16]# ./configure--prefix=/usr/local/keepalived

Keepalivedconfiguration

------------------------

Keepalivedversion       : 1.2.16

Compiler                : gcc

Compilerflags           : -g -O2

ExtraLib               : -lssl -lcrypto -lcrypt

Use IPVSFramework       : Yes

IPVS sync daemonsupport : Yes

IPVS uselibnl           : No

fwmark socketsupport    : Yes

Use VRRPFramework       : Yes

Use VRRPVMAC            : Yes

SNMPsupport            : No

SHA1support            : No

Use Debugflags          : No

拓展：VRRP

虚拟路由冗余协议(Virtual RouterRedundancy Protocol，简称VRRP)是由IETF提出的解决局域网中配置静态网关出现单点失效现象的路由协议。使用组播方式通信。

VRRP是一种路由容错协议，也可以叫做备份路由协议。一个局域网络内的所有主机都设置缺省路由（默认网关），当网内主机发出的目的地址不在本网段时，报文将被通过缺省路由发往外部路由器，从而实现了主机与外部网络的通信。当缺省路由器down掉（即端口关闭）之后，内部主机将无法与外部通信，如果路由器设置了VRRP时，那么这时，虚拟路由将启用备份路由器，从而实现全网通信。所有局域网中的PC机，默认网关为10.1.1.13!

工作流程如图：

[root@xuegod66keepalived-1.2.16]# make && make install

查看安装后生成的文件：

[root@xuegod66keepalived-1.2.16]# ls /usr/local/keepalived/

bin  etc sbin  share

主配置文件：

[root@xuegod66]# ls/usr/local/keepalived/etc/keepalived/keepalived.conf

/usr/local/keepalived/etc/keepalived/keepalived.conf

建立启动脚本：

[root@xuegod66~]# cp/usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d

查看有没有执行权限，如果没有要给它一个执行权限

[root@xuegod66~]# ll /etc/init.d/keepalived

-rwxr-xr-x 1 root root1308 8月   9 15:34 /etc/init.d/keepalived

因为我们使用的是非默认路径（/usr/local）安装keepalived，所以需要修改启动文件几处地方，以保证keepalived能够正常启动，需要修改的文件如下：

[root@xuegod66~]# vi /etc/init.d/keepalived

# Source configurationfile (we set KEEPALIVED_OPTIONS there)

#./etc/sysconfig/keepalived   #注释掉

RETVAL=0

prog="keepalived"

exec="/usr/local/keepalived/sbin/keepalived"      #添加

config="/usr/local/keepalived/etc/keepalived/keepalived.conf" #添加

start() {

    echo-n $"Starting $prog: "

    daemon keepalived ${KEEPALIVED_OPTIONS}    àà原来这一行改为下面这样写法

    daemon $exec -D -f $config

   RETVAL=$?

    echo

    [$RETVAL -eq 0 ] && touch /var/lock/subsys/$prog

}

[root@xuegod66~]# service keepalived restart

切勿忘记将此服务设置为开机启动

[root@xuegod66~]# chkconfig keepalived on

默认的配置文件中，指定了三个数个虚拟IP : 192.168.200.16  192.168.200.17  192.168.200.18

[root@xuegod66~]# ip addr

……….

2: eth0:<BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen1000

   link/ether 00:0c:29:62:21:a6 brd ff:ff:ff:ff:ff:ff

    inet192.168.1.66/24 brd 192.168.1.255 scope global eth0

    inet192.168.200.16/32 scope global eth0

    inet192.168.200.17/32 scope global eth0

    inet192.168.200.18/32 scope global eth0

inet6fe80::20c:29ff:fe62:21a6/64 scope link

到此我们就安装成功了

实战1：使用keepalived配置LVS-DR主-备高可用集群模式 
描述：

在这种模式下，虚拟IP在某时刻只能属于某一个节点，另一个节点作为备用节点存在。当主节点不可用时，备用节点接管虚拟IP，提供正常服务。

配置参数：

节点 xuegod66(主节点)； 节点 xuegod67(备用节点)；  虚拟 IP 192.168.1.200对外提供服务的 IP。 要求默认情况下由节点 xuegod66 提供服务，当节点 xuegod66 不可用时，由节点 xuegod67 提供服务(即虚拟 IP 漂移至节点xuegod67)

配置xuegod66为keepalived主：

[root@xuegod66keepalived]# vim etc/keepalived/keepalived.conf

! Configuration Filefor keepalived

global_defs {

  notification_email {

   xuegod@localhost

   }

  notification_email_from xuegod@localhost

  smtp_server localhost

  smtp_connect_timeout 30

   router_idxuegod66

}

vrrp_instance apache {

   state MASTER

   interface eth0

   virtual_router_id 51

   priority 100

   advert_int 1

   authentication {

       auth_type PASS

       auth_pass 1111

    }

   virtual_ipaddress {

       192.168.1.200

    }

}

virtual_server192.168.1.200 80 {

   delay_loop 6

   lb_algo rr

   lb_kind DR

   nat_mask 255.255.255.0

   persistence_timeout 50

   protocol TCP

   real_server 192.168.1.63 80 {

       weight 1

       TCP_CHECK {    

               connect_timeout 3 

               nb_get_retry 3  

               delay_before_retry 3

               connect_port 80   

               }

       }

   real_server 192.168.1.64 80 {

       weight 1

       TCP_CHECK {    

               connect_timeout 3 

               nb_get_retry3   

               delay_before_retry 3

               connect_port 80   

               }

       }

}

#默认配置文件中还有两个 virtual_server 模版，把剩下的都删除了，就可以。 如：

#virtual_server10.10.10.2 1358 {  。。。 }

#virtual_server10.10.10.3 1358 {  。。。 }

配置文件说明

Global configuration : 全局配置

         global_defs{

         …

}

VRRP Configuration : 配置VRRP实例

         vrrp_instance name{

…

}

LVS Configuration : IPVS的相关配置

         virtual_server ip port {

…

         real_serverip port {

  …

}

}

[root@xuegod66keepalived]# service keepalived restart

测试是否可以加载VIP地址

[root@xuegod66keepalived]# ipvsadm -L –n

IP VirtualServer version 1.2.1(size=4096)

ProtLocalAddress:Port Scheduler Flags

  ->RemoteAddress:Port          Forward Weight ActiveConn InActConn

TCP  192.168.1.200:80rr persistent 50

#注：没有看到 realserver，是因为两台realserver 没有开启 httpd 服务。

2．在bakcup上面安装

[root@xuegod67Packages]# rpm -ivh ipvsadm-1.26-2.el6.x86_64.rpm

warning:ipvsadm-1.26-2.el6.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID fd431d51:NOKEY

Preparing...               ########################################### [100%]

  1:ipvsadm               ########################################### [100%]

[root@xuegod67Packages]# ipvsadm

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:PortScheduler Flags

  ->RemoteAddress:Port          Forward Weight ActiveConn InActConn

检查模版是否加入了内核

[root@xuegod67Packages]# lsmod|grep ip_vs

ip_vs                125220  0

libcrc32c              1246  1 ip_vs

ipv6                 317340  158 ip_vs,ip6t_REJECT,nf_conntrack_ipv6,nf_defrag_ipv6

安装keepalived

[root@xuegod67~]#  wget http://www.keepalived.org/software/keepalived-1.2.16.tar.gz

[root@xuegod67~]# tar zxf keepalived-1.2.16.tar.gz

[root@xuegod67~]# cd keepalived-1.2.16

[root@xuegod67keepalived-1.2.16]# ./configure --prefix=/usr/local/keepalived

Keepalivedconfiguration

------------------------

Keepalivedversion       : 1.2.16

Compiler                : gcc

Compilerflags           : -g -O2

ExtraLib               : -lssl -lcrypto -lcrypt

Use IPVSFramework       : Yes

IPVS sync daemonsupport : Yes

IPVS uselibnl           : No

fwmark socketsupport    : Yes

Use VRRPFramework       : Yes

Use VRRPVMAC            : Yes

SNMPsupport            : No

SHA1support            : No

Use Debugflags          : No

[root@xuegod67keepalived-1.2.16]# make && make install

将xuegod66上的启动文件和配置文件复制到xuegod67的相应位置

[root@xuegod66~]# scp /etc/init.d/keepalived xuegod67:/etc/init.d/

[root@xuegod66~]# scp/usr/local/keepalived/etc/keepalived/keepalived.confxuegod67:/usr/local/keepalived/etc/keepalived/

复制过来的启动文件就不需要再修改了，配置文件还要做一定的修改

[root@xuegod67~]# vi/usr/local/keepalived/etc/keepalived/keepalived.conf

global_defs {

  notification_email {

       root@localhost

   }

  notification_email_from root@localhost

  smtp_server localhost

  smtp_connect_timeout 30

   router_id xuegod67         #运行 keepalived 的机器标示符

}

vrrp_instance apache {

   state BACKUP        #当前 LVS 状态为从分发器

   interface eth0

   virtual_router_id 51

   priority 90                  #前 LVS 优先级,备的要比主的小

   advert_int 1

   authentication {

       auth_type PASS

       auth_pass 1111

    }

   virtual_ipaddress {

       192.168.1.200

    }

}

……………………

[root@xuegod67 keepalived]# servicekeepalived restart

测试：高可用

[root@xuegod66 keepalived]# /etc/init.d/keepalived stop #xueogd66上停止keepalived

[root@xuegod67 keepalived]# ip addr

……

2:eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast stateUP qlen 1000

   link/ether 00:0c:29:ae:04:06 brd ff:ff:ff:ff:ff:ff

   inet 192.168.1.67/24 brd 192.168.1.255 scope global eth0

   inet 192.168.1.200/32 scope global eth0

   inet6 fe80::20c:29ff:feae:406/64 scope link

   valid_lft forever preferred_lft forever

[root@xuegod67 keepalived]# ipvsadm -L –n

IPVirtual Server version 1.2.1(size=4096)

ProtLocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port          Forward Weight ActiveConn InActConn

TCP 192.168.1.200:80 rr persistent 50

#看到192.168.1.63飘移过来了，就证明一切正常了

或查看日志：

[root@xuegod61~]# tail -f /var/log/messages

三、配置WEB服务器

配置RS1

[root@xuegod63~]# vim /etc/init.d/lvsrsdr

#!/bin/bash

#description:startrelserver

VIP=192.168.1.200

source/etc/init.d/functions               #加载环境变量（可以加载所有的环境变量）

case $1 in

start)

       echo ‘start LVS of Realserver DR‘

       /sbin/ifconfig lo:1 $VIP broadcast $VIP netmask 255.255.255.255 up

       /sbin/route add -host $VIP dev lo:1

       echo ‘1‘ > /proc/sys/net/ipv4/conf/lo/arp_ignore

       echo ‘2‘ > /proc/sys/net/ipv4/conf/lo/arp_announce

       echo ‘1‘ > /proc/sys/net/ipv4/conf/all/arp_ignore

       echo ‘2‘ > /proc/sys/net/ipv4/conf/all/arp_announce

       ;;

stop)

       /sbin/ifconfig lo:1 down

       echo ‘Close LVS of Realserver DR‘

       echo ‘0‘ > /proc/sys/net/ipv4/conf/lo/arp_ignore

       echo ‘0‘ > /proc/sys/net/ipv4/conf/lo/arp_announce

       echo ‘0‘ > /proc/sys/net/ipv4/conf/all/arp_ignore

       echo ‘0‘ > /proc/sys/net/ipv4/conf/all/arp_announce

       ;;

*)

       echo"Usage:$0(start|stop)"

exit 1

esac

[root@xuegod63 ~]# /etc/init.d/lvsrsdr start

[root@xuegod63 ~]# echo "/etc/init.d/lvsrsdr start " >/etc/rc.local

[root@xuegod63 ~]# ip addr

1: lo:<LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN

   link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

   inet 127.0.0.1/8 scope host lo

   inet 192.168.1.200/32 brd 192.168.1.200 scope global lo:1

   inet6 ::1/128 scope host

      valid_lft forever preferred_lft forever

[root@xuegod63 ~]# yum install -y httpd

[root@xuegod63 ~]# service httpd restart

[root@xuegod63 ~]# echo 192.168.1.63 > /var/www/html/index.html

[root@xuegod63 ~]# service httpd restart

配置RS2

[root@xuegod64 ~]# scp /etc/init.d/lvsrsdr 192.168.1.64:/etc/init.d          #从Xuegod63上导入脚本

[root@xuegod64 ~]# /etc/init.d/lvsrsdr start

[root@xuegod64 ~]# echo "/etc/init.d/lvsrsdr start " >/etc/rc.local

[root@xuegod64 ~]# ip addr

1: lo:<LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN

   link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

   inet 127.0.0.1/8 scope host lo

   inet 192.168.1.200/32 brd 192.168.1.200 scope global lo:1

inet6 ::1/128 scope host

[root@xuegod64 ~]# yum install -y httpd php

[root@xuegod64 ~]# echo 192.168.1.64 > /var/www/html/index.html

[root@xuegod64 ~]# service httpd restart

测试

我们先清空浏览器缓存

等待50S之后再看一下

测试：主备切换

首先在主上Xueogd66查看状态

[root@xuegod66 keepalived]# ipvsadm -L -n

IPVirtual Server version 1.2.1 (size=4096)

ProtLocalAddress:Port Scheduler Flags

 ->RemoteAddress:Port          Forward Weight ActiveConn InActConn

TCP 192.168.1.200:80 rr persistent 50

 -> 192.168.1.63:80             Route   1     0         0        

 ->192.168.1.64:80             Route   1     0          14 

在备上查看Xuegod67的状态

[root@xuegod64 keepalived]# ipvsadm -L -n

IPVirtual Server version 1.2.1 (size=4096)

ProtLocalAddress:Port Scheduler Flags

 ->RemoteAddress:Port          Forward Weight ActiveConn InActConn

[root@xuegod66 keepalived]# servicekeepalived stop           //在xuegod66上停掉keepalived模拟故障，在查看xuegod67

[root@xuegod67 keepalived]# ipvsadm -L –n

IPVirtual Server version 1.2.1 (size=4096)

ProtLocalAddress:Port Scheduler Flags

 ->RemoteAddress:Port          Forward Weight ActiveConn InActConn

TCP 192.168.1.200:80 rr persistent 50

 -> 192.168.1.63:80             Route   1     0         0        

 ->192.168.1.64:80             Route   1     0          0 

[root@xuegod67 keepalived]# ip addr

……

2:eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast stateUP qlen 1000

   link/ether 00:0c:29:ae:04:06 brd ff:ff:ff:ff:ff:ff

   inet 192.168.1.67/24 brd 192.168.1.255 scope global eth0

   inet 192.168.1.200/32 scope global eth0

   inet6 fe80::20c:29ff:feae:406/64 scope link

   valid_lft forever preferred_lft forever

从日志看：

[root@xuegod67 keepalived]# tailf /var/log/messages

当我们重启了主上的keepalived，自动从备分发器转到主分发器上。因为备的优先级低。

[root@xuegod66 keepalived]# service keepalived restart

测试RS容错

停掉Xueogd64的httpd之后xuegod63查看

[root@xuegod63 keepalived]# ipvsadm -L -n

IPVirtual Server version 1.2.1 (size=4096)

ProtLocalAddress:Port Scheduler Flags

 ->RemoteAddress:Port          Forward Weight ActiveConn InActConn

TCP 192.168.1.200:80 rr persistent 50

 -> 192.168.1.63:80             Route   1     0          0 

打开主 LVS 的日志（/var/log/message），使其滚动从 LVS 中移除。答案都是提示的。

使用 ipvsadm-ln 可以看到刚才关闭的那台机器的 IP不在列表中了。

当 keepalived 主从优先级一样时，当主恢复后，还是要回切资源的。第一次建立主从关系时，需要10s 左右的认证时间。

常见错误

1：编译报错

由提示可以看到，没有发现 gcc cc 编译工具，只需要安装即可。解决方法:

#yum install gcc gcc-c++

2：编译完成还不支持

解决方法： 内核源码做软链接，查看是否有内核源码

#ls/usr/src/kernels/        #yum installkernel-devel ipvsadm

#ln -s/usr/src/kernels/2.6.32-220.el6.x86_64/ /usr/src/linux         //上面 ln 软链接时源地址根据系统版本的不同，目录名也不同

 视频讲课：链接：https://pan.baidu.com/s/1o79mNEi 密码：rsel