首页 > 代码库 > lvs初步认识

lvs初步认识

linux Cluster:

Cluster:计算机集合,为解决某个特定问题组合起来形成的单个系统:

类型:

LB:Load Balancing,负载均衡:

HA:High Availiablity ,高可用:

HP:High Performance,高性能:

分布式系统:

分布式存储

分布式计算

系统扩展方式:

Scale UP:向上扩展

Scale Out: 向外扩展

软件:

LVS:Linux Virtural Server/nginx(stream

四层:lvs/nginx(stream)haproxy(mode tcp)

七层:http: nginx(http upstream)/haproxy(mode http)/ats/httpd/perlbal/pound/...

基于工作的协议层次划分:

传输层(通用):(DPORT)

LVS:

nginx:(stream)

haproxy:(mode tcp)

应用层(专用):(自定义的请求模型分类)

proxy server

http:nginx,httpd,haproxy(mode http),...

fastcgi:nginx httpd,

mysql:mysql-proxy,

站点指标:

PV:Page View

UV:Unique Vistor

IP:

会话保持:

(1)seesion sticky

Source IP

Cookie

(2) session replication

session cluster

(3)session server

LVS:liunx Virtual Server

VS:Virtual Server

RS:Real Server

四层路由器,四层交换机:

VS:根据请求报文的目标IP和目标协议及端口将其调度转发至某RealServer,根据调度算法来挑选RS;

iptables/netfilter:

iptables:用户空间的管理工具;

netfilter:内核空间上的框架;

流入:PREROUTING --> INPUT

流出:OUTPUT --> POSTROUTING

转发:PREROUTING --> FORWARD --> POSTROUTING

DNAT:目标地址转换:PREROUTING

lvs: ipvsadm/ipvs

ipvsadm:用户空间的命令行工具,规则管理器,用于管理集群服务及RealServer;

ipvs:工作于内核空间的netfilter的INPUT钩子之上的框架;

lvs集群类型中的术语:

vs:Virtual Server, Director, Dispatcher, Balancer

rs:Real Server, upstream server, backend server

CIP:Client IP, VIP: Virtual serve IP, RIP: Real server IP, DIP: Director IP

CIP <--> VIP == DIP <--> RIP

lvs集群的类型:

lvs-nat:修改请求报文的目标IP;多目标IP的DNAT;

lvs-dr:操纵封装新的MAC地址(目标MAC是某挑选出的RS的RIP所在接口的MAC地址);

lvs-tun:在原请求IP报文之外新加一个IP首部;

lvs-fullnat:修改请求报文的源和目标IP;

LVS工作原理:

结构: LVS由前段的负载均衡器(Load Balancer,LB)和后端的真实服务器(Real Server,RS)群组成。

LVS集群的类型(四种):

lvs-nat,lvs-dr,lvs-tun,lvs-fullnat(不是一种标准模型,而是nat模型的一种转换)

lvs -nat:

多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发;

(1)RIP和DIP必须在同一个IP网络,且应该使用私网地址;RS的网关要指向DIP;

(2)请求报文和响应报文都必须经由Director转发;Director易于成为系统瓶颈;

(3)支持端口映射,可修改请求报文的目标PORT;

(4)vs必须是Linux系统,rs可以是任意系统;

lvs-dr

Direct Rounting 直接路由:

通过为请求报文重新封装一个MAC首部进行转发,源MAC是DIP所在的接口的MAC,目标MAC是某挑选出的RS的RIP所在接口的MAC地址,源IP/PORT,以及目标IP/PORT均保持不变:

Director和各RS都得配置使用VIP;

(1) 确保前端路由器将目标IP为VIP的请求报文发往Director:

(a) 在前端网关做静态绑定;

(b) 在RS上使用arptables;

(c) 在RS上修改内核参数以限制arp通告及应答级别;

arp_announce:限制通告级别

0:默认值,把本机上的所有接口的所有信息向每个接口上的网络进行通告;

1:尽量避免向非直接连接网络进行通告;

2:必须避免向非本网络通告;

arp_ignore:限制响应级别

0:默认值,表示可使用本地任意接口上配置的任意地址进行响应;

1: 仅在请求的目标IP配置在本地主机的接收到请求报文接口上时,才给予响应;

(2) RS的RIP可以使用私网地址,也可以是公网地址;RIP与DIP在同一IP网络;RIP的网关不能指向DIP,以确保响应报文不会经由Director;

(3) RS跟Director要在同一个物理网络;

(4) 请求报文要经由Director,但响应不能经由Director,而是由RS直接发往Client;

(5) 不支持端口映射;

lvs-tun:

转发方式:不修改请求报文的IP首部(源IP为CIP,目标IP为VIP),而是在原IP报文之外再封装一个IP首部(源IP是DIP,目标IP是RIP),将报文发往挑选出的目标RS;RS直接响应给客户端(源IP是VIP,目标IP是CIP);

(1) DIP, VIP, RIP都应该是公网地址;

(2) RS的网关不能,也不可能指向DIP;

(3) 请求报文要经由Director,但响应不能经由Director;

(4) 不支持端口映射;

(5) RS的OS得支持隧道功能;

lvs-fullnat:

通过同时修改请求报文的源IP地址和目标IP地址进行转发;

CIP-->DIP

VIP-->RIP

(1) VIP是公网地址,RIP和DIP是私网地址,且通常不在同一IP网络;因此,RIP的网关一般不会指向DIP;

(2) RS收到的请求报文源地址是DIP,因此,只需响应给DIP;但Director还要将其发往Client;

(3) 请求和响应报文都经由Director;

(4) 支持端口映射;

注意:此类型默认不支持:

ipvs scheduler(LVS的调度算法):

根据其调度时是否考虑各RS当前的负载状态,可分为静态方法和动态方法两种:

静态方法:仅根据算法本身进行调度;

RR:roundrobin,轮询;

WRR:Weighted RR,加权轮询;

SH:Source Hashing,实现session sticy,源IP地址hash;将来自于同一个IP地址的请求始终发往第一次挑中的RS,从而实现会话绑定;

DH:Destination Hashing;目标地址哈希,将发往同一个目标地址的请求始终转发至第一次挑中的RS,典型使用场景是正向代理缓存场景中的负载均衡;

动态方法:主要根据每RS当前的负载状态及调度算法进行调度;

通过计算RS当前的Overhead值来进行选择,各计算方式如下:

LC:least connections(最少连接数)

Overhead=activeconns*256+inactiveconns

当计算结果相同时,就按照“自上而下”的轮询方式进行选择

WLC:Weighted LC(加权最少连接数)

Overhead=(activeconns*256+inactiveconns)/weigh

计算结果相同时,自上而下选择,一般首次所有RS都先轮询一遍,每个都处理一个请求,第二轮权才发挥效果,但是第一次响应请求的有可能是性能最差的服务器(如果性能最差的服务器排在最上面的话)

SED:Shortest Expection Delay(最小期望延迟)

改进版的WLC,这种算法保证了是有权重最高的RS首先响应服务,而非初始机算值都是相同造成的轮询,但是,会出现权重大的RS过多负载,而权重小的RS过于空闲

Overhead=(activeconns+1)*256/weight

NQ:Never Queue(永不排队)

此算法首次会按照权重挑选,由大到小轮询一遍,之后再按照sed算法来选择,避免了权重小的RS过于空闲

LBLC:Locality-Based LC,动态的DH算法;

LBLCR:LBLC with Replication,带复制功能的LBLC;

应用于缓存服务器,提高缓存命中率

ipvsadm/ipvs:

集群和集群之上的各RS是分开管理的:

一个ipvs主机可以同时定义多个cluster server,但可能会影响调度性能

一个ipvs服务至少应该有一个rs

ipvsadm:用户空间的集群服务管理工具

程序包:ipvsadm

Unit File: ipvsadm.service

主程序:/usr/sbin/ipvsadm

规则保存工具:/usr/sbin/ipvsadm-save

规则重载工具:/usr/sbin/ipvsadm-restore

配置文件:/etc/sysconfig/ipvsadm-config

ipvsadm命令:

核心功能:

集群服务管理:增、删、改:

集群服务的RS管理:增、删、改;

查看:

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]

ipvsadm -D -t|u|f service-address

ipvsadm -C

ipvsadm -R

ipvsadm -S [-n]

ipvsadm -a|e -t|u|f service-address -r server-address [options]

ipvsadm -d -t|u|f service-address -r server-address

ipvsadm -L|l [options]

ipvsadm -Z [-t|u|f service-address]

管理集群服务:增、改、删:

增、改:

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

删:

ipvsadm -D -t|u|f service-address

service-address:

-t|u|f:

-t:TCP协议的端口,VIP:TCP_PORT

-u:UDP协议的端口,VIP:UDP_PORT

-f:firewall MARK,是一个数字:

【-s scheduler】:指定集群的调度算法,默认为wlc

管理集群上的RS:增、改、删:

增、改:

ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight

删:

ipvsadm -d -t|u|f service-address -r server-address

server-address:

rip【:port】

指明LVS工作类型:

-g:gateway,即dr模式

-i:  ipip,即tun模式

-m:masquerade,即nat模式

-w:weight 指定权重

查看:

ipvsadm -L|l [options]

--numeric, -n:numeric output of addresses and ports (数字格式显示ip和port)

--exact:expand numbers (display exact values)(精确值)

--connection, -c:output of current IPVS connections(显示IPVS连接)

--stats:output of statistics information(统计数据)

--rate :output of rate information(速率)

注意:n只能写在L之后

清空:

ipvsadm -C

清空计数器:

ipvsadm -z 【-t|u|f service-address】

保存和重载:

ipvsadm -S = ipvsadm-save

ipvsadm -S > /path/to/somewhere

ipvsadm -R = ipvsadm-restore

ipvsadm -R < /path/from/rule_file

FWM:FireWall Mark

netfilter:

target: MARK, This  target  is  used  to set the Netfilter mark value associated with the packet

--set-mark value.

借助于防火墙标记来分类报文,而后基于标记定义集群服务;可将多个不同的应用使用同一个集群服务进行调度;

打标记方法(在Director主机):

# iptables -t mangle -A PREROUTING -d $vip -p $proto --dport $port -j MARK --set-mark NUMBER

基于标记定义集群服务:

# ipvsadm -A -f NUMBER [options]

lvs persistence:持久连接

持久连接模板:实现无论使用任何调度算法,在一段时间内,能够实现将来自同一个地址的请求始终发往同一个RS;

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

port Affinity:

每端口持久:每个端口对应定义为一个集群服务,每集群服务单独调度;

每防火墙标记持久:基于防火墙标记定义集群服务;可实现将多个端口上的应用统一调度,即所谓的port Affinity;

每客户端持久:基于0端口定义集群服务,即将客户端对所有应用的请求统统调度至后端主机,必须定义为持久模式;


本文出自 “lvs初步介绍” 博客,请务必保留此出处http://12720949.blog.51cto.com/12710949/1926050

lvs初步认识