linux Cluster：

Cluster：計算機集合，為解決某個特定問題組合起來形成的單個系統(tǒng)：

類型：

LB：Load Balancing，負載均衡：

HA：High Availiablity ，高可用：

HP：High Performance，高性能：

分布式系統(tǒng)：

分布式存儲

分布式計算

系統(tǒng)擴展方式：

Scale UP：向上擴展

Scale Out: 向外擴展

軟件：

LVS：Linux Virtural Server/nginx(stream

四層：lvs/nginx(stream)haproxy(mode tcp)

七層：http: nginx(http upstream)/haproxy(mode http)/ats/httpd/perlbal/pound/...

基于工作的協(xié)議層次劃分：

傳輸層（通用）：（DPORT)

LVS：

nginx：（stream）

haproxy：（mode tcp）

應(yīng)用層（專用）：（自定義的請求模型分類）

proxy server

http：nginx，httpd，haproxy（mode http），...

fastcgi：nginx httpd，

mysql：mysql-proxy，

站點指標：

PV:Page View

UV：Unique Vistor

IP：

會話保持：

（1）seesion sticky

Source IP

Cookie

（2） session replication

session cluster

（3）session server

LVS：liunx Virtual Server

VS：Virtual Server

RS：Real Server

四層路由器，四層交換機：

VS：根據(jù)請求報文的目標IP和目標協(xié)議及端口將其調(diào)度轉(zhuǎn)發(fā)至某RealServer，根據(jù)調(diào)度算法來挑選RS；

iptables/netfilter：

iptables：用戶空間的管理工具；

netfilter：內(nèi)核空間上的框架；

流入：PREROUTING --> INPUT

流出：OUTPUT --> POSTROUTING

轉(zhuǎn)發(fā)：PREROUTING --> FORWARD --> POSTROUTING

DNAT：目標地址轉(zhuǎn)換：PREROUTING

lvs: ipvsadm/ipvs

ipvsadm：用戶空間的命令行工具，規(guī)則管理器，用于管理集群服務(wù)及RealServer；

ipvs：工作于內(nèi)核空間的netfilter的INPUT鉤子之上的框架；

lvs集群類型中的術(shù)語：

vs：Virtual Server, Director, Dispatcher, Balancer

rs：Real Server, upstream server, backend server

CIP：Client IP, VIP: Virtual serve IP, RIP: Real server IP, DIP: Director IP

CIP <--> VIP == DIP <--> RIP

lvs集群的類型：

lvs-nat：修改請求報文的目標IP；多目標IP的DNAT；

lvs-dr：操縱封裝新的MAC地址(目標MAC是某挑選出的RS的RIP所在接口的MAC地址)；

lvs-tun：在原請求IP報文之外新加一個IP首部；

lvs-fullnat：修改請求報文的源和目標IP；

LVS工作原理：

結(jié)構(gòu)： LVS由前段的負載均衡器（Load Balancer，LB）和后端的真實服務(wù)器（Real Server，RS）群組成。

LVS集群的類型（四種）：

lvs-nat，lvs-dr，lvs-tun，lvs-fullnat（不是一種標準模型，而是nat模型的一種轉(zhuǎn)換）

lvs -nat：

多目標IP的DNAT，通過將請求報文中的目標地址和目標端口修改為某挑出的RS的RIP和PORT實現(xiàn)轉(zhuǎn)發(fā)；

（1）RIP和DIP必須在同一個IP網(wǎng)絡(luò)，且應(yīng)該使用私網(wǎng)地址；RS的網(wǎng)關(guān)要指向DIP；

（2）請求報文和響應(yīng)報文都必須經(jīng)由Director轉(zhuǎn)發(fā)；Director易于成為系統(tǒng)瓶頸；

（3）支持端口映射，可修改請求報文的目標PORT；

（4）vs必須是Linux系統(tǒng)，rs可以是任意系統(tǒng)；

lvs-dr

Direct Rounting 直接路由：

通過為請求報文重新封裝一個MAC首部進行轉(zhuǎn)發(fā)，源MAC是DIP所在的接口的MAC，目標MAC是某挑選出的RS的RIP所在接口的MAC地址，源IP/PORT,以及目標IP/PORT均保持不變：

Director和各RS都得配置使用VIP；

(1) 確保前端路由器將目標IP為VIP的請求報文發(fā)往Director：

(a) 在前端網(wǎng)關(guān)做靜態(tài)綁定；

(b) 在RS上使用arptables；

(c) 在RS上修改內(nèi)核參數(shù)以限制arp通告及應(yīng)答級別；

arp_announce：限制通告級別

0：默認值，把本機上的所有接口的所有信息向每個接口上的網(wǎng)絡(luò)進行通告；

1：盡量避免向非直接連接網(wǎng)絡(luò)進行通告；

2：必須避免向非本網(wǎng)絡(luò)通告；

arp_ignore：限制響應(yīng)級別

0：默認值，表示可使用本地任意接口上配置的任意地址進行響應(yīng)；

1: 僅在請求的目標IP配置在本地主機的接收到請求報文接口上時，才給予響應(yīng)；

(2) RS的RIP可以使用私網(wǎng)地址，也可以是公網(wǎng)地址；RIP與DIP在同一IP網(wǎng)絡(luò)；RIP的網(wǎng)關(guān)不能指向DIP，以確保響應(yīng)報文不會經(jīng)由Director；

(3) RS跟Director要在同一個物理網(wǎng)絡(luò)；

(4) 請求報文要經(jīng)由Director，但響應(yīng)不能經(jīng)由Director，而是由RS直接發(fā)往Client；

(5) 不支持端口映射；

lvs-tun：

轉(zhuǎn)發(fā)方式：不修改請求報文的IP首部（源IP為CIP，目標IP為VIP），而是在原IP報文之外再封裝一個IP首部（源IP是DIP，目標IP是RIP），將報文發(fā)往挑選出的目標RS；RS直接響應(yīng)給客戶端（源IP是VIP，目標IP是CIP）；

(1) DIP, VIP, RIP都應(yīng)該是公網(wǎng)地址；

(2) RS的網(wǎng)關(guān)不能，也不可能指向DIP；

(3) 請求報文要經(jīng)由Director，但響應(yīng)不能經(jīng)由Director；

(4) 不支持端口映射；

(5) RS的OS得支持隧道功能；

lvs-fullnat：

通過同時修改請求報文的源IP地址和目標IP地址進行轉(zhuǎn)發(fā)；

CIP-->DIP

VIP-->RIP

(1) VIP是公網(wǎng)地址，RIP和DIP是私網(wǎng)地址，且通常不在同一IP網(wǎng)絡(luò)；因此，RIP的網(wǎng)關(guān)一般不會指向DIP；

(2) RS收到的請求報文源地址是DIP，因此，只需響應(yīng)給DIP；但Director還要將其發(fā)往Client；

(3) 請求和響應(yīng)報文都經(jīng)由Director；

(4) 支持端口映射；

注意：此類型默認不支持：

ipvs scheduler(LVS的調(diào)度算法）：

根據(jù)其調(diào)度時是否考慮各RS當(dāng)前的負載狀態(tài)，可分為靜態(tài)方法和動態(tài)方法兩種：

靜態(tài)方法：僅根據(jù)算法本身進行調(diào)度；

RR：roundrobin，輪詢；

WRR：Weighted RR，加權(quán)輪詢；

SH：Source Hashing，實現(xiàn)session sticy，源IP地址hash；將來自于同一個IP地址的請求始終發(fā)往第一次挑中的RS，從而實現(xiàn)會話綁定；

DH：Destination Hashing；目標地址哈希，將發(fā)往同一個目標地址的請求始終轉(zhuǎn)發(fā)至第一次挑中的RS，典型使用場景是正向代理緩存場景中的負載均衡；

動態(tài)方法：主要根據(jù)每RS當(dāng)前的負載狀態(tài)及調(diào)度算法進行調(diào)度；

通過計算RS當(dāng)前的Overhead值來進行選擇，各計算方式如下：

LC：least connections（最少連接數(shù)）

Overhead=activeconns*256+inactiveconns

當(dāng)計算結(jié)果相同時，就按照“自上而下”的輪詢方式進行選擇

WLC：Weighted LC（加權(quán)最少連接數(shù)）

Overhead=(activeconns*256+inactiveconns)/weigh

計算結(jié)果相同時，自上而下選擇，一般首次所有RS都先輪詢一遍，每個都處理一個請求，第二輪權(quán)才發(fā)揮效果，但是第一次響應(yīng)請求的有可能是性能最差的服務(wù)器（如果性能最差的服務(wù)器排在最上面的話）

SED：Shortest Expection Delay（最小期望延遲)

改進版的WLC，這種算法保證了是有權(quán)重最高的RS首先響應(yīng)服務(wù)，而非初始機算值都是相同造成的輪詢，但是，會出現(xiàn)權(quán)重大的RS過多負載，而權(quán)重小的RS過于空閑

Overhead=(activeconns+1)*256/weight

NQ：Never Queue（永不排隊）

此算法首次會按照權(quán)重挑選，由大到小輪詢一遍，之后再按照sed算法來選擇，避免了權(quán)重小的RS過于空閑

LBLC：Locality-Based LC，動態(tài)的DH算法；

LBLCR：LBLC with Replication，帶復(fù)制功能的LBLC；

應(yīng)用于緩存服務(wù)器，提高緩存命中率

ipvsadm/ipvs:

集群和集群之上的各RS是分開管理的：

一個ipvs主機可以同時定義多個cluster server，但可能會影響調(diào)度性能

一個ipvs服務(wù)至少應(yīng)該有一個rs

ipvsadm：用戶空間的集群服務(wù)管理工具

程序包：ipvsadm

Unit File: ipvsadm.service

主程序：/usr/sbin/ipvsadm

規(guī)則保存工具：/usr/sbin/ipvsadm-save

規(guī)則重載工具：/usr/sbin/ipvsadm-restore

配置文件：/etc/sysconfig/ipvsadm-config

ipvsadm命令：

核心功能：

集群服務(wù)管理：增、刪、改：

集群服務(wù)的RS管理：增、刪、改；

查看：

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]

ipvsadm -D -t|u|f service-address

ipvsadm -C

ipvsadm -R

ipvsadm -S [-n]

ipvsadm -a|e -t|u|f service-address -r server-address [options]

ipvsadm -d -t|u|f service-address -r server-address

ipvsadm -L|l [options]

ipvsadm -Z [-t|u|f service-address]

管理集群服務(wù)：增、改、刪：

增、改：

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

刪：

ipvsadm -D -t|u|f service-address

service-address：

-t|u|f：

-t：TCP協(xié)議的端口，VIP：TCP_PORT

-u：UDP協(xié)議的端口，VIP：UDP_PORT

-f：firewall MARK,是一個數(shù)字：

【-s scheduler】：指定集群的調(diào)度算法，默認為wlc

管理集群上的RS：增、改、刪：

增、改：

ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight

刪：

ipvsadm -d -t|u|f service-address -r server-address

server-address：

rip【：port】

指明LVS工作類型：

-g：gateway，即dr模式

-i： ?ipip，即tun模式

-m：masquerade，即nat模式

-w：weight 指定權(quán)重

查看：

ipvsadm -L|l [options]

--numeric, -n：numeric output of addresses and ports （數(shù)字格式顯示ip和port）

--exact：expand numbers (display exact values)（精確值）

--connection， -c：output of current IPVS connections（顯示IPVS連接）

--stats：output of statistics information（統(tǒng)計數(shù)據(jù)）

--rate ：output of rate information（速率）

注意：n只能寫在L之后

清空：

ipvsadm -C

清空計數(shù)器：

ipvsadm -z 【-t|u|f service-address】

保存和重載：

ipvsadm -S = ipvsadm-save

ipvsadm -S > /path/to/somewhere

ipvsadm -R = ipvsadm-restore

ipvsadm -R < /path/from/rule_file

FWM:FireWall Mark

netfilter:

target: MARK, This ?target ?is ?used ?to set the Netfilter mark value associated with the packet

--set-mark value.

借助于防火墻標記來分類報文，而后基于標記定義集群服務(wù)；可將多個不同的應(yīng)用使用同一個集群服務(wù)進行調(diào)度；

打標記方法（在Director主機）：

# iptables -t mangle -A PREROUTING -d $vip -p $proto --dport $port -j MARK --set-mark NUMBER

基于標記定義集群服務(wù)：

# ipvsadm -A -f NUMBER [options]

lvs persistence：持久連接

持久連接模板：實現(xiàn)無論使用任何調(diào)度算法，在一段時間內(nèi)，能夠?qū)崿F(xiàn)將來自同一個地址的請求始終發(fā)往同一個RS；

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

port Affinity：

每端口持久：每個端口對應(yīng)定義為一個集群服務(wù)，每集群服務(wù)單獨調(diào)度；

每防火墻標記持久：基于防火墻標記定義集群服務(wù)；可實現(xiàn)將多個端口上的應(yīng)用統(tǒng)一調(diào)度，即所謂的port Affinity；

每客戶端持久：基于0端口定義集群服務(wù)，即將客戶端對所有應(yīng)用的請求統(tǒng)統(tǒng)調(diào)度至后端主機，必須定義為持久模式；

轉(zhuǎn)載于:https://blog.51cto.com/12720949/1926050

總結(jié)

以上是生活随笔為你收集整理的lvs初步认识的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。