一、前言

在單一的服務(wù)器上執(zhí)行WEB應(yīng)用程序有一些重大的問題，當(dāng)網(wǎng)站成功建成并開始接受大量請求時，單一服務(wù)器終究無法滿足需要處理的負(fù)荷量，所以就有點顯得有點力不從心了。另外一個常見的問題是會產(chǎn)生單點故障，如果該服務(wù)器壞掉，那么網(wǎng)站就立刻無法運作了。不論是因為要有較佳的擴充性還是容錯能力，我們都會想在一臺以上的服務(wù)器計算機上執(zhí)行WEB應(yīng)用程序。所以，這時候我們就需要用到集群這一門技術(shù)了。

在進入集群系統(tǒng)架構(gòu)探討之前，先定義一些專門術(shù)語：

1. 集群(Cluster)：是一組獨立的計算機系統(tǒng)構(gòu)成一個松耦合的多處理器系統(tǒng)，它們之間通過網(wǎng)絡(luò)實現(xiàn)進程間的通信。應(yīng)用程序可以通過網(wǎng)絡(luò)共享內(nèi)存進行消息傳送，實現(xiàn)分布式計算機。

2. 負(fù)載均衡(Load Balance)：先得從集群講起，集群就是一組連在一起的計算機，從外部看它是一個系統(tǒng)，各節(jié)點可以是不同的操作系統(tǒng)或不同硬件構(gòu)成的計算機。如一個提供Web服務(wù)的集群，對外界來看是一個大Web服務(wù)器。不過集群的節(jié)點也可以單獨提供服務(wù)。

3. 特點：在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上，負(fù)載均衡提供了一種廉價有效的方法擴展服務(wù)器帶寬和增加吞吐量，加強網(wǎng)絡(luò)數(shù)據(jù)處理能力，提高網(wǎng)絡(luò)的靈活性和可用性。集群系統(tǒng)(Cluster)主要解決下面幾個問題：
高可靠性（HA）：利用集群管理軟件，當(dāng)主服務(wù)器故障時，備份服務(wù)器能夠自動接管主服務(wù)器的工作，并及時切換過去，以實現(xiàn)對用戶的不間斷服務(wù)。
高性能計算（HP）：即充分利用集群中的每一臺計算機的資源，實現(xiàn)復(fù)雜運算的并行處理，通常用于科學(xué)計算領(lǐng)域，比如基因分析，化學(xué)分析等。
負(fù)載平衡：即把負(fù)載壓力根據(jù)某種算法合理分配到集群中的每一臺計算機上，以減輕主服務(wù)器的壓力，降低對主服務(wù)器的硬件和軟件要求。

總體來說，在負(fù)載均衡的思路下，多臺服務(wù)器為對等方式，每臺服務(wù)器都具有同等的地位，可以單獨對外提供服務(wù)而無須其他服務(wù)器的輔助。通過負(fù)載分擔(dān)技術(shù)，將外部發(fā)送來的請求按一定規(guī)則分配到對稱結(jié)構(gòu)中的某一臺服務(wù)器上，而接收到請求的服務(wù)器都獨立回應(yīng)客戶機的請求。

提供服務(wù)的一組服務(wù)器組成了一個應(yīng)用服務(wù)器集群(cluster)，集群下的對等多機環(huán)境可以增加系統(tǒng)的并發(fā)處理能力，和單臺機器出現(xiàn)故障系統(tǒng)的錯誤冗余能力；同時實現(xiàn)了負(fù)載均衡和系統(tǒng)高可靠性。

二、常用負(fù)載均衡技術(shù)

1. 基于DNS的負(fù)載均衡

通過DNS服務(wù)中的隨機名字解析來實現(xiàn)負(fù)載均衡，在DNS服務(wù)器中，可以為多個不同的地址配置同一個名字，而最終查詢這個名字的客戶機將在解析這個名字時得到其中一個地址。因此，對于同一個名字，不同的客戶機會得到不同的地址，他們也就訪問不同地址上的Web服務(wù)器，從而達(dá)到負(fù)載均衡的目的。

2. 反向代理負(fù)載均衡 （如Apache+JK2+Tomcat這種組合）

使用代理服務(wù)器可以將請求轉(zhuǎn)發(fā)給內(nèi)部的Web服務(wù)器，讓代理服務(wù)器將請求均勻地轉(zhuǎn)發(fā)給多臺內(nèi)部Web服務(wù)器之一上，從而達(dá)到負(fù)載均衡的目的。這種代理方式與普通的代理方式有所不同，標(biāo)準(zhǔn)代理方式是客戶使用代理訪問多個外部Web服務(wù)器，而這種代理方式是多個客戶使用它訪問內(nèi)部Web服務(wù)器，因此也被稱為反向代理模式。

3. 基于NAT（Network Address Translation）的負(fù)載均衡技術(shù) （如Linux Virtual Server，簡稱LVS）

網(wǎng)絡(luò)地址轉(zhuǎn)換為在內(nèi)部地址和外部地址之間進行轉(zhuǎn)換，以便具備內(nèi)部地址的計算機能訪問外部網(wǎng)絡(luò)，而當(dāng)外部網(wǎng)絡(luò)中的計算機訪問地址轉(zhuǎn)換網(wǎng)關(guān)擁有的某一外部地址時，地址轉(zhuǎn)換網(wǎng)關(guān)能將其轉(zhuǎn)發(fā)到一個映射的內(nèi)部地址上。因此如果地址轉(zhuǎn)換網(wǎng)關(guān)能將每個連接均勻轉(zhuǎn)換為不同的內(nèi)部服務(wù)器地址，此后外部網(wǎng)絡(luò)中的計算機就各自與自己轉(zhuǎn)換得到的地址上服務(wù)器進行通信，從而達(dá)到負(fù)載分擔(dān)的目的。

三、Apache+JK2實現(xiàn)Tomcat集群與負(fù)載均衡

客戶系統(tǒng)一般采用Apache httpd作為web服務(wù)器，即作為Tomcat的前端處理器，根據(jù)具體情況而定，有些情況下是不需要Apache httpd作為 web 服務(wù)器的，如系統(tǒng)展現(xiàn)沒有靜態(tài)頁面那就不需要Apache httpd，那時可以直接使用Tomcat作為web 服務(wù)器來使用。使用Apache httpd主要是它在處理靜態(tài)頁面方面的能力比Tomcat強多了。

1. 集群實現(xiàn)原理

如上圖所示，主要通過 Apache-Server 作為中轉(zhuǎn)服務(wù)器，實現(xiàn)多個 tomcat 服務(wù)器之間的分布式處理，用戶直接請求 Apache-Server ，然后 Apache-Server 會將請求分發(fā)到具體的 tomcat-server ，之后 tomcat-server 響應(yīng)客戶請求并返回結(jié)果到 Apache-Server ，最后 Apache-Server 返回結(jié)果給用戶。

2. 配置負(fù)載均衡器

文件說明：

(a) mod_jk.conf，主要定義 mod_jk 模塊的位置以及 mod_jk 模塊的連接日志設(shè)置，還有定義 worker.properties 文件的位置。

(b) worker.properties，定義 worker 的參數(shù)，主要是連接 tomcat 主機的地址和端口信息。如果 Tomcat 與 apache 不在同一臺機器上，或者需要做多臺機器上 tomcat 的負(fù)載均衡只需要更改 workers.properties 文件中的相應(yīng)定義即可。％ APACHE_HOME ％為你的安裝目錄。

環(huán)境說明：主要使用了一個 Apache Server 和兩個 Tomcat ，在同一臺電腦上進行測試。

(a)準(zhǔn)備軟件

Jdk1.6 下載地址：http://java.sun.com

tomcat -6.0.29 下載地址：http://jakarta.apache.org

apache_2.2.4-win32-x86-no_ssl.msi 下載地址：http://httpd.apache.org/download.cgi

mod_jk-1.2.31-httpd-2.0.52.so ( 主要作用是建立 Apache Server 與 Tomcat 之間的連接 )下載地址：http://www.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/

說明： apache-server 安裝完成后，可以在瀏覽器中輸入http://localhost/來測試，如果出現(xiàn) ” It works!”則表示安裝成功。

(b)安裝 mod_jk 連接模塊

安裝好 Jdk 、 tomcat 、 apache 后 , 加入 mod_jk 連接模塊，就是把 mod_jk- 1.2.31 -httpd-2.2.3.so 文件拷貝到％ APACHE_HOME ％ \modules 下，把 jk 模塊的配置放到單獨的文件中來，在％ APACHE_HOME ％ \conf 目錄新建 mod_jk.conf 、 workers.properties 文件。

在 httpd.conf 最后加上：

# JK module settings

Include conf/mod_jk.conf

說明：以上表示將 mod_jk.conf 配置文件包含進來

(c)修改 mod_jk.conf 文件

為了保持 httpd.conf 文件的簡潔，把 jk 模塊的配置放到單獨的文件中來。在 mod_jk.conf 文件中添加以下內(nèi)容：

# Load mod_jk2 module

LoadModule jk_module modules/mod_jk-1.2.31-httpd-2.2.3.so

# Where to find workers.properties( 引用 workers 配置文件 )

JkWorkersFile conf/workers.properties

# Where to put jk logs(log 文件路徑 )

JkLogFile logs/mod_jk2.log

# Set the jk log level [debug/error/info](log 級別 )

JkLogLevel info

# Select the log format(log 格式 )

JkLogStampFormat "[%a %b %d %H:%M:%S %Y] "

# JkOptions indicate to send SSL KEY SIZE,

JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories

# JkRequestLogFormat set the request format

JkRequestLogFormat "%w %V %T"

# Send JSPs for context / to worker named loadBalancer(URL 轉(zhuǎn)發(fā)配置，匹配的 URL 才轉(zhuǎn)發(fā)到 tomcat 進行處理 )

JkMount /*.jsp controller

# JkMount /*.* loadBalancer

(d)修改 workers.properties 文件

在 workers.properties 文件中添加以下內(nèi)容：

#server 列表

worker.list = controller,tomcat1,tomcat2

# tomcat1(ajp13 端口號，在tomcat下server.xml配置,默認(rèn)8009)

worker.tomcat1.port=8009

#tomcat 的主機地址，如不為本機，請?zhí)顚慽p地址

worker.tomcat1.host=localhost

worker.tomcat1.type=ajp13

#server 的加權(quán)比重，值越高，分得的請求越多

worker.tomcat1.lbfactor = 1

# tomcat2

worker.tomcat2.port=9009

worker.tomcat2.host=localhost

worker.tomcat2.type=ajp13

worker.tomcat2.lbfactor = 1

# controller( 負(fù)載均衡控制器)

worker.controller.type=lb

# 指定分擔(dān)請求的tomcat

worker.controller.balanced_workers=tomcat1,tomcat2

#worker.controller.sticky_session=true

說明：此文件配置了 2 個 tomcat 服務(wù)器進行負(fù)載均衡處理

(e)修改 tomcat 配置文件 server.xml

更改其中一個的設(shè)置打開 tomcat2/conf/server.xml 文件，修改里面所有的端口設(shè)置，將 8 改為 9 ，如下：

(f)編寫一個測試頁面 teat1.jsp

建立一個 test 的 web 應(yīng)用，里面新建一個 test1.jsp, 內(nèi)容為：

(g)啟動服務(wù)器并進行測試

依次啟動 apache-server 、 tomcat1 、 tomcat2 ，通過http://localhost/test/test1.jsp訪問，查看 tomcat1 的窗口，可以看到打印了一行 "==========" ，再刷新一次， tomcat2 也打印了一條，再刷新，可以看到請求會被 tomcat1,tomcat2 輪流處理 , 實現(xiàn)了負(fù)載均衡

3.集群(session復(fù)制 )

只配置負(fù)載均衡還不行，還要 session 復(fù)制，也就是說其中任何一個 tomcat 的添加的 session ，是要同步復(fù)制到其它 tomcat ， 集群內(nèi)的 tomcat 都有相同的 session：

(a)Tomcat配置

修改 tomcat1, tomcat2 的 server.xml 文件添加集群內(nèi)容， tomcat5.5 無需添加，只需要去掉注釋符， tomcat6.0 需要添加，內(nèi)容如下：

<Cluster className="org.apache.catalina.cluster.tcp.SimpleTcpCluster"

managerClassName="org.apache.catalina.cluster.session.DeltaManager"

expireSessionsOnShutdown="false"

useDirtyFlag="true"

notifyListenersOnReplication="true">

<Membership

className="org.apache.catalina.cluster.mcast.McastService"

mcastAddr="228.0.0.4"

mcastPort="45564"

mcastFrequency="500"

mcastDropTime="3000"/>

<Receiver

className="org.apache.catalina.cluster.tcp.ReplicationListener"

tcpListenAddress="auto"

tcpListenPort="4001"

tcpSelectorTimeout="100"

tcpThreadCount="6"/>

<Sender

className="org.apache.catalina.cluster.tcp.ReplicationTransmitter"

replicationMode="pooled"

ackTimeout="15000"

waitForAck="true"/>

<Valve className="org.apache.catalina.cluster.tcp.ReplicationValve"

filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>

<Deployer className="org.apache.catalina.cluster.deploy.FarmWarDeployer"

tempDir="/tmp/war-temp/"

deployDir="/tmp/war-deploy/"

watchDir="/tmp/war-listen/"

watchEnabled="false"/>

<ClusterListener className="org.apache.catalina.cluster.session.ClusterSessionListener"/>

</Cluster>

分別添加以上內(nèi)容后，在 tomcat2 中，修改 tcpListenPort="4001" 為 4002。

Engine 增加 jvmRoute 屬性設(shè)置， jvmRoute 的值來自于 workers.properties 文件所設(shè)置的服務(wù)器名稱。

<Engine name="Catalina" defaultHost="localhost"jvmRoute="tomcat1">

#server 列表

worker.list = controller,tomcat1,tomcat2

(b) 添加 test.jsp 頁面

修改 web.xml 文件，加入 <distributable/>節(jié)點，如下所示：

(c)Session復(fù)制測試

測試步驟如下：

1) 啟動 apache-server 、 tomcat1 、 tomcat2

2) 訪問http://localhost/test/test.jsp，輸入名稱： test0001 、值： 123 并點擊“提交查詢內(nèi)容”按鈕，顯示效果如下：

如上圖所示， tomcat1 創(chuàng)建了一個新的 session ， session 中有屬性 test0001, 值為 123

3) 關(guān)閉 tomcat1 服務(wù)器， tomcat1 端口為 8080 ，如下圖：

4) 在頁面中再次點擊“提交查詢內(nèi)容”按鈕，效果如下：

前端頁面并沒有發(fā)生改變，接下來查看后臺情況：

如圖所示，可以發(fā)現(xiàn) session 已成功復(fù)制到 tomcat2 中，以此證明 tomcat 集群已配置成功。

5) 另外來看看不關(guān)閉 tomcat1 服務(wù)器再次提交的情況

如圖所示，請求并沒有轉(zhuǎn)發(fā)到 tomcat2 服務(wù)器，而是再次轉(zhuǎn)回 tomcat1 服務(wù)器，這種情況是由于配置了 jvmRoute 所致，以個人理解，配置了此屬性后， apache-server 會根據(jù) session 情況來進行路由，同一個 session 會轉(zhuǎn)發(fā)給同一個服務(wù)器。

6) 打開一個新的 IE 窗口，并訪問http://localhost/test/test.jsp

新窗口的請求轉(zhuǎn)發(fā)到了 tomcat2 服務(wù)器， session 的 id 為 DD9E6C8181653B9BCCF534FC8760B264.tomcat2 ，根據(jù)測試結(jié)果可以說明，在不發(fā)生服務(wù)器關(guān)閉的情況下，每個 session 會綁定到同一個服務(wù)器中，而不會在服務(wù)器間發(fā)生復(fù)制。

四、總結(jié)

介紹完上面的集群技術(shù)之后，下面就基于Tomcat的集群架構(gòu)方案進行說明：

1. 用戶的網(wǎng)頁瀏覽器做完本地 DNS和企業(yè)授權(quán)的DNS之的請求/響應(yīng)后，這時候企業(yè)授權(quán)的DNS（即21cn BOSS DNS）會給用戶本地的DNS服務(wù)器提供一個NAT請求分配器（即網(wǎng)關(guān)）IP。
2. NAT分配器，它會根據(jù)特定的分配算法，來決定要將連接交給哪一臺內(nèi)部 Apache httpd來處理請求。大多數(shù)的NAT請求分配器提供了容錯能力：根據(jù)偵測各種WEB服務(wù)器的失效狀況，停止將請求分配給已經(jīng)宕掉的服務(wù)器。并且有些分配器還可以監(jiān)測到WEB服務(wù)器機器的負(fù)載情況，并將請求分配給負(fù)載最輕的服務(wù)器等等。Linux Virtual Server是一個基于Linux操作系統(tǒng)上執(zhí)行的VS-NAT開源軟件套件，而且它有豐富的功能和良好的說明文件。商業(yè)硬件解決方案 Foundry Networks的ServerIron是目前業(yè)界公認(rèn)最佳的請求分配器之一。
3. Apache httpd + Mod_JK2在這里是作為負(fù)載均衡器，那為什么要做集群呢？如果集群系統(tǒng)要具備容錯能力，以便在任何單一的硬件或軟件組件失效時還能100%可用，那么集群系統(tǒng)必須沒有單點故障之憂。所以，不能只架設(shè)一臺有mod_jk2的Apache httpd，因為如果 httpd或mod_jk2失效了，將不會再有請求被會送交到任何一個Tomcat 實例。這種情況下，Apache httpd就是瓶勁，特別在訪問量大的網(wǎng)站。
4. Mod_JK2負(fù)載均衡與故障復(fù)原，決定把Apache httpd當(dāng)成web服務(wù)器，而且使用mod_jk2將請求傳送給Tomcat，則可以使用mod_jk2的負(fù)載均衡與容錯功能。在集群系統(tǒng)中，帶有mod_jk2的Apache httpd可以做的事情包括：

A 將請求分配至一或多個Tomcat實例上你可以在mod_jk2的workers.properties文件中，設(shè)定許多Tomcat實例，并賦于每個實例一個lb_factor值，以作為請求分配的加權(quán)因子。
B. 偵測Tomcat實例是否失敗當(dāng)Tomcat實例的連接器服務(wù)不再響應(yīng)時，mod_jk2會及時偵測到，并停止將請求送給它。其他的Tomcat實例則會接受失效實例的負(fù)載。
C. 偵測Tomcat實例在失效后的何時恢復(fù)因連接器服務(wù)失效，而停止將請求分配給Tomcat實例之后，mod_jk2會周期性地檢查是否已恢復(fù)使用性，并自動將其加入現(xiàn)行的Tomcat實例池中。

5. Tomcat中的集群原理是通過組播的方式進行節(jié)點的查找并使用TCP連接進行會話的復(fù)制。這里提示一下就是，對每個請求的處理，Tomcat都會進行會話復(fù)制，復(fù)制后的會話將會慢慢變得龐大。
6. Mod_jk2同時支持會話親和和會話復(fù)制。在tomcat 5中如何實現(xiàn)會話親和和會話復(fù)制？把server.xml中的標(biāo)簽去掉就實現(xiàn)會話親和，把標(biāo)簽加上就實現(xiàn)會話復(fù)制。
7. 會話親和：就是表示來自同會話的所有請求都由相同的Tomcat 實例來處理，這種情況下，如果Tomcat實例或所執(zhí)行的服務(wù)器機器失效，也會喪失Servlet的會話數(shù)據(jù)。即使在集群系統(tǒng)中執(zhí)行更多的Tomcat實例，也永遠(yuǎn)不會復(fù)制會話數(shù)據(jù)。這樣是提高集群性能的一種方案，但不具備有容錯能力了。
8. 使用會話復(fù)制，則當(dāng)一個Tomcat實例宕掉時，由于至少還有另一個Tomcat實例保有一份會話狀態(tài)數(shù)據(jù)，因而數(shù)據(jù)不會喪失。但性能會有所降低。

其實無論是分布式，數(shù)據(jù)緩存，還是負(fù)載均衡，無非就是改善網(wǎng)站的性能瓶頸，在網(wǎng)站源碼不做優(yōu)化的情況下，負(fù)載均衡可以說是最直接的手段了。其實拋開這個名詞，放開了說，就是希望用戶能夠分流，也就是說把所有用戶的訪問壓力分散到多臺服務(wù)器上，也可以分散到多個tomcat里，如果一臺服務(wù)器裝多個tomcat，那么即使是負(fù)載均衡，性能也提高不了太多，不過可以提高穩(wěn)定性，即容錯性。當(dāng)其中一個主tomcat當(dāng)?shù)?#xff0c;其他的tomcat也可以補上，因為tomcat之間實現(xiàn)了Session共享。待tomcat服務(wù)器修復(fù)后再次啟動，就會自動拷貝所有session數(shù)據(jù)，然后加入集群。這樣就可以不間斷的提供服務(wù)。如果要真正從本質(zhì)上提升性能，必須要分布到多臺服務(wù)器。

其實多臺服務(wù)器各配置一個tomcat也可以實現(xiàn)負(fù)載均衡，而且那樣的話，可以使用安裝版的tomcat，而不用是下文中的免安裝的tomcat，而且tomcat端口配置也就不用修改了。

本文轉(zhuǎn)自：http://my.oschina.net/xianggao/blog/87469

總結(jié)

以上是生活随笔為你收集整理的Tomcat服务器集群与负载均衡实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。