本節(jié)書摘來自異步社區(qū)《數(shù)據(jù)中心虛擬化技術(shù)權(quán)威指南》一書中的第2章，第2.2節(jié)，作者【巴西】Gustavo A. A. Santana，更多章節(jié)內(nèi)容可以訪問云棲社區(qū)“異步社區(qū)”公眾號查看

2.2　數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)?/h3>

數(shù)據(jù)中心虛擬化技術(shù)權(quán)威指南
一般來說，數(shù)據(jù)中心網(wǎng)絡(luò)可以認(rèn)為是從園區(qū)網(wǎng)絡(luò)專門演變而來的。實(shí)際上，直到 20 世紀(jì) 90 年代晚期，公司將服務(wù)器和用戶終端連接到相同網(wǎng)絡(luò)結(jié)構(gòu)并不罕見。

圖 2-5 描繪出了一個我和幾個客戶共同見證的網(wǎng)絡(luò)設(shè)計(jì)方案。

如圖 2-5 左側(cè)所示，此公司遵循了20世紀(jì) 90 年代園區(qū)網(wǎng)設(shè)計(jì)的三層結(jié)構(gòu)（核心 - 匯聚 - 接入），其內(nèi)部服務(wù)器直接連接到了園區(qū)核心。而后，關(guān)鍵
服務(wù)器與這些交換機(jī)這樣相連，也是有理由的，因?yàn)樗麄兺ǔ６急桓叨仁褂枚旁趫@區(qū)網(wǎng)絡(luò)的中心。

然而，隨著服務(wù)器的不斷增加和它們對公司的重要性不斷提高，設(shè)計(jì)好的網(wǎng)絡(luò)也需要不斷發(fā)展。圖 2-5 的右邊代表在 2010 年左右客戶網(wǎng)絡(luò)的狀態(tài)。在此設(shè)計(jì)方案中，一個單獨(dú)的三層網(wǎng)絡(luò)結(jié)構(gòu)被設(shè)計(jì)用來連接公司服務(wù)器。盡管兩個結(jié)構(gòu)都會使用相似的網(wǎng)絡(luò)設(shè)備（以太網(wǎng)交換機(jī)），但它們的布置和配置肯定會滿足不同的需求。

不只是一個找茬游戲，桌面和服務(wù)器連通的區(qū)別可以總結(jié)為以下幾點(diǎn)。

故障影響：園區(qū)網(wǎng)交換機(jī)故障意味著一些用戶將無法使用他們的應(yīng)用，數(shù)據(jù)中心網(wǎng)絡(luò)故障意味著包括遠(yuǎn)程用戶在內(nèi)的所有用戶的應(yīng)用都無法使用。

主機(jī)連通性：一個普通用戶的桌面只有一個接入園區(qū)網(wǎng)的連接，而數(shù)據(jù)中心的每個服務(wù)器通常都有至少兩個以太網(wǎng)連接。

通信方向：據(jù)統(tǒng)計(jì)，園區(qū)網(wǎng)的主要通信集中在接入和匯聚層通往可達(dá)服務(wù)器的上行鏈路。這種情況不可能發(fā)生在數(shù)據(jù)中心網(wǎng)絡(luò)中，因?yàn)榉?wù)器間的通信是均衡的。

2.2.1　數(shù)據(jù)中心網(wǎng)絡(luò)分層

核心 - 匯聚 - 接入分層的數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)濃縮了多年的網(wǎng)絡(luò)集成經(jīng)驗(yàn)，起源于第一個互聯(lián)網(wǎng)服務(wù)供應(yīng)商（Internet Service Providers，ISP）。由于這種分層方法增強(qiáng)了網(wǎng)絡(luò)的模塊性、靈活性和恢復(fù)能力，因此在多數(shù)據(jù)中心項(xiàng)目中已成功應(yīng)用。

在此結(jié)構(gòu)中，每個交換層計(jì)劃為不同的通信情景提供不同的網(wǎng)絡(luò)功能。例如，核心層為數(shù)據(jù)中心進(jìn)出口通信提供傳送能力。利用專屬的路由特性，在密集的數(shù)據(jù)中心網(wǎng)絡(luò)中，核心交換機(jī)提供一個可升級、靈活、能復(fù)原的結(jié)構(gòu)來為多對匯聚交換機(jī)建立連接。

匯聚層原本是設(shè)計(jì)用來作為服務(wù)器 IP 子網(wǎng)的匯聚點(diǎn)，通常作為它們的默認(rèn)網(wǎng)關(guān)和多對接入交換機(jī)間通信鏈路。因此，匯聚層也被認(rèn)為是接入有狀態(tài)網(wǎng)絡(luò)服務(wù)的中心點(diǎn)，例如防火墻和服務(wù)器負(fù)載均衡器。

注意：
有狀態(tài)網(wǎng)絡(luò)設(shè)備根據(jù)有如 TCP 這樣的協(xié)議確定的網(wǎng)絡(luò)狀態(tài)作出發(fā)送決定。相反，無狀態(tài)設(shè)備僅僅根據(jù)一個包或者幀內(nèi)部信息處理它們。
接入層包含的交換機(jī)必須和服務(wù)器物理相連。由于這一層處理數(shù)量最多的端口，因此它的配置通常目標(biāo)是簡化改善管理。由于這個原因，接入交換機(jī)通常致力于同一子網(wǎng)服務(wù)器直接的通信。這一設(shè)計(jì)方案決定改善了服務(wù)器間任何通信交換類型（單播、組播和廣播）。

顯然，核心 - 匯聚 - 接入模型并沒有在地球上每一個數(shù)據(jù)中心網(wǎng)絡(luò)中得到應(yīng)用。然而，它為一些特殊環(huán)境的需求提供了一個綜合的指導(dǎo)。例如，小數(shù)據(jù)中心也許會將核心和匯聚層壓縮為一層，甚至使用園區(qū)核心交換機(jī)連接一些匯聚模塊。

而服務(wù)提供商大型的數(shù)據(jù)中心可以僅在核心交換機(jī)使用路由，以便在每個服務(wù)器上出現(xiàn)所有的IP 子網(wǎng)，無論它們屬于哪個匯聚模塊。

2.2.2　數(shù)據(jù)中心網(wǎng)絡(luò)的設(shè)計(jì)因素

設(shè)計(jì)一個數(shù)據(jù)中心網(wǎng)絡(luò)時(shí)，網(wǎng)絡(luò)專業(yè)人員必須考慮相關(guān)領(lǐng)域的因素。例如，設(shè)計(jì)必須考慮到數(shù)據(jù)中心的增長率（服務(wù)器、交換機(jī)端口、客戶的數(shù)量或任何其他參數(shù)）來避免網(wǎng)絡(luò)拓?fù)涑蔀榫W(wǎng)絡(luò)環(huán)境拓展的瓶頸。

應(yīng)用帶寬需求也是數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)的一個重要方面。通常來說，網(wǎng)絡(luò)專業(yè)人士會超額接受這些需求，并將其轉(zhuǎn)換成更多相關(guān)元件（例如端口和交換機(jī)模塊）。在通信系統(tǒng)中，多種元素共享公共資源，超額率是指每個用戶分配到的資源和每個用戶潛在能夠消耗的最大資源的比值。

在數(shù)據(jù)中心網(wǎng)絡(luò)中，超額基本是指每一層交換機(jī)可以有效提供給下游設(shè)備多少帶寬。例如，如果一個接入層交換機(jī)有 32 個 10 千兆以太網(wǎng)服務(wù)器端口和 8 個千兆上行 10 千兆以太網(wǎng)接口，那么它對上行服務(wù)器流量有 4∶1 的超額率。

通過測試和微調(diào)，可以發(fā)現(xiàn)在每個應(yīng)用程序環(huán)境支持的超額率并確定最佳的網(wǎng)絡(luò)設(shè)計(jì)方案，以滿足程序當(dāng)前和未來的需求。

業(yè)務(wù)相關(guān)的決定也會影響到數(shù)據(jù)中心網(wǎng)絡(luò)的設(shè)計(jì)，如故障范圍的大小。因此，如果一個組織根本無法承受同時(shí)失去多個應(yīng)用環(huán)境，那么每個 IP 子網(wǎng)的服務(wù)器和匯聚接入交換機(jī)的數(shù)量將不僅僅是一個技術(shù)決定的問題。

應(yīng)用彈性是影響數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)最重要的因素之一，因?yàn)樗髴?yīng)用和網(wǎng)絡(luò)現(xiàn)有機(jī)制的完美和諧，例如：

服務(wù)器冗余以太網(wǎng)接口應(yīng)該連接到不同的接入交換機(jī)上，并防止“黑洞”（一個活躍的服務(wù)器連接在一個孤立的網(wǎng)絡(luò)設(shè)備上）產(chǎn)生；

網(wǎng)絡(luò)與應(yīng)用服務(wù)器相比應(yīng)該有更快的反應(yīng)速度。

最后，數(shù)據(jù)中心網(wǎng)絡(luò)的設(shè)計(jì)者應(yīng)該知道在不同情況下不同因素的優(yōu)先級，因?yàn)閷σ粋€因素有利會潛在對另一個有害。一個經(jīng)典的例子就是匯聚層和接入層之間的連接拓?fù)洹?/p>

圖 2-6 描述了傳統(tǒng)交換機(jī)使用的 4 種冗余設(shè)計(jì)方法。

提示：
匯聚層交換機(jī)上的虛線分隔開了這些設(shè)備上的交換（2層）和路由（3層）接口。
圖 2-6 中的方案可分為環(huán)狀和無環(huán)拓?fù)浣Y(jié)構(gòu)，取決于它們阻止連接損失的機(jī)制，例如生成樹協(xié)議（Spanning Tree Protocol，STP）。

由于其確定性和靈活性，環(huán)狀三角拓?fù)錈o疑是數(shù)據(jù)中心網(wǎng)絡(luò)中部署最為廣泛的。在本拓?fù)渲?#xff0c;接入?yún)R聚層的超額率保持不變，以防止上行鏈路或匯聚交換機(jī)出現(xiàn)故障。但是，STP 協(xié)議并沒有允許所有上行鏈路投入使用。

相比較而言，環(huán)狀矩形拓?fù)湓黾恿私尤雽咏粨Q機(jī)的密度，因?yàn)槊總€接入層交換機(jī)只需要一條連接接入?yún)R聚層（此情況在 STP 可以通過強(qiáng)制阻斷接入交換機(jī)之間的連接來實(shí)現(xiàn)）。

此設(shè)計(jì)方案一個潛在缺陷是，當(dāng)一個匯聚服務(wù)器或上行鏈路發(fā)生故障后，到匯聚層的通信超額率會翻倍。

在一個無環(huán) U 形拓?fù)渲?#xff0c;由于沒有環(huán)狀結(jié)構(gòu)，所以沒有鏈路被阻斷，但是仍然推薦使用 STP 協(xié)議偽裝連接錯誤。在環(huán)裝矩形拓?fù)渲?#xff0c;此設(shè)計(jì)方案允許每個匯聚對接入更多接入層交換機(jī)并最優(yōu)化的利用上行鏈路。但是，無環(huán) U 形拓?fù)涿總€ 2 層范圍只使用一對接入交換機(jī)（不然則會形成環(huán)路）。另外，任意一臺交換機(jī)發(fā)生故障都會使整個匯聚層間 2 層通信停止（包括首跳冗余性協(xié)議 （First Hop Redundancy Protocols，FHRP） 的 hello 包）。

除了分享無環(huán) U 形拓?fù)涞乃袃?yōu)勢，無環(huán)反向 U 形拓?fù)湓谝粋€ 2 層范圍內(nèi)允許加入超過兩臺接入交換機(jī)。但是此拓?fù)涞纳闲墟溌泛蛥R聚層故障很復(fù)雜，因?yàn)榉?wù)器流量會產(chǎn)生“黑洞”。

在決定使用哪種拓?fù)鋾r(shí)，需要設(shè)計(jì)師仔細(xì)權(quán)衡數(shù)據(jù)中心網(wǎng)絡(luò)中最重要的因素。我覺得這不是個輕松的工作。

注意：
我會在下面幾個章節(jié)討論生成樹協(xié)議以及它的延伸，在第 3 章“網(wǎng)絡(luò)虛擬化謙遜的起點(diǎn)”和第 6 章“生成樹欺騙”中，您將了解到一些網(wǎng)絡(luò)虛擬化技術(shù)是專門設(shè)計(jì)用來從多設(shè)計(jì)方案中得到優(yōu)點(diǎn)、規(guī)避缺點(diǎn)的。

2.2.3　物理層網(wǎng)絡(luò)布局問題

選擇一個正確的邏輯拓?fù)洳⒉皇菙?shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)的結(jié)束。網(wǎng)絡(luò)設(shè)備和服務(wù)器的物理構(gòu)造確實(shí)影響這些結(jié)構(gòu)的效果。圖 2-7 作為例證展示了兩種流行的數(shù)據(jù)中心針對機(jī)架可安裝服務(wù)器的物理接入設(shè)計(jì)方案。

頂架式（Top-of-Rack，ToR）和列端式（End-of-Row，EoR）的設(shè)計(jì)代表了接入服務(wù)器和交換機(jī)是如何互連的。它們對整個中心的線纜系統(tǒng)有直接影響。

頂架式（ToR）的設(shè)計(jì)是基于內(nèi)機(jī)架式服務(wù)器和小交換機(jī)之間的布線，可以將服務(wù)器安裝在一個機(jī)架中。而這些設(shè)計(jì)方案減少了布線，優(yōu)化了網(wǎng)絡(luò)設(shè)備的使用空間，從而讓網(wǎng)絡(luò)團(tuán)隊(duì)可以去管理更多數(shù)量的設(shè)備（每個機(jī)架兩臺設(shè)備，如圖 2-7 所示）。

另一方面，列端式（EoR）設(shè)計(jì)是基于服務(wù)器直接的機(jī)架間布線和高密度成列安裝的交換機(jī)作為服務(wù)器機(jī)架。相比較而言，列端式減少了網(wǎng)絡(luò)設(shè)備數(shù)量并優(yōu)化了設(shè)備端口的效用，但是其在活動地板下或者電纜槽內(nèi)有大量的水平線纜。

如果您問“哪個更好呢？”，那么正確的回答是模糊的“看情況”。實(shí)際上，最好的設(shè)計(jì)方案選擇是根據(jù)每個機(jī)架的服務(wù)器數(shù)量、連接速率、預(yù)算和運(yùn)行復(fù)雜度而定。

注意：
我會更詳細(xì)地討論頂架式和列端式設(shè)計(jì)方案（和它們的變體）。第 7 章“帶陣列擴(kuò)展器的虛擬化機(jī)箱”會展現(xiàn)一種能讓用戶享受到兩種技術(shù)方案優(yōu)點(diǎn)的虛擬化技術(shù)。

2.2.4　ANSI/TIA-942標(biāo)準(zhǔn)

此標(biāo)準(zhǔn)是 2005 年由電信行業(yè)協(xié)會的 TR-42 工程委員會發(fā)表，EIA/TIA-942 電信數(shù)據(jù)中心基礎(chǔ)設(shè)施標(biāo)準(zhǔn)為數(shù)據(jù)中心的設(shè)計(jì)和安裝提供了非常有用的指導(dǎo)方針。

協(xié)議以靈活性、可拓展性、可靠性和數(shù)據(jù)中心項(xiàng)目的空間管理為目標(biāo)，規(guī)定了一個數(shù)據(jù)中心的分等級的可靠性分類，并闡述了重要的環(huán)境問題。

特別的，ANSI/TIA-942-2005 也提供了線纜布置和空間布局的最佳實(shí)例。有關(guān)這些主題，標(biāo)準(zhǔn)定義以下空間和結(jié)構(gòu)化布纜元素。

• 機(jī)房：一個主要功能是容納數(shù)據(jù)處理設(shè)備的建筑空間。
• 接入室：提供數(shù)據(jù)中心結(jié)構(gòu)化布纜和外部建筑線纜（服務(wù)提供商或者客戶所有）之間的接口，應(yīng)該位于機(jī)房外面以防止物理層受到安全破壞。
• 主要分布區(qū)（Main Distribution Area，MDA）：在機(jī)房內(nèi)部，是結(jié)構(gòu)化布纜的核心點(diǎn)。由于可以自由連接到數(shù)據(jù)中心其他位置，網(wǎng)絡(luò)設(shè)備通常位于此區(qū)域。
• 水平分布區(qū)（Horizontal Distribution Area，HDA）：活躍設(shè)備延伸線纜的分布點(diǎn)，同樣在機(jī)房內(nèi)部。小型的數(shù)據(jù)中心的主要分布區(qū)可能可以支撐網(wǎng)絡(luò)，可能不需要水平分布區(qū)。
• 設(shè)備分布區(qū)（Equipment Distribution Area，EDA）：一個用來放置活躍設(shè)備的空間，設(shè)備包括計(jì)算機(jī)系統(tǒng)和通信設(shè)備。在設(shè)備分布區(qū)，來自水平分布區(qū)的水平線纜末端接上插線面板，服務(wù)器機(jī)架被間隔排布出冷通道和熱通道，以方便溫度管理。
• 區(qū)域分布區(qū)（Zone Distribution Area，ZDA）：一個位于水平分布區(qū)和設(shè)備分布區(qū)直接的可選互連地點(diǎn)，方便重配置，使系統(tǒng)具有靈活性。
• 交叉連接：是一種設(shè)備，使線纜終端能夠和布線系統(tǒng)、子系統(tǒng)、跳線和硬盤端口連接跳線建立連接。
• 骨干線纜：在數(shù)據(jù)中心結(jié)構(gòu)化布纜系統(tǒng)中提供主要分布區(qū)、水平分布區(qū)和接入室之間的連接。骨干線纜要求能在一個或者幾個計(jì)劃階段內(nèi)滿足數(shù)據(jù)中心的服務(wù)需求，在不安裝額外線纜的情況下，適應(yīng)服務(wù)需求的增長和改變。

ANSI/TIA-942-2005 標(biāo)準(zhǔn)推薦在骨干線纜上使用分層星形拓?fù)?#xff0c;在不同區(qū)域使用交叉連接（允許非星形配置，但水平分布區(qū)之間不能有連接）。標(biāo)準(zhǔn)同時(shí)提倡將主要分布區(qū)放置在數(shù)據(jù)中心的地理幾何中心來最小化布線距離。

水平布纜也同樣推薦使用星形拓?fù)?#xff0c;但是不強(qiáng)制使用交叉連接。對于水平線纜和骨干線纜，標(biāo)準(zhǔn)建議的最大距離是雙絞電纜 90m，光纖 300m。

圖 2-8 展示了如何標(biāo)準(zhǔn)地規(guī)劃一個數(shù)據(jù)中心網(wǎng)絡(luò)。

圖 2-8 同樣描繪出了用傳統(tǒng)的三層結(jié)構(gòu)放置交換機(jī)的方式，可以設(shè)想核心和列端式匯聚交換機(jī)都可以放置在主要分布區(qū)，以接入數(shù)據(jù)中心的其他區(qū)域。列端式接入交換機(jī)通常放置在水平分布區(qū)而水平線纜則對應(yīng)部署在設(shè)備分布區(qū)。列端式設(shè)備分布區(qū)的以太網(wǎng)水平電纜可以是雙絞電纜或者光纖（當(dāng)然，根據(jù)服務(wù)器接入速率，功率資源和預(yù)算而定）。

頂架式的匯聚層交換機(jī)可以放置于平行分布區(qū)域，因?yàn)榻尤虢粨Q機(jī)會占用設(shè)備分布區(qū)域的機(jī)架。在這些設(shè)計(jì)方案中，骨干和水平線纜（在設(shè)備分布區(qū)和水平分布區(qū)之間）為了作出有遠(yuǎn)見的線纜投資，都預(yù)先采用了光纖。而機(jī)架內(nèi)部的線纜由于混雜的特性能夠更快地適應(yīng)服務(wù)器環(huán)境。

這些 ANSI/TIA-942-2005 中的數(shù)據(jù)中心通信基礎(chǔ)設(shè)施標(biāo)準(zhǔn)的內(nèi)容，是在經(jīng)過電信行業(yè)協(xié)會（www. tiaonline.org）書面允許之后重現(xiàn)的。所有的標(biāo)準(zhǔn)都有可能被修訂，鼓勵大家檢查任何標(biāo)準(zhǔn)變化，并應(yīng)用可能發(fā)布的最新標(biāo)準(zhǔn)版本。

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的《数据中心虚拟化技术权威指南》一2.2　数据中心网络拓扑的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。