一、Infiniband是什么？? ? ? ?

? ? ? ?InfiniBand（簡稱IB）是一種工業標準規范，它定義了一種輸入/輸出架構，用于計算節點、通信基礎設施設備、存儲和嵌入式系統的互連。操作系統可以是Linux、Windows或ESXI。

? ? ? IB協議于2000年由IBTA（InfiniBand Trade Association）提出，其規定了一整套完整的鏈路層到傳輸層（非傳統OSI七層模型的傳輸層，而是位于其之上）規范，但是其無法兼容現有以太網。企業如果想部署，還要重新購買IB網卡和配套的交換設備。IB是一種專為RDMA設計的網絡，從硬件級別保證可靠傳輸。

二、RoCE

? ? ? ?由于使用IB網絡的成本較高，因此，IBTA又提出了RoCE(RDMA over Converged Ethernet)協議，允許通過以太網絡使用RDMA。簡而言之，它可以看作是RDMA技術在超融合數據中心、云、存儲和虛擬化環境中的應用。RoCE可以被認為是IB的“低成本解決方案”，將IB的報文封裝成以太網包進行收發。由于RoCE 可以使用以太網的交換設備，所以現在在企業中應用也比較多，但是相同場景下相比IB性能要有一些損失。

三、玩家——標準/生態組織

? ? ? ?提到IB協議，就不得不提到兩大組織——IBTA和OFA。

? ? ? ?IBTA

? ? ? ?成立于1999年，負責制定和維護Infiniband協議標準。IBTA獨立于各個廠商，通過贊助技術活動和推動資源共享來將整個行業整合在一起，積極推廣IB和RoCE。IBTA會對商用的IB和RoCE設備進行協議標準符合性和互操作性測試及認證，由很多大型的IT廠商組成的委員會領導，其主要成員包括博通，HPE，IBM，英特爾，Mellanox和微軟等。

? ? ? ?OFA(OpenFabrics Alliance)

? ? ? 成立于2004年的非盈利組織，負責開發、測試、認證、支持和分發獨立于廠商的開源跨平臺infiniband協議棧，2010年開始支持RoCE。其對用于支撐RDMA/Kernel bypass應用的OFED（OpenFabrics Enterprise Distribution）軟件棧負責，保證其與主流軟硬件的兼容性和易用性。OFED軟件棧包括驅動、內核、中間件和API。

? ? ? 上述兩個組織是配合關系，IBTA主要負責開發、維護和增強Infiniband協議標準；OFA負責開發和維護Infiniband協議和上層應用API。

四、開發社區

? ? ? ? Linux社區

? ? ? ?Linux內核的RDMA子系統經常會討論一些協議細節，對框架的修改比較頻繁，另外包括華為和Mellanox在內的一些廠商也會經常對驅動代碼進行修改。代碼位于內核drivers/infiniband/目錄下，包括框架核心代碼和各廠商的驅動代碼。代碼倉：git.kernel.org/pub/scm/

? ? ? ?RDMA社區

? ? ? ?對于上層用戶，IB提供了一套與Socket套接字類似的接口——libibverbs。在github上其倉庫的名字為linux-rdma。主要包含兩個子倉庫：

? ? ? ?1、rdma-core用戶態核心代碼，API，文檔以及各個廠商的用戶態驅動。

? ? ? ?2、perftest一個功能強大的用于測試RDMA性能的工具代碼倉：github.com/linux-rdma/

? ? ? ?UCX

? ? ? ?UCX是一個建立在RDMA等技術之上的用于數據處理和高性能計算的通信框架，RDMA是其底層核心之一。我們可以將其理解為是位于應用和RDMA API之間的中間件，向上層用戶又封裝了一層更易開發的接口。代碼倉：github.com/openucx/ucx

五、硬件廠商

? ? ? ?Mellanox：IB領域的領頭羊，協議標準制定、軟硬件開發和生態建設都能看到Mellanox的身影，其在社區和標準制定上上擁有最大的話語權。于2020年4月被NVIDIA正式收購，目前最新一代的網卡是支持400Gb/s的ConnextX-7系列。?

?六、Infiniband主要功能

? ? ? ?提供高帶寬、低延遲、高可擴展、Qos、CPU卸載（SHARP支持的聚合通信卸載）、易管理等服務。

?IB網絡帶寬發展路標圖：

總結

以上是生活随笔為你收集整理的Infiniband互连网络概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。