作者：張榮濱，酷劃在線后端架構(gòu)師，關(guān)注微服務(wù)治理，容器化技術(shù)，Service Mesh等技術(shù)領(lǐng)域

terway網(wǎng)絡(luò)性能測試

酷劃在線成立于2014年，是國內(nèi)激勵廣告行業(yè)的領(lǐng)軍者。酷劃致力于打造一個用戶、廣告主、平臺三方共贏的激勵廣告生態(tài)體系，旗下產(chǎn)品“酷劃鎖屏”“淘新聞”分別為鎖屏、資訊行業(yè)的領(lǐng)跑者。

伴隨著公司服務(wù)端架構(gòu)向微服務(wù)演進(jìn)的過程中，服務(wù)增多，運維成本提高，資源利用率低，等問題日益凸顯，目前公司服務(wù)器規(guī)模超過700+臺ECS，服務(wù)數(shù)量1000+，隨著容器化技術(shù)的成熟，計劃在近期大規(guī)模將生產(chǎn)環(huán)境遷移到阿里云容器服務(wù)平臺上，但由于VxLan等主機(jī)轉(zhuǎn)發(fā)模式的Overlay網(wǎng)絡(luò)均有一定的性能損耗，所以我們將目光瞄準(zhǔn)阿里云容器服務(wù)平臺開源的terway網(wǎng)絡(luò)插件，期望使用能夠動態(tài)綁定彈性網(wǎng)卡的容器服務(wù)達(dá)到ECS的網(wǎng)絡(luò)性能，進(jìn)而對terway網(wǎng)絡(luò)性能進(jìn)行詳細(xì)的評估。

測試說明

本測試基于阿里云容器服務(wù)Kubernetes版（1.12.6-aliyun.1），Kubernetes集群使用阿里云控制臺創(chuàng)建，測試分兩部分：

• 同可用區(qū)網(wǎng)絡(luò)性能測試
• 跨可用區(qū)網(wǎng)絡(luò)性能測試

本測試的所有網(wǎng)絡(luò)流量均為跨節(jié)點通信（容器分布在不同的宿主機(jī)節(jié)點上）
本測試的所有測試均穿插測試超過3組取結(jié)果平均值

關(guān)鍵指標(biāo)

• 吞吐量（Gbit/sec）
• PPS（Packet Per Second）
• 延時（ms）

測試方法

吞吐量，PPS測試使用iperf3
版本信息如下：

iperf 3.6 (cJSON 1.5.2) Linux iperf3-terway-57b5fd565-bwc28 3.10.0-957.5.1.el7.x86_64 #1 SMP Fri Feb 1 14:54:57 UTC 2019 x86_64 Optional features available: CPU affinity setting, TCP congestion algorithm setting, sendfile / zerocopy, socket pacing

測試機(jī)命令：

# 啟動服務(wù)器模式，暴露在端口16000，每1秒輸出一次統(tǒng)計數(shù)據(jù) iperf3 -s -i 1 -p 16000

陪練機(jī)命令：

# 測試吞吐量 # 客戶端模式，默認(rèn)使用tcp通信，目標(biāo)機(jī)為172.16.13.218，持續(xù)時間45，-P參數(shù)指定網(wǎng)卡隊列數(shù)為4（跟測試的機(jī)型有關(guān)），目標(biāo)端口16000 iperf3 -c 172.16.13.218 -t 45 -P 4 -p 16000 # 測試PPS # 客戶端模式，使用udp發(fā)包，包大小為16字節(jié)，持續(xù)時間45秒，-A指定CPU親和性綁定到第0個CPU iperf3 -u -l 16 -b 100m -t 45 -c 172.16.13.218 -i 1 -p 16000 -A 0 # 測試延遲 # ping目標(biāo)機(jī)30次 ping -c 30 172.16.13.218

測試結(jié)果

同可用區(qū)網(wǎng)絡(luò)性能測試

機(jī)型說明

測試機(jī)型選用ecs.sn1ne.2xlarge，規(guī)格詳情如下

測試結(jié)果

說明：縱軸表達(dá)流量流出方向，橫軸表達(dá)流量流入方向，所以組合情況一共有9種

名詞解釋：

• terway-eni：代表動態(tài)創(chuàng)建彈性網(wǎng)卡并綁定POD的terway網(wǎng)絡(luò)模式
• terway：代表默認(rèn)的terway網(wǎng)絡(luò)模式

結(jié)果解讀

• 各種模式下均可將網(wǎng)卡帶寬打滿，從吞吐量上看結(jié)果無明顯區(qū)別
• 從流量流入容器角度看數(shù)據(jù)，流向terway-eni模式在各項指標(biāo)均接近甚至超過流向宿主機(jī)的性能
• 從流量流出容器角度看數(shù)據(jù)，terway-eni模式性能接近但略低于宿主機(jī)流量流出性能，但明顯高于terway默認(rèn)網(wǎng)絡(luò)

跨可用區(qū)網(wǎng)絡(luò)性能測試

測試機(jī)型選用ecs.sn1ne.8xlarge，規(guī)格詳情如下

測試結(jié)果

說明：縱軸表達(dá)流量流出方向，橫軸表達(dá)流量流入方向，所以組合情況一共有9種

名詞解釋：

• terway-eni：代表動態(tài)創(chuàng)建彈性網(wǎng)卡并綁定POD的terway網(wǎng)絡(luò)模式
• terway：代表默認(rèn)的terway網(wǎng)絡(luò)模式

結(jié)果解讀

• 由于增加了跨可用區(qū)的調(diào)用，使影響結(jié)果的因素變多
• host to host的吞吐量，并沒有達(dá)到網(wǎng)卡的理論最大值，但是流入terway-eni的吞吐量基本達(dá)到了機(jī)型的帶寬6 Gbit/sec，需要進(jìn)一步調(diào)查宿主機(jī)間吞吐量上不去的原因
• 從容器流出的流量角度看，terway-eni模式整體明顯高于terway默認(rèn)網(wǎng)絡(luò)模式，但低于宿主機(jī)網(wǎng)絡(luò)性能
• 從流入容器的流量角度看，terway-eni的PPS結(jié)果數(shù)據(jù)優(yōu)勢比較明顯，接近甚至超越宿主機(jī)網(wǎng)卡性能

總體結(jié)論

terway的網(wǎng)絡(luò)性能測試中表現(xiàn)出了與宣傳一致的性能，通過與作者的溝通中了解到，由于將彈性網(wǎng)卡直接放入POD的namespace內(nèi)，雖然網(wǎng)卡驅(qū)動的中斷依然由宿主機(jī)內(nèi)核完成，但是網(wǎng)絡(luò)包不會出現(xiàn)在宿主機(jī)namespace的網(wǎng)絡(luò)棧，減少了宿主機(jī)的一層cni網(wǎng)橋轉(zhuǎn)發(fā)及復(fù)雜路由的性能損失，這也是為什么在某些場景下超過宿主機(jī)網(wǎng)絡(luò)棧性能的表現(xiàn)。

總結(jié)

以上是生活随笔為你收集整理的阿里云容器服务cni网络插件terway非官方网络性能测试的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。