引入

在業務開發中，我們常把數據持久化到數據庫中。如果需要讀取這些數據，除了直接從數據庫中讀取外，為了減輕數據庫的訪問壓力以及提高訪問速度，我們更多地引入緩存來對數據進行存取。讀取數據的過程一般為：

?
圖1：加入緩存的數據讀取過程

對于分布式緩存，不同機器上存儲不同對象的數據。為了實現這些緩存機器的負載均衡，可以使用式子1來定位對象緩存的存儲機器：

m = hash(o) mod n ——式子1

其中，o為對象的名稱，n為機器的數量，m為機器的編號，hash為一hash函數。圖2中的負載均衡器（load balancer）正是使用式子1來將客戶端對不同對象的請求分派到不同的機器上執行，例如，對于對象o，經過式子1的計算，得到m的值為3，那么所有對對象o的讀取和存儲的請求都被發往機器3執行。

?
圖2：如何利用Hash取模實現負載均衡

式子1在大部分時候都可以工作得很好，然而，當機器需要擴容或者機器出現宕機的情況下，事情就比較棘手了。?
當機器擴容，需要增加一臺緩存機器時，負載均衡器使用的式子變成：

m = hash(o) mod (n + 1) ——式子2

當機器宕機，機器數量減少一臺時，負載均衡器使用的式子變成：

m = hash(o) mod (n - 1) ——式子3

我們以機器擴容的情況為例，說明簡單的取模方法會導致什么問題。假設機器由3臺變成4臺，對象o1由式子1計算得到的m值為2，由式子2計算得到的m值卻可能為0，1，2，3（一個 3t + 2的整數對4取模，其值可能為0，1，2，3，讀者可以自行驗證），大約有75%（3/4)的可能性出現緩存訪問不命中的現象。隨著機器集群規模的擴大，這個比例線性上升。當99臺機器再加入1臺機器時，不命中的概率是99%（99/100）。這樣的結果顯然是不能接受的，因為這會導致數據庫訪問的壓力陡增，嚴重情況，還可能導致數據庫宕機。

一致性hash算法正是為了解決此類問題的方法，它可以保證當機器增加或者減少時，對緩存訪問命中的概率影響減至很小。下面我們來詳細說一下一致性hash算法的具體過程。

一致性Hash環

一致性hash算法通過一個叫作一致性hash環的數據結構實現。這個環的起點是0，終點是2^32 - 1，并且起點與終點連接，環的中間的整數按逆時針分布，故這個環的整數分布范圍是[0, 2^32-1]，如下圖3所示：

?
圖3：一致性Hash環

將對象放置到Hash環

假設現在我們有4個對象，分別為o1，o2，o3，o4，使用hash函數計算這4個對象的hash值（范圍為0 ~ 2^32-1）:

hash(o1) = m1?
hash(o2) = m2?
hash(o3) = m3?
hash(o4) = m4

把m1，m2，m3，m4這4個值放置到hash環上，得到如下圖4：

?
圖4：放置了對象的一致性Hash環

將機器放置到Hash環

使用同樣的hash函數，我們將機器也放置到hash環上。假設我們有三臺緩存機器，分別為 c1，c2，c3，使用hash函數計算這3臺機器的hash值：

hash(c1) = t1?
hash(c2) = t2?
hash(c3) = t3

把t1，t2，t3 這3個值放置到hash環上，得到如下圖5：

?
圖5：放置了機器的一致性Hash環

為對象選擇機器

將對象和機器都放置到同一個hash環后，在hash環上順時針查找距離這個對象的hash值最近的機器，即是這個對象所屬的機器。?
例如，對于對象o2，順序針找到最近的機器是c1，故機器c1會緩存對象o2。而機器c2則緩存o3，o4，機器c3則緩存對象o1。

?
圖6：在一致性Hash環上為對象選擇機器

處理機器增減的情況

對于線上的業務，增加或者減少一臺機器的部署是常有的事情。?
例如，增加機器c4的部署并將機器c4加入到hash環的機器c3與c2之間。這時，只有機器c3與c4之間的對象需要重新分配新的機器。對于我們的例子，只有對象o4被重新分配到了c4，其他對象仍在原有機器上。如圖7所示：

?
圖7：增加機器后的一致性Hash環的結構

如上文前面所述，使用簡單的求模方法，當新添加機器后會導致大部分緩存失效的情況，使用一致性hash算法后這種情況則會得到大大的改善。前面提到3臺機器變成4臺機器后，緩存命中率只有25%（不命中率75%）。而使用一致性hash算法，理想情況下緩存命中率則有75%，而且，隨著機器規模的增加，命中率會進一步提高，99臺機器增加一臺后，命中率達到99%，這大大減輕了增加緩存機器帶來的數據庫訪問的壓力。

再例如，將機器c1下線（當然，也有可能是機器c1宕機），這時，只有原有被分配到機器c1對象需要被重新分配到新的機器。對于我們的例子，只有對象o2被重新分配到機器c3，其他對象仍在原有機器上。如圖8所示：

?
圖8：減少機器后的一致性Hash環的結構

虛擬節點

上面提到的過程基本上就是一致性hash的基本原理了，不過還有一個小小的問題。新加入的機器c4只分擔了機器c2的負載，機器c1與c3的負載并沒有因為機器c4的加入而減少負載壓力。如果4臺機器的性能是一樣的，那么這種結果并不是我們想要的。?
為此，我們引入虛擬節點來解決負載不均衡的問題。?
將每臺物理機器虛擬為一組虛擬機器，將虛擬機器放置到hash環上，如果需要確定對象的機器，先確定對象的虛擬機器，再由虛擬機器確定物理機器。?
說得有點復雜，其實過程也很簡單。

還是使用上面的例子，假如開始時存在緩存機器c1，c2，c3，對于每個緩存機器，都有3個虛擬節點對應，其一致性hash環結構如圖9所示：

?
圖9：機器c1，c2，c3的一致性Hash環結構

假設對于對象o1，其對應的虛擬節點為c11，而虛擬節點c11對象緩存機器c1，故對象o1被分配到機器c1中。

新加入緩存機器c4，其對應的虛擬節點為c41，c42，c43，將這三個虛擬節點添加到hash環中，得到的hash環結構如圖10所示：

?
圖10：機器c1，c2，c3，c4的一致性Hash環結構

新加入的緩存機器c4對應一組虛擬節點c41，c42，c43，加入到hash環后，影響的虛擬節點包括c31，c22，c11（順時針查找到第一個節點），而這3個虛擬節點分別對應機器c3，c2，c1。即新加入的一臺機器，同時影響到原有的3臺機器。理想情況下，新加入的機器平等地分擔了原有機器的負載，這正是虛擬節點帶來的好處。而且新加入機器c4后，只影響25%（1/4）對象分配，也就是說，命中率仍然有75%，這跟沒有使用虛擬節點的一致性hash算法得到的結果是相同的。

總結

一致性hash算法解決了分布式環境下機器增加或者減少時，簡單的取模運算無法獲取較高命中率的問題。通過虛擬節點的使用，一致性hash算法可以均勻分擔機器的負載，使得這一算法更具現實的意義。正因如此，一致性hash算法被廣泛應用于分布式系統中。

參考資料

https://en.wikipedia.org/wiki/Consistent_hashing

https://www.codeproject.com/articles/56138/consistent-hashing

《大型網站技術架構——核心原理與安全分析》，李智慧著，電子工業出版社

本文出處: leehao.me https://blog.csdn.net/lihao21/article/details/54193868

總結

以上是生活随笔為你收集整理的一致性Hash(Consistent Hashing)原理剖析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。