一、問(wèn)題起源

Spring Cloud架構(gòu)體系中，Eureka是一個(gè)至關(guān)重要的組件，它扮演著微服務(wù)注冊(cè)中心的角色，所有的服務(wù)注冊(cè)與服務(wù)發(fā)現(xiàn)，都是依賴Eureka的。

不少初學(xué)Spring Cloud的朋友在落地公司生產(chǎn)環(huán)境部署時(shí)，經(jīng)常會(huì)問(wèn)：

?●??Eureka Server到底要部署幾臺(tái)機(jī)器？
?●??我們的系統(tǒng)那么多服務(wù)，到底會(huì)對(duì)Eureka Server產(chǎn)生多大的訪問(wèn)壓力？
?●??Eureka Server能不能抗住一個(gè)大型系統(tǒng)的訪問(wèn)壓力？

如果你也有這些疑問(wèn)，別著急！咱們這就一起去看看，Eureka作為微服務(wù)注冊(cè)中心的核心原理

下面這些問(wèn)題，大家先看看，有個(gè)大概印象。帶著這些問(wèn)題，來(lái)看后面的內(nèi)容，效果更佳：

?●??Eureka注冊(cè)中心使用什么樣的方式來(lái)儲(chǔ)存各個(gè)服務(wù)注冊(cè)時(shí)發(fā)送過(guò)來(lái)的機(jī)器地址和端口號(hào)？
?●??各個(gè)服務(wù)找Eureka Server拉取注冊(cè)表的時(shí)候，是什么樣的頻率？
?●??各個(gè)服務(wù)是如何拉取注冊(cè)表的？
?●??一個(gè)幾百服務(wù)，部署上千臺(tái)機(jī)器的大型分布式系統(tǒng)，會(huì)對(duì)Eureka Server造成多大的訪問(wèn)壓力？
?●??Eureka Server從技術(shù)層面是如何抗住日千萬(wàn)級(jí)訪問(wèn)量的？

先給大家說(shuō)一個(gè)基本的知識(shí)點(diǎn)，各個(gè)服務(wù)內(nèi)的Eureka Client組件，默認(rèn)情況下，每隔30秒會(huì)發(fā)送一個(gè)請(qǐng)求到Eureka Server，來(lái)拉取最近有變化的服務(wù)信息

舉個(gè)例子：

?●??庫(kù)存服務(wù)原本部署在1臺(tái)機(jī)器上，現(xiàn)在擴(kuò)容了，部署到了3臺(tái)機(jī)器，并且均注冊(cè)到了Eureka Server上。
?●??然后訂單服務(wù)的Eureka Client會(huì)每隔30秒去找Eureka Server拉取最近注冊(cè)表的變化，看看其他服務(wù)的地址有沒(méi)有變化。

除此之外，Eureka還有一個(gè)心跳機(jī)制，各個(gè)Eureka Client每隔30秒會(huì)發(fā)送一次心跳到Eureka Server，通知人家說(shuō)，哥們，我這個(gè)服務(wù)實(shí)例還活著！

如果某個(gè)Eureka Client很長(zhǎng)時(shí)間沒(méi)有發(fā)送心跳給Eureka Server，那么就說(shuō)明這個(gè)服務(wù)實(shí)例已經(jīng)掛了。

光看上面的文字，大家可能沒(méi)什么印象。老規(guī)矩！咱們還是來(lái)一張圖，一起來(lái)直觀的感受一下這個(gè)過(guò)程。

二、Eureka Server設(shè)計(jì)精妙的注冊(cè)表存儲(chǔ)結(jié)構(gòu)

現(xiàn)在咱們假設(shè)手頭有一套大型的分布式系統(tǒng)，一共100個(gè)服務(wù)，每個(gè)服務(wù)部署在20臺(tái)機(jī)器上，機(jī)器是4核8G的標(biāo)準(zhǔn)配置。

也就是說(shuō)，相當(dāng)于你一共部署了100 * 20 = 2000個(gè)服務(wù)實(shí)例，有2000臺(tái)機(jī)器。

每臺(tái)機(jī)器上的服務(wù)實(shí)例內(nèi)部都有一個(gè)Eureka Client組件，它會(huì)每隔30秒請(qǐng)求一次Eureka Server，拉取變化的注冊(cè)表。

此外，每個(gè)服務(wù)實(shí)例上的Eureka Client都會(huì)每隔30秒發(fā)送一次心跳請(qǐng)求給Eureka Server。

那么大家算算，Eureka Server作為一個(gè)微服務(wù)注冊(cè)中心，每秒鐘要被請(qǐng)求多少次？一天要被請(qǐng)求多少次？

?●??按標(biāo)準(zhǔn)的算法，每個(gè)服務(wù)實(shí)例每分鐘請(qǐng)求2次拉取注冊(cè)表，每分鐘請(qǐng)求2次發(fā)送心跳；
?●??這樣一個(gè)服務(wù)實(shí)例每分鐘會(huì)請(qǐng)求4次，2000個(gè)服務(wù)實(shí)例每分鐘請(qǐng)求8000次；
?●??換算到每秒，則是8000 / 60 = 133次左右，我們就大概估算為Eureka Server每秒會(huì)被請(qǐng)求150次；
?●??那一天的話，就是8000 * 60 * 24 = 1152萬(wàn)，也就是每天千萬(wàn)級(jí)訪問(wèn)量

好！經(jīng)過(guò)這么一個(gè)測(cè)算，大家是否發(fā)現(xiàn)這里的奧秘了？

?●??首先，對(duì)于微服務(wù)注冊(cè)中心這種組件，在一開(kāi)始設(shè)計(jì)它的拉取頻率以及心跳發(fā)送頻率時(shí)，就已經(jīng)考慮到了一個(gè)大型系統(tǒng)的各個(gè)服務(wù)請(qǐng)求時(shí)的壓力，每秒會(huì)承載多大的請(qǐng)求量。
?●??所以各服務(wù)實(shí)例每隔30秒發(fā)起請(qǐng)求拉取變化的注冊(cè)表，以及每隔30秒發(fā)送心跳給Eureka Server，其實(shí)這個(gè)時(shí)間安排是有其用意的。

按照我們的測(cè)算，一個(gè)上百個(gè)服務(wù)，幾千臺(tái)機(jī)器的系統(tǒng)，按照這樣的頻率請(qǐng)求Eureka Server，日請(qǐng)求量在千萬(wàn)級(jí)，每秒的訪問(wèn)量在150次左右。

即使算上其他一些額外操作，我們姑且就算每秒鐘請(qǐng)求Eureka Server在200次~300次吧。

所以通過(guò)設(shè)置一個(gè)適當(dāng)?shù)睦∽?cè)表以及發(fā)送心跳的頻率，可以保證大規(guī)模系統(tǒng)里對(duì)Eureka Server的請(qǐng)求壓力不會(huì)太大。

關(guān)鍵問(wèn)題來(lái)了，Eureka Server是如何保證輕松抗住這每秒數(shù)百次請(qǐng)求，每天千萬(wàn)級(jí)請(qǐng)求的呢？

要搞清楚這個(gè)，首先得清楚Eureka Server到底是用什么來(lái)存儲(chǔ)注冊(cè)表的？三個(gè)字，看源碼

接下來(lái)咱們就一起進(jìn)入Eureka源碼里一探究竟：

?●??如上圖所示，圖中的這個(gè)名字叫做registry的CocurrentHashMap，就是注冊(cè)表的核心結(jié)構(gòu)。看完之后忍不住先贊嘆一下，精妙的設(shè)計(jì)！
?●??從代碼中可以看到，Eureka Server的注冊(cè)表直接基于純內(nèi)存，即在內(nèi)存里維護(hù)了一個(gè)數(shù)據(jù)結(jié)構(gòu)。
?●??各個(gè)服務(wù)的注冊(cè)、服務(wù)下線、服務(wù)故障，全部會(huì)在內(nèi)存里維護(hù)和更新這個(gè)注冊(cè)表。
?●??各個(gè)服務(wù)每隔30秒拉取注冊(cè)表的時(shí)候，Eureka Server就是直接提供內(nèi)存里存儲(chǔ)的有變化的注冊(cè)表數(shù)據(jù)給他們就可以了。
?●??同樣，每隔30秒發(fā)起心跳時(shí)，也是在這個(gè)純內(nèi)存的Map數(shù)據(jù)結(jié)構(gòu)里更新心跳時(shí)間。

一句話概括：維護(hù)注冊(cè)表、拉取注冊(cè)表、更新心跳時(shí)間，全部發(fā)生在內(nèi)存里！這是Eureka Server非常核心的一個(gè)點(diǎn)。

搞清楚了這個(gè)，咱們?cè)賮?lái)分析一下registry這個(gè)東西的數(shù)據(jù)結(jié)構(gòu)，大家千萬(wàn)別被它復(fù)雜的外表唬住了，沉下心來(lái)，一層層的分析！

?●??首先，這個(gè)ConcurrentHashMap的key就是服務(wù)名稱，比如“inventory-service”，就是一個(gè)服務(wù)名稱。
?●??value則代表了一個(gè)服務(wù)的多個(gè)服務(wù)實(shí)例。
?●??舉例：比如“inventory-service”是可以有3個(gè)服務(wù)實(shí)例的，每個(gè)服務(wù)實(shí)例部署在一臺(tái)機(jī)器上。

再來(lái)看看作為value的這個(gè)Map：

Map<String, Lease<InstanceInfo>>

?●??這個(gè)Map的key就是服務(wù)實(shí)例的id
?●??value是一個(gè)叫做Lease的類，它的泛型是一個(gè)叫做InstanceInfo的東東，你可能會(huì)問(wèn)，這倆又是什么鬼？
?●??首先說(shuō)下InstanceInfo，其實(shí)啊，我們見(jiàn)名知義，這個(gè)InstanceInfo就代表了服務(wù)實(shí)例的具體信息，比如機(jī)器的ip地址、hostname以及端口號(hào)。

?●??而這個(gè)Lease，里面則會(huì)維護(hù)每個(gè)服務(wù)最近一次發(fā)送心跳的時(shí)間；

三、Eureka Server端優(yōu)秀的多級(jí)緩存機(jī)制

假設(shè)Eureka Server部署在4核8G的普通機(jī)器上，那么基于內(nèi)存來(lái)承載各個(gè)服務(wù)的請(qǐng)求，每秒鐘最多可以處理多少請(qǐng)求呢？

?●??根據(jù)之前的測(cè)試，單臺(tái)4核8G的機(jī)器，處理純內(nèi)存操作，哪怕加上一些網(wǎng)絡(luò)的開(kāi)銷(xiāo)，每秒處理幾百請(qǐng)求也是輕松加愉快的。
?●??而且Eureka Server為了避免同時(shí)讀寫(xiě)內(nèi)存數(shù)據(jù)結(jié)構(gòu)造成的并發(fā)沖突問(wèn)題，還采用了多級(jí)緩存機(jī)制來(lái)進(jìn)一步提升服務(wù)請(qǐng)求的響應(yīng)速度。
?●??在拉取注冊(cè)表的時(shí)候：
? ? ●??首先從ReadOnlyCacheMap里查緩存的注冊(cè)表。
? ? ●??若沒(méi)有，就找ReadWriteCacheMap里緩存的注冊(cè)表。
? ? ●??如果還沒(méi)有，就從內(nèi)存中獲取實(shí)際的注冊(cè)表數(shù)據(jù)。
?●??在注冊(cè)表發(fā)生變更的時(shí)候：
? ? ●??會(huì)在內(nèi)存中更新變更的注冊(cè)表數(shù)據(jù)，同時(shí)過(guò)期掉ReadWriteCacheMap。
? ? ●??此過(guò)程不會(huì)影響ReadOnlyCacheMap提供人家查詢注冊(cè)表。
? ? ●??一段時(shí)間內(nèi)（默認(rèn)30秒），各服務(wù)拉取注冊(cè)表會(huì)直接讀ReadOnlyCacheMap
? ? ●??30秒過(guò)后，Eureka Server的后臺(tái)線程發(fā)現(xiàn)ReadWriteCacheMap已經(jīng)清空了，也會(huì)清空ReadOnlyCacheMap中的緩存
? ? ●??下次有服務(wù)拉取注冊(cè)表，又會(huì)從內(nèi)存中獲取最新的數(shù)據(jù)了，同時(shí)填充各個(gè)緩存。

多級(jí)緩存機(jī)制的優(yōu)點(diǎn)是什么？

?●??盡可能保證了內(nèi)存注冊(cè)表數(shù)據(jù)不會(huì)出現(xiàn)頻繁的讀寫(xiě)沖突問(wèn)題。
?●??并且進(jìn)一步保證對(duì)Eureka Server的大量請(qǐng)求，都是快速?gòu)募儍?nèi)存走，性能極高。

為方便大家更好的理解，同樣來(lái)一張圖，大家跟著圖再來(lái)回顧一下這整個(gè)過(guò)程：

四、總結(jié)?●??通過(guò)上面的分析可以看到，Eureka通過(guò)設(shè)置適當(dāng)?shù)恼?qǐng)求頻率（拉取注冊(cè)表30秒間隔，發(fā)送心跳30秒間隔），可以保證一個(gè)大規(guī)模的系統(tǒng)每秒請(qǐng)求Eureka Server的次數(shù)在幾百次； ?●??同時(shí)通過(guò)純內(nèi)存的注冊(cè)表，保證了所有的請(qǐng)求都可以在內(nèi)存處理，確保了極高的性能；
?●??另外,多級(jí)緩存機(jī)制，確保了不會(huì)針對(duì)內(nèi)存數(shù)據(jù)結(jié)構(gòu)發(fā)生頻繁的讀寫(xiě)并發(fā)沖突操作，進(jìn)一步提升性能；

上述就是Spring Cloud架構(gòu)中，Eureka作為微服務(wù)注冊(cè)中心可以承載大規(guī)模系統(tǒng)每天千萬(wàn)級(jí)訪問(wèn)量的原理。

原文發(fā)布時(shí)間為：2018-11-28

本文作者：中華石杉

本文來(lái)自云棲社區(qū)合作伙伴“Java后端技術(shù)”，了解相關(guān)信息可以關(guān)注“Java后端技術(shù)”。

總結(jié)

以上是生活随笔為你收集整理的【双11狂欢背后】微服务注册中心如何承载大型系统的千万级访问？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。