2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

周六的S2?Web 2.0技術(shù)沙龍上介紹了memcache中使用mutex場(chǎng)景(文后要演講稿)，有網(wǎng)友對(duì)詳情感興趣，簡(jiǎn)單介紹如下。

場(chǎng)景

Mutex主要用于有大量并發(fā)訪問(wèn)并存在cache過(guò)期的場(chǎng)合，如

• 首頁(yè)top 10, 由數(shù)據(jù)庫(kù)加載到memcache緩存n分鐘
• 微博中名人的content cache, 一旦不存在會(huì)大量請(qǐng)求不能命中并加載數(shù)據(jù)庫(kù)
• 需要執(zhí)行多個(gè)IO操作生成的數(shù)據(jù)存在cache中, 比如查詢db多次

問(wèn)題

在大并發(fā)的場(chǎng)合，當(dāng)cache失效時(shí)，大量并發(fā)同時(shí)取不到cache，會(huì)同一瞬間去訪問(wèn)db并回設(shè)cache，可能會(huì)給系統(tǒng)帶來(lái)潛在的超負(fù)荷風(fēng)險(xiǎn)。我們?cè)?jīng)在線上系統(tǒng)出現(xiàn)過(guò)類似故障。

解決方法

方法一
在load db之前先add一個(gè)mutex key, mutex key add成功之后再去做加載db, 如果add失敗則sleep之后重試讀取原cache數(shù)據(jù)。為了防止死鎖，mutex key也需要設(shè)置過(guò)期時(shí)間。偽代碼如下
(注：下文偽代碼僅供了解思路，可能存在bug，歡迎隨時(shí)指出。)

if (memcache.get(key) == null) {// 3 min timeout to avoid mutex holder crashif (memcache.add(key_mutex, 3 * 60 * 1000) == true) {value = db.get(key);memcache.set(key, value);memcache.delete(key_mutex);} else {sleep(50);retry();} }

方法二
在value內(nèi)部設(shè)置1個(gè)超時(shí)值(timeout1), timeout1比實(shí)際的memcache timeout(timeout2)小。當(dāng)從cache讀取到timeout1發(fā)現(xiàn)它已經(jīng)過(guò)期時(shí)候，馬上延長(zhǎng)timeout1并重新設(shè)置到cache。然后再?gòu)臄?shù)據(jù)庫(kù)加載數(shù)據(jù)并設(shè)置到cache中。偽代碼如下

v = memcache.get(key); if (v == null) {if (memcache.add(key_mutex, 3 * 60 * 1000) == true) {value = db.get(key);memcache.set(key, value);memcache.delete(key_mutex);} else {sleep(50);retry();} } else {if (v.timeout <= now()) {if (memcache.add(key_mutex, 3 * 60 * 1000) == true) {// extend the timeout for other threadsv.timeout += 3 * 60 * 1000;memcache.set(key, v, KEY_TIMEOUT * 2);// load the latest value from dbv = db.get(key);v.timeout = KEY_TIMEOUT;memcache.set(key, value, KEY_TIMEOUT * 2);memcache.delete(key_mutex);} else {sleep(50);retry();}} }

相對(duì)于方案一
優(yōu)點(diǎn)：避免cache失效時(shí)刻大量請(qǐng)求獲取不到mutex并進(jìn)行sleep
缺點(diǎn)：代碼復(fù)雜性增大，因此一般場(chǎng)合用方案一也已經(jīng)足夠。

方案二在Memcached FAQ中也有詳細(xì)介紹?How to prevent clobbering updates, stampeding requests，并且Brad還介紹了用他另外一個(gè)得意的工具 Gearman 來(lái)實(shí)現(xiàn)單實(shí)例設(shè)置cache的方法，見(jiàn)?Cache miss stampedes，不過(guò)用Gearman來(lái)解決就感覺(jué)就有點(diǎn)奇技淫巧了。

轉(zhuǎn)載于:https://my.oschina.net/bankofchina/blog/779237

總結(jié)

以上是生活随笔為你收集整理的Memcache mutex设计模式的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。