Redis系列教程(一):Redis缓存的设计、性能、应用与数据集群同步
Redis 是完全開源免費(fèi)的,遵守BSD協(xié)議,是一個(gè)高性能的key-value數(shù)據(jù)庫。Redis本質(zhì)上是一個(gè)Key-Value類型的內(nèi)存數(shù)據(jù)庫,很像memcached,整個(gè)數(shù)據(jù)庫統(tǒng)統(tǒng)加載在內(nèi)存當(dāng)中進(jìn)行操作,定期通過異步操作把數(shù)據(jù)庫數(shù)據(jù)flush到硬盤上進(jìn)行保存。
因?yàn)槭羌儍?nèi)存操作,Redis的性能非常出色,每秒可以處理超過 10萬次讀寫操作,是已知性能最快的Key-Value DB。
Redis的出色之處不僅僅是性能,Redis最大的魅力是支持保存多種數(shù)據(jù)結(jié)構(gòu),此外單個(gè)value的最大限制是1GB,不像 memcached只能保存1MB的數(shù)據(jù),因此Redis可以用來實(shí)現(xiàn)很多有用的功能,比方說用List來做FIFO雙向鏈表,實(shí)現(xiàn)一個(gè)輕量級(jí)的高性 能消息隊(duì)列服務(wù),用他的Set可以做高性能的tag系統(tǒng)等等。另外Redis也可以對(duì)存入的Key-Value設(shè)置expire時(shí)間,因此也可以被當(dāng)作一 個(gè)功能加強(qiáng)版的memcached來用。
Redis的主要缺點(diǎn)是數(shù)據(jù)庫容量受到物理內(nèi)存的限制,不能用作海量數(shù)據(jù)的高性能讀寫,因此Redis適合的場景主要局限在較小數(shù)據(jù)量的高性能操作和運(yùn)算上。
總結(jié)來說,使用Redis的好處如下:
- 速度快,因?yàn)閿?shù)據(jù)存在內(nèi)存中,類似于HashMap,HashMap的優(yōu)勢就是查找和操作的時(shí)間復(fù)雜度都是O(1)
- 支持豐富數(shù)據(jù)類型,支持string,list,set,sorted set,hash
- 支持事務(wù),操作都是原子性,所謂的原子性就是對(duì)數(shù)據(jù)的更改要么全部執(zhí)行,要么全部不執(zhí)行
- 豐富的特性:可用于緩存,消息,按key設(shè)置過期時(shí)間,過期后將會(huì)自動(dòng)刪除
Redis持久化的方式
redis提供了兩種持久化的方式,分別是RDB(Redis DataBase)和AOF(Append Only File)。
1.RDB
簡而言之,就是在不同的時(shí)間點(diǎn),將redis存儲(chǔ)的數(shù)據(jù)生成快照并存儲(chǔ)到磁盤等介質(zhì)上;
2.AOF
換了一個(gè)角度來實(shí)現(xiàn)持久化,那就是將redis執(zhí)行過的所有寫指令記錄下來,在下次redis重新啟動(dòng)時(shí),只要把這些寫指令從前到后再重復(fù)執(zhí)行一遍,就可以實(shí)現(xiàn)數(shù)據(jù)恢復(fù)了。
其實(shí)RDB和AOF兩種方式也可以同時(shí)使用,在這種情況下,如果redis重啟的話,則會(huì)優(yōu)先采用AOF方式來進(jìn)行數(shù)據(jù)恢復(fù),這是因?yàn)锳OF方式的數(shù)據(jù)恢復(fù)完整度更高。如果你沒有數(shù)據(jù)持久化的需求,也完全可以關(guān)閉RDB和AOF方式,這樣的話,redis將變成一個(gè)純內(nèi)存數(shù)據(jù)庫,+持久化–就像memcache一樣。
Redis常見性能問題和解決方案
Redis的適用場景
1.會(huì)話緩存(Session Cache)
最常用的一種使用Redis的情景是會(huì)話緩存(session cache)。用Redis緩存會(huì)話比其他存儲(chǔ)(如Memcached)的優(yōu)勢在于:Redis提供持久化。當(dāng)維護(hù)一個(gè)不是嚴(yán)格要求一致性的緩存時(shí),如果用戶的購物車信息全部丟失,大部分人都會(huì)不高興的,現(xiàn)在,他們還會(huì)這樣嗎?
幸運(yùn)的是,隨著 Redis 這些年的改進(jìn),很容易找到怎么恰當(dāng)?shù)氖褂肦edis來緩存會(huì)話的文檔。甚至廣為人知的商業(yè)平臺(tái)Magento也提供Redis的插件。
2.隊(duì)列
Reids在內(nèi)存存儲(chǔ)引擎領(lǐng)域的一大優(yōu)點(diǎn)是提供 list 和 set 操作,這使得Redis能作為一個(gè)很好的消息隊(duì)列平臺(tái)來使用。Redis作為隊(duì)列使用的操作,就類似于本地程序語言(如Python)對(duì) list 的 push/pop 操作。
如果你快速的在Google中搜索“Redis queues”,你馬上就能找到大量的開源項(xiàng)目,這些項(xiàng)目的目的就是利用Redis創(chuàng)建非常好的后端工具,以滿足各種隊(duì)列需求。例如,Celery有一個(gè)后臺(tái)就是使用Redis作為broker,你可以從這里去查看。
3.全頁緩存(FPC)
除基本的會(huì)話token之外,Redis還提供很簡便的FPC平臺(tái)?;氐揭恢滦詥栴},即使重啟了Redis實(shí)例,因?yàn)橛写疟P的持久化,用戶也不會(huì)看到頁面加載速度的下降,這是一個(gè)極大改進(jìn),類似PHP本地FPC。
再次以Magento為例,Magento提供一個(gè)插件來使用Redis作為全頁緩存后端。此外,對(duì)WordPress的用戶來說,Pantheon有一個(gè)非常好的插件 wp-redis,這個(gè)插件能幫助你以最快速度加載你曾瀏覽過的頁面。
4.排行榜/計(jì)數(shù)器
Redis在內(nèi)存中對(duì)數(shù)字進(jìn)行遞增或遞減的操作實(shí)現(xiàn)的非常好。集合(Set)和有序集合(Sorted Set)也使得我們在執(zhí)行這些操作的時(shí)候變的非常簡單,Redis只是正好提供了這兩種數(shù)據(jù)結(jié)構(gòu)。所以,我們要從排序集合中獲取到排名最靠前的10個(gè)用戶–我們稱之為“user_scores”,我們只需要像下面一樣執(zhí)行即可:
當(dāng)然,這是假定你是根據(jù)你用戶的分?jǐn)?shù)做遞增的排序。如果你想返回用戶及用戶的分?jǐn)?shù),你需要這樣執(zhí)行:ZRANGE user_scores 0 10 WITHSCORES,Agora Games就是一個(gè)很好的例子,用Ruby實(shí)現(xiàn)的,它的排行榜就是使用Redis來存儲(chǔ)數(shù)據(jù)的,你可以在這里看到。
Redis的高可用策略(單點(diǎn)故障避免策略)
1.高可用(High Availability)
當(dāng)一臺(tái)服務(wù)器停止服務(wù)后,對(duì)于業(yè)務(wù)及用戶毫無影響。 停止服務(wù)的原因可能由于網(wǎng)卡、路由器、機(jī)房、CPU負(fù)載過高、內(nèi)存溢出、自然災(zāi)害等不可預(yù)期的原因?qū)е?#xff0c;在很多時(shí)候也稱單點(diǎn)問題。
2.主備方式
這種通常是一臺(tái)主機(jī)、一臺(tái)或多臺(tái)備機(jī),在正常情況下主機(jī)對(duì)外提供服務(wù),并把數(shù)據(jù)同步到備機(jī),當(dāng)主機(jī)宕機(jī)后,備機(jī)立刻開始服務(wù)。 Redis HA中使用比較多的是keepalived,它使主機(jī)備機(jī)對(duì)外提供同一個(gè)虛擬IP,客戶端通過虛擬IP進(jìn)行數(shù)據(jù)操作,正常期間主機(jī)一直對(duì)外提供服務(wù),宕機(jī)后VIP自動(dòng)漂移到備機(jī)上。
優(yōu)點(diǎn)是對(duì)客戶端毫無影響,仍然通過VIP操作。
缺點(diǎn)也很明顯,在絕大多數(shù)時(shí)間內(nèi)備機(jī)是一直沒使用,被浪費(fèi)著的。
3.主從方式
這種采取一主多從的辦法,主從之間進(jìn)行數(shù)據(jù)同步。 當(dāng)Master宕機(jī)后,通過選舉算法(Paxos、Raft)從slave中選舉出新Master繼續(xù)對(duì)外提供服務(wù),主機(jī)恢復(fù)后以slave的身份重新加入。
主從另一個(gè)目的是進(jìn)行讀寫分離,這是當(dāng)單機(jī)讀寫壓力過高的一種通用型解決方案。 其主機(jī)的角色只提供寫操作或少量的讀,把多余讀請求通過負(fù)載均衡算法分流到單個(gè)或多個(gè)slave服務(wù)器上。
缺點(diǎn)是主機(jī)宕機(jī)后,Slave雖然被選舉成新Master了,但對(duì)外提供的IP服務(wù)地址卻發(fā)生變化了,意味著會(huì)影響到客戶端。 解決這種情況需要一些額外的工作,在當(dāng)主機(jī)地址發(fā)生變化后及時(shí)通知到客戶端,客戶端收到新地址后,使用新地址繼續(xù)發(fā)送新請求。
4.方案選擇
主備(keepalived)方案配置簡單、人力成本小,在數(shù)據(jù)量少、壓力小的情況下推薦使用。 如果數(shù)據(jù)量比較大,不希望過多浪費(fèi)機(jī)器,還希望在宕機(jī)后,做一些自定義的措施,比如報(bào)警、記日志、數(shù)據(jù)遷移等操作,推薦使用主從方式,因?yàn)楹椭鲝拇钆涞囊话氵€有個(gè)管理監(jiān)控中心。
Redis的數(shù)據(jù)同步方式
無論是主備還是主從都牽扯到數(shù)據(jù)同步的問題,這也分2種情況:
- 同步方式:當(dāng)主機(jī)收到客戶端寫操作后,以同步方式把數(shù)據(jù)同步到從機(jī)上,當(dāng)從機(jī)也成功寫入后,主機(jī)才返回給客戶端成功,也稱數(shù)據(jù)強(qiáng)一致性。 很顯然這種方式性能會(huì)降低不少,當(dāng)從機(jī)很多時(shí),可以不用每臺(tái)都同步,主機(jī)同步某一臺(tái)從機(jī)后,從機(jī)再把數(shù)據(jù)分發(fā)同步到其他從機(jī)上,這樣提高主機(jī)性能分擔(dān)同步壓力。 在redis中是支持這楊配置的,一臺(tái)master,一臺(tái)slave,同時(shí)這臺(tái)salve又作為其他slave的master。
- 異步方式:主機(jī)接收到寫操作后,直接返回成功,然后在后臺(tái)用異步方式把數(shù)據(jù)同步到從機(jī)上。 這種同步性能比較好,但無法保證數(shù)據(jù)的完整性,比如在異步同步過程中主機(jī)突然宕機(jī)了,也稱這種方式為數(shù)據(jù)弱一致性。
Redis主從同步采用的是異步方式,因此會(huì)有少量丟數(shù)據(jù)的危險(xiǎn)。還有種弱一致性的特例叫最終一致性,這塊詳細(xì)內(nèi)容可參見CAP原理及一致性模型。
分布式與集群
1.集群時(shí)代
至少部署兩臺(tái)Redis服務(wù)器構(gòu)成一個(gè)小的集群,主要有2個(gè)目的:
- 高可用性:在主機(jī)掛掉后,自動(dòng)故障轉(zhuǎn)移,使前端服務(wù)對(duì)用戶無影響。
- 讀寫分離:將主機(jī)讀壓力分流到從機(jī)上。
可在客戶端組件上實(shí)現(xiàn)負(fù)載均衡,根據(jù)不同服務(wù)器的運(yùn)行情況,分擔(dān)不同比例的讀請求壓力。
2.Redis集群
分布式
緩存數(shù)據(jù)量不斷增加時(shí),單機(jī)內(nèi)存不夠使用,需要把數(shù)據(jù)切分不同部分,分布到多臺(tái)服務(wù)器上。 可在客戶端對(duì)數(shù)據(jù)進(jìn)行分片,數(shù)據(jù)分片算法詳見一致性Hash詳解、虛擬桶分片。
分布式集群
大規(guī)模分布式集群時(shí)代
當(dāng)數(shù)據(jù)量持續(xù)增加時(shí),應(yīng)用可根據(jù)不同場景下的業(yè)務(wù)申請對(duì)應(yīng)的分布式集群。 這塊最關(guān)鍵的是緩存治理這塊,其中最重要的部分是加入了代理服務(wù)。 應(yīng)用通過代理訪問真實(shí)的Redis服務(wù)器進(jìn)行讀寫,這樣做的好處是:
避免越來越多的客戶端直接訪問Redis服務(wù)器難以管理,而造成風(fēng)險(xiǎn)。
在代理這一層可以做對(duì)應(yīng)的安全措施,比如限流、授權(quán)、分片。
避免客戶端越來越多的邏輯代碼,不但臃腫升級(jí)還比較麻煩。
代理這層無狀態(tài)的,可任意擴(kuò)展節(jié)點(diǎn),對(duì)于客戶端來說,訪問代理跟訪問單機(jī)Redis一樣。
你可能也喜歡:
總結(jié)
以上是生活随笔為你收集整理的Redis系列教程(一):Redis缓存的设计、性能、应用与数据集群同步的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ESLint 在中大型团队的应用实践
- 下一篇: 最强阿里面试126题:数据结构+并发编程