日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > 数据库 >内容正文

数据库

为什么分布式一定要有 Redis?(转自微信公众号文章:GitChat精品课)

發布時間:2024/3/24 数据库 36 豆豆
生活随笔 收集整理的這篇文章主要介紹了 为什么分布式一定要有 Redis?(转自微信公众号文章:GitChat精品课) 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

絕大部分寫業務的程序員,在實際開發中使用 Redis 的時候,只會 Set Value 和 Get Value 兩個操作,對 Redis 整體缺乏一個認知。這里對?Redis 常見問題做一個總結,解決大家的知識盲點。

?

1、為什么使用?Redis

?

在項目中使用 Redis,主要考慮兩個角度:性能和并發。如果只是為了分布式鎖這些其他功能,還有其他中間件 Zookpeer 等代替,并非一定要使用?Redis。

?

性能:

如下圖所示,我們在碰到需要執行耗時特別久,且結果不頻繁變動的 SQL,就特別適合將運行結果放入緩存。這樣,后面的請求就去緩存中讀取,使得請求能夠迅速響應。

根據交互效果的不同,響應時間沒有固定標準。在理想狀態下,我們的頁面跳轉需要在瞬間解決,對于頁內操作則需要在剎那間解決。

?

并發:

如下圖所示,在大并發的情況下,所有的請求直接訪問數據庫,數據庫會出現連接異常。這個時候,就需要使用?Redis?做一個緩沖操作,讓請求先訪問到?Redis,而不是直接訪問數據庫。

使用?Redis 的常見問題

  • 緩存和數據庫雙寫一致性問題

  • 緩存雪崩問題

  • 緩存擊穿問題

  • 緩存的并發競爭問題

?

2、單線程的 Redis 為什么這么快

?

這個問題是對 Redis 內部機制的一個考察。很多人都不知道 Redis 是單線程工作模型。

?

原因主要是以下三點:

  • 純內存操作

  • 單線程操作,避免了頻繁的上下文切換

  • 采用了非阻塞 I/O 多路復用機制

?

仔細說一說 I/O 多路復用機制,打一個比方:小曲在 S 城開了一家快遞店,負責同城快送服務。小曲因為資金限制,雇傭了一批快遞員,然后小曲發現資金不夠了,只夠買一輛車送快遞。

?

經營方式一

客戶每送來一份快遞,小曲就讓一個快遞員盯著,然后快遞員開車去送快遞。慢慢的小曲就發現了這種經營方式存在下述問題:

  • 時間都花在了搶車上了,大部分快遞員都處在閑置狀態,搶到車才能去送快遞。

  • 隨著快遞的增多,快遞員也越來越多,小曲發現快遞店里越來越擠,沒辦法雇傭新的快遞員了。

  • 快遞員之間的協調很花時間。

?

綜合上述缺點,小曲痛定思痛,提出了經營方式二。

?

經營方式二

小曲只雇傭一個快遞員。當客戶送來快遞,小曲按送達地點標注好,依次放在一個地方。最后,讓快遞員依次去取快遞,一次拿一個,再開著車去送快遞,送好了就回來拿下一個快遞。上述兩種經營方式對比,很明顯第二種效率更高。

?

在上述比喻中:

  • 每個快遞員→每個線程

  • 每個快遞→每個 Socket(I/O 流)

  • 快遞的送達地點→Socket 的不同狀態

  • 客戶送快遞請求→來自客戶端的請求

  • 小曲的經營方式→服務端運行的代碼

  • 一輛車→CPU 的核數

?

于是有了如下結論:

  • 經營方式一就是傳統的并發模型,每個 I/O 流(快遞)都有一個新的線程(快遞員)管理。

  • 經營方式二就是 I/O 多路復用。只有單個線程(一個快遞員),通過跟蹤每個 I/O 流的狀態(每個快遞的送達地點),來管理多個 I/O 流。

?

下面類比到真實的?Redis?線程模型,如圖所示:

Redis-client 在操作的時候,會產生具有不同事件類型的 Socket。在服務端,有一段?I/O?多路復用程序,將其置入隊列之中。然后,文件事件分派器,依次去隊列中取,轉發到不同的事件處理器中。

?

3、Redis 的數據類型及使用場景

?

一個合格的程序員,這五種類型都會用到。

?

String

最常規的 set/get 操作,Value 可以是 String 也可以是數字。一般做一些復雜的計數功能的緩存。

?

Hash

這里 Value 存放的是結構化的對象,比較方便的就是操作其中的某個字段。我在做單點登錄的時候,就是用這種數據結構存儲用戶信息,以 CookieId 作為 Key,設置 30 分鐘為緩存過期時間,能很好的模擬出類似 Session 的效果。

?

List

使用 List 的數據結構,可以做簡單的消息隊列的功能。另外,可以利用 lrange 命令,做基于 Redis 的分頁功能,性能極佳,用戶體驗好。

?

Set

因為 Set 堆放的是一堆不重復值的集合。所以可以做全局去重的功能。我們的系統一般都是集群部署,使用 JVM 自帶的 Set 比較麻煩。另外,就是利用交集、并集、差集等操作,可以計算共同喜好,全部的喜好,自己獨有的喜好等功能。

?

Sorted Set

Sorted Set 多了一個權重參數 Score,集合中的元素能夠按 Score 進行排列。可以做排行榜應用,取 TOP N 操作。Sorted Set 可以用來做延時任務。

?

4、Redis 的過期策略和內存淘汰機制

?

Redis 是否用到家,從這就能看出來。比如你?Redis?只能存 5G 數據,可是你寫了 10G,那會刪 5G 的數據。怎么刪的,這個問題思考過么?

?

正解:Redis?采用的是定期刪除+惰性刪除策略。

?

為什么不用定時刪除策略

定時刪除,用一個定時器來負責監視 Key,過期則自動刪除。雖然內存及時釋放,但是十分消耗 CPU 資源。在大并發請求下,CPU 要將時間應用在處理請求,而不是刪除 Key,因此沒有采用這一策略。

?

定期刪除+惰性刪除如何工作

定期刪除,Redis?默認每個 100ms 檢查,有過期 Key 則刪除。需要說明的是,Redis?不是每個 100ms 將所有的 Key 檢查一次,而是隨機抽取進行檢查。如果只采用定期刪除策略,會導致很多 Key 到時間沒有刪除。于是,惰性刪除派上用場。

?

采用定期刪除+惰性刪除就沒其他問題了么

不是的,如果定期刪除沒刪除掉 Key。并且你也沒及時去請求 Key,也就是說惰性刪除也沒生效。這樣,Redis 的內存會越來越高。那么就應該采用內存淘汰機制。

?

在 redis.conf 中有一行配置:

# maxmemory-policy volatile-lru

?

該配置就是配內存淘汰策略的:

  • noeviction:當內存不足以容納新寫入數據時,新寫入操作會報錯。

  • allkeys-lru:當內存不足以容納新寫入數據時,在鍵空間中,移除最近最少使用的 Key。(推薦使用,目前項目在用這種)

  • allkeys-random:當內存不足以容納新寫入數據時,在鍵空間中,隨機移除某個 Key。(應該也沒人用吧,你不刪最少使用 Key,去隨機刪)

  • volatile-lru:當內存不足以容納新寫入數據時,在設置了過期時間的鍵空間中,移除最近最少使用的 Key。這種情況一般是把?Redis?既當緩存,又做持久化存儲的時候才用。(不推薦)

  • volatile-random:當內存不足以容納新寫入數據時,在設置了過期時間的鍵空間中,隨機移除某個 Key。(依然不推薦)

  • volatile-ttl:當內存不足以容納新寫入數據時,在設置了過期時間的鍵空間中,有更早過期時間的 Key 優先移除。(不推薦)

?

?

5、Redis 和數據庫雙寫一致性問題

?

一致性問題還可以再分為最終一致性和強一致性。數據庫和緩存雙寫,就必然會存在不一致的問題。前提是如果對數據有強一致性要求,不能放緩存。我們所做的一切,只能保證最終一致性。

?

另外,我們所做的方案從根本上來說,只能降低不一致發生的概率。因此,有強一致性要求的數據,不能放緩存。首先,采取正確更新策略,先更新數據庫,再刪緩存。其次,因為可能存在刪除緩存失敗的問題,提供一個補償措施即可,例如利用消息隊列。

?

6、如何應對緩存穿透和緩存雪崩問題

?

這兩個問題,一般中小型傳統軟件企業很難碰到。如果有大并發的項目,流量有幾百萬左右,這兩個問題一定要深刻考慮。緩存穿透,即黑客故意去請求緩存中不存在的數據,導致所有的請求都懟到數據庫上,從而數據庫連接異常。

?

緩存穿透解決方案:

  • 利用互斥鎖,緩存失效的時候,先去獲得鎖,得到鎖了,再去請求數據庫。沒得到鎖,則休眠一段時間重試。

  • 采用異步更新策略,無論 Key 是否取到值,都直接返回。Value 值中維護一個緩存失效時間,緩存如果過期,異步起一個線程去讀數據庫,更新緩存。需要做緩存預熱(項目啟動前,先加載緩存)操作。

  • 提供一個能迅速判斷請求是否有效的攔截機制,比如,利用布隆過濾器,內部維護一系列合法有效的 Key。迅速判斷出,請求所攜帶的 Key 是否合法有效。如果不合法,則直接返回。

?

緩存雪崩,即緩存同一時間大面積的失效,這個時候又來了一波請求,結果請求都懟到數據庫上,從而導致數據庫連接異常。

?

緩存雪崩解決方案:

  • 給緩存的失效時間,加上一個隨機值,避免集體失效。

  • 使用互斥鎖,但是該方案吞吐量明顯下降了。

  • 雙緩存。我們有兩個緩存,緩存 A 和緩存 B。緩存 A 的失效時間為 20 分鐘,緩存 B 不設失效時間。自己做緩存預熱操作。

    然后細分以下幾個小點:從緩存 A 讀數據庫,有則直接返回;A 沒有數據,直接從 B 讀數據,直接返回,并且異步啟動一個更新線程,更新線程同時更新緩存 A 和緩存 B。

?

?

7、如何解決 Redis 的并發競爭 Key 問題

?

這個問題大致就是,同時有多個子系統去 Set 一個 Key。這個時候要注意什么呢?大家基本都是推薦用?Redis?事務機制。

?

但是我并不推薦使用?Redis?的事務機制。因為我們的生產環境,基本都是 Redis 集群環境,做了數據分片操作。你一個事務中有涉及到多個 Key 操作的時候,這多個 Key 不一定都存儲在同一個 redis-server 上。因此,Redis?的事務機制,十分雞肋。

?

如果對這個 Key 操作,不要求順序

這種情況下,準備一個分布式鎖,大家去搶鎖,搶到鎖就做 set 操作即可,比較簡單。

?

如果對這個 Key 操作,要求順序

假設有一個 key1,系統 A 需要將 key1 設置為 valueA,系統 B 需要將 key1 設置為 valueB,系統 C 需要將 key1 設置為 valueC。

?

期望按照 key1 的 value 值按照 valueA > valueB?>?valueC 的順序變化。這種時候我們在數據寫入數據庫的時候,需要保存一個時間戳。

?

假設時間戳如下:

系統 A key 1 {valueA ?3:00}
系統 B key 1 {valueB ?3:05}
系統 C key 1 {valueC ?3:10}

?

那么,假設系統 B 先搶到鎖,將 key1 設置為{valueB 3:05}。接下來系統 A 搶到鎖,發現自己的 valueA 的時間戳早于緩存中的時間戳,那就不做 set 操作了,以此類推。其他方法,比如利用隊列,將 set 方法變成串行訪問也可以。

?

8、總結

Redis 在國內各大公司都能看到其身影,比如我們熟悉的新浪,阿里,騰訊,百度,美團,小米等學習 Redis,這幾方面尤其重要:Redis 客戶端、Redis 高級功能、Redis 持久化和開發運維常用問題探討、Redis 復制的原理和優化策略、Redis 分布式解決方案等。

總結

以上是生活随笔為你收集整理的为什么分布式一定要有 Redis?(转自微信公众号文章:GitChat精品课)的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。