Redis数据库(一)——介绍、配置与优化
Redis數據庫(一)——介紹、配置與優化
- 一、關系數據庫與非關系型數據庫
- 1、關系數據庫
- 2、非關系型數據庫
- 3、關系數據庫與非關系型數據庫區別(三個方向)
- 數據存儲方式不同
- 擴展方式不同
- 對事務性的支持不同
- 4、非關系型數據庫產生背景
- 5、小結
- 二、Redis簡介
- 1、Redis的單線程模式
- 2、Redis的優點
- 三、Redis 安裝部署
- 四、Redis 命令工具
- 1、redis-cli 命令行工具
- 2、redis-benchmark 測試工具
- 五、Redis 數據庫常用命令
- 1、set/get 存放/獲取數據
- 2、keys 取值
- 3、exists 判斷值是否存在
- 4、del 刪除key
- 5、type 獲取值的類型
- 6、rename 重命名(覆蓋)
- 7、renamenx 重命名(不覆蓋)
- 8、dbsize 查看庫中key的數量
- 9、設置密碼
- 六、Redis 多數據庫常用命令
- 1、多數據庫間切換
- 2、多數據庫間移動數據
- 3、清除數據庫內數據
- 七、Redis 高可用
- 八、Redis 持久化
- 1、RDB和AOF持久化區別
- 2、RDB 持久化
- (1)觸發條件
- (2)執行流程
- (3)啟動時加載
- 3、AOF持久化
- (1)開啟AOF
- (2)執行流程
- (3)啟動時加載
- 4、RDB和AOF的優缺點
- (1)RDB持久化
- (2)AOF持久化
- 九、Redis 性能管理
- 1、查看Redis內存使用
- 2、內存碎片率
- 3、內存使用率
- 4、內回收key
一、關系數據庫與非關系型數據庫
1、關系數據庫
- 一個結構化的數據庫,創建在關系模型(二維表格模型)基礎上,一般面向于記錄
- SQL 語句(標準數據查詢語言)就是一種基于關系型數據庫的語言,用于執行對關系型數據庫中數據的檢索和操作。
- 主流的關系型數據庫包括 Oracle、MySQL、SQL Server、Microsoft Access、DB2 等。
2、非關系型數據庫
- NoSQL(NoSQL = Not Only SQL ),意思是“不僅僅是 SQL”,是非關系型數據庫的總稱。
- 除了主流的關系型數據庫外的數據庫,都認為是非關系型。
- 主流的 NoSQL 數據庫有 Redis、MongBD、Hbase、Memcached 等。
3、關系數據庫與非關系型數據庫區別(三個方向)
數據存儲方式不同
- 關系型和非關系型數據庫的主要差異是數據存儲的方式。關系型數據天然就是表格式的,因此存儲在數據表的行和列中。數據表可以彼此關聯協作存儲,也很容易提取數據。
- 與其相反,非關系型數據不適合存儲在數據表的行和列中,而是大塊組合在一起。非關系型數據通常存儲在數據集中,就像文檔、鍵值對或者圖結構。你的數據及其特性是選擇數據存儲和提取方式的首要影響因素。
擴展方式不同
- SQL和NoSQL數據庫最大的差別可能是在擴展方式上,要支持日益增長的需求當然要擴展。
- 要支持更多并發量,SQL數據庫是縱向擴展,也就是說提高處理能力,使用速度更快速的計算機,這樣處理相同的數據集就更快了。因為數據存儲在關系表中,操作的性能瓶頸可能涉及很多個表,這都需要通過提高計算機性能來客服。雖然SQL數據庫有很大擴展空間,但最終肯定會達到縱向擴展的上限。
- 而NoSQL數據庫是橫向擴展的。因為非關系型數據存儲天然就是分布式的,NoSQL數據庫的擴展可以通過給資源池添加更多普通的數據庫服務器(節點)來分擔負載。
對事務性的支持不同
- 如果數據操作需要高事務性或者復雜數據查詢需要控制執行計劃,那么傳統的SQL數據庫從性能和穩定性方面考慮是你的最佳選擇。SQL數據庫支持對事務原子性細粒度控制,并且易于回滾事務。
- 雖然NoSQL數據庫也可以使用事務操作,但穩定性方面沒法和關系型數據庫比較,所以它們真正閃亮的價值是在操作的擴展性和大數據量處理方面。
4、非關系型數據庫產生背景
- 可用于應對 Web2.0 純動態網站類型的三高問題。
- High performance——對數據庫高并發讀寫需求
- Huge Storage——對海量數據高效存儲與訪問需求
- High Scalability && High Availability——對數據庫高可擴展性與高可用性需求
- 關系型數據庫和非關系型數據庫都有各自的特點與應用場景,兩者的緊密結合將會給Web2.0的數據庫發展帶來新的思路。
讓關系數據庫關注在關系上,非關系型數據庫關注在存儲上。
例如,在讀寫分離的MySQL數據庫環境中,可以把經常訪問的數據存儲在非關系型數據庫中,提升訪問速度。
5、小結
-
關系型數據庫:
- 實例–>數據庫–>表(table)–>記錄行(row)、數據字段(column)
-
非關系型數據庫:
- 實例–>數據庫–>集合(collection)–>鍵值對(key-value)
- 非關系型數據庫不需要手動建數據庫和集合(表)。
二、Redis簡介
- Redis 是一個開源的、使用 C 語言編寫的 NoSQL 數據庫。
- Redis 基于內存運行并支持持久化,采用key-value(鍵值對)的存儲形式,是目前分布式架構中不可或缺的一環。
1、Redis的單線程模式
- Redis服務器程序是單進程模型,也就是在一臺服務器上可以同時啟動多個Redis進程,Redis的實際處理速度則是完全依靠于主進程的執行效率。
- 若在服務器上只運行一個Redis進程,當多個客戶端同時訪問時,服務器的處理能力是會有一定程度的下降
- 若在同一臺服務器上開啟多個Redis進程,Redis在提高并發處理能力的同時會給服務器的CPU造成很大壓力。即:在實際生產環境中,需要根據實際的需求來決定開啟多少個Redis進程。
- 若對高并發要求更高一些,可能會考慮在同一臺服務器上開啟多個進程。若 CPU 資源比較緊張,采用單進程即可。
2、Redis的優點
- 具有極高的數據讀寫速度:數據讀取的速度最高可達到 110000 次/s,數據寫入速度最高可達到 81000 次/s。
- 支持豐富的數據類型:支持 key-value、Strings、Lists、Hashes、Sets 及 Ordered Sets 等數據類型操作。
- string :字符串(可以為整型、浮點型和字符串,通稱為元素)
- list :列表(實現隊列,元素不唯一,先入先出原則)
- set :集合(各不相同的元素)
- hash :hash散列值(hash的key必須是唯一的)
- set /ordered set :集合/有序集合
- 支持數據的持久化:可以將內存中的數據保存在磁盤中,重啟的時候可以再次加載進行使用。
- 原子性:Redis 所有操作都是原子性的。
- 支持數據備份:即 master-salve 模式的數據備份。
Redis作為基于內存運行的數據庫,緩存是其最常應用的場景之一。除此之外,Redis常見應用場景還包括獲取最新N個數據的操作、排行榜類應用、計數器應用、存儲關系、實時分析系統、日志記錄。
三、Redis 安裝部署
軟件包
redis-5.0.7.tar.gz
1、編譯安裝redis
cd /opt/ yum install -y gcc gcc-c++ maketar zxvf redis-5.0.7.tar.gz cd /opt/redis-5.0.7/ make && make PREFIX=/usr/local/redis install
2、執行軟件包自帶的install_server.sh腳本文件設置redid服務相關配置
cd /opt/redis-5.0.7/utils ./install_server.sh …… 慢慢回車 Please select the redis executable path [] 手動輸入 /usr/local/redis/bin/redis-server #要一次性輸入正確,不然還要重新執行 Selected config: Port : 6379 #默認偵聽端口為6379 Config file : /etc/redis/6379.conf #配置文件路徑 Log file : /var/log/redis_6379.log #日志文件路徑 Data dir : /var/lib/redis/6379 #數據文件路徑 Executable : /usr/local/redis/bin/redis-server #可執行文件路徑 Cli Executable : /usr/local/bin/redis-cli #客戶端命令工具3、把redis的可執行程序文件放入路徑環境變量的目錄中便于系統識別
ln -s /usr/local/redis/bin/* /usr/local/bin/#當install_server.sh 腳本運行完畢,Redis服務就已經啟動,默認偵聽端口為6379 netstat -natp | grep redis#redis服務控制 /etc/init.d/redis_6379 stop #停止 /etc/init.d/redis_6379 start #啟動 /etc/init.d/redis_6379 restart #重啟 /etc/init.d/redis_6379 status #狀態4、修改配置 /etc/redis/6379.conf 參數
vim /etc/redis/6379.confbind 127.0.0.1 192.168.172.10 #70行;添加;監聽的主機地址 port 6379 #93行;Redis默認的監聽端口 daemonize yes #137行;啟用守護進程 pidfile /var/run/redis_6379.pid #159行;指定 PID 文件 loglevel notice #167行;日志級別 logfile /var/log/redis_6379.log #172行;指定日志文件 /etc/init.d/redis_6379 restart
四、Redis 命令工具
redis-server 用于啟動 Redis 的工具 redis-benchmark 用于檢測 Redis 在本機的運行效率 redis-check-aof 修復 AOF 持久化文件 redis-check-rdb 修復 RDB 持久化文件 redis-cli Redis命令行工具1、redis-cli 命令行工具
redis-cli -h host -p port -a password-h 指定遠程主機 -p 指定 Redis 服務的端口號 -a 指定密碼,未設置數據庫密碼可以省略-a 選項若不添加任何選項表示,則使用127.0.0.1:6379連接本機上的Redis數據庫2、redis-benchmark 測試工具
- redis-benchmark 是官方自帶的 Redis 性能測試工具,可以有效的測試 Redis 服務的性能。
五、Redis 數據庫常用命令
1、set/get 存放/獲取數據
set:存放數據,命令格式為 set key value get:獲取數據,命令格式為 get key2、keys 取值
#keys 命令可以取符合規則的鍵值列表,通常情況可以結合*、?等選項來使用。 keys * #查看當前數據庫中所有的數據 keys v* #查看當前數據庫中以v開頭的數據 keys v?? #查看當前數據庫中以v開頭后面包含任意一位的數據 keys v?? #查看當前數據庫中以v開頭后面包含任意兩位的數據3、exists 判斷值是否存在
exists [鍵] 返回值為1表示存在,0表示不存在4、del 刪除key
del 命令可以刪除當前數據庫的指定 key。 del [鍵]5、type 獲取值的類型
type 命令可以獲取 key 對應的 value 值類型。 type [鍵]6、rename 重命名(覆蓋)
rename 命令是對已有 key 進行重命名。(覆蓋) rename 源key 目標key 使用rename命令進行重命名時,無論目標key是否存在都進行重命名,且源key的值會覆蓋目標key的值。 在實際使用過程中,建議先用 exists 命令查看目標 key 是否存在,然后再決定是否執行 rename 命令,以避免覆蓋重要數據。7、renamenx 重命名(不覆蓋)
renamenx 命令是對已有 key 進行重命名,并檢測新名是否存在,如果目標 key 存在則不進行重命名。(不覆蓋) renamenx 源key 目標key8、dbsize 查看庫中key的數量
dbsize 命令的作用是查看當前數據庫中 key 的數目。9、設置密碼
#設置密碼 config set requirepass password#查看密碼(一旦設置密碼,必須先驗證通過密碼,否則所有操作不可用) auth 密碼 config get requirepass#刪除密碼 auth 密碼 config set requirepass ''例: config set requirepass 35123512 auth 35123512 config get requirepass quit redis-cli keys * auth 35123512 keys *六、Redis 多數據庫常用命令
- Redis 支持多數據庫,Redis 默認情況下包含 16 個數據庫,數據庫名稱是用數字 0-15 來依次命名的。
- 多數據庫相互獨立,互不干擾。
1、多數據庫間切換
命令格式:select 序號 使用 redis-cli 連接 Redis 數據庫后,默認使用的是序號為 0 的數據庫。 例: 127.0.0.1:6379> select 1 #切換至序號為 1 的數據庫 127.0.0.1:6379[10]> select 2 #切換至序號為 2 的數據庫 127.0.0.1:6379[15]> select 0 #切換至序號為 0 的數據庫2、多數據庫間移動數據
格式:move 鍵值 序號 例: set name zhangsan get nameselect 5 get nameselect 0 move name 5 get nameselect 5 get name3、清除數據庫內數據
FLUSHDB :清空當前數據庫數據 FLUSHALL :清空所有數據庫的數據,慎用!七、Redis 高可用
- 在web服務器中,高可用是指服務器可以正常訪問的時間,衡量的標準是在多長時間內可以提供正常服務(99.9%、99.99%、99.999%等等)。
- 但是在Redis語境中,高可用的含義似乎要寬泛一些,除了保證提供正常服務(如主從分離、快速容災技術),還需要考慮數據容量的擴展、數據安全不會丟失等。
在Redis中,實現高可用的技術主要包括持久化、主從復制、哨兵和集群,下面分別說明它們的作用,以及解決了什么樣的問題。
- 持久化:持久化是最簡單的高可用方法(有時甚至不被歸為高可用的手段),主要作用是數據備份,即將數據存儲在硬盤,保證數據不會因進程退出而丟失。
- 主從復制:主從復制是高可用Redis的基礎,哨兵和集群都是在主從復制基礎上實現高可用的。主從復制主要實現了數據的多機備份,以及對于讀操作的負載均衡和簡單的故障恢復。
- 缺陷:故障恢復無法自動化;寫操作無法負載均衡;存儲能力受到單機的限制。
- 哨兵:在主從復制的基礎上,哨兵實現了自動化的故障恢復。
- 缺陷:寫操作無法負載均衡;存儲能力受到單機的限制。
- 集群:通過集群,Redis解決了寫操作無法負載均衡,以及存儲能力受到單機限制的問題,實現了較為完善的高可用方案。
八、Redis 持久化
- 持久化的功能:Redis是內存數據庫,數據都是存儲在內存中,為了避免服務器斷電等原因導致Redis進程異常退出后數據的永久丟失,需要定期將Redis中的數據以某種形式(數據或命令)從內存保存到硬盤;當下次Redis重啟時,利用持久化文件實現數據恢復。除此之外,為了進行災難備份,可以將持久化文件拷貝到一個遠程位置。
Redis 提供兩種方式進行持久化
- RDB 持久化:原理是將 Reids在內存中的數據庫記錄定時保存到磁盤上。
- AOF 持久化(append only file):原理是將 Reids 的操作日志以追加的方式寫入文件,類似于MySQL的binlog。
總結:由于AOF持久化的實時性更好,即當進程意外退出時丟失的數據更少,因此AOF是目前主流的持久化方式,不過RDB持久化仍然有其用武之地。
1、RDB和AOF持久化區別
- RDB:對redis中的數據執行周期性的持久化,簡而言之,就是在不同的時間點,將redis存儲的數據生成快照并存儲到磁盤等介質上。持續的用日志記錄寫操作,crash(崩潰)后利用日志恢復。
- 通過在指定的時間間隔內將內存中的數據集快照寫入磁盤,實際操作過程是fork
- 一個子進程,先將數據集寫入臨時文件,寫入成功后,再替換之前的文件,用二進制壓縮存儲
- AOF:則是換了一個角度來實現持久化,那就是將redis執行過的所有寫、刪(查詢操作不會)指令記錄下來,在下次redis重新啟動時,只要把這些寫指令從前到后再重復執行一遍,就可以實現數據恢復了。平時寫操作的時候不觸發寫,只有手動提交save命令,或者是shutdown關閉命令時,于觸發備份操作。
- RDB和AOF兩種方式也可以同時使用,在這種情況下,如果redis重啟的話,則會優先采用AOF方式來進行數據恢復,這是因為AOF)式的數據恢復完整度更高。
2、RDB 持久化
RDB持久化:指在指定的時間間隔內將內存中當前進程中的數據生成快照保存到硬盤(因此也稱作快照持久化),用二進制壓縮存儲,保存的文件后綴是rdb;當Redis重新啟動時,可以讀取快照文件恢復數據。
(1)觸發條件
RDB持久化的觸發分為手動觸發和自動觸發兩種。
手動觸發
- save命令和bgsave命令都可以生成RDB文件。
- save命令會阻塞Redis服務器進程,直到RDB文件創建完畢為止,在Redis服務器阻塞期間,服務器不能處理任何命令請求。
- 而bgsave命令會創建一個子進程,由子進程來負責創建RDB文件,父進程(即Redis主進程)則繼續處理請求。
- bgsave命令執行過程中,只有fork子進程時會阻塞服務器,而對于save命令,整個過程都會阻塞服務器,因此save已基本被廢棄,線上環境要杜絕save的使用。
自動觸發
- 在自動觸發RDB持久化時,Redis也會選擇bgsave而不是save來進行持久化。
- 自動觸發最常見的情況是在配置文件中通過save m n,指定當m秒內發生n次變化時,會觸發bgsave。
其他自動觸發機制
- 除了save m n 以外,還有一些其他情況會觸發bgsave:
- 在主從復制場景下,如果從節點執行全量復制操作,則主節點會執行bgsave命令,并將rdb文件發送給從節點。
- 執行shutdown命令時,自動執行rdb持久化。
(2)執行流程
- 第一步:Redis父進程首先判斷:當前是否在執行save,或bgsave/bgrewriteaof的子進程,如果在執行則bgsave命令直接返回。 bgsave/bgrewriteaof的子進程不能同時執行,主要是基于性能方面的考慮:兩個并發的子進程同時執行大量的磁盤寫操作,可能引起嚴重的性能問題。
- 第二步:父進程執行fork操作創建子進程,這個過程中父進程是阻塞的,Redis不能執行來自客戶端的任何命令
- 第三步:父進程fork后,bgsave命令返回”Background saving started”信息并不再阻塞父進程,并可以響應其他命令
- 第四步:子進程創建RDB文件,根據父進程內存快照生成臨時快照文件,完成后對原有文件進行原子替換
- 第五步:子進程發送信號給父進程表示完成,父進程更新統計信息
(3)啟動時加載
- RDB文件的載入工作是在服務器啟動時自動執行的,并沒有專門的命令。
- 但是由于AOF的優先級更高,因此當AOF開啟時,Redis會優先載入 AOF文件來恢復數據;
- 只有當AOF關閉時,才會在Redis服務器啟動時檢測RDB文件,并自動載入。服務器載入RDB文件期間處于阻塞狀態,直到載入完成為止。
- Redis載入RDB文件時,會對RDB文件進行校驗,如果文件損壞,則日志中會打印錯誤,Redis啟動失敗。
3、AOF持久化
- RDB持久化是將進程數據寫入文件,而AOF持久化,則是將Redis執行的每次寫、刪除命令記錄到單獨的日志文件中,查詢操作不會記錄; 當Redis重啟時再次執行AOF文件中的命令來恢復數據。
- 與RDB相比,AOF的實時性更好,因此已成為主流的持久化方案。
(1)開啟AOF
- Redis服務器默認開啟RDB,關閉AOF;要開啟AOF,需要在配置文件中配置:
(2)執行流程
-
由于需要記錄Redis的每條寫命令,因此AOF不需要觸發,下面介紹AOF的執行流程。
-
AOF的執行流程包括:
- 命令追加(append):將Redis的寫命令追加到緩沖區aof_buf;
- 文件寫入(write)和文件同步(sync):根據不同的同步策略將aof_buf中的內容同步到硬盤;
- 文件重寫(rewrite):定期重寫AOF文件,達到壓縮的目的。
-
①命令追加(append)
- Redis先將寫命令追加到緩沖區,而不是直接寫入文件,主要是為了避免每次有寫命令都直接寫入硬盤,導致硬盤IO成為Redis負載的瓶頸。
命令追加的格式是Redis命令請求的協議格式,它是一種純文本格式,具有兼容性好、可讀性強、容易處理、操作簡單避免二次開銷等優點。在AOF文件中,除了用于指定數據庫的select命令(如select 0為選中0號數據庫)是由Redis添加的,其他都是客戶端發送來的寫命令。
- Redis先將寫命令追加到緩沖區,而不是直接寫入文件,主要是為了避免每次有寫命令都直接寫入硬盤,導致硬盤IO成為Redis負載的瓶頸。
-
②文件寫入(write)和文件同步(sync)
- Redis提供了多種AOF緩存區的同步文件策略,策略涉及到操作系統的write函數和fsync函數,說明如下:
為了提高文件寫入效率,在現代操作系統中,當用戶調用write函數將數據寫入文件時,操作系統通常會將數據暫存到一個內存緩沖區里,當緩沖區被填滿或超過了指定時限后,才真正將緩沖區的數據寫入到硬盤里。這樣的操作雖然提高了效率,但也帶來了安全問題:如果計算機停機,內存緩沖區中的數據會丟失;因此系統同時提供了fsync、fdatasync等同步函數,可以強制操作系統立刻將緩沖區中的數據寫入到硬盤里,從而確保數據的安全性。
- Redis提供了多種AOF緩存區的同步文件策略,策略涉及到操作系統的write函數和fsync函數,說明如下:
AOF緩存區的同步文件策略存在三種同步方式,它們分別是:
- appendfsync always: 命令寫入aof_buf后立即調用系統fsync操作同步到AOF文件,fsync完成后線程返回。這種情況下,每次有寫命令都要同步到AOF文件,硬盤IO成為性能瓶頸,Redis只能支持大約幾百TPS寫入,嚴重降低了Redis的性能;即便是使用固態硬盤(SSD),每秒大約也只能處理幾萬個命令,而且會大大降低SSD的壽命。
- appendfsync no: 命令寫入aof_buf后調用系統write操作,不對AOF文件做fsync同步;同步由操作系統負責,通常同步周期為30秒。這種情況下,文件同步的時間不可控,且緩沖區中堆積的數據會很多,數據安全性無法保證。
- appendfsync everysec: 命令寫入aof_buf后調用系統write操作,write完成后線程返回;fsync同步文件操作由專門的線程每秒調用一次。everysec是前述兩種策略的折中,是性能和數據安全性的平衡,因此是Redis的默認配置,也是我們推薦的配置。
③文件重寫(rewrite)
- 隨著時間流逝,Redis服務器執行的寫命令越來越多,AOF文件也會越來越大;過大的AOF文件不僅會影響服務器的正常運行,也會導致數據恢復需要的時間過長。
- 文件重寫是指定期重寫AOF文件,減小AOF文件的體積。需要注意的是:AOF重寫是把Redis進程內的數據轉化為寫命令,同步到新的AOF文件;不會對舊的AOF文件進行任何讀取、寫入操作!
- 關于文件重寫需要注意的另一點是,文件重寫雖然是強烈推薦的,但并不是必須的;即使沒有文件重寫,數據也可以被持久化并在Redis啟動的時候導入;因此在一些實現中,會關閉自動的文件重寫,然后通過定時任務在每天的某一時刻定時執行。
文件重寫之所以能夠壓縮AOF文件,原因在于:
- 過期的數據不再寫入文件
- 無效的命令不再寫入文件如有些數據被重復設值(set mykey v1, set mykey v2)、有些數據被刪除了(sadd myset v1, del myset)等。
- 多條命令可以合并為一個如sadd myset v1, sadd myset v2, sadd myset v3可以合并為sadd myset v1 v2 v3。
通過上述內容可以看出,由于重寫后AOF執行的命令減少了,文件重寫既可以減少文件占用的空間,也可以加快恢復速度。
文件重寫的觸發,分為手動觸發和自動觸發:
- ①手動觸發:直接調用bgrewriteaof命令,該命令的執行與bgsave有些類似:都是fork子進程進行具體的工作,且都只有在fork時阻塞。
- ②自動觸發:通過設置auto-aof-rewrite-min-size選項和auto-aof-rewrite-percentage選項來自動執行BGREWRITEAOF。 只有當auto-aof-rewrite-min-size和auto-aof-rewrite-percentage兩個選項同時滿足時,才會自動觸發AOF重寫,即bgrewriteaof操作。
關于文件重寫的流程,有兩點需要特別注意:
- 重寫由父進程fork子進程進行;
- 重寫期間Redis執行的寫命令,需要追加到新的AOF文件中,為此Redis引入了aof_rewrite_buf緩存。
文件重寫的流程如下:
- (1)Redis父進程首先判斷當前是否存在正在執行bgsave/bgrewriteaof的子進程,如果存在則bgrewriteaof命令直接返回,如果存在 bgsave命令則等bgsave執行完成后再執行。
- (2)父進程執行fork操作創建子進程,這個過程中父進程是阻塞的。
- (3.1)父進程fork后,bgrewriteaof命令返回”Background append only file rewrite started”信息并不再阻塞父進程, 并可以響應其他命令。Redis的所有寫命令依然寫入AOF緩沖區,并根據appendfsync策略同步到硬盤,保證原有AOF機制的正確。
- (3.2)由于fork操作使用寫時復制技術,子進程只能共享fork操作時的內存數據。由于父進程依然在響應命令,因此Redis使用AOF重寫緩沖區(aof_rewrite_buf)保存這部分數據,防止新AOF文件生成期間丟失這部分數據。也就是說,bgrewriteaof執行期間,Redis的寫命令同時追加到aof_buf和aof_rewirte_buf兩個緩沖區。
- (4)子進程根據內存快照,按照命令合并規則寫入到新的AOF文件。
- (5.1)子進程寫完新的AOF文件后,向父進程發信號,父進程更新統計信息,具體可以通過info persistence查看。
- (5.2)父進程把AOF重寫緩沖區的數據寫入到新的AOF文件,這樣就保證了新AOF文件所保存的數據庫狀態和服務器當前狀態一致。
- (5.3)使用新的AOF文件替換老文件,完成AOF重寫。
(3)啟動時加載
當AOF開啟時,Redis啟動時會優先載入AOF文件來恢復數據;只有當AOF關閉時,才會載入RDB文件恢復數據。
當AOF開啟,但AOF文件不存在時,即使RDB文件存在也不會加載。
Redis載入AOF文件時,會對AOF文件進行校驗,如果文件損壞,則日志中會打印錯誤,Redis啟動失敗。但如果是AOF文件結尾不完整(機器突然宕機等容易導致文件尾部不完整),且aof-load-truncated參數開啟,則日志中會輸出警告,Redis忽略掉AOF文件的尾部,啟動成功。aof-load-truncated參數默認是開啟的。
4、RDB和AOF的優缺點
(1)RDB持久化
- 優點:RDB文件緊湊,體積小,網絡傳輸快,適合全量復制;恢復速度比AOF快很多。當然,與AOF相比,RDB最重要的優點之一是對性能的影響相對較小。
- 缺點:RDB文件的致命缺點在于其數據快照的持久化方式決定了必然做不到實時持久化,而在數據越來越重要的今天,數據的大量丟失很多時候是無法接受的,因此AOF持久化成為主流。此外,RDB文件需要滿足特定格式,兼容性差(如老版本的Redis不兼容新版本的RDB文件)。
- 對于RDB持久化,一方面是bgsave在進行fork操作時Redis主進程會阻塞,另一方面,子進程向硬盤寫數據也會帶來IO壓力。
(2)AOF持久化
- 與RDB持久化相對應,AOF的優缺點:
- 優點:支持秒級持久化、兼容性好;
- 缺點:文件大、恢復速度慢、對性能影響大。
- 對于AOF持久化,向硬盤寫數據的頻率大大提高(everysec策略下為秒級),IO壓力更大,甚至可能造成AOF追加阻塞問題。
- AOF文件的重寫與RDB的bgsave類似,會有fork時的阻塞和子進程的IO壓力問題。相對來說,由于AOF向硬盤中寫數據的頻率更高,因此對 Redis主進程性能的影響會更大。
九、Redis 性能管理
1、查看Redis內存使用
redis-cli -h 192.168.172.10 -p 6379 info memory2、內存碎片率
- 操作系統分配的內存值used_memory_rss除以Redis使用的內存值used_memory計算得出;
內存碎片是由操作系統低效的分配/回收物理內存導致的(不連續的物理內存分配)
跟蹤內存碎片率對理解Redis實例的資源性能是非常重要的:
- 內存碎片率稍大于1是合理的這個值表示內存碎片率比較低
- 內存碎片率超過1.5,說明Redis消耗了實際需要物理內存的150%,其中50%是內存碎片率。需要在redis-cli工具上輸入shutdown save 命令,并重啟 Redis 服務器。
- 內存碎片率低于1的說明Redis內存分配超出了物理內存,操作系統正在進行內存交換。需要增加可用物理內存或減少 Redis 內存占用。
3、內存使用率
redis實例的內存使用率超過可用最大內存,操作系統將開始進行內存與swap空間交換。
避免內存交換發生的方法:
- 針對緩存數據大小選擇安裝 Redis 實例
- 盡可能的使用Hash數據結構存儲
- 設置key的過期時間
4、內回收key
保證合理分配redis有限的內存資源。
- 當達到設置的最大閥值時,需選擇一種key的回收策略,默認情況下回收策略是禁止刪除。
配置文件中修改 maxmemory-policy 屬性值:
| volatile-lru | 使用LRU算法從已設置過期時間的數據集合中淘汰數據 |
| volatile-ttl | 從已設置過期時間的數據集合中挑選即將過期的數據淘汰 |
| volatile-random | 從已設置過期時間的數據集合中隨機挑選數據淘汰 |
| allkeys-lru | 使用LRU算法從所有數據集合中淘汰數據 |
| allkeys-random | 從數據集合中任意選擇數據淘汰 |
| noenviction | 禁止淘汰數據 |
總結
以上是生活随笔為你收集整理的Redis数据库(一)——介绍、配置与优化的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 部署Squid 代理服务器(内含传统、透
- 下一篇: Redis数据库(二)——数据类型