轉(zhuǎn)載自：http://yizhaolingyan.net/?p=11

??? 分析開(kāi)源項(xiàng)目，時(shí)常遇到的一個(gè)問(wèn)題就是資料不足。有時(shí)間寫(xiě)代碼的大牛們通常是都是沒(méi)有時(shí)間或者根本不屑于寫(xiě)文檔的。而不多的文檔通常又是使用手冊(cè)之類(lèi)的東 西。即便偶爾有設(shè)計(jì)文檔通常也是語(yǔ)焉不詳。在這種情況下，想從代碼里反向把設(shè)計(jì)思想提煉出來(lái)，畢竟不是人人都能做到的。

??????? 值得我們慶幸的是，Ceph是一個(gè)典型的起源于學(xué)術(shù)研究課題的開(kāi)源項(xiàng)目。雖然學(xué)術(shù)研究生涯對(duì)于Sage而言只是其光輝事跡的短短一篇，但畢竟還是有幾篇學(xué)術(shù)文獻(xiàn)可供參考[1]。這也為我們提供了難得的，從頂層視角入手分析一個(gè)系統(tǒng)領(lǐng)域的優(yōu)秀開(kāi)源項(xiàng)目的機(jī)會(huì)。本篇文章的內(nèi)容也正是筆者閱讀這些文獻(xiàn)的心得體會(huì)。

3.1??? Ceph針對(duì)的目標(biāo)應(yīng)用場(chǎng)景

??????? 理解Ceph的設(shè)計(jì)思想，首先還是要了解Sage設(shè)計(jì)Ceph時(shí)所針對(duì)的目標(biāo)應(yīng)用場(chǎng)景，換言之，“做這東西的目的是啥？”

??????? 事實(shí)上，Ceph最初針對(duì)的目標(biāo)應(yīng)用場(chǎng)景，就是大規(guī)模的、分布式的存儲(chǔ)系統(tǒng)。所謂“大規(guī)模”和“分布式”，是指至少能夠承載PB級(jí)別的數(shù)據(jù)，并且由成千上萬(wàn)的存儲(chǔ)節(jié)點(diǎn)組成。

??????? 在大數(shù)據(jù)口號(hào)深入人心的今天，PB已經(jīng)遠(yuǎn)遠(yuǎn)不是一個(gè)激動(dòng)人心的系統(tǒng)設(shè)計(jì)目標(biāo)了。但是，應(yīng)該指出，Ceph項(xiàng)目起源于04年。那是一個(gè)商用處理器以單核為主 流，常見(jiàn)硬盤(pán)容量只有幾十GB的年代。這和現(xiàn)在動(dòng)輒6核12線程還要雙處理器、單塊硬盤(pán)3TB已經(jīng)司空見(jiàn)慣的情況是不可同日而語(yǔ)的。因此，理解這個(gè)設(shè)計(jì)目 標(biāo)，應(yīng)該考慮當(dāng)時(shí)的實(shí)際情況。當(dāng)然，如前所述，Ceph的設(shè)計(jì)并沒(méi)有理論上限，所以PB級(jí)別并不是實(shí)際應(yīng)用的容量限制。

??????? 在Sage的思想中，對(duì)于這樣一個(gè)大規(guī)模的存儲(chǔ)系統(tǒng)，是不能以靜態(tài)的眼光來(lái)看待的。對(duì)于其動(dòng)態(tài)特性，筆者概括為如下三個(gè)“變化”：

• 存儲(chǔ)系統(tǒng)規(guī)模的變化：這樣大規(guī)模的存儲(chǔ)系統(tǒng)，往往不是在建設(shè)的第一天就能預(yù)料到其最終的規(guī)模，甚至是根本就不存在最終規(guī)模這個(gè)概念的。只能是隨著業(yè)務(wù)的不斷開(kāi)展，業(yè)務(wù)規(guī)模的不斷擴(kuò)大，讓系統(tǒng)承載越來(lái)越大的數(shù)據(jù)容量。這也就意味系統(tǒng)的規(guī)模自然隨之變化，越來(lái)越大。

• 存儲(chǔ)系統(tǒng)中設(shè)備的變化：對(duì)于一個(gè)由成千上萬(wàn)個(gè)節(jié)點(diǎn)構(gòu)成的系統(tǒng)，其節(jié)點(diǎn)的故障與替換必然是時(shí)常出現(xiàn)的情況。而系統(tǒng)一方面要足夠可靠，不能使業(yè)務(wù)受到這種頻繁出現(xiàn)的硬件及底層軟件問(wèn)題的影響，同時(shí)還應(yīng)該盡可能智能化，降低相關(guān)維護(hù)操作的代價(jià)。

• 存儲(chǔ)系統(tǒng)中數(shù)據(jù)的變化：對(duì)于一個(gè)大規(guī)模的，通常被應(yīng)用于互聯(lián)網(wǎng)應(yīng)用中的存儲(chǔ)系統(tǒng)，其中存儲(chǔ)的數(shù)據(jù)的變化也很可能是高度頻繁的。新的數(shù)據(jù)不斷寫(xiě)入，已有數(shù)據(jù)被更新、移動(dòng)乃至刪除。這種場(chǎng)景需求也是設(shè)計(jì)時(shí)必須予以考慮的。

??????? 上述三個(gè)“變化”就是Ceph目標(biāo)應(yīng)用場(chǎng)景的關(guān)鍵特征。Ceph所具備的各種主要特性，也都是針對(duì)這些場(chǎng)景特征所提出的。

3.2??? 針對(duì)目標(biāo)應(yīng)用場(chǎng)景所提出的預(yù)期技術(shù)特性

??????? 針對(duì)上述應(yīng)用場(chǎng)景，Ceph在設(shè)計(jì)之初的幾個(gè)技術(shù)特性是：

• 高可靠性。所謂“高可靠”，首先是針對(duì)存儲(chǔ)在系統(tǒng)中的數(shù)據(jù)而言，也即，盡可能保證數(shù)據(jù)不會(huì)丟失。其次，也包括數(shù)據(jù)寫(xiě)入過(guò)程中的可靠性，也即，在用戶將數(shù)據(jù)寫(xiě)入Ceph存儲(chǔ)系統(tǒng)的過(guò)程中，不會(huì)因?yàn)橐馔馇闆r的出現(xiàn)造成數(shù)據(jù)丟失。

• 高 度自動(dòng)化。具體包括了數(shù)據(jù)的自動(dòng)replication，自動(dòng)re-balancing，自動(dòng)failure detection和自動(dòng)failure recovery。總體而言，這些自動(dòng)化特性一方面保證了系統(tǒng)的高度可靠，一方面也保障了在系統(tǒng)規(guī)模擴(kuò)大之后，其運(yùn)維難度仍能保持在一個(gè)相對(duì)較低的水平。

• 高可擴(kuò)展性。這里的“可擴(kuò)展”概念比較廣義，既包括了系統(tǒng)規(guī)模和存儲(chǔ)容量的可擴(kuò)展，也包括了隨著系統(tǒng)節(jié)點(diǎn)數(shù)增加的聚合數(shù)據(jù)訪問(wèn)帶寬的線性擴(kuò)展，還包括了基于功能豐富強(qiáng)大的底層API提供多種功能、支持多種應(yīng)用的功能性可擴(kuò)展。

3.3??? 針對(duì)預(yù)期技術(shù)特性所提出的設(shè)計(jì)思路

????????針對(duì)3.2節(jié)中介紹的預(yù)期技術(shù)特性，Sage對(duì)于Ceph的設(shè)計(jì)思路基本上可以概括為以下兩點(diǎn)：

• 充分發(fā)揮存儲(chǔ)設(shè)備自身的計(jì)算能 力。事實(shí)上，采用具有計(jì)算能力的設(shè)備（最簡(jiǎn)單的例子就是普通的服務(wù)器）作為存儲(chǔ)系統(tǒng)的存儲(chǔ)節(jié)點(diǎn)，這種思路即便在當(dāng)時(shí)來(lái)看也并不新鮮。但是，Sage認(rèn)為這 些已有系統(tǒng)基本上都只是將這些節(jié)點(diǎn)作為功能簡(jiǎn)單的存儲(chǔ)節(jié)點(diǎn)。而如果充分發(fā)揮節(jié)點(diǎn)上的計(jì)算能力，則可以實(shí)現(xiàn)前面提出的預(yù)期特性。這一點(diǎn)成為了Ceph系統(tǒng)設(shè) 計(jì)的核心思想。

• 去 除所有的中心點(diǎn)。一旦系統(tǒng)中出現(xiàn)中心點(diǎn)，則一方面引入單點(diǎn)故障點(diǎn)，另一方面也必然面臨當(dāng)系統(tǒng)規(guī)模擴(kuò)大時(shí)的規(guī)模和性能瓶頸。除此之外，如果中心點(diǎn)出現(xiàn)在數(shù)據(jù) 訪問(wèn)的關(guān)鍵路徑上，事實(shí)上也必然導(dǎo)致數(shù)據(jù)訪問(wèn)的延遲增大。而這些顯然都是Sage所設(shè)想的系統(tǒng)中不應(yīng)該出現(xiàn)的問(wèn)題。雖然在大多數(shù)系統(tǒng)的工程實(shí)踐中，單點(diǎn)故 障點(diǎn)和性能瓶頸的問(wèn)題可以通過(guò)為中心點(diǎn)增加備份加以緩解，但Ceph系統(tǒng)最終采用創(chuàng)新的方法更為徹底地解決了這個(gè)問(wèn)題。

3.4??? 支撐設(shè)計(jì)思路實(shí)現(xiàn)的關(guān)鍵技術(shù)創(chuàng)新

??????? 無(wú)論多么新穎奇妙的設(shè)計(jì)思路，最終落地必定需要有技術(shù)實(shí)力的支撐。而這也正是Ceph最為閃亮的地方。

??????? Ceph最為核心的技術(shù)創(chuàng)新就是前面所概括的八個(gè)字——“無(wú)需查表，算算就好”。一般而言，一個(gè)大規(guī)模分布式存儲(chǔ)系統(tǒng)，必須要能夠解決兩個(gè)最基本的問(wèn)題：

?????? 一是“我應(yīng)該把數(shù)據(jù)寫(xiě)入到什么地方”。對(duì)于一個(gè)存儲(chǔ)系統(tǒng)，當(dāng)用戶提交需要寫(xiě)入的數(shù)據(jù)時(shí)，系統(tǒng)必須迅速?zèng)Q策，為數(shù)據(jù)分配一個(gè)存儲(chǔ)位置和空間。這個(gè)決策的速度 影響到數(shù)據(jù)寫(xiě)入延遲，而更為重要的是，其決策的合理性也影響著數(shù)據(jù)分布的均勻性。這又會(huì)進(jìn)一步影響存儲(chǔ)單元壽命、數(shù)據(jù)存儲(chǔ)可靠性、數(shù)據(jù)訪問(wèn)速度等后續(xù)問(wèn) 題。

??????? 二是“我之前把數(shù)據(jù)寫(xiě)到什么地方去了”。對(duì)于一個(gè)存儲(chǔ)系統(tǒng)，高效準(zhǔn)確的處理數(shù)據(jù)尋址問(wèn)題也是基本能力之一。

??????? 針對(duì)上述兩個(gè)問(wèn)題，傳統(tǒng)的分布式存儲(chǔ)系統(tǒng)常用的解決方案是引入專(zhuān)用的服務(wù)器節(jié)點(diǎn)，在其中存儲(chǔ)用于維護(hù)數(shù)據(jù)存儲(chǔ)空間映射關(guān)系的數(shù)據(jù)結(jié)構(gòu)。在用戶寫(xiě)入/訪問(wèn)數(shù) 據(jù)時(shí)，首先連接這一服務(wù)器進(jìn)行查找操作，待決定/查到數(shù)據(jù)實(shí)際存儲(chǔ)位置后，再連接對(duì)應(yīng)節(jié)點(diǎn)進(jìn)行后續(xù)操作。由此可見(jiàn)，傳統(tǒng)的解決方案一方面容易導(dǎo)致單點(diǎn)故障 和性能瓶頸，另一方面也容易導(dǎo)致更長(zhǎng)的操作延遲。

??????? 針對(duì)這一問(wèn)題，Ceph徹底放棄了基于查表的數(shù)據(jù)尋址方式，而改用基于計(jì)算的方式。簡(jiǎn)言之，任何一個(gè)Ceph存儲(chǔ)系統(tǒng)的客戶端程序，僅僅使用不定期更新的 少量本地元數(shù)據(jù)，加以簡(jiǎn)單計(jì)算，就可以根據(jù)一個(gè)數(shù)據(jù)的ID決定其存儲(chǔ)位置。對(duì)比之后可以看出，這種方式使得傳統(tǒng)解決方案的問(wèn)題一掃而空。Ceph的幾乎所 有優(yōu)秀特性都是基于這種數(shù)據(jù)尋址方式實(shí)現(xiàn)的。

??????? 至此為止，Ceph的設(shè)計(jì)思想已經(jīng)得到了較為全面深入的介紹。此后幾篇文章將依次介紹Ceph的系統(tǒng)架構(gòu)、工作原理與流程、主要特性等內(nèi)容，并聯(lián)系OpenStack，將Ceph和Swift加以對(duì)比分析。

轉(zhuǎn)載于:https://blog.51cto.com/liufu1103/1657144

總結(jié)

以上是生活随笔為你收集整理的[转]“Ceph浅析”系列之(二)—Ceph的设计思想的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。