MFS分布式存儲(chǔ)

2015年開始研究分布式存儲(chǔ)，當(dāng)初目的是為了給支付環(huán)境提供一套穩(wěn)定的共享文件系統(tǒng)存儲(chǔ)。考察了當(dāng)時(shí) Lustre、HDFS、ceph（當(dāng)初還不成熟）、glusterFS、MogileFS、FastDFS、KFS、淘寶TFS、NFS、OpenAFS、MooseFS、GPFS、PVFS、pnfs考察之后綜合當(dāng)時(shí)使用場(chǎng)景、做了性能測(cè)試和故障恢復(fù)測(cè)試，結(jié)果選擇了MFS。

MFS工作原理：

當(dāng)時(shí)MFS1.6版本沒有高可用，因此生產(chǎn)環(huán)境用了MFS+DRBD+Keepalived實(shí)現(xiàn)master節(jié)點(diǎn)高可用。

架構(gòu)圖為：

說明：

①、2臺(tái)MFS的master節(jié)點(diǎn)安裝DRBD做網(wǎng)絡(luò)磁盤，磁盤上存放master的meta元數(shù)據(jù)文件；

②、2臺(tái)master上安裝keepalived，做VIP漂移，keepalived通過腳本檢測(cè)MFS的master的服務(wù)狀態(tài)，讓VIP自動(dòng)切換。

③、client、chunk server、metalogger都連接到VIP上，保證了服務(wù)高可用。

具體MFS安裝可參考官網(wǎng)幫助文檔：https://moosefs.com/support/#documentation

生產(chǎn)中遇到過的問題：

1、由于機(jī)房管理人員操作失誤，兩個(gè)master節(jié)點(diǎn)硬盤全部格式化。

解決:通過日志服務(wù)器備份出來的日志恢復(fù)到了指定時(shí)間點(diǎn)。由于日志備份每天一次，數(shù)據(jù)還是有小部分丟失。

2、曾經(jīng)入職一家商務(wù)公司，入職第一天技術(shù)部總監(jiān)跟我說一個(gè)星期前一位同事去機(jī)房給3臺(tái)chunk server節(jié)點(diǎn)換了8塊硬盤（同時(shí)插拔的哦），其中兩臺(tái)節(jié)點(diǎn)硬盤沒有做raid，生產(chǎn)數(shù)據(jù)也沒有做多副本。

解決：從換硬盤到跑路。在測(cè)試MFS性能的時(shí)候?qū)aid和單獨(dú)硬盤掛載做過比較，相同數(shù)量硬盤情況下raid比但度硬盤掛載性能差距不大，個(gè)人認(rèn)為可視服務(wù)器狀況自行選擇，注意生產(chǎn)環(huán)境中raid和默認(rèn)多副本要選擇其一。

認(rèn)為可視服務(wù)器狀況自行選擇，注意生產(chǎn)環(huán)境中raid和默認(rèn)多副本要選擇其一。

總結(jié)

以上是生活随笔為你收集整理的MFS分布式存储 心得体会的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。