PVE支持Ceph，包括內(nèi)置Ceph及外連Ceph。通過(guò)PVE內(nèi)建Ceph集群，可以構(gòu)建出超融合架構(gòu)，并實(shí)現(xiàn)集中

統(tǒng)一管理。通過(guò)外連Ceph集群，無(wú)法實(shí)現(xiàn)集中管理，但是Ceph集群可以提供給其它平臺(tái)使用。各有各的好

處。本文采用PVE內(nèi)建Ceph集群的方式來(lái)搭建一個(gè)PVE超融合架構(gòu)。

部署環(huán)境

PVE-1 172.16.80.86 Hostname: PVE-1

PVE-2 172.16.80.87 Hostname: PVE-2

PVE-3 172.16.80.88 Hostname: PVE-3

NFS 172.16.80.75 Hostname: NFS

PVE配置：

每個(gè)PVE節(jié)點(diǎn)配置：8vCPU，64GB內(nèi)存，sda:100GB，sdb:1TB，一個(gè)網(wǎng)卡，掛載PVE ISO。

注意：

在PVE 5.x版本中，如果要使用內(nèi)置的Ceph，需要購(gòu)買(mǎi)訂閱，也就是說(shuō)內(nèi)置Ceph功能現(xiàn)在已經(jīng)是需要付費(fèi)購(gòu)

買(mǎi)的了。所以本次演示使用的是PVE 4.4版本。

創(chuàng)建PVE虛擬化集群

1，首先安裝三臺(tái)PVE主機(jī)，安裝過(guò)程參考本站之前的文章。

2，PVE主機(jī)安裝就緒后，創(chuàng)建PVE Cluster虛擬化集群。住意在4.4版本中無(wú)法通過(guò)WEB控制臺(tái)創(chuàng)建集群，

需要通過(guò)PVE_shell創(chuàng)建。

3，在PVE1節(jié)點(diǎn)執(zhí)行以下命令：

pvecm create vclusters

4，在另外兩個(gè)節(jié)點(diǎn)執(zhí)行以下命令，加入集群

pvecm add 172.16.80.86

5，查看PVE集群狀態(tài)，確認(rèn)集群已經(jīng)正確建立

pvecm status

6，配置PVE所有節(jié)點(diǎn)的NTP服務(wù)，在所有節(jié)點(diǎn)執(zhí)行以下命令，這里我有一臺(tái)NTP服務(wù)器地址為172.16.0.1，

實(shí)際安裝時(shí)根據(jù)自己環(huán)境的實(shí)際情況進(jìn)行配置。

vi /etc/systemd/timesyncd.conf

修改NTP Server如下圖

systemctl restart systemd-timesyncd

安裝配置Ceph集群存儲(chǔ)

1，在所有節(jié)點(diǎn)上使用以下命令安裝Ceph。

pveceph install –version hammer

2，配置ceph集群存儲(chǔ)網(wǎng)絡(luò)，在主節(jié)點(diǎn)上執(zhí)行以下命令

pveceph init –network 172.16.0.0/16

3，創(chuàng)建ceph集群存儲(chǔ)Mon監(jiān)控，在所有節(jié)點(diǎn)上執(zhí)行以下命令

pveceph createmon

4，創(chuàng)建ceph集群存儲(chǔ)OSD服務(wù)，這里我們采用每個(gè)節(jié)點(diǎn)上的/dev/sdb來(lái)創(chuàng)建OSD，在所有節(jié)點(diǎn)上執(zhí)行以

下命令：

pveceph createosd /dev/sdb

5，創(chuàng)建完成后，查看OSD運(yùn)行狀態(tài)，確認(rèn)OSD運(yùn)行正常：

ceph osd stat

ceph osd tree

6，創(chuàng)建集群存儲(chǔ)資源池，PVE內(nèi)建Ceph采用的是rbd的模型：最外層是pool，相當(dāng)于一塊磁盤(pán)，默認(rèn)的

pool名字叫做rbd。每個(gè)pool里面可以有多個(gè)image，相當(dāng)于文件夾。每個(gè)image可以映射成一個(gè)塊設(shè)備，

有了設(shè)備就可以加載它。在PVE-1節(jié)點(diǎn)上執(zhí)行以下命令：

ceph osd pool create pvepool1 128 128

128代表placement-group的數(shù)量。每個(gè)pg都是一個(gè)虛擬節(jié)點(diǎn)，將自己的數(shù)據(jù)存在不同的位置。這樣一旦

存儲(chǔ)宕機(jī)，pg就會(huì)選擇新的存儲(chǔ)，從而保證了自動(dòng)高可用。

7，復(fù)制存儲(chǔ)ID和密鑰到指定文件位置，在PVE-1節(jié)點(diǎn)執(zhí)行以下操作：

cd /etc/pve/priv/

mkdir ceph

cp /etc/ceph/ceph.client.admin.keyring ceph/my-ceph-storage.keyring

8，查看Ceph集群狀態(tài)。

ceph -s

9，在PVE web控制臺(tái)，查看Ceph集群的狀態(tài)，，包括配置、MON、OSD、Pool等狀態(tài)正確無(wú)報(bào)錯(cuò)或告警。

添加RBD集群存儲(chǔ)

1，點(diǎn)擊數(shù)據(jù)中心-存儲(chǔ)-添加，選擇“RBD”

2，ID填寫(xiě)ceph，這個(gè)不能隨便寫(xiě)，只能寫(xiě)ceph，Monitor項(xiàng)填寫(xiě)三個(gè)節(jié)點(diǎn)的IP地址，用空格隔開(kāi)，節(jié)點(diǎn)可

以默認(rèn)也可以手動(dòng)選擇，內(nèi)容默認(rèn)為磁盤(pán)映像，用來(lái)保存VM虛擬機(jī)磁盤(pán)文件。也可以添加選擇存儲(chǔ)LXC容器。

3，如下圖，添加完成后，這里有ceph存儲(chǔ)用來(lái)安裝虛擬機(jī)，另外我這里還添加了一個(gè)NFS共享，用來(lái)共享

文件，主要是用來(lái)存放安裝映像ISO和備份文件。

4，如下圖，Ceph存儲(chǔ)添加完成后，確認(rèn)配置已經(jīng)生效并且運(yùn)行狀態(tài)正常。

5，查看rbd集群存儲(chǔ)配置信息

cat /etc/pve/storage.cfg

安裝虛擬機(jī)

1，創(chuàng)建一臺(tái)虛擬機(jī)，選擇安裝NFS中的Windows2016進(jìn)行測(cè)試

2，虛擬機(jī)磁盤(pán)選擇安裝到Ceph存儲(chǔ)。

3，確認(rèn)VM配置正確后，開(kāi)啟虛擬機(jī)正常安裝即可。

4，虛擬機(jī)安裝完成。

HCI集群測(cè)試

1，虛擬機(jī)在線熱遷移，右鍵點(diǎn)擊虛擬機(jī)，點(diǎn)擊遷移。

2，選擇目標(biāo)節(jié)點(diǎn)，點(diǎn)擊遷移

3，遷移速度很快，這里測(cè)試遷移僅需5秒左右。遷移過(guò)程中，虛擬機(jī)的運(yùn)行不會(huì)受到影響。

4，測(cè)試VM的高可用，點(diǎn)擊數(shù)據(jù)中心-HA，點(diǎn)擊添加，輸入VM ID。

5，VM 高可用狀態(tài)正常，可以看到因?yàn)閂M現(xiàn)在在PVE-2節(jié)點(diǎn)上運(yùn)行，所以其master為pve-2

6，將PVE-2關(guān)機(jī)，模擬節(jié)點(diǎn)發(fā)生宕機(jī)故障

7，PVE-2關(guān)機(jī)后，虛擬機(jī)自動(dòng)漂移到PVE-1上運(yùn)行，

8，再次查看虛擬機(jī)HA狀態(tài)，master已經(jīng)變?yōu)镻VE-1

9，PVE-2節(jié)點(diǎn)關(guān)機(jī)后，Ceph狀態(tài)為降級(jí)，但仍然可以使用。

10，將PVE-2節(jié)點(diǎn)開(kāi)機(jī)，Ceph存儲(chǔ)會(huì)自動(dòng)進(jìn)行重建，并恢復(fù)正常。

11，PVE集群狀態(tài)也恢復(fù)正常

總結(jié)

以上是生活随笔為你收集整理的proxmox 宕机转义_Proxmox+Ceph的HCI环境搭建的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。