當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Kubernetes中分布式存储Rook-Ceph部署快速演练

發布時間：2023/12/4 编程问答 26 豆豆

生活随笔收集整理的這篇文章主要介紹了 Kubernetes中分布式存储Rook-Ceph部署快速演练小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

最近在項目中有涉及到Kubernetes的分布式存儲部分的內容，也抽空多了解了一些。項目主要基于Rook-Ceph運行，考慮到Rook-Ceph部署也不那么簡單，官方文檔的步驟起點也不算低，因此，在整合官方文檔的某些步驟的基礎上，寫篇文章簡單總結一下。

Rook-Ceph是Kubernetes中分布式存儲的一種解決方案，Rook作為一種開源的、云原生的存儲編排器，為各種存儲服務在云原生的環境中實現無縫整合，提供了所必須的平臺、框架和服務；而Ceph則是Rook所支持的眾多存儲方案的一種，在Kubernetes環境里，Ceph基于Rook能夠為應用程序提供塊存儲（Block Storage），對象存儲（Object Storage）以及共享文件系統（SFS）服務。此處就不對Rook Ceph進行太多的介紹，直接步入正題，一步一步地演練Rook-Ceph從安裝部署到使用的整個過程。

注意：本文所有的yaml文件都是為了配合整個演練過程而設計的，理論上不能直接用在生產環境。如有需要，在用在生產環境之前，請確保所需的參數都已正確配置。

安裝Kubernetes

安裝Kubernetes。安裝方法有很多，不怕麻煩可以徒手安裝，也可以直接使用云供應商的托管服務，比如Azure AKS，也可以使用Rancher RKE，在此就不贅述了。

安裝Rook Ceph Operator

這里我們基于Ceph來討論。事實上Rook支持Ceph、Cassandra、CockroachDB、EdgeFS、NFS以及YugabyteDB等多種存儲供應商（Storage Provider），針對不同的存儲供應商，Rook提供不同的Operator來進行資源的部署和管理。使用下面的命令來安裝Rook Ceph Operator:

helm repo add rook-release https://charts.rook.io/release kubectl create namespace rook-ceph helm install --namespace rook-ceph rook-ceph rook-release/rook-ceph

安裝Ceph集群（Ceph Cluster）

可以使用下面的yaml文件：

# ceph-cluster-deploy.yaml apiVersion: ceph.rook.io/v1 kind: CephCluster metadata:name: rook-cephnamespace: rook-ceph spec:cephVersion:image: ceph/ceph:v15.2.7allowUnsupported: falsedataDirHostPath: /var/lib/rookskipUpgradeChecks: falsecontinueUpgradeAfterChecksEvenIfNotHealthy: falsemon:count: 3allowMultiplePerNode: falsemgr:modules:- name: pg_autoscalerenabled: truedashboard:enabled: truessl: truemonitoring:enabled: falserulesNamespace: rook-cephnetwork:crashCollector:disable: falsecleanupPolicy:confirmation: ""sanitizeDisks:method: quickdataSource: zeroiteration: 1allowUninstallWithVolumes: falseannotations:labels:resources:removeOSDsIfOutAndSafeToRemove: falseuseAllNodes: trueuseAllDevices: falsedeviceFilter: nvme1n1config:osdsPerDevice: "1"disruptionManagement:managePodBudgets: falseosdMaintenanceTimeout: 30pgHealthCheckTimeout: 0manageMachineDisruptionBudgets: falsemachineDisruptionBudgetNamespace: openshift-machine-apihealthCheck:daemonHealth:mon:disabled: falseinterval: 45sosd:disabled: falseinterval: 60sstatus:disabled: falseinterval: 60slivenessProbe:mon:disabled: falsemgr:disabled: falseosd:disabled: false

然后使用以下命令創建Ceph集群：

kubectl create -f ceph-cluster-deploy.yaml

命令執行成功之后，需要等待幾分鐘，以便OSD能夠成功啟動。執行下面的命令可以查看所有容器的狀態：

kubectl -n rook-ceph get pod

正常情況下，應該可以看到類似以下的結果：

NAME READY STATUS RESTARTS AGE csi-cephfsplugin-provisioner-d77bb49c6-n5tgs 5/5 Running 0 140s csi-cephfsplugin-provisioner-d77bb49c6-v9rvn 5/5 Running 0 140s csi-cephfsplugin-rthrp 3/3 Running 0 140s csi-rbdplugin-hbsm7 3/3 Running 0 140s csi-rbdplugin-provisioner-5b5cd64fd-nvk6c 6/6 Running 0 140s csi-rbdplugin-provisioner-5b5cd64fd-q7bxl 6/6 Running 0 140s rook-ceph-crashcollector-minikube-5b57b7c5d4-hfldl 1/1 Running 0 105s rook-ceph-mgr-a-64cd7cdf54-j8b5p 1/1 Running 0 77s rook-ceph-mon-a-694bb7987d-fp9w7 1/1 Running 0 105s rook-ceph-mon-b-856fdd5cb9-5h2qk 1/1 Running 0 94s rook-ceph-mon-c-57545897fc-j576h 1/1 Running 0 85s rook-ceph-operator-85f5b946bd-s8grz 1/1 Running 0 92m rook-ceph-osd-0-6bb747b6c5-lnvb6 1/1 Running 0 23s rook-ceph-osd-1-7f67f9646d-44p7v 1/1 Running 0 24s rook-ceph-osd-2-6cd4b776ff-v4d68 1/1 Running 0 25s rook-ceph-osd-prepare-node1-vx2rz 0/2 Completed 0 60s rook-ceph-osd-prepare-node2-ab3fd 0/2 Completed 0 60s rook-ceph-osd-prepare-node3-w4xyz 0/2 Completed 0 60s

需要注意幾點：

ceph-cluster-deploy.yaml并沒有包括所有的Ceph集群創建的參數，可以參考https://rook.io/docs/rook/v1.5/ceph-cluster-crd.html 來了解所有的配置信息
這里的deviceFilter: nvme1n1是用來指定在每個Kubernetes節點上應該使用的卷（Volume）的名稱。這個Volume不能格式化成任何文件系統，否則Ceph將不會使用它作為存儲卷。我在AWS上創建了獨立的EBS卷，然后直接Attach到Kubernetes節點的機器上，通過lsblk命令即可獲得卷的名稱，將這個名稱填入deviceFilter設置即可

安裝Rook Toolbox

Rook Toolbox是一個運行在rook-ceph命名空間下的容器，通過它可以執行一些Ceph的管理任務，建議安裝，還是挺實用的。創建一個yaml文件：

# rook-toolbox.yaml apiVersion: apps/v1 kind: Deployment metadata:name: rook-ceph-toolsnamespace: rook-cephlabels:app: rook-ceph-tools spec:replicas: 1selector:matchLabels:app: rook-ceph-toolstemplate:metadata:labels:app: rook-ceph-toolsspec:dnsPolicy: ClusterFirstWithHostNetcontainers:- name: rook-ceph-toolsimage: rook/ceph:v1.5.3command: ["/tini"]args: ["-g", "--", "/usr/local/bin/toolbox.sh"]imagePullPolicy: IfNotPresentenv:- name: ROOK_CEPH_USERNAMEvalueFrom:secretKeyRef:name: rook-ceph-monkey: ceph-username- name: ROOK_CEPH_SECRETvalueFrom:secretKeyRef:name: rook-ceph-monkey: ceph-secretvolumeMounts:- mountPath: /etc/cephname: ceph-config- name: mon-endpoint-volumemountPath: /etc/rookvolumes:- name: mon-endpoint-volumeconfigMap:name: rook-ceph-mon-endpointsitems:- key: datapath: mon-endpoints- name: ceph-configemptyDir: {}tolerations:- key: "node.kubernetes.io/unreachable"operator: "Exists"effect: "NoExecute"tolerationSeconds: 5

然后：

kubectl create -f rook-toolbox.yaml

接著可以執行下面的命令，進入Rook Toolbox容器：

kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- bash

然后使用ceph status命令來查看集群的狀態。正常的話應該可以看到類似下面的結果：

$ ceph statuscluster:id: a0452c76-30d9-4c1a-a948-5d8405f19a7chealth: HEALTH_OKservices:mon: 3 daemons, quorum a,b,c (age 3m)mgr: a(active, since 2m)osd: 3 osds: 3 up (since 1m), 3 in (since 1m)

一定要確保health的狀態為HEALTH_OK，如果不是HEALTH_OK，則需要排查原因并解決。問題排查指南：https://rook.io/docs/rook/v1.5/ceph-common-issues.html。

部署塊存儲（Provisioning Block Storage）

使用下面的yaml：

# ceph-block-deploy.yaml apiVersion: ceph.rook.io/v1 kind: CephBlockPool metadata:name: replicapoolnamespace: rook-ceph spec:failureDomain: hostreplicated:size: 3--- apiVersion: storage.k8s.io/v1 kind: StorageClass metadata:name: rook-ceph-blockannotations:storageclass.kubernetes.io/is-default-class: "true" provisioner: rook-ceph.rbd.csi.ceph.com parameters:clusterID: rook-cephpool: replicapoolimageFormat: "2"imageFeatures: layeringcsi.storage.k8s.io/provisioner-secret-name: rook-csi-rbd-provisionercsi.storage.k8s.io/provisioner-secret-namespace: rook-cephcsi.storage.k8s.io/controller-expand-secret-name: rook-csi-rbd-provisionercsi.storage.k8s.io/controller-expand-secret-namespace: rook-cephcsi.storage.k8s.io/node-stage-secret-name: rook-csi-rbd-nodecsi.storage.k8s.io/node-stage-secret-namespace: rook-cephcsi.storage.k8s.io/fstype: ext4 reclaimPolicy: Retain

然后：

Kubectl create -f ceph-block-deploy.yaml

在這個yaml中，同時定義了名為rook-ceph-block的StorageClass，用以在pods啟動的時候能夠動態創建基于Ceph的塊存儲（通過pool: replicapool的設置指定）。此外，在這個StorageClass中，設定了storageclass.kubernetes.io/is-default-class: "true"。因此，在PersistentVolumeClaim中即使沒有指定storageClassName，Kubernetes也會默認使用Ceph塊存儲來保存app的數據。

部署塊存儲的詳細內容可以參考：https://rook.io/docs/rook/v1.5/ceph-block.html。

部署對象存儲（Provisioning Object Storage）

使用下面的yaml：

# ceph-s3-deploy.yaml apiVersion: ceph.rook.io/v1 kind: CephObjectStore metadata:name: my-storenamespace: rook-ceph spec:metadataPool:failureDomain: hostreplicated:size: 3dataPool:failureDomain: hosterasureCoded:dataChunks: 2codingChunks: 1preservePoolsOnDelete: truegateway:type: s3sslCertificateRef:port: 80# securePort: 443instances: 3healthCheck:bucket:disabled: falseinterval: 60s

然后：

kubectl create -f ceph-s3-deploy.yaml

等待幾分鐘后，執行下面的命令：

kubectl -n rook-ceph get pod -l app=rook-ceph-rgw

此時應該可以在pod的列表中看到名字包含有rgw的pod處于Running狀態。
接下來就是要在對象存儲上創建Bucket。官方提供了基于StorageClass的創建方式。這里介紹另一種方式，就是借用MINIO的管理工具來創建。使用下面的shell腳本：

# setup-s3-storage.sh #! /bin/bash echo "Creating Ceph User" CREATE_USER_OUTPUT=`kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') -- radosgw-admin user create --uid=system-user --display-name=system-user --system` ACCESS_KEY=$(echo $CREATE_USER_OUTPUT | jq -r ".keys[0].access_key") SECRET_KEY=$(echo $CREATE_USER_OUTPUT | jq -r ".keys[0].secret_key") echo "User was created successfully" echo "S3 ACCESS KEY = $ACCESS_KEY" echo "S3 SECRET KEY = $SECRET_KEY"echo "Creating Ceph S3 Bucket" kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') -- curl https://dl.min.io/client/mc/release/linux-amd64/mc --output mc kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') -- chmod +x mc kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') -- ./mc config host add mys3 http://rook-ceph-rgw-signals-store/ "$ACCESS_KEY" "$SECRET_KEY" kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') -- ./mc mb mys3/data echo "Ceph S3 Bucket created successfully" echo "S3 ACCESS KEY = $ACCESS_KEY" echo "S3 SECRET KEY = $SECRET_KEY"

在確保了當前機器上安裝了jq后，執行：

chmod +x setup-s3-storage.sh ./setup-s3-storage.sh

此時會輸出S3的Access Key和Secret Key。創建的Bucket名為data。
驗證Object Storage是否部署成功，首先執行下面的命令進入Rook Toolbox：

kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- bash

然后執行：

export AWS_HOST=<host> export AWS_ENDPOINT=<endpoint> export AWS_ACCESS_KEY_ID=<accessKey> export AWS_SECRET_ACCESS_KEY=<secretKey>

為rgw Service的DNS主機名。如果你的Object Storage名為my-store，那么主機名就是rook-ceph-rgw-my-store.rook-ceph
為rgw Service的端點。執行kubectl -n rook-ceph get svc rook-ceph-rgw-my-store，然后將ClusterIP和端口號拼接起來作為endpoint的值
accessKey：上一步獲得的Access Key
secretKey：上一步獲得的Secret Key
以下是一個例子：

export AWS_HOST=rook-ceph-rgw-my-store.rook-ceph export AWS_ENDPOINT=10.104.35.31:80 export AWS_ACCESS_KEY_ID=XEZDB3UJ6X7HVBE7X7MA export AWS_SECRET_ACCESS_KEY=7yGIZON7EhFORz0I40BFniML36D2rl8CQQ5kXU6l

接下來，安裝一個s3cmd的工具：

yum --assumeyes install s3cmd

然后隨便寫一些內容到rookObj文件：

echo "Hello Rook" > /tmp/rookObj

然后通過s3cmd，將這個文件保存到S3:

s3cmd put /tmp/rookObj --no-ssl --host=${AWS_HOST} --host-bucket= s3://data

注意--host-bucket=后的空格。
然后，使用s3cmd從Bucket將文件下載并另存為另一個文件：

s3cmd get s3://data/rookObj /tmp/rookObj-download --no-ssl --host=${AWS_HOST} --host-bucket=

最后，通過cat命令，查看下載下來的文件的內容是否正確：

cat /tmp/rookObj-download

如果能夠看到Hello Rook的輸出字樣，表示一切正常。接下來就可以在app中使用Ceph Block Storage和Ceph Object Storage了。

部署對象存儲的詳細內容可以參考：https://rook.io/docs/rook/v1.5/ceph-object.html。

下一步

之后我會使用Microsoft .NET 5，編寫一個Web API應用程序并部署到Kubernetes環境，演示如何在app中使用本文所部署的Ceph Block Storage和Ceph Object Storage。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的Kubernetes中分布式存储Rook-Ceph部署快速演练的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：帮助阅读源码的8个技巧
下一篇：如何在 WebAPI 中启用 CORS