Kubernetes中分布式存储Rook-Ceph的使用：一个ASP.NET Core MVC的案例
在《Kubernetes中分布式存儲Rook-Ceph部署快速演練》文章中，我快速介紹了Kubernetes中分布式存儲Rook-Ceph的部署過程，這里介紹如何在部署于Kubernetes的ASP.NET Core MVC的應用程序中使用Rook-Ceph所創建的存儲對象。
構建ASP.NET Core MVC (.NET 5)應用程序
這個程序的基本功能就是用戶可以通過主頁上傳一個文件并保存到由Rook-Ceph創建的S3對象存儲，同時將文件信息和上傳時間保存為一個MongoDB的文檔。MongoDB使用Rook-Ceph創建的塊存儲（Block Storage）。
首先，新建一個基于.NET 5的ASP.NET Core MVC應用程序，添加AWSSDK.S3和MongoDB.Driver這兩個NuGet Package的引用。
然后，修改Startup.cs的ConfigureServices方法：
這里用到了配置信息，為了調試方便，可以修改appsettings.json文件，添加對于S3和MongoDB的配置信息：
{"Logging": {"LogLevel": {"Default": "Information","Microsoft": "Warning","Microsoft.Hosting.Lifetime": "Information"}},"s3": {"endpoint": "http://localhost:9000","accessKey": "AKIAIOSFODNN7EXAMPLE","secretKey": "wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY"},"mongo": {"connectionString": "mongodb://localhost:27017","database": "form-file-upload"},"AllowedHosts": "*" }之后，修改Index.cshtml文件，將界面元素準備好：
@{ViewData["Title"] = "Home Page"; } @model FileUploadModel<div class="text-center"><h1 class="display-4">Welcome</h1><p>Learn about <a href="https://docs.microsoft.com/aspnet/core">building Web apps with ASP.NET Core</a>.</p><form method="post" enctype="multipart/form-data" asp-controller="Home" asp-action="Index"><div class="form-group"><div class="col-md-10"><p>Upload one or more files using this form:</p><input type="file" name="file" /></div></div><div class="form-group"><div class="col-md-10"><input type="submit" value="Save" /></div></div></form> </div>修改HomeController：
public class HomeController : Controller {private readonly ILogger<HomeController> _logger;private readonly IDataAccessObject _dao;private readonly IAmazonS3 _s3;public HomeController(ILogger<HomeController> logger, IAmazonS3 s3, IDataAccessObject dao)=> (_logger, _s3, _dao) = (logger, s3, dao);public IActionResult Index(){return View();}[HttpPost][ValidateAntiForgeryToken]public async Task<IActionResult> Index(FileUploadModel model){if (model.File != null){var fileName = Path.GetFileName(model.File.FileName);var fileTransUtility = new TransferUtility(_s3);using var stream = model.File.OpenReadStream();await fileTransUtility.UploadAsync(stream, "data", $"FormFileUpload/{fileName}");await _dao.AddAsync<SavedFile>(new SavedFile{Timestamp = DateTime.UtcNow,FileName = fileName});return View();}else{}return View();}public IActionResult Privacy(){return View();}[ResponseCache(Duration = 0, Location = ResponseCacheLocation.None, NoStore = true)]public IActionResult Error(){return View(new ErrorViewModel { RequestId = Activity.Current?.Id ?? HttpContext.TraceIdentifier });} }其它相關代碼這里就不全部貼出來了，可以直接參考本案例的源代碼。
在開發模式下，我使用運行于Docker的MongoDB以及MINIO分別作為數據庫后端和S3服務后端。在按下F5進行Debug之前，請先確保MongoDB和MINIO已經運行。可以參考https://github.com/daxnet/form-file-upload/blob/main/docker-compose.yml。
生成用于部署應用程序的HELM Chart
仍然使用上面提到的docker-compose.yml文件，然后使用下面的命令來生成HELM Chart:
kompose convert -f docker-compose.yml -c -o k8s執行成功后會在k8s的目錄下產生用于部署到Kubernetes的HELM Chart。完整內容可以參考：https://github.com/daxnet/form-file-upload/tree/main/k8s
需要注意幾個內容：
使用Ceph Object Store (S3)
要使用Ceph Object Store，只需要正確配置app中S3的Access Key、Secret Key以及Endpoint即可。對應的就是form-file-upload-service-deployment.yaml中的s3__accessKey、s3__endpoint和s3__secretKey環境變量設置。它們的取值在《Kubernetes中分布式存儲Rook-Ceph部署快速演練》文章中已經介紹過了，只是在Endpoint的Host名稱上需要加上http://。詳細可以參考values.yaml文件。
使用Ceph Block Storage
部署到Kubernetes的MongoDB會需要使用Ceph Block Storage。在mongodb-deployment.yaml中，會指定容器的volumeMount：
volumeMounts: - mountPath: /data/dbname: mongo-data然后在Volume的定義部分，指定使用名為{{ .Release.Name }}-form-file-upload-mongo-data的PersistentVolumeClaim：
volumes: - name: mongo-datapersistentVolumeClaim:claimName: {{ .Release.Name }}-form-file-upload-mongo-data這里的{{ .Release.Name }}表示HELM的release的名字。接下來，在這個PersistentVolumeClaim中（mongo-data-persistentvolumeclaim.yaml），可以指定所需使用的StorageClass：
spec:accessModes:- ReadWriteOnceresources:requests:storage: 20GistorageClassName: {{ .Values.mongoStorageClassName }}在這里，storageClassName在values.yaml中設置：
mongoStorageClassName: "rook-ceph-block"而rook-ceph-block就是我們在前文中創建的Block Storage的名字。
部署并運行程序
使用git將https://github.com/daxnet/form-file-upload.git克隆到本地，進入k8s目錄，然后：
helm install ffu .安裝成功后，查看pods：
$ kubectl get po NAME READY STATUS RESTARTS AGE dnsutils 1/1 Running 2 160m ffu-form-file-upload-mongo-8c46f48fc-vm76k 1/1 Running 0 23m ffu-form-file-upload-service-7c5c679b96-rxl5s 1/1 Running 0 23m查看PersistentVolumeClaims：
$ kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE ffu-form-file-upload-mongo-data Bound pvc-8e681be4-4378-11eb-8a9b-0ac973bf1e37 20Gi RWO rook-ceph-block 64m可以看到，ffu-form-file-upload-mongo-data這個PVC使用的StorageClass就是rook-ceph-block。
查看Services：
通過port-forward來訪問應用程序：
$ kubectl port-forward svc/ffu-form-file-upload-service 8081:8080 Forwarding from 127.0.0.1:8081 -> 80 Forwarding from [::1]:8081 -> 80打開瀏覽器，訪問http://localhost:8081：
點擊Choose File按鈕，選擇一個文件（測試方便盡量選擇小一點的文件）點擊Save。成功后沒有任何信息提示，會返回到沒有上傳文件時的狀態。
驗證結果
使用下面的命令查看S3中已經保存的文件：
$ kubectl exec -it -n rook-ceph deploy/rook-ceph-tools -- s3cmd ls s3://data/FormFileUpload/ 2020-12-21 11:47 1260 s3://data/FormFileUpload/abc.sldimport可以看到，文件已經成功上傳到S3。
使用下面的命令查看MongoDB中的數據：
可以看到，數據記錄已經成功保存到MongoDB。
源代碼和部署腳本
一切的一切，盡在https://github.com/daxnet/form-file-upload。
Enjoy!
總結
以上是生活随笔為你收集整理的Kubernetes中分布式存储Rook-Ceph的使用：一个ASP.NET Core MVC的案例的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 知名Node.js组件存在代码注入漏洞
- 下一篇： 如何在 ASP.Net Core 中使用