MongoDB 4.2 新特性解读
云數據庫 MongoDB 版
基于飛天分布式系統和高性能存儲,提供三節點副本集的高可用架構,容災切換,故障遷移完全透明化。并提供專業的數據庫在線擴容、備份回滾、性能優化等解決方案。
了解更多
MongoDB World 2019 上發布新版本 MongoDB 4.2 Beta,包含多項數據庫新特性,本文嘗試從技術角度解讀。
Full Text Search
MongoDB 4.2 之前,全文搜索(Full Text Search)的能力是靠 Text Index 來支持的,在 MongoDB-4.2 里,MongoDB 直接與 Lucene 等引擎整合,在 Atlas 服務里提供全文建索的能力。
MongoDB FTS 原理
Full Text Search 示例
下面是一個 Full Text Search 使用的簡單示例,整個使用體驗非常簡單,除了需要在 Atlas 控制臺上建索引,其他跟正常使用 MongoDB 毫無差別,隨著這塊能力的完善,能覆蓋很多 Elastic Search 的場景。
Step1: 準備數據
MongoDB Enterprise > db.fruit.find() { "_id" : 1, "type" : "apple", "description" : "Apples come in several varieties, including Fuji, Granny Smith, and Honeycrisp." } { "_id" : 2, "type" : "banana", "description" : "Bananas are usually sold in bunches of five or six." }Step2: Atlas 上創建 FTS 索引
Step3: 使用 MongoDB 客戶端做搜索,支持 Wildcard、Prefix 等多種搜索能力
// 簡單查詢db.fruit.aggregate([{$searchBeta: {"term": {"query": "Smith","path": "description"}}} ]) { "_id" : 1, "type" : "apple", "description" : "Apples come in several varieties, including Fuji, Granny Smith, and Honeycrisp." }// Wildcard 查詢 db.fruit.aggregate([{$searchBeta: {"term": {"query": "s*l*","path": "description","wildcard": true}}} ]) { "_id" : 1, "type" : "apple", "description" : "Apples come in several varieties, including Fuji, Granny Smith, and Honeycrisp." } { "_id" : 2, "type" : "banana", "description" : "Bananas are usually sold in bunches of five or six." }Distributed Transaction
MongoDB 4.0 支持副本集事務,極大的豐富了應用場景;4.0 的事務存在最大修改 16MB、事務執行時間不能過長的限制,在 4.2 支持分布式事務的這些問題都解決了。分布式事務的支持也意味用戶修改分片key的內容成為可能,因為修改分片key的內容,可能會導致key要遷移到其他shard,而在4.2之前,無法保證這個遷移動作(目標上新寫、源上刪掉)的原子性,而借助分布式事務,這個問題也就迎刃而解。
4.2 支持的分布式事務是硬核技術,目前具備這個能力的開源數據庫本身也不多,MongoDB 采用二階段提交的方式(細節以后再分析),實現在多個 Shard 間發生的修改,要么同時發生,要么都不發生,保證事務的 ACID 特性。
在使用上,4.2 的分布式事務跟 4.0 副本集事務使用方式完全一樣,用戶無需關心后端數據如何分布。
High Availablity
MongoDB 在保證數據庫服務可用性方面持續努力,在 4.0 提供了?Retryable Write?功能,在新的 4.2 版本,MongoDB 增加了?Retryable Read?功能,對于一些臨時的網絡問題,用戶無需自己實現重試邏輯,MongoDB 會自動重試處理,保證用戶業務的連續性。
Improved Query Language
MongoDB 4.2 在查詢語言的表達能力上進一步增強,update、aggregation、index 等方面都有巨大的提升,具體細節等 4.2 正式版文檔發出可以詳細了解。
Update 能力增強
4.2 之前,Update 操作基本上都是用確定的值更新某個字段,在新版本里,Update 能根據文檔現有的字段內容來生成新的更新內容,如下的實例,根據文檔 pay、tax 字段,加起來生成一個 total 字段;這個在 4.2 之前,用戶需要先讀取文檔內容,獲取 pay、tax 字段得到結果,然后調用 Update 設置新的字段。類似的特性還有很多,基本上 Aggregation 里能表達的更新操作,4.2 的 Update 命令都能支持。
db.orders.find() { "_id" : 1, "pay" : 100, "tax" : 17 }// 這個操作發布會PPT上有寫,但實際連 4.2 測試并不能工作,等正式版出來再看看 db.orders.update( {_id: 1}, { "$set": { "total": { "$sum": ["$pay", "$tax"] } } })分析能力增強
Aggregation 方面,MongoDB 也做了大量的改進,來更好的支持業務分析場景;比如增加?操作符,能不斷的將增量分析結果與原來的結果進行匯總(老的版本只支持merge操作符,能不斷的將增量分析結果與原來的結果進行匯總(老的版本只支持out,把當次分析結果寫到某個集合)。
Index 能力增強(Wildcard Index)
使用 MongoDB 時,經常會遇到一些場景,某個字段包含很多個屬性,很多屬性都可能需要用于查詢,現在的解決方案時,針對每個屬性,必須提前知道它的訪問行為,建立必要的索引;MongoDB 4.2 引入?Wildcard Index,可以針對一系列的字段自動建索引,滿足豐富的查詢需求。
如下面的例子所示,書籍的 attribute 字段里包含很多熟悉,包括顏色、大小等信息,如果經常需要根據屬性查找,可以針對 attribute 字段建立 Wildcard index。
db.books.find() { "_id" : ObjectId("5d0c5d931eefdf585ae9ca95"), "type" : "book", "title" : "The Red Book", "attributes" : { "color" : "red", "size" : "large", "inside" : { "bookmark" : 1, "postitnote" : 2 }, "outside" : { "dustcover" : "worn" } } } { "_id" : ObjectId("5d0c5d9e1eefdf585ae9ca96"), "type" : "book", "title" : "The Blue Book", "attributes" : { "color" : "blue", "size" : "small", "inside" : { "map" : 1 }, "outside" : { "librarystamp" : "Local Library" } } } { "_id" : ObjectId("5d0c5dac1eefdf585ae9ca97"), "type" : "book", "title" : "The Green Book", "attributes" : { "color" : "green", "size" : "small", "inside" : { "map" : 1, "bookmark" : 2 }, "outside" : { "librarystamp" : "Faraway Library", "dustcover" : "good" } } }// 沒有索引的時候,根據顏色屬性查找,走全表掃描 db.books.find({"attributes.color": "green"}).explain() {"queryPlanner" : {"queryHash" : "528C4C03","planCacheKey" : "528C4C03","winningPlan" : {"stage" : "COLLSCAN", }// 針對 attributes 字段所有的子字段建立 Wildcard 索引,針對 color、size 等的查詢就都可以走索引 db.books.createIndex({ "attributes.$**": 1 });db.books.find({"attributes.color": "green"}).explain() {"queryPlanner" : {"winningPlan" : {"stage" : "FETCH","inputStage" : {"stage" : "IXSCAN", } db.books.find({"attributes.size": "small"}).explain() {"queryPlanner" : {"winningPlan" : {"stage" : "FETCH","inputStage" : {"stage" : "IXSCAN", }Field Level Encrytion
MongoDB 除了支持 SSL、TDE 等安全機制,在 4.2 引入「字段級加密」的支持,實現對用戶JSON文檔的Value 進行自動加密。整個過程在 Driver 層完成,傳輸、存儲到服務端的文檔Value都是密文,MongoDB 4.2 Drvier 支持豐富的加密策略,可以針對集合、字段維度開啟加密,加密過程對開發者完全透明。
MongoDB and Kubernetes
Kubernetes 是工業級的容器編排管理平臺,可以使用 Kubernetes 管理 MongoDB 集群的整個生命周期,但隨著業務部署環境越來越復雜多樣化,有的可能是私有云部署、有的是公有云的部署,使得集群的管理難度也越來越高。
在新版本 MongoDB Atlas(公有云), MongoDB Cloud Manager(私有云企業版管理) 都集成了 Kubernetes operators 的支持,使得用戶可以使用 Kubernetes 統一管理 MongoDB 資源。
MongoDB Chart
MongoDB Chart 在去年的 MongoDB World 已經介紹過了,今年有做了多方面的增強,算得上是一個功能比較完備的 BI 分析工具了。有了 Charts,MongoDB 也無需支持 SQL 來去對接 BI 工具了。
Charts 在使用上還是有一定學習成本的,不是特別直觀,需要配合教程,了解下運作原理,才能得到想要的圖,比如這個例子里,針對電影集合,Released 的年份做了聚合分析,得到分布圖。
MongoDB Realm
MongoDB 在4月份的時候收購了 Realm,一個為移動端開發而設計的新型數據庫。MongoDB 去年發布了 MongoDB Mobile 來應對移動端的數據存儲需求,在收購 Realm 后,二者會進行深度整合,Real Core 里會借助MongoDB提供的能力,增加非結構化數據存儲到能力,比如 JSON、Dict、Set,讓 Realm 變得更強大,同時發揮 Realm 在移動端生態以及 MongoDB 數據庫存儲的優勢。
Atlas Data Lake (Beta)
在新版本 Atlas 服務里,提供了 Atlas Data Lake,能直接通過 MongoDB API 訪問存儲在 AWS S3 (未來支持 Azure、Google 的存儲服務)里的數據。
?
云數據庫 MongoDB 版
基于飛天分布式系統和高性能存儲,提供三節點副本集的高可用架構,容災切換,故障遷移完全透明化。并提供專業的數據庫在線擴容、備份回滾、性能優化等解決方案。
原文鏈接
本文為云棲社區原創內容,未經允許不得轉載。
總結
以上是生活随笔為你收集整理的MongoDB 4.2 新特性解读的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: MongoDB 定位 oplog 必须全
- 下一篇: 从0到千万DAU,这5年闲鱼架构如何演进