當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

搭建mongodb分片

發布時間：2025/4/16 编程问答 27 豆豆

生活随笔收集整理的這篇文章主要介紹了搭建mongodb分片小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

搭建mongodb分片

?http://gong1208.iteye.com/blog/1622078

Sharding分片概念

這是一種將海量的數據水平擴展的數據庫集群系統，數據分表存儲在sharding的各個節點上，使用者通過簡單的配置就可以很方便地構建一個分布式MongoDB集群。

MongoDB?的數據分塊稱為?chunk。每個?chunk?都是?Collection?中一段連續的數據記錄，通常最大尺寸是?200MB，超出則生成新的數據塊。

要構建一個?MongoDB Sharding Cluster，需要三種角色：

Shard Server

即存儲實際數據的分片，每個Shard可以是一個mongod實例，也可以是一組mongod實例構成的Replica Set。為了實現每個Shard內部的auto-failover，MongoDB官方建議每個Shard為一組Replica Set。關于如何安裝及搭建replica set請參考我的另一篇文章?http://gong1208.iteye.com/blog/1558355

Config Server

為了將一個特定的collection存儲在多個shard中，需要為該collection指定一個shard key，例如{age: 1}?，shard key可以決定該條記錄屬于哪個chunk。Config Servers就是用來存儲：所有shard節點的配置信息、每個chunk的shard key范圍、chunk在各shard的分布情況、該集群中所有DB和collection的sharding配置信息。

Route Process

這是一個前端路由，客戶端由此接入，然后詢問Config Servers需要到哪個Shard上查詢或保存記錄，再連接相應的Shard進行操作，最后將結果返回給客戶端。客戶端只需要將原本發給mongod的查詢或更新請求原封不動地發給Routing Process，而不必關心所操作的記錄存儲在哪個Shard上。

下面我們在同一臺物理機器上構建一個簡單的?Sharding Cluster：

架構圖如下:

? ? ? Shard Server 1：27017
? ? ? Shard Server 2：27018
? ? ? Config Server?：27027
? ? ? Route Process：40000

實施步驟

步驟一：

啟動Shard Server

mkdir -p /opt/mongodb/data/shard/s0 --創建數據目錄

mkdir -p /opt/mongodb/data/shard/s1

mkdir -p /opt/mongodb/data/shard/log --創建日志目錄

/Opt/mongodb/bin/mongod --port 27017 --dbpath /opt/mongodb/data/shard/s0 --fork --logpath /opt/mongodb/data/shard/log/s0.log --啟動Shard Server實例1

/Opt/mongodb/bin/mongod --port 27018 --dbpath /opt/mongodb/data/shard/s1 --fork --logpath /opt/mongodb/data/shard/log/s1.log --啟動Shard Server實例2

步驟二：

啟動Config Server

mkdir -p /opt/mongodb/data/shard/config --創建數據目錄

/Opt/mongodb/bin/mongod --port 27027 –dbpath /opt/mongodb/data/shard/config --fork???????? --logpath /opt/mongodb/data/shard/log/config.log --啟動Config Server實例

(注意，這里我們完全可以像啟動普通mongodb服務一樣啟動，不需要添加—shardsvr和configsvr參數。因為這兩個參數的作用就是改變啟動端口的，所以我們自行指定了端口就可以)

步驟三：

啟動Route Process

/Opt/mongodb/bin/mongos --port 40000 --configdb localhost:27027 --fork --logpath

/opt/mongodb/data/shard/log/route.log --chunkSize 1 --啟動Route Server實例

mongos啟動參數中，chunkSize這一項是用來指定chunk的大小的，單位是MB，默認大小為200MB，為了方便測試Sharding效果，我們把chunkSize指定為?1MB。意思是當這個分片中插入的數據大于1M時開始進行數據轉移

步驟四：

?配置Sharding

接下來，我們使用MongoDB Shell登錄到mongos，添加Shard節點

[root@localhost ~]# /Opt/mongo/bin/mongo admin --port 40000 --此操作需要連接admin庫

MongoDB shell version: 2.0.1

connecting to: 127.0.0.1:40000/admin

> db.runCommand({ addshard:"localhost:27017" }) --添加?Shard Server

{ "shardAdded" : "shard0000", "ok" : 1 }

> db.runCommand({ addshard:"localhost:27018" })

{ "shardAdded" : "shard0001", "ok" : 1 }

> db.runCommand({ enablesharding:"test" }) --設置分片存儲的數據庫

{ "ok" : 1 }

> db.runCommand({ shardcollection: "test.users", key: { id:1 }}) --設置分片的集合名稱。且必須指定Shard Key，系統會自動創建索引

{ "collectionsharded" : "test.users", "ok" : 1 }

注意這里我們要注意片鍵的選擇，選擇片鍵時需要根據具體業務的數據形態來選擇，切不可隨意選擇，實際中尤其不要輕易選擇自增_id作為片鍵，除非你很清楚你這么做的目的，具體原因我不在此分析，根據經驗推薦一種較合理的片鍵方式，“自增字段+查詢字段”，沒錯，片鍵可以是多個字段的組合。

另外這里說明一點，分片的基本機制：分片總是試圖將現有數據均分到所有的分片上。舉例說，現在有兩個分片，我已經選擇了id作為片鍵，假定插入的id是自增的，如1——10000，則分片后的結果是均分，即1——5000在片A，5000——10000在片B，當然，不一定有這么精確，但卻是保證盡量的平均的，以此類推，如果有三塊分片，同樣均分三等分。

?????????還需要說明的是，一開始插入數據時，數據是只插入到其中一塊分片上的，插入完畢后，mongodb內部開始在各片之間進行數據的移動，這個過程可能不是立即的，mongodb足夠智能會根據當前負載決定是立即進行移動還是稍后移動。

在插入數據后，立馬執行db.users.stats();兩次可以驗證如上所說。

Ok，簡單的分片就是這么搭建的，連接上mongos，然后開始插入數據進行驗證吧。?

轉載于:https://www.cnblogs.com/DjangoBlog/p/3993341.html

總結

以上是生活随笔為你收集整理的搭建mongodb分片的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。