MongoDB存储文件之GridFS
【MongoDB是什么？】
MongoDB是一個基于分布式文件存儲的數據庫。由C++語言編寫。旨在為WEB應用提供可擴展的高性能數據存儲解決方案。
?
MongoDB是一個介于關系數據庫和非關系數據庫之間的產品，是非關系數據庫當中功能最豐富，最像關系數據庫的。它支持的數據結構非常松散，是類似json的bson格式，因此可以存儲比較復雜的數據類型。Mongo最大的特點是它支持的查詢語言非常強大，其語法有點類似于面向對象的查詢語言，幾乎可以實現類似關系數據庫單表查詢的絕大部分功能，而且還支持對數據建立索引。
（注：以上內容選自百度百科）
?
其實Mongodb中有一個重要功能--GridFS，但并不為人所熟悉。本文主要講解如何更好地使用GridFS功能，結合實踐中的案例分享經驗。
?
【Mongobd的重要模塊--GridFS】
GridFS是Mongo的一個子模塊,使用GridFS可以基于MongoDB來持久存儲文件。并且支持分布式應用(文件分布存儲和讀取)。作為MongoDB中二進制數據存儲在數據庫中的解決方案，通常用來處理大文件，對于MongoDB的BSON格式的數據(文檔)存儲有尺寸限制，最大為16M。但是在實際系統開發中，上傳的圖片或者文件可能尺寸會很大，此時我們可以借用GridFS來輔助管理這些文件。
?
GridFS不是MongoDB自身特性，只是一種將大型文件存儲在MongoDB的文件規范，所有官方支持的驅動均實現了GridFS規范。GridFS制定大文件在數據庫中如何處理，通過開發語言驅動來完成、通過API接口來存儲檢索大文件。
?
<使用場景>
▲如果您的文件系統在一個目錄中存儲的文件的數量有限，你可以使用GridFS存儲盡可能多的文件。
▲當你想訪問大型文件的部分信息，卻不想加載整個文件到內存時，您可以使用GridFS存儲文件，并讀取文件部分信息，而不需要加載整個文件到內存。
▲當你想讓你的文件和元數據自動同步并部署在多個系統和設施，你可以使用GridFS實現分布式文件存儲。
?
【GridFS存儲原理】
GridFS使用兩個集合（collection）存儲文件。一個集合是chunks, 用于存儲文件內容的二進制數據；一個集合是files，用于存儲文件的元數據。
?
GridFS會將兩個集合放在一個普通的buket中，并且這兩個集合使用buket的名字作為前綴。MongoDB的GridFs默認使用fs命名的buket存放兩個文件集合。因此存儲文件的兩個集合分別會命名為集合fs.files ,集合fs.chunks。
?
當然也可以定義不同的buket名字，甚至在一個數據庫中定義多個bukets，但所有的集合的名字都不得超過mongoDB命名空間的限制。
?
MongoDB集合的命名包括了數據庫名字與集合名字，會將數據庫名與集合名通過“.”分隔(eg:<database>.<collection>)。而且命名的最大長度不得超過120bytes。
?
當把一個文件存儲到GridFS時，如果文件大于chunksize （每個chunk塊大小為256KB），會先將文件按照chunk的大小分割成多個chunk塊，最終將chunk塊的信息存儲在fs.chunks集合的多個文檔中。然后將文件信息存儲在fs.files集合的唯一一份文檔中。其中fs.chunks集合中多個文檔中的file_id字段對應fs.files集中文檔”_id”字段。
?
讀文件時，先根據查詢條件在files集合中找到對應的文檔，同時得到“_id”字段，再根據“_id”在chunks集合中查詢所有“files_id”等于“_id”的文檔。最后根據“n”字段順序讀取chunk的“data”字段數據，還原文件。
?
存儲過程如圖下所示：
?
fs.files 集合存儲文件的元數據，以類json格式文檔形式存儲。每在GridFS存儲一個文件，則會在fs.files集合中對應生成一個文檔。
▲fs.files集合中文檔的存儲內容如下：
?
fs.chunks 集合存儲文件文件內容的二進制數據，以類json格式文檔形式存儲。每在GridFS存儲一個文件，GridFS就會將文件內容按照chunksize大小（chunk容量為256k）分成多個文件塊，然后將文件塊按照類json格式存在.chunks集合中，每個文件塊對應fs.chunk集合中一個文檔。一個存儲文件會對應一到多個chunk文檔。
▲ fs.chunks集合中文檔的存儲內容如下：
為了提高檢索速度 MongoDB為GridFS的兩個集合建立了索引。fs.files集合使用是“filename”與“uploadDate” 字段作為唯一、復合索引。fs.chunk集合使用的是“files_id”與“n”字段作為唯一、復合索引。
?
【如何使用GridFS？】
<使用shell命令>
mongoDB提供mingofiles工具，可以使用命令行來操作GridFS。其實有四個主要命令，分別為：
put —存儲命令
get —獲取命令?
list —列表命令
delete —刪除命令
這些命令都是按照filename操作GridFS中存儲的文件的。
?
?
<使用API>
MongoDB支持多種編程語言驅動。比如c、java、C#、nodeJs等。因此可以使用這些語言MongoDB驅動API操作，擴展GridFS。
?
【經驗分享】
▲?GridFs不會自動處理md5值相同的文件，也就是說，同一個文件進行兩次put命令，將會在GridFS中對應兩個不同的存儲，對于存儲來說，這是一種浪費。對于md5相同的文件，如果想要在GridFS中只有一個存儲，需要通過API進行擴展處理。
?
▲?MongoDB 不會釋放已經占用的硬盤空間。即使刪除db中的集合 MongoDB也不會釋放磁盤空間。同樣，如果使用GridFS存儲文件，從GridFS存儲中刪除無用的垃圾文件，MongoDB依然不會釋放磁盤空間的。這會造成磁盤一直在消耗，而無法回收利用的問題。
?
那么怎樣才能釋放磁盤空間呢？
（1）可以通過修復數據庫來回收磁盤空間，即在mongo shell中運行db.repairDatabase()命令或者db.runCommand({ repairDatabase: 1 })命令。（此命令執行比較慢）。
使用通過修復數據庫方法回收磁盤時需要注意，待修復磁盤的剩余空間必須大于等于存儲數據集占用空間加上2G，否則無法完成修復。因此使用GridFS大量存儲文件必須提前考慮設計磁盤回收方案，以解決mongoDB磁盤回收問題。
?
（2）使用dump & restore方式，即先刪除mongoDB數據庫中需要清除的數據，然后使用mongodump備份數據庫。備份完成后，刪除MongoDB的數據庫，使用Mongorestore工具恢復備份數據到數據庫。
?
當使用db.repairDatabase()命令沒有足夠的磁盤剩余空間時，可以采用dump & restore方式回收磁盤資源。如果MongoDB是副本集模式，dump & restore方式可以做到對外持續服務，在不影響MongoDB正常使用下回收磁盤資源。
?
MogonDB使用副本集， 實踐使用dump & restore方式，回收磁盤資源。70G的數據在2小時之內完成數據清理及磁盤回收，并且整個過程不影響MongoDB對外服務，同時可以保證處理過程中數據庫增量數據的完整。
匯總于網絡，供個人學習使用
總結
以上是生活随笔為你收集整理的MongoDB存储文件之GridFS的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 王者荣耀神秘商店多久刷新一次
- 下一篇： synchronized实现可见性对比v