文章目錄

• • 1 項目背景介紹
  • 2 文件系統基本概念簡介
  • • 2.1 文件系統接口
    • 2.2 存儲的基本單位
    • 2.3 文件存儲單位
    • 2.4 文件結構
  • 3 海量存儲選用大文件結構的原因

1 項目背景介紹

根據淘寶2016年的數據分析，淘寶賣家已經達到900多萬，有上十億的商品。每一個商品有包括大量的圖片和文字(平均：15k)，粗略估計下，數據所占的存儲空間在1PB 以上，如果使用單塊容量為1T容量的磁盤來保存數據，那么也需要1024 塊磁盤來保存。

思考？ 這么大的數據量，應該怎么保存呢？就保存在普通的單個文件中或單臺服務器中嗎？顯然是不可行的。

淘寶針對海量非結構化數據存儲設計出了一款分布式系統,叫TFS,它構筑在普通的Linux機器集群上,可為外部提供高可靠和高并發的存儲訪問。

---

2 文件系統基本概念簡介

2.1 文件系統接口

文件系統 ：一種把數據組織成文件和目錄的存儲方式，提供了基于文件的存取接口，并通過文件權限控制訪問。

2.2 存儲的基本單位

扇區 － 硬盤的最小存儲存儲單位（Sector）。一般每個扇區儲存512字節（相當于0.5KB）。

磁盤的每一面被分為很多條磁道，即表面上的一些同心圓，越接近中心，圓就越小。而每一個磁道又按512個字節為單位劃分為等分，叫做扇區。

2.3 文件存儲單位

塊 ：文件存取的最小單位。"塊"的大小，最常見的是4KB，即連續八個 sector組成一個 block。

2.4 文件結構

對于Linux下的Ext*格式化分區，操作系統自動將硬盤分成三個區域：

• 目錄項區 - 存放目錄下文件的列表信息。
• 數據區 - 存放文件數據。
• inode區（inode table） - 存放inode所包含的信息。

關于Inode：

• inode - “索引節點”,儲存文件的元信息，比如文件的創建者、文件的創建日期、文件的大小等等。每個inode都有一個號碼，操作系統用inode號碼來識別不同的文件。ls -i 查看inode 號。
• inode節點大小 - 一般是128字節或256字節。inode節點的總數，格式化時就給定，一般是每1KB或每2KB就設置一個inode。一塊1GB的硬盤中，每1KB就設置一個inode，那么inode table的大小就會達到128MB，占整塊硬盤的12.8%。

系統讀取文件的三部曲：

---

3 海量存儲選用大文件結構的原因

淘寶網為什么不用普通文件存儲海量小數據？

大規模的小文件存取，磁頭需要頻繁的尋道和換道，因此在讀取上容易帶來較長的延時。

頻繁的新增刪除操作導致磁盤碎片，降低磁盤利用率和IO讀寫效率。

Inode 占用大量磁盤空間，降低了緩存的效果。

---

參考資料：

C/C++從入門到精通-高級程序員之路【奇牛學院】

總結

以上是生活随笔為你收集整理的项目背景介绍及文件系统基本概念简介的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。