介紹

HDFS（Hadoop Distributed File System）是一個分布式文件系統，可以運行在廉價的硬件上。與其他已有的分布式文件系統類似，但是最明顯的區別就是HDFS時一個高容錯、可以部署在廉價的機器上。
HDFS對于讀取數據具有高吞吐量，且適用于數據集大的場景。
普通的文件系統：Linux、Windows、MacOS，這些文件系統都有目錄結構，存放的是文件或者文件夾，并且可以對外提供服務，例如創建、修改、刪除、查看、移動等等。
既然HDFS是一個分布式的文件系統，那么上面的特性也同樣具有。

HDFS設計目標

• Hardware Failure 硬件故障：硬件故障時非常常見的，在HDFS中可能會有成百上千個Server集群組成，每一個server只存儲某個文件的一部分數據。HDFS默認采用3個副本機制。
• Streaming Data Access流式數據訪問：應用程序運行在HDFS需要通過數據流的方式運行，與普通的文件系統有一定的差別。HDFS更多的考慮的時數據批處理而不是用戶的交互。HDFS關注的時吞吐量而不是低延時，因此不適合實時處理。
• Large Data Sets 大規模數據集：HDFS中的一個文件大小可能GB甚至TB。
• Moving Computation is Cheaper than Moving Data 移動計算比移動數據更劃算。假設有兩臺機器A和B，作業分配在B，但是B上沒有數據，需要把A中的數據拷貝到B上；但是如果把計算移動到A，就可以省掉移動數據所帶來的帶寬和IO消耗。因此移動計算的成本較低。也就是說如果數據在A上，應該盡可能把計算放在A上。

總結

以上是生活随笔為你收集整理的HDFS(一) HDFS设计目标的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。