1 HDFS的設(shè)計特點？

可以進行超大文件存儲

對商用硬件要求不高

式數(shù)據(jù)訪問：適合一次寫入，多次讀出的場景，適合用來做數(shù)據(jù)分析，并不適合用來做網(wǎng)盤應用等文件系統(tǒng)。

HDFS只支持單個寫入者，而且文件的寫入只能以“添加”方式在文件末尾寫數(shù)據(jù)。

因為namenode的原因，不適合大量小文件的存儲。

數(shù)據(jù)訪問的延遲相對較高，不適合進行低延遲處理

對商業(yè)硬件要求低，可以再廉價的機器上運行。

2 HDFS 文件塊大小問題？

塊的大小設(shè)置原則：最小化尋址開銷。

HDFS的塊比磁盤的塊大(磁盤的塊一般為512字節(jié))，其目的是為了最小化尋址開銷

然而真正實際開發(fā)中要把block設(shè)置的遠大于128MB，比如存儲文件是1TB時，一般把Block大小設(shè)置成512MB.但是也不能任意設(shè)置的太大，比如200GB一個，因為在MapReduce的map任務中通常一次只處理一個塊中數(shù)據(jù)(切片大小默認等于block大小)，如果設(shè)置太大，因為任務數(shù)太少(少于集群中的節(jié)點數(shù)量)，那么作業(yè)的運行速度就會慢很多，此外比如故障等原因也會拖慢速度。

如何設(shè)置塊的大小？

主要由以下考慮：

減少硬盤尋道時間(disk seek time)：

減少Namenode內(nèi)存消耗：

Map崩潰問題：

監(jiān)管時間問題：

問題分解問題：

約束Map輸出：

詳細說明

減少硬盤尋道時間(disk seek time)

HDFS設(shè)計前提是支持大容量的流式數(shù)據(jù)操作，所以即使是一般的數(shù)據(jù)讀寫操作，涉及到的數(shù)據(jù)量都是比較大的。假如數(shù)據(jù)塊設(shè)置過少，那需要讀取的數(shù)據(jù)塊就比較多，由于數(shù)據(jù)塊在硬盤上非連續(xù)存儲，普通硬盤因為需要移動磁頭，所以隨機尋址較慢，讀越多的數(shù)據(jù)塊就增大了總的硬盤尋道時間。當硬盤尋道時間比io時間還要長的多時，那么硬盤尋道時間就成了系統(tǒng)的一個瓶頸。合適的塊大小有助于減少硬盤尋道時間，提高系統(tǒng)吞吐量。傳輸一個由多個塊的組成的文件取決于磁盤傳輸速率。如尋址時間約為10ms，傳輸速率為100MB/S，為了使尋址時間僅占傳輸時間的1%，塊的大小設(shè)置約為100MB，默認大小是64MB，現(xiàn)在在實際身纏中都是128MB了，隨著新一代磁盤去東區(qū)傳輸速率的提升，塊的大小將會被設(shè)置的更大。

減少Namenode內(nèi)存消耗

對于HDFS，他只有一個Namenode節(jié)點，他的內(nèi)存相對于Datanode來說，是極其有限的。然而，namenode需要在其內(nèi)存FSImage文件中中記錄在Datanode中的數(shù)據(jù)塊信息，假如數(shù)據(jù)塊大小設(shè)置過少，而需要維護的數(shù)據(jù)塊信息就會過多，那Namenode的內(nèi)存可能就會傷不起了。

Map崩潰問題：

系統(tǒng)需要重新啟動，啟動過程需要重新加載數(shù)據(jù)，數(shù)據(jù)塊越大，數(shù)據(jù)加載時間越長，系統(tǒng)恢復過程越長。

監(jiān)管時間問題：

主節(jié)點監(jiān)管其他節(jié)點的情況，每個節(jié)點會周期性的把完成的工作和狀態(tài)的更新報告回來。如果一個節(jié)點保持沉默超過一個預設(shè)的時間間隔，主節(jié)點記錄下這個節(jié)點狀態(tài)為死亡，并把分配給這個節(jié)點的數(shù)據(jù)發(fā)到別的節(jié)點。對于這個“預設(shè)的時間間隔”，這是從數(shù)據(jù)塊的角度大概估算的。假如是對于64MB的數(shù)據(jù)塊，我可以假設(shè)你10分鐘之內(nèi)無論如何也能解決了吧，超過10分鐘也沒反應，那就是死了。可對于640MB或是1G以上的數(shù)據(jù)，我應該要估算個多長的時間內(nèi)？估算的時間短了，那就誤判死亡了，分分鐘更壞的情況是所有節(jié)點都會被判死亡。估算的時間長了，那等待的時間就過長了。所以對于過大的數(shù)據(jù)塊，這個“預設(shè)的時間間隔”不好估算。

問題分解問題：

數(shù)據(jù)量大小是問題解決的復雜度是成線性關(guān)系的。對于同個算法，處理的數(shù)據(jù)量越大，它的時間復雜度也就越大。塊的大小太大的話，一個map任務處理一個塊，那任務數(shù)就變少了，作業(yè)運行速度也就變慢了。

約束Map輸出：

在Map Reduce框架里，Map之后的數(shù)據(jù)是要經(jīng)過排序才執(zhí)行Reduce操作的。想想歸并排序算法的思想，對小文件進行排序，然后將小文件歸并成大文件的思想

總結(jié)

以上是生活随笔為你收集整理的linux数据块的大小不一样,HDFS块大小默认为什么是64MB(或者是128MB）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。