hadoop的限制/不足
生活随笔
收集整理的這篇文章主要介紹了
hadoop的限制/不足
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
Hadoop不足:
1.不適合低延遲數據訪問
HDFS面向大規模數據批處理設計,采用流式數據處理,具有很高的數據吞吐率,但這也意味著有較高的延時。
2.不能夠高效的存儲小文件數據
Hadoop是基于HDFS文件存儲系統,HDFS是采用塊為基本單位存儲數據,每個塊大小為64KB(不確定現在多少),如果一個文件達不到64KB,也會存成一個獨立的塊。如果存在大量的小文件(假設都小于64KB)那么會造成每個塊都無法存儲滿,造成大量的空間浪費。
HDFS是采用主從節點架構。集群中只設置一個主節點(可能有備份主節點),可由很多個從節點。主節點負責集群管理,資源配置,作業調度等。從節點負責數據的存儲與讀取。HDFS采用主節點管理元數據,元數據被保存在內存中,從而使得客戶端可以快速查詢到數據塊位置,數據塊號。然后再在從節點讀寫數據。如果存在大量小文件,則會使得在主節點查詢效率降低。導致主節點效率下降。
3.不支持用戶寫入并修改文件
Hadoop現在還不支持多人寫入,任意修改的功能。只允許一個文件有一個寫入者,不允許多個用戶堆同一文件執行寫操作,而且只允許對文件進行追加,也就是說每次寫入都會添加在文件末尾(區分關系型數據庫的特點)。
總結
以上是生活随笔為你收集整理的hadoop的限制/不足的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 编译asp.net文件为dll文件
- 下一篇: CentOS 5 上安装git