Hadoop1.0核心

HDFS讀寫流程：

寫流程：

讀流程：

------------------------------------------------------------------------------

?

安全模式

?

namenode啟動的時候，首先將映像文件(fsimage)載入內(nèi)存，并執(zhí)行編輯日志(edits)中的各項操作。

一旦在內(nèi)存中成功建立文件系統(tǒng)元數(shù)據(jù)的映射，則創(chuàng)建一個新的fsimage文件(這個操作不需要SecondaryNameNode)和一個空的編輯日志。

此刻namenode運行在安全模式。即namenode的文件系統(tǒng)對于客服端來說是只讀的。(顯示目錄，顯示文件內(nèi)容等。寫、刪除、重命名都會失敗，尚未獲取動態(tài)信息)。

在此階段Namenode收集各個datanode的報告，當數(shù)據(jù)塊達到最小副本數(shù)以上時，會被認為是“安全”的， 在一定比例（可設置）的數(shù)據(jù)塊被確定為“安全”后，再過若干時間，安全模式結束

當檢測到副本數(shù)不足的數(shù)據(jù)塊時，該塊會被復制直到達到最小副本數(shù)，系統(tǒng)中數(shù)據(jù)塊的位置并不是由namenode維護的，而是以塊列表形式存儲在datanode中。

------------------------------------------------------------------------------

?

集群

角色==進程

namenode

數(shù)據(jù)元數(shù)據(jù)

內(nèi)存存儲，不會有磁盤交換

持久化（fsimage，edits log）

不會持久化block的位置信息

block：偏移量，因為block不可以調(diào)整大小，hdfs，不支持修改文件

偏移量不會改變

datanode

block塊

磁盤

面向文件，大小一樣，不能調(diào)整

副本數(shù)，調(diào)整，（備份，高可用，容錯/可以調(diào)整很多個，為了計算向數(shù)據(jù)移動）

SN

NN&DN

心跳機制

DN向NN匯報block信息

安全模式

client

?

超強干貨來襲 云風專訪：近40年碼齡，通宵達旦的技術人生

總結

以上是生活随笔為你收集整理的Hadoop 03_核心：读写流程的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。