（1）NameNode的內(nèi)存中保存了龐大的目錄樹結(jié)構(gòu)，這個結(jié)構(gòu)用來保存文件目錄結(jié)構(gòu)和文件Block之間的映射，這種結(jié)構(gòu)關(guān)系會固化在磁盤上，但是對樹的改動頻繁發(fā)生，什么時候?qū)鋵懭氪疟P呢？把每次操作應(yīng)用到內(nèi)存中的樹上，并把操作記錄成日志文件，每次操作不會改變固化在磁盤上的改動發(fā)生之前的目錄樹，適當(dāng)?shù)臅r候做一次固化操作并記錄時間。

（2）NameNode上面的磁盤目錄結(jié)構(gòu)：

[hadoop@localhost dfs]$ ls -R name

name:
current??image??in_use.lock

name/current:
edits??fsimage??fstime??VERSION

name/image:
fsimage

in_use.lock的功能和DataNode的一致。fsimage保存的是文件系統(tǒng)的目錄樹，edits則是文件樹上的操作日志，fstime是上一次新打開一個操作日志的時間（long型）。NameNode成功載入一次fsimage就要把這個時刻記錄在fstime中，fstime表示edits第一條記錄開始記錄的時刻。saveImage的時候需要先寫入中間文件，防止中途斷電。

image/fsimage是一個保護(hù)文件，防止0.13以前的版本啟動（0.13以前版本將fsimage存放在name/image目錄下，如果用0.13版本啟動，顯然在讀fsimage會出錯J）。也就是說寫入fsimage要有兩份。

（3）管理NameNode磁盤目錄的是FSImage，也是繼承Storage類的，和DataStorage類似，有升級回退機(jī)制，暫時不考慮。

（4）FSImage需要支持參數(shù)-importCheckpoint，該參數(shù)用于在某一個checkpoint目錄里加載HDFS的目錄信息，并更新到當(dāng)前系統(tǒng)，該參數(shù)的主要功能在方法doImportCheckpoint中。該方法很簡單，通過讀取配置的checkpoint目錄來加載fsimage文件和日志文件，然后利用saveFSImage（下面討論）保存到當(dāng)前的工作目錄，完成導(dǎo)入。

（5）loadFSImage用來在多個目錄中選擇最新的fsimage和edit來載入，最新以及fsimage和edit的一致性由fstime保證，載入過程中對NameNode崩潰的處理要分析saveFSImage的過程在明白。

（6）saveFSImage()的功能正好相反，它將內(nèi)存中的目錄樹持久化，很自然，目錄樹持久化后就可以把日志清空。saveFSImage()會創(chuàng)建edits.new，并把當(dāng)前內(nèi)存中的目錄樹持久化到fsimage.ckpt（fsimage現(xiàn)在還存在），然后重新打開日志文件edits和edits.new，這會導(dǎo)致日志文件edits和edits.new被清空。最后，saveFSImage()調(diào)用rollFSImage()方法。

rollFSImage()上來就把所有的edits.new都改為edits（經(jīng)過了方法saveFSImage，它們都已經(jīng)為空），然后再把fsimage.ckpt改為fsimage。

（7）saveFSImage和loadFSImage為了考慮NameNode突然崩潰的情況使磁盤固化操作得以回滾創(chuàng)建了中間狀態(tài)，中間狀態(tài)的描述方式就是在磁盤上建立臨時文件。

轉(zhuǎn)載于:https://www.cnblogs.com/JohnLiang/archive/2011/11/10/2244392.html

總結(jié)

以上是生活随笔為你收集整理的Hadoop_NameNode_代码分析_目录树（2）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。