HDFS命令操作

實驗內容

在上述前提條件下，這個實驗學習HDFS其它未遇到過的命令。

實驗步驟

1.點擊桌面的"命令行終端"，打開新的命令行窗口

2.啟動HDFS

啟動HDFS，在命令行窗口輸入下面的命令：

/apps/hadoop/sbin/start-dfs.sh

運行后顯示如下，根據日志顯示，分別啟動了NameNode、DataNode、Secondary NameNode：

dolphin@tools:~$ /apps/hadoop/sbin/start-dfs.sh Starting namenodes on [localhost] localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts. Starting datanodes Starting secondary namenodes [tools.hadoop.fs.init] tools.hadoop.fs.init: Warning: Permanently added 'tools.hadoop.fs.init,172.22.0.2' (ECDSA) to the list of known hosts.

3.查看HDFS相關進程

在命令行窗口輸入下面的命令：

jps

運行后顯示如下，表明NameNode、DataNode、Secondary NameNode已經成功啟動

dolphin@tools:~$ jps 484 DataNode 663 SecondaryNameNode 375 NameNode 861 Jps

4.準備要上傳的文件

在命令行窗口輸入下面的命令：

hadoop fs -put ./test.txt /

運行后，已經本地的test.txt文件上傳到HDFS的根目錄下

5.統計文件數和大小

在命令行窗口輸入下面的命令：

hadoop fs -count -h /

運行后顯示如下，1 1 306 分別是根目錄下文件數、目錄數、和文件的大小

dolphin@tools:~$ hadoop fs -count -h /``1 1 306 /

6.查找文件

在命令行窗口輸入下面的命令，用于查找根目錄下所有以txt結尾的文件

hadoop fs -find / -name *.txt

運行后如下：

dolphin@tools:~$ hadoop fs -find / -name *.txt /test.txt

7.改變文件的副本數

默認HDFS是有3個副本的，若想改變某文件的副本數，使用setrep命令即可。在命令行窗口輸入下面的命令

hadoop fs -setrep -w 1 /test.txt

運行后顯示如下：

dolphin@tools:~$ hadoop fs -setrep -w 1 /test.txt Replication 1 set: /test.txt Waiting for /test.txt ... done

8.test命令

檢查文件是否存在。如果存在則返回0，否則返回1
在命令行窗口輸入下面的命令

hadoop fs -test -e /zeno.txt

在命令行窗口輸入下面的命令

echo $?

運行后顯示如下，返回1表明不存在zeno.txt文件：

dolphin@tools:~$ echo $? 1

9.stat命 令

在命令行窗口輸入下面的命令，返回指定路徑的統計信息：

hadoop fs -stat /test.txt

運行后顯示如下：

dolphin@tools:~$ hadoop fs -stat /test.txt 2019-11-28 16:20:30

10.清理回收站

當用戶或應用程序刪除某個文件時，這個文件并沒有立刻從HDFS中刪除。實際上，HDFS會將這個文件重命名轉移到/trash目錄。只要文件還在/trash目錄中，該文件就可以被迅速地恢復。文件在/trash中保存的時間是可配置的，當超過這個時間時，Namenode就會將該文件從名字空間中刪除。刪除文件會使得該文件相關的數據塊被釋放。 在命令行窗口輸入下面的命令，清理回收站的所有文件：

hadoop fs -expunge

總結

以上是生活随笔為你收集整理的HDFS命令操作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。