一個、hadoop1.1.0演示

?hadoop它適合于大容量數據存儲和分布式計算平臺

?hadoop核心由hdfs和mapreduce組成

?hdfs這是一個主從結構，僅有一個。是namenode：從節點有非常多個

?分布式文件系統與HDFS (HDFS體系結構與基本概念)

?Distributed File System

?數據量越來越多，在一個操作系統管轄的范圍存不下了，那么就分配到很多其它的操作系統管理的磁盤中。可是不方便管理和維護，因此迫切須要一種系統來管理多臺機器上 ?的文件，這就是分布式文件管理系統 。

?是一種同意文件通過網絡在多臺主機上分享的文件系統，可讓多機器上的多用戶分享文件和存儲空間。

?通透性。

讓實際上是通過網絡來訪問文件的動作。由程序與用戶看來。就像是訪問本地的磁盤一般。

?容錯。即使系統中有某些節點脫機，總體來說系統仍然能夠持續運作而不會有數據損失。

?分布式文件管理系統非常多，hdfs僅僅是當中一種。適用于一次寫入多次查詢的情況，不支持并發寫情況，小文件不合適。

二、HDFS的shell操作

調用文件系統(FS)Shell命令應使用 bin/hadoop fs 的形式。

全部的FS shell命令使用URI路徑作為參數。

URI格式是scheme://authority/path。HDFS的scheme是hdfs，對本地文件系統，scheme是file。

當中scheme和authority參數都是可選的。如果未加指定，就會使用配置中指定的默認scheme。

比如：/parent/child能夠表示成hdfs://namenode:namenodePort/parent/child。或者更簡單的/parent/child（如果配置文件是namenode:namenodePort）

大多數FS Shell命令的行為和相應的Unix Shell命令類似。

三、HDFS經常使用命令

-help [cmd]//顯示命令的幫助信息

-ls(r) <path>//顯示當前文件夾下全部文件

-du(s) <path>//顯示文件夾中全部文件大小

-count[-q] <path>//顯示文件夾中文件數量

-mv <src> <dst>//移動多個文件到目標文件夾

-cp <src> <dst>//復制多個文件到目標文件夾

-rm(r)//刪除文件(夾)

-put <localsrc> <dst>//本地文件拷貝到hdfs

-copyFromLocal//同put

-moveFromLocal//從本地文件移動到hdfs

-get [-ignoreCrc] <src> <localdst>//拷貝文件到本地。能夠忽略crc校驗

-getmerge <src> <localdst>//將源文件夾中的全部文件排序合并到一個文件里

-cat <src>//在終端顯示文件內容

-text <src>//在終端顯示文件內容

-copyToLocal [-ignoreCrc] <src> <localdst>//拷貝到本地

-moveToLocal <src> <localdst>

-mkdir <path>//創建目錄

-touchz <path>//創建一個空文件

HDFS 的shell練習

hadoop fs -ls / ?查看HDFS根文件夾

hadoop fs -mkdir /test 在根文件夾創建一個文件夾test

hadoop fs -mkdir /test1 在根文件夾創建一個文件夾test1

版權聲明：本文博客原創文章。博客，未經同意，不得轉載。

轉載于:https://www.cnblogs.com/mfrbuaa/p/4752051.html

總結

以上是生活随笔為你收集整理的HDFS建筑与shell操作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。