一、、HDFS 常用類

Configuration? 配置

Path? 路徑

FileSystem? 文件系統

Stream? 流

IOUtils? IO工具

API文檔

?

二、類解析

（1）Configuration?

配置文件加載順序

設置/獲取參數方法

（2）Path

Path 常用方法

（3）FileSystem

創建文件

打開文件

文件追加

從本地拷貝文件到HDFS

從HDFS拷貝文件到本地

創建目錄

刪除及重命名

獲取文件或目錄信息

設置文件或目錄屬性

（4）Stream

HDFS輸入流

HDFS輸出流

（5）IOUtils

IOUtils 構造方法

IOUtils 拷貝流方法

?

三、HDFS 依賴的jar包及Java Doc位置

?

四、例子

（1）創建HDFS文件(createNewFile)

Configuration config = new Configuration(); FileSystem hdfs = FileSystem.get(config); Path path = new Path(fileName); boolean isCreated = hdfs.createNewFile(path);

（2）從本地拷貝文件到HDFS(copyFromLocalFile)

Configuration config = new Configuration(); FileSystem hdfs = FileSystem.get(config); Path srcPath = new Path(srcFile); Path dstPath = new Path(dstFile); hdfs.copyFromLocalFile(srcPath,dstPath）

（3）從HDFS讀取文件(open)

Configuration config = new Configuration(); FileSystem hdfs = FileSystem.get(config); Path path = new Path(dstFile); FSDataInputStream inputStream = hdfs.open(path); Text line = new Text() LineReader liReader = new LineReader(inputStream);while (liReader.readLine(line) > 0) { System.out.println(line); } inputStream.close();

（4）追加方式寫入HDFS文件(append)

Configuration config = new Configuration(); FileSystem hdfs = FileSystem.get(config); Path path= new Path(dstFile); FSDataOutputStream out = hdfs.append(path); //在文件尾部，追加數據 out.close();

（5）列出目錄下的所有文件(listStatus)

Configuration config = new Configuration(); FileSystem hdfs = FileSystem.get(config); Path dir = new Path(dirName); FileStatus[] fileStatus = hdfs.listStatus(new Path[]{dir});

?

總結

以上是生活随笔為你收集整理的Hadoop入门（三）HDFS API的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。