原文作者：jiangw-Tony

原文地址：HDFS基礎使用

hdfs 在生產應用中主要是客戶端的開發，其核心步驟是從 hdfs 提供的 api 中構造一個 HDFS的訪問客戶端對象，然后通過該客戶端對象操作（增刪改查）HDFS 上的文件。

一、環境搭建

1、創建一個Maven工程HdfsClientDemo

2、在該項目的pom.xml文件中添加以下代碼：導入相應的依賴坐標+日志添加

<dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.8.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>2.8.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.8.2</version></dependency> </dependencies>

3、在java下創建了cn.itcast.hdfs包，在目錄下新建了Java文件

到此表示，我們利用 HDFS 的 api 編寫業務代碼所依賴的 jar 包都添加完成，接下來便可以愉快的玩耍代碼了。

二、FileSystem實例獲取講解（重點）

在 java 中操作 hdfs，首先要獲得一個客戶端實例：

• Configuration conf = new Configuration()
• FileSystem fs = FileSystem.get(conf)

而我們的操作目標是 HDFS，所以獲取到的 fs 對象應該是 DistributedFileSystem 的實例；get 方法是從何處判斷具體實例化哪種客戶端類呢？從 conf 中的一個參數 fs.defaultFS 的配置值判斷；如果我們的代碼中沒有指定 fs.defaultFS，并且工程 classpath 下也沒有給定相應的配置，conf中的默認值就來自于 hadoop 的 jar 包中的 core-default.xml，默認值為： file:///，則獲取的將不是一個 DistributedFileSystem 的實例，而是一個本地文件系統的客戶端對象。

DistributedFileSystem實例所具備的方法如下：

三、HDFS常用JAVA API代碼演示

1. 建立文件夾

2. 上傳文件

3. 下載文件

4. 刪除文件或文件夾

5.重命名文件或者文件夾

6.查看目錄信息，只顯示該文件夾下的文件信息

7.查看文件及文件夾信息

四、HDFS流式數據訪問

import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; import org.junit.Before; import org.junit.Test;/** * 相對那些封裝好的方法而言的更底層一些的操作方式 上層那些 mapreduce spark 等運算 框架，去 hdfs 中獲取數據的時候，就是調的這種底層的 api */ public class StreamAccess {FileSystem fs = null;@Beforepublic void init() throws Exception {Configuration conf = new Configuration();System.setProperty("HADOOP_USER_NAME", "root");conf.set("fs.defaultFS", "hdfs:// hadoop01:9000");fs = FileSystem.get(conf);// fs = FileSystem.get(new URI("hdfs://hadoop01:9000"), conf, "hadoop");}@Testpublic void testDownLoadFileToLocal() throws IllegalArgumentException,IOException {// 先獲取一個文件的輸入流----針對 hdfs 上的FSDataInputStream in = fs.open(new Path("/jdk-7u65-linux-i586.tar.gz"));// 再構造一個文件的輸出流----針對本地的FileOutputStream out = new FileOutputStream(new File("c:/jdk.tar.gz"));// 再將輸入流中數據傳輸到輸出流IOUtils.copyBytes(in, out, 4096);}@Testpublic void testUploadByStream() throws Exception {// hdfs 文件的輸出流FSDataOutputStream fsout = fs.create(new Path("/aaa.txt"));// 本地文件的輸入流FileInputStream fsin = new FileInputStream("c:/111.txt");IOUtils.copyBytes(fsin, fsout, 4096);}/*** hdfs 支持隨機定位進行文件讀取，而且可以方便地讀取指定長度 用于上層分布式運算框架并發處理數據*/@Testpublic void testRandomAccess() throws IllegalArgumentException, IOException {// 先獲取一個文件的輸入流----針對 hdfs 上的FSDataInputStream in = fs.open(new Path("/iloveyou.txt"));// 可以將流的起始偏移量進行自定義in.seek(22);// 再構造一個文件的輸出流----針對本地的FileOutputStream out = new FileOutputStream(new File("d:/iloveyou.line.2.txt"));IOUtils.copyBytes(in, out, 19L, true);} }

五、經典案例

在 mapreduce 、spark 等運算框架中，有一個核心思想就是將運算移往數據，或者說，就是要在并發計算中盡可能讓運算本地化，這就需要獲取數據所在位置的信息并進行相應范圍讀取。以下模擬實現：獲取一個文件的所有 block 位置信息，然后讀取指定 block 中的內容。

@Test public void testCat() throws IllegalArgumentException, IOException {FSDataInputStream in = fs.open(new Path("/weblog/input/access.log.10"));// 拿到文件信息FileStatus[] listStatus = fs.listStatus(new Path("/weblog/input/access.log.10"));// 獲取這個文件的所有 block 的信息BlockLocation[] fileBlockLocations = fs.getFileBlockLocations(listStatus[0], 0L, listStatus[0].getLen());// 第一個 block 的長度long length = fileBlockLocations[0].getLength();// 第一個 block 的起始偏移量long offset = fileBlockLocations[0].getOffset();System.out.println(length);System.out.println(offset);// 獲取第一個 block 寫入輸出流// IOUtils.copyBytes(in, System.out, (int)length);byte[] b = new byte[4096];FileOutputStream os = new FileOutputStream(new File("d:/block0"));while (in.read(offset, b, 0, 4096) != -1) {os.write(b);offset += 4096;if (offset > length)return;}os.flush();os.close();in.close(); }

?

總結

以上是生活随笔為你收集整理的分布式文件系统—HDFS—Java API操作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。