獲取分布式文件系統

// 獲取文件系統 @Testpublic void getFileSystem() throws Exception{Configuration configuration = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://192.168.59.11:9000"), configuration, "ljs");System.out.println(fs);fs.close();}

URI 對象是指向hadoop集群中的namenode 節點， 端口也是配置的? , user = “”ljs“”? 用戶

?

上傳文件到hdfs文件系統

//上傳文件系統//@Testpublic void putFileTohdfs() throws Exception{Configuration conf = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://192.168.59.11:9000"),conf, "ljs");fs.copyFromLocalFile(true, new Path("d:/text"), new Path("/user/ljs/"));fs.close();}

?

?

從hdfs文件系統下載文件

public void getFileHDFS() throws Exception{Configuration conf = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://192.168.59.11:9000"), conf, "ljs");fs.copyToLocalFile(false,new Path("/user/ljs/w.txt"), new Path("d:/Demo/w.txt"),true);}

?

?

給hdfs文件系統創建目錄s

@Testpublic void mkdirAtHDFs() throws Exception{Configuration conf = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://192.168.59.11:9000"), conf, "ljs");fs.mkdirs(new Path("user/ljs/output"));fs.close();}

?

刪除某文件

@Testpublic void deleteAtHDFS() throws Exception{//獲取文件系統Configuration conf = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://192.168.59.11:9000"), conf, "ljs");//執行刪除fs.delete(new Path("/user/ljs/text"),true);fs.close();}

?

給某個文件或目錄改名字

@Testpublic void renameAtHDFS() throws Exception{Configuration conf = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://192.168.59.11:9000"), conf, "ljs");fs.rename(new Path("/user/ljs/user"), new Path("/user/ljs/SB"));fs.close();}

?

轉載于:https://www.cnblogs.com/lijins/p/10067749.html

總結

以上是生活随笔為你收集整理的hdfs 操作 入门api的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。