小文件合并

由于 Hadoop 擅長存儲大文件，因為大文件的元數據信息比較少，如果 Hadoop 集群當中有大量的小文件，那么每個小文件都需要維護一份元數據信息，會大大的增加集群管理元數據的內存壓力，所以在實際工作當中，如果有必要一定要將小文件合并成大文件進行一起處理

在我們的 HDFS 的 Shell 命令模式下，可以通過命令行將很多的 hdfs 文件合并成一個大文件下載到本地

cd /export/servers hdfs dfs -getmerge /config/*.xml ./hello.xml

既然可以在下載的時候將這些小文件合并成一個大文件一起下載，那么肯定就可以在上傳的時候將小文件合并到一個大文件里面去

?

@Test public void mergeFile() throws Exception{//獲取分布式文件系統FileSystem fileSystem = FileSystem.get(new URI("hdfs://192.168.52.250:8020"), new Configuration(),"hadoop");FSDataOutputStream outputStream = fileSystem.create(new Path("/bigfile.xml"));//獲取本地文件系統LocalFileSystem local = FileSystem.getLocal(new Configuration());//通過本地文件系統獲取文件列表，為一個集合FileStatus[] fileStatuses = local.listStatus(new Path("file:///F:\\上傳小文件合并"));for (FileStatus fileStatus : fileStatuses) {FSDataInputStream inputStream = local.open(fileStatus.getPath());IOUtils.copy(inputStream,outputStream);IOUtils.closeQuietly(inputStream);}IOUtils.closeQuietly(outputStream);local.close();fileSystem.close(); }

?

總結

以上是生活随笔為你收集整理的HDFS的API操作-小文件的合并的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。