MapReduce Input Split（輸入分/切片）詳解

public static long getMaxSplitSize(JobContext context) {
return context.getConfiguration().getLong(SPLIT_MAXSIZE,
Long.MAX_VALUE);
}

如果沒有設置這maxsize默認是Long.MAX_VALUE

public static long getMinSplitSize(JobContext job) {
return job.getConfiguration().getLong(SPLIT_MINSIZE, 1L);
}

如果沒有設置這minsize默認是1L

按照這樣的理解，應該是將maxsize設置的小一些（小于blocksiz）那么這個切片就變小了

如果將minisize設置大一些（大于blocksize）那么這個切片就變大了，

設置的方法是

FileInputFormat.setMaxInputSplitSize(job, size);
FileInputFormat.setMinInputSplitSize(job, size);

?切片數和文件在hdfs上的塊數不是一個概念

總結

以上是生活随笔為你收集整理的MapReduce Input Split 输入分/切片的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。