需求三: 手機號碼分區(qū)

在需求一的基礎上，繼續(xù)完善，將不同的手機號分到不同的數據文件的當中去，需要自定義分區(qū)來實現，這里我們自定義來模擬分區(qū)，將以下數字開頭的手機號進行分開

135 開頭數據到一個分區(qū)文件 136 開頭數據到一個分區(qū)文件 137 開頭數據到一個分區(qū)文件 其他分區(qū)

自定義分區(qū)

package cn.learn.mapreduce_flowcount_partition;import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Partitioner;public class FlowPartition extends Partitioner<Text,FlowBean> {@Overridepublic int getPartition(Text text, FlowBean flowBean, int i) {//判斷手機號以哪個數字開頭然后返回不同的分區(qū)編號if(text.toString().startsWith("135")){return 0;}else if(text.toString().startsWith("136")){return 1;}else if(text.toString().startsWith("137")){return 2;}else{return 3;}} }

作業(yè)運行添加分區(qū)設置

job.setPartitionerClass(FlowPartition.class);

修改輸入輸出路徑, 并放入集群運行

TextInputFormat.addInputPath(job,new Path("hdfs://node01:8020/partition_flow/")); TextOutputFormat.setOutputPath(job,new Path("hdfs://node01:8020/partition_out"));

?

總結

以上是生活随笔為你收集整理的MapReduce-流量统计求和-分区代码实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。