在運(yùn)行MapReduce任務(wù)的時(shí)候如何避免這種情況！

100多個(gè)map任務(wù)，但是只有1個(gè)reduce任務(wù)；

此時(shí)在mapred-site.xml中修改配置

<property><name>mapred.map.tasks</name><value>10</value><description>As?a?rule?of?thumb,?use?10x?the?number?of?slaves(i.e.,?number?of?tasktrackers).??????????

</description></property>

<property><name>mapred.reduce.tasks</name><value>2</value><description>As?a?rule?of?thumb,?use?2x?the?number?of?slaveprocessors?(i.e.,?number?of?tasktrackers).

</description></property>

map任務(wù)的個(gè)數(shù)建議設(shè)置為slave*10（實(shí)際上無法控制，map任務(wù)的數(shù)量是輸入分片的數(shù)量）， ?reduce任務(wù)的個(gè)數(shù)（分區(qū)的個(gè)數(shù)），建議設(shè)置為2*salve

?

總結(jié)

以上是生活随笔為你收集整理的Hadoop2调优（一）：如何控制job的map任务和reduce任务的数量的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。