第一個參數(shù)：container分配最小內(nèi)存

?yarn.scheduler.minimum-allocation-mb?? ? 1024?? 給應(yīng)用程序container分配的最小內(nèi)存

第二個參數(shù)：container分配最大內(nèi)存

?yarn.scheduler.maximum-allocation-mb? ? 8192? 給應(yīng)用程序container分配的最大內(nèi)存

第三個參數(shù)：每個container的最小虛擬內(nèi)核個數(shù)

yarn.scheduler.minimum-allocation-vcores ? 1 ? 每個container默認(rèn)給分配的最小的虛擬內(nèi)核個數(shù)

第四個參數(shù)：每個container的最大虛擬內(nèi)核個數(shù)

yarn.scheduler.maximum-allocation-vcores?? ?32? 每個container可以分配的最大的虛擬內(nèi)核的個數(shù)

第五個參數(shù)：nodeManager可以分配的內(nèi)存大小

yarn.nodemanager.resource.memory-mb?? 8192? nodemanager可以分配的最大內(nèi)存大小，默認(rèn)8192Mb

在我們?yōu)g覽yarn的管理界面的時候會發(fā)現(xiàn)一個問題

我們可以在yarn-site.xml當(dāng)中修改以下兩個參數(shù)來改變默認(rèn)值。

?

定義每臺機(jī)器的內(nèi)存使用大小

yarn.nodemanager.resource.memory-mb

8192

定義每臺機(jī)器的虛擬內(nèi)核使用大小

yarn.nodemanager.resource.cpu-vcores

8

定義交換區(qū)空間可以使用的大小（交換區(qū)空間就是講一塊硬盤拿出來做內(nèi)存使用）

這里指定的是nodemanager的2.1倍

yarn.nodemanager.vmem-pmem-ratio

2.1

?

=================================================================================

?

總結(jié)回顧：

盡量搞定：
1、共同好友：求取哪些人兩兩之間有共同好友，需要使用兩個mapreduce來實(shí)現(xiàn)
2、倒排索引的建立 某個單詞在文章當(dāng)中出現(xiàn)了多少次
3、自定義inputFormat合并小文件 合并小文件成sequenceFile 使用SequenceFileOutputFormat來將我們的文件輸出成sequenceFile
4、自定義outputformat 將我們的數(shù)據(jù)輸出到不同的目錄下面去
5、分組求取topN 自定義groupingComparator實(shí)現(xiàn)我們分組求TopN

mapreduce的其他補(bǔ)充：了解
mapreduce的參數(shù)優(yōu)化：隨便背兩個
yarn資源調(diào)度： 三種調(diào)度器 得要知道

?

轉(zhuǎn)載于:https://www.cnblogs.com/mediocreWorld/p/11042767.html

總結(jié)

以上是生活随笔為你收集整理的第1节 yarn：15、关于yarn中常用的参数设置的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。