1.21將Yarn的調(diào)度策略修改成Fair Scheduler的
A:找到Y(jié)ARN列表，然后找到y(tǒng)arn.resourcemanager.scheduler.class，然后將它的值進行修改，即：

<property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value> </property>

對應的Ambari中的界面：

B:編寫fair-scheduler.xml，內(nèi)容如下（以下根據(jù)自己服務器的實際情況進行調(diào)整）：

<?xml version="1.0"?> <allocations><defaultQueueSchedulingPolicy>fair</defaultQueueSchedulingPolicy><!--<defaultMinSharePreemptionTimeout>300</defaultMinSharePreemptionTimeout>--><queue name="batch_processing_queue"><minResources>1024 mb, 0 vcores</minResources><maxResources>15368 mb, 9 vcores</maxResources><maxRunningApps>5</maxRunningApps><weight>3.0</weight></queue><queue name="real_time_processing_queue"><minResources>1024 mb, 0 vcores</minResources><maxResources>10240 mb, 6 vcores</maxResources><maxRunningApps>5</maxRunningApps><weight>2.0</weight></queue><!-- 與queue里的選擇策略是:遇小選小 --> <userMaxAppsDefault>5</userMaxAppsDefault><!-- 具體指定(specified)：應用程序被放置到它要求隊列中。如果應用程序要求沒有隊列，也就是說，它指定了: default用戶(user)：應用程序被放置到一個與誰提交它的用戶的名稱隊列primaryGroup：應用程序被放置到一個隊列，誰提交它的用戶的主組的名稱secondaryGroupExistingQueue：應用程序被放置到一個有一個與誰提交了用戶的次要組名的隊列。符合配置的隊列中的第一次要組將被選中默認(default)：應用程序被放置到一個名為default的隊列拒絕(reject)：應用程序被拒絕 --><queuePlacementPolicy><rule name="specified" create="false" /> <!--暫不啟用: 用戶提交任務時指定隊列將無效--><rule name="user" create="false" /><rule name="primaryGroup" create="false" /><!--<rule name="secondaryGroupExistingQueue" create="false" /> 暫不啟用: 尚未指定次要組 --><rule name="secondaryGroupExistingQueue" create="false" /><!-- <rule name="reject"/> --><rule name="default" queue="batch_processing_queue"/></queuePlacementPolicy> </allocations>

將fair-scheduler.xml放到$HADOOP_CONF目錄下，然后改變所屬用戶和權(quán)限。命令如下：

cd /usr/hdp/3.1.4.0-315/hadoop/conf chown hdfs:hadoop fair-scheduler.xml chmod 644 fair-scheduler.xml

C：修改其它參數(shù)

yarn.scheduler.fair.allocation.file=fair-scheduler.xml yarn.resourcemanager.reservation-system.enable=true

Disable pre-emption

yarn.scheduler.capacity.ordering-policy.priority-utilization.underutilized-preemption.enabled=false yarn.scheduler.fair.assignmultiple=false yarn.scheduler.fair.sizebasedweight=false yarn.scheduler.fair.user-as-default-queue=true yarn.scheduler.fair.preemption=false

最終Custome yarn-site.xml中的配置內(nèi)容如下：

參考文章：
https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html
https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/FairScheduler.html
https://community.cloudera.com/t5/Support-Questions/Unable-to-start-Node-Manager/td-p/285976

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結(jié)

以上是生活随笔為你收集整理的Ambari2.7.4+HDP3.1.4.0中配置fair-scheduler的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。