Hadoop日志詳解

日志分析

?.log為log4j詳細(xì)日志，.out為標(biāo)準(zhǔn)輸出（一般查看.log）

?Userlogs為程序的日志信息，其它(.out，.log)為進(jìn)程啟動(dòng)日志信息

JobHistory配置

?啟動(dòng)yarn下的jobhistory進(jìn)程查看任務(wù)日志（mr-jobhistory-daemon.sh start historyserver）

日志配置

?開啟任務(wù)日志查看；配置yarn-site.xml

yarn.log-aggregation-enable = true

設(shè)置日志刪除時(shí)間（7天）

yarn.log-aggregation.retain-seconds = 604800

修改日志目錄

yarn.nodemanager.remote-app-log-dir = /logs

Uber調(diào)優(yōu)

?對于小作業(yè)開啟Uber調(diào)優(yōu)使得任務(wù)運(yùn)行在同一個(gè)jvm中，減少時(shí)間

?配置map-red.xml

開啟uber模式

mapreduce.job.ubertask.enable = true

啟動(dòng)uber模式的最大map數(shù)，當(dāng)任務(wù)的map數(shù)小于9時(shí)啟動(dòng)uber模式

mapreduce.job.ubertask.maxmaps = 9

啟動(dòng)uber模式的最大reduce數(shù)

mapreduce.job.ubertask.maxreduces = 1

Hadoop 主機(jī)配置

Hadoop 兩類配置文件

hadoop-2.7.1\share\hadoop?里面的jar中的配置文件

hadoop-2.7.1\etc\hadoop 里面的配置文件

Hadoop 優(yōu)先級

命令行執(zhí)行指定參數(shù)（-D）> etc下配置 >jar中的配置

Hadoop 用戶與權(quán)限

HDFS 安全模式

當(dāng)只啟動(dòng)namenode而未啟動(dòng)datanode時(shí)，因?yàn)閚amenode無法獲取datanode的響應(yīng)，hdfs將會(huì)進(jìn)入安全模式

當(dāng)datanode丟失的文件數(shù)量達(dá)到所配置的大小時(shí)，也會(huì)進(jìn)入安全模式

進(jìn)入安全模式則只能查看信息，無法寫信息

可以使用get命令查看安全狀態(tài)，使用leave命令離開安全模式

Hadoop 權(quán)限控制

<!-- 關(guān)閉權(quán)限 --> <property><name>dfs.permissions.enabled</name><value>false</value> </property>

Hadoop 啟動(dòng)方式

start-all.sh啟動(dòng)所有（已過時(shí)）

start-dfs.sh start-yarn.sh

分別啟動(dòng)獨(dú)立進(jìn)程

配置文件示例：

core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop:8020</value></property><property><name>hadoop.tmp.dir</name><value>/home/softwares/hadoop-2.7.1/data/tmp</value></property><!-- yarn web ui界面右上角顯示的用戶名稱，自定義為hadoop --><property><name>hadoop.http.staticuser.user</name><value>hadoop</value></property> </configuration>

hadoop-env.sh

# The java implementation to use. export JAVA_HOME=/usr/local/program/jdk1.7.0_67

hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><!-- 瀏覽器訪問的端口 --><property><name>dfs.namenode.secondary.http-address</name><value>hadoop:50090</value></property><!-- namenode web ui的端口 --><property><name>dfs.namenode.http-address</name><value>hadoop:50070</value></property><!-- 關(guān)閉權(quán)限 --><property><name>dfs.permissions.enabled</name><value>false</value></property> </configuration>

mapred-site.xm

<configuration> <property><name>mapreduce.framework.name</name><value>yarn</value></property><!-- 開啟uber模式（針對小作業(yè)的優(yōu)化） --><property><name>mapreduce.job.ubertask.enable</name><value>true</value></property><!-- 啟動(dòng)uber模式的最大map數(shù) --><property><name>mapreduce.job.ubertask.maxmaps</name><value>9</value></property><!-- 啟動(dòng)uber模式的最大reduce數(shù) --><property><name>mapreduce.job.ubertask.maxreduces</name><value>1</value></property><!-- jobhistory的web端口 --><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop:19888</value></property><!-- jobhistory通信端口 --><property><name>mapreduce.jobhistory.address</name><value>hadoop:10020</value></property> </configuration>

yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 開啟日志 --><property><name>yarn.log-aggregation-enable</name><value>true</value></property> <!-- 日志刪除時(shí)間（七天） --><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property><!-- 修改日志目錄 --><property><name>yarn.nodemanager.remote-app-log-dir</name><value>/logs</value></property><!-- 配置rm的主機(jī) --><property><name>yarn.resourcemanager.hostname</name><value>hadoop</value></property><!-- 配置yarn的web端口--><property><name>yarn.resourcemanager.webapp.address</name><value>hadoop:8088</value></property><!-- yarn通信端口 --><property><name>yarn.resourcemanager.address</name><value>hadoop:8032</value></property><property><name>yarn.web-proxy.address</name><value>hadoop:8888</value></property> </configuration>

總結(jié)

以上是生活随笔為你收集整理的Hadoop配置完善的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。