spark on yarn 日志無法正常顯示

是因為我們在運行spark任務后，默認是由AM進行歷史任務匯聚，拼接的URL是job history的鏈接，但是spark里面>是drive負責匯聚，需要通過spark history進行收集后才能查看。

下面給出配置方式

1. 修改spark-defaults.conf

添加以下內容

spark.eventLog.enabled true spark.eventLog.compress true spark.eventLog.dir hdfs:///user/log/spark spark.yarn.historyServer.address park-host:18080

spark.eventLog.dir 配置日志存放地址，可以是file開頭的本地或者是hdfs開頭的hadoop目錄，但是要提前創建對應目錄

spark.yarn.historyServer.address 是要在spark 所在服務器上啟動的history服務器的配置

2. 修改sparn-env.sh

添加

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:///user/log/spark"

3. 啟動Spark History Server

/usr/local/spark/sbin/start-history-server.sh

4. 訪問測試

總結

以上是生活随笔為你收集整理的spark-on-yarn日志配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。