Spark執行的時候報錯：

WARN spark.SparkContext: Spark is not running in local mode, therefore the checkpoint directory must not be on the local filesystem. Directory 'file:///home/checkpointData' appears to be on the local filesystem.

簡單翻譯下：Spark沒有在本地模式下運行，因此檢查點目錄不能在本地文件系統上。

也就是說，Spark應用跑在集群模式下，checkpoint directory是不可以設置在本地文件系統的。

在HDFS上創建一個目錄：

hdfs dfs -mkdir sparkCheckpoint hdfs dfs -chmod 777 sparkCheckpoint hdfs dfs -ls

然后在spark里面配置一下就可以了。

sc.setCheckpointDir("hdfs://ns1/tmp/username/sparkCheckpoint")

總結

以上是生活随笔為你收集整理的Spark is not running in local mode, therefore the checkpoint directory must not be on the local……的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。