spark shell的运行模式汇总
生活随笔
收集整理的這篇文章主要介紹了
spark shell的运行模式汇总
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
scala語言
| 模式 | 啟動命令 | ? |
| local模式 | spark-shell --master local | ? |
| yarn模式 | spark-shell --master yarn | ? |
| standalone-client模式 | ? ①spark-shell ? ②spark-shell local ③spark-shell --master spark://master:7077 ? ? | ? |
| standalone-cluster模式 | spark-shell ?--master yarn --deploy-mode ?cluster | 官方不支持,若強行啟動會報錯: Cluster deploy mode is not applicable to Spark shells |
解釋下上面的spark-shell local為啥是standalone-client模式,
這是因為啟動后會告訴你,你的master是啥
----------------------------------------------------------------------------------------------------------------------------------------------------------------
pyspark
| 模式 | 啟動命令 |
| local模式 | pyspark --master local |
| yarn模式 | pyspark --master yarn |
| standalone-client模式 | ①pyspark ②pyspark --master spark://master:7077 ? |
?
?
?
總結
以上是生活随笔為你收集整理的spark shell的运行模式汇总的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python in worker has
- 下一篇: function “printf“ de