spark集群安裝教程：http://blog.csdn.net/zengmingen/article/details/72123717

啟動spark shell.

在spark安裝目錄bin文件夾下

?./spark-shell --master spark://nbdo1:7077 --executor-memory 2g --total-executor-cores 2

參數說明：

--master spark://nbdo1:7077 指定Master的地址

--executor-memory 2g 指定每個worker可用內存為2G

--total-executor-cores 2 指定整個集群使用的cpu核數為2個

?

注意：

如果啟動spark shell時沒有指定master地址，但是也可以正常啟動spark shell和執行spark shell中的程序，其實是啟動了spark的local模式，該模式僅在本機啟動一個進程，沒有與集群建立聯系。

不指定 --executor-memory使用每臺worker內存總數-1GB的內存（如總的8gb，預留1gb給操作系統，使用7gb）。

不指定--total-executor-cores使用整個集群的cpu數。

scala> [hadoop@nbdo1 bin]$ ./spark-shell --master spark://nbdo1:7077
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
17/05/15 16:31:18 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/05/15 16:31:24 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectException
Spark context Web UI available at http://192.168.18.146:4040
Spark context available as 'sc' (master = spark://nbdo1:7077, app id = app-20170515163119-0001).
Spark session available as 'spark'.
Welcome to
? ? ? ____ ? ? ? ? ? ? ?__
? ? ?/ __/__ ?___ _____/ /__
? ? _\ \/ _ \/ _ `/ __/ ?'_/
? ?/___/ .__/\_,_/_/ /_/\_\ ? version 2.1.1
? ? ? /_/
? ? ? ? ?
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_73)
Type in expressions to have them evaluated.
Type :help for more information.


scala> 可以在這里直接運行scala代碼

-------------

更多的Java，Android，大數據，J2EE，Python，數據庫，Linux，Java架構師，教程，視頻請訪問：

http://www.cnblogs.com/zengmiaogen/p/7083694.html

總結

以上是生活随笔為你收集整理的启动spark shell的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。