本節書摘來自華章出版社《循序漸進學Spark》一書中的第1章，第1.6節，作者 小象學院　楊　磊，更多章節內容可以訪問云棲社區“華章計算機”公眾號查看。

1.6　使用Spark Shell開發運行Spark程序

Spark Shell是一種學習API的簡單途徑，也是分析數據集交互的有力工具。

雖然本章還沒涉及Spark的具體技術細節，但從總體上說，Spark彈性數據集RDD有兩種創建方式：

從文件系統輸入（如HDFS）。

從已存在的RDD轉換得到新的RDD。

現在我們從RDD入手，利用Spark Shell簡單演示如何書寫并運行Spark程序。下面以word count這個經典例子來說明。

1）啟動spark shell: cd 進SPARK_HOME/bin， 執行命令。

./spark-shell

2）進入scala命令行，執行如下命令：

scala> val file = sc.textFile("hdfs://localhost:50040/hellosparkshell")

scala> val count = file.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_+_)

scala> count.collect()

首先從本機上讀取文件hellosparkshell，然后解析該文件，最后統計單詞及其數量并輸出如下：

15/09/29 16:11:46 INFO spark.SparkContext: Job finished: collect at <console>:17, took 1.624248037 s

res5: Array[(String, Int)] = Array((hello,12), (spark,12), (shell,12), (this,1), (is,1), (chapter,1), (three,1)

總結

以上是生活随笔為你收集整理的《循序渐进学Spark》一1.6　使用Spark Shell开发运行Spark程序的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。