首先啟動集群與spark

其次把spark目錄下的README.md上傳到hdfs

進入spark下的bin目錄，運行spark-shell

./spark-shell

運行

val textFile = sc.textFile("hdfs://chun1:9000/spark/README.md")val wordCounts = textFile.flatMap(line=>line.split(" ")).map(word=>(word,1)).reduceByKey((a,b)=>a+b).coalesce(1,true).saveAsTextFile("hdfs://chun1:9000/spark/out1")

查看執行結果

查看

總結

以上是生活随笔為你收集整理的写第一个spark程序（wordcount）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。