一，部署部分省略，官網有詳細的教程，順著步驟做就好了。

二，先說說調用spark運行wordcount案例流程

1，編寫代碼

package com.sjb.exampleimport org.apache.log4j.Logger import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.SparkSession// com.sjb.example.WordCount object WordCount {var LOGGER:Logger = Logger.getLogger(WordCount.getClass)def main(args: Array[String]): Unit = { // val wordFile = "file:\\C:\\Users\\Administrator\\Desktop\\test.txt" // val wordFile = "file:/wyyt/software/flink-1.11.2/test.txt" // val wordFile = "/spark/test/data/test.txt"val wordFile = "/dolphinscheduler/test/resources/spark_jar/word.txt"System.setProperty("HADOOP_USER_NAME", "hive") // System.setProperty("HADOOP_USER_NAME", "test") // System.setProperty("HADOOP_USER_NAME", "dolphinscheduler")// val wordFile = args(0)println("接受參數信息："+wordFile)LOGGER.error("$$$$$$接受參數信息："+wordFile) // val conf = new SparkConf().setAppName("wordcount").setMaster("local[*]")val conf = new SparkConf().setAppName("wordcount")conf.set("dfs.client.use.datanode.hostname", "true")val sc = new SparkContext(conf)val input = sc.textFile(wordFile)val lines: RDD[String] = input.flatMap(line => line.split(" "))val count: RDD[(String, Int)] = lines.map(word => (word, 1)).reduceByKey { case (x, y) => x + y }count.collect().foreach(println)sc.stop()}}

2，上傳jar包

?

3，編輯節點，執行任務

?

?

?

4，查詢任務運行過程

?

5，總結問題。

? 記得配置spark的環境變量，在海豚安裝目錄 ：

傳入參數分為3種：
主程序就是傳入給main方法的參數，比如一個路徑

選型參數：就是系統參數，比如提交命令 --name? xxx

?自定義參數:?就是自己定義key?名稱，然后在別的地方使用，在官網視頻講解?shell?腳本的案例的時候有提到。

?

6，未完待續

總結

以上是生活随笔為你收集整理的海豚调度器初次使用 .......的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。