Spark學(xué)習(xí)之Spark調(diào)優(yōu)與調(diào)試（7）

1. 對(duì)Spark進(jìn)行調(diào)優(yōu)與調(diào)試通常需要修改Spark應(yīng)用運(yùn)行時(shí)配置的選項(xiàng)。

當(dāng)創(chuàng)建一個(gè)SparkContext時(shí)就會(huì)創(chuàng)建一個(gè)SparkConf實(shí)例。

2. Spark特定的優(yōu)先級(jí)順序來選擇實(shí)際配置：

優(yōu)先級(jí)最高的是在用戶代碼中顯示調(diào)用set()方法設(shè)置選項(xiàng)； 其次是通過spark-submit傳遞的參數(shù)； 再次是寫在配置文件里的值； 最后是系統(tǒng)的默認(rèn)值。

3.查看應(yīng)用進(jìn)度信息和性能指標(biāo)有兩種方式：網(wǎng)頁用戶界面、驅(qū)動(dòng)器和執(zhí)行器進(jìn)程生成的日志文件。

4.Spark執(zhí)行的組成部分：作業(yè)、任務(wù)和步驟

需求：使用Spark shell完成簡單的日志分析應(yīng)用。 scala> val input =sc.textFile("/home/spark01/Documents/input.text") input: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[3] at textFile at <console>:27scala> val tokenized = input.map(line=>line.split(" ")).filter(words=>words.size>0) tokenized: org.apache.spark.rdd.RDD[Array[String]] = MapPartitionsRDD[5] at filter at <console>:29scala> val counts = tokenized.map(words=>(words(0),1)).reduceByKey{(a,b)=>a+b} counts: org.apache.spark.rdd.RDD[(String, Int)] = ShuffledRDD[7] at reduceByKey at <console>:31scala> // see RDDscala> input.toDebugString res0: String = (1) MapPartitionsRDD[3] at textFile at <console>:27 []| /home/spark01/Documents/input.text HadoopRDD[2] at textFile at <console>:27 []scala> counts.toDebugString res1: String = (1) ShuffledRDD[7] at reduceByKey at <console>:31 []+-(1) MapPartitionsRDD[6] at map at <console>:31 []| MapPartitionsRDD[5] at filter at <console>:29 []| MapPartitionsRDD[4] at map at <console>:29 []| MapPartitionsRDD[3] at textFile at <console>:27 []| /home/spark01/Documents/input.text HadoopRDD[2] at textFile at <console>:27 []scala> counts.collect() res2: Array[(String, Int)] = Array((ERROR,1), (##input.text##,1), (INFO,4), ("",2), (WARN,2))scala> counts.cache() res3: counts.type = ShuffledRDD[7] at reduceByKey at <console>:31scala> counts.collect() res5: Array[(String, Int)] = Array((ERROR,1), (##input.text##,1), (INFO,4), ("",2), (WARN,2))scala>

5. Spark網(wǎng)頁用戶界面

默認(rèn)情況地址是http://localhost:4040 通過瀏覽器可以查看已經(jīng)運(yùn)行過的作業(yè)（job）的詳細(xì)情況 如圖下圖：

圖1所有任務(wù)用戶界面

圖二作業(yè)2詳細(xì)信息用戶界面

6. 關(guān)鍵性能考量：

代碼層面：并行度、序列化格式、內(nèi)存管理 運(yùn)行環(huán)境：硬件供給。

總結(jié)

以上是生活随笔為你收集整理的Spark学习之Spark调优与调试（7）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。