1. SparkContext源碼分析

在任何Spark程序中，必須要創建一個SparkContext，在SparkContext中，最主要的就是創建了TaskScheduler和DAGScheduler，以及SparkUI

... // Create and start the scheduler val (sched, ts) = SparkContext.createTaskScheduler(this, master, deployMode) // 創建taskScheduler _schedulerBackend = sched _taskScheduler = ts _dagScheduler = new DAGScheduler(this) // 創建DAGScheduler ...// 在創建SparkContext的時候，會執行val (sched, ts) = SparkContext.createTaskScheduler(this, master, deployMode) private def createTaskScheduler(sc: SparkContext,master: String,deployMode: String): (SchedulerBackend, TaskScheduler) = {import SparkMasterRegex._// When running locally, don't try to re-execute tasks on failure.val MAX_LOCAL_TASK_FAILURES = 1master match { // 匹配master，我們這里主要以Standlone為主，所以，就只看SPARK_REGEX...case SPARK_REGEX(sparkUrl) => // Standlone模式val scheduler = new TaskSchedulerImpl(sc) // 創建TaskSchedulerval masterUrls = sparkUrl.split(",").map("spark://" + _)// 創建StandaloneSchedulerBackendval backend = new StandaloneSchedulerBackend(scheduler, sc, masterUrls) scheduler.initialize(backend) // 初始化taskScheduler, 主要是賦值backend以及根據調度方法創建調度池(backend, scheduler)...}}

圖解如下(其中的SparkDeploySchedulerBackend是1.0的名字，2.0就是StandaloneSchedulerBackend)：

總結

以上是生活随笔為你收集整理的Spark详解（七）：SparkContext源码分析以及整体作业提交流程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。