整體架構
DAGScheduler：負責分析用戶提交的應用，并根據計算任務的依賴關系建立DAG，且將DAG劃分為不同的Stage，每個Stage可并發執行一組task。注：DAG在不同的資源管理框架實現是一樣的。
TaskScheduler：DAGScheduler將劃分完成的Task提交到TaskScheduler，TaskScheduler通過Cluster Manager在集群中的某個Worker的Executor上啟動任務，實現類TaskSchedulerImpl。
Scheduler的實現概述
1）org.apache.spark.scheduler.DAGScheduler
2）org.apache.spark.scheduler.SchedulerBackend
3）org.apache.spark.scheduler.TaskScheduler
SchedulerBackend是一個trait，作用是分配當前可用的資源，即為Task分配計算資源（Executor），并在分配的Executor上啟動Task。
TaskScheduler也是一個trait，它的作用是從DAGScheduler接收不同的Stage的任務，并且向集群提交這些任務（并為執行特別慢的任務啟動備份任務）。TaskScheduler是實現多種任務調度器的基礎，而org.apache.spark.scheduler.TaskSchedulerImpl是唯一實現。TaskSchedulerImpl在以下幾種場景下調用org.apache.spark.scheduler.SchedulerBackend#reviveOffers：
1）有新任務提交時
2）有任務執行失敗時
3）計算節點（即Executor）不可用時
4）某些任務執行過慢而需要重新分配資源時
每個SchedulerBackend都會對應個唯一的TaskScheduler
DAGScheduler
DAGScheduler將應用的DAG劃分成不同的Stage，每個Stage由并發執行的一組Task構成，Task的執行邏輯完全相同，只是作用于不同數據。
DAGScheduler的創建
TaskScheduler和DAGScheduler在SparkContext創建時創建。
TaskScheduler通過org.apache.spark.SparkContext#createTaskScheduler創建。
// Create and start the scheduler
val(sched,ts) = SparkContext.createTaskScheduler(this,master)
DAGScheduler通過直接調用其構造函數創建，同時DAGScheduler保存了TaskScheduler的引用，因此需要在TaskScheduler創建后創建
def this(sc: SparkContext) = this(sc,sc.taskScheduler)
MapOutputTrackerMaster：運行在Driver管理Shuffle Map Task輸出，下游的Task通過MapOutputTrackerMaster獲取Shuffle輸出的位置信息。
BlockManagerMaster：也是運行在Driver端，管理整個Job的Block信息。
DAGScheduler除了初始化用于保存集群狀態信息的數據結構，還會創建一個Actor，用于處理各種信息。
Job提交
以RDD的action count為例：
1）org.apache.spark.rdd.RDD#count
2）org.apache.spark.SparkContext#runJob
3）org.apache.spark.scheduler.DAGScheduler#runJob
submitJob首先為Job生成一個Job ID，并且生成一個JobWaiter的實例監聽Job的執行情況
Job由多個Task組成，只有所有Task都成功完成，Job才標記為成功。若失敗，則通過jobFailed方法處理。
4）org.apache.spark.scheduler.DAGScheduler#submitJob
5）org.apache.spark.util.EventLoop#post
當eventProcessLoop對象投遞了JobSubmitted事件之后，對象內的eventThread線程實例對事件進行處理，不斷從事件隊列中取出事件，調用onReceive函數處理事件，當匹配到JobSubmitted事件后，調用DAGScheduler的handleJobSubmitted函數并傳入jobid、rdd等參數來處理Job。
DAGScheduler::submitJob會創建JobSummitted的event發送給內嵌類eventProcessActor（在源碼1.4中，submitJob函數中，使用DAGSchedulerEventProcessLoop類進行事件的處理）
6）org.apache.spark.scheduler.DAGScheduler#handleJobSubmitted
Stage的劃分
1、劃分依據
寬依賴：需要Shuffle，Spark根據寬依賴將Job劃分不同的Stage
窄依賴：RDD的每個Partition依賴固定數量的parent RDD的Partition，可以通過一個Task并行處理這些相互獨立的Partition
2、劃分過程
Stage的劃分是從最后一個RDD開始，RDD會從SparkContext的runJob開始，通過以下調用棧對Stage劃分：
1）org.apache.spark.SparkContext#runJob
2）org.apache.spark.scheduler.DAGScheduler#runJob
3）org.apache.spark.scheduler.DAGScheduler#submitJob
4）org.apache.spark.util.EventLoop#post
5）org.apache.spark.scheduler.DAGScheduler#handleJobSubmitted
handleJobSubmitted開始Stage的劃分
newResultStage首先會獲取當前Stage的Parent Stages，然后創建當前的Stage。
調用getParentStages，把父Stage創建出來，然后根據它們創建當前Stage。
getParentStages是劃分Stage的核心實現，每遇到一個ShuffleDependency就會生一個parent Stage。
376：存儲parent stage
377：存儲已經被訪問的RDD
380：存儲需要被處理的RDD，Stack中的RDD都需要被處理
381：廣度優先遍歷RDD生成的依賴樹
386：逐個處理當前RDD依賴的parent RDD
389：在依賴是ShuffleDependency時生成新的stage
391：不是ShuffleDependency，則屬于同一個stage
396：以輸入的rdd作為第一個需要處理的RDD，然后從該RDD開始，順序處理其parent rdd
397：如果stack非空，則一直處理
398：每次visit如果遇到了ShuffleDependency，那么就會形成一個stage，否則這些RDD屬于同一個stage
280~281：根據suffleId是否存在
282：如果創建則直接返回
285：注冊該stage的Shuffle依賴，如果Stage的Parent Stage是否已經生成，沒有則生成它們
289：生成當前RDD的Stage
354~355：Stage已經被計算過則從newShuffleMapStage中獲取計算結果
359：計算結果復制到stage中
366：向mapOutputTracker注冊該Stage
ShuffleMapTask的計算結果通過Driver端的mapOutputTracker，其他Task可以從中獲取結果。mapOutputTracker.registerShuffle實現了這些元數據的占位，ShuffleMapTask通過registerMapOutputs保存這些計算結果（數據位置、大小等元數據）。
任務生成
handleJobSubmitted調用handleJobSubmitted提交Stage。所有parent Stage都計算完成，才能提交。
submitMissingTasks(stage,jobId.get)：如果所有parent stage已經完成，則提交stage所包含的task
submitStage(parent)：有parent stage未完成，則遞歸提交
abortStage：無效stage，直接停止
org.apache.spark.scheduler.DAGScheduler#submitMissingTasks完成DAGScheduler最后的工作，向TaskScheduler提交Task。
1、獲取需要計算的Partition：最后的Stage判斷RusultTask是否已經結束
2、對于其他Stage，對應的Task是ShuffleMapTask
DAGScheduler完成任務提交后，在判斷哪些Partition需要計算，就會為Partition生成Task，然后封裝成TaskSet，提交至TaskScheduler。等待TaskScheduler最終向集群提交這些Task，監聽這些Task的狀態。
