Spark 運(yùn)行模式分類

• 本地模式；
• standalone模式；
• spark on yarn 模式，又分未yarn-client和yarn-cluster；
• spark on mesos 模式（暫時(shí)沒有了解）

本地模式-local

Spark不一定非要跑在hadoop集群，可以在本地，起多個(gè)線程的方式來指定。將Spark應(yīng)用以多線程的方式直接運(yùn)行在本地，一般都是為了方便調(diào)試，本地模式分三類

• local：只啟動(dòng)一個(gè)executor
• local[k]:啟動(dòng)k個(gè)executor
• local[*]：啟動(dòng)跟cpu數(shù)目相同的executor

注意：
Spark單機(jī)運(yùn)行，一般用于開發(fā)測試。

• Local模式又稱為本地模式，運(yùn)行該模式非常簡單，只需要把Spark的安裝包解壓后，改一些常用的配置即可使用，而不用啟動(dòng)Spark的Master、Worker守護(hù)進(jìn)程( 只有集群的Standalone方式時(shí)，才需要這兩個(gè)角色)，也不用啟動(dòng)Hadoop的各服務(wù)（除非你要用到HDFS），這是和其他模式的區(qū)別 。
• 這個(gè)SparkSubmit進(jìn)程又當(dāng)?shù)⒂之?dāng)媽，既是客戶提交任務(wù)的Client進(jìn)程、又是Spark的driver程序、還充當(dāng)著Spark執(zhí)行Task的Executor角色。

standalone模式

• 構(gòu)建一個(gè)由Master+Slave構(gòu)成的Spark集群，Spark運(yùn)行在集群中。 分布式部署集群，自帶完整的服務(wù)，資源管理和任務(wù)監(jiān)控是Spark自己監(jiān)控，這個(gè)模式也是其他模式的基礎(chǔ)。

• 和單機(jī)運(yùn)行的模式不同，這里必須在執(zhí)行應(yīng)用程序前，先啟動(dòng)Spark的Master和Worker守護(hù)進(jìn)程。不用啟動(dòng)Hadoop服務(wù)，除非你用到了HDFS的內(nèi)容 ；

  
  
  spark-standalone模式.png
• standalone模式角色說明
  • Master進(jìn)程做為cluster manager，用來對(duì)應(yīng)用程序申請(qǐng)的資源進(jìn)行管理；
  • SparkSubmit 做為Client端和運(yùn)行driver程序；
  • CoarseGrainedExecutorBackend 用來并發(fā)執(zhí)行應(yīng)用程序；
• Driver運(yùn)行的位置
  • Standalone模式是Spark實(shí)現(xiàn)的資源調(diào)度框架，其主要的節(jié)點(diǎn)有Client節(jié)點(diǎn)、Master節(jié)點(diǎn)和Worker節(jié)點(diǎn)。其中Driver既可以運(yùn)行在Master節(jié)點(diǎn)上中，也可以運(yùn)行在本地Client端。
  • 當(dāng)用spark-shell交互式工具提交Spark的Job時(shí)，Driver在Master節(jié)點(diǎn)上運(yùn)行；
  • 當(dāng)使用spark-submit工具提交Job或者在Eclips、IDEA等開發(fā)平臺(tái)上使用”new SparkConf.setManager(“spark://master:7077”)”方式運(yùn)行Spark任務(wù)時(shí)，Driver是運(yùn)行在本地Client端上的。
• standalone運(yùn)行流程
  • 1.SparkContext連接到Master，向Master注冊并申請(qǐng)資源（CPU Core 和Memory）；
  • 2.Master根據(jù)SparkContext的資源申請(qǐng)要求和Worker心跳周期內(nèi)報(bào)告的信息決定在哪個(gè)Worker上分配資源，然后在該Worker上獲取資源，然后啟動(dòng)StandaloneExecutorBackend；
  • 3.StandaloneExecutorBackend向SparkContext注冊；
  • 4.SparkContext將Applicaiton代碼發(fā)送給StandaloneExecutorBackend；并且SparkContext解析Applicaiton代碼，構(gòu)建DAG圖，并提交給DAG Scheduler分解成Stage（當(dāng)碰到Action操作時(shí)，就會(huì)催生Job；每個(gè)Job中含有1個(gè)或多個(gè)Stage，Stage一般在獲取外部數(shù)據(jù)和shuffle之前產(chǎn)生），DAG Scheduler將TaskSet提交給Task Scheduler，Task Scheduler負(fù)責(zé)將Task分配到相應(yīng)的Worker，最后提交給StandaloneExecutorBackend執(zhí)行；
  • 5.StandaloneExecutorBackend會(huì)建立Executor線程池，開始執(zhí)行Task，并向SparkContext報(bào)告，直至Task完成。
  • 6.所有Task完成后，SparkContext向Master注銷，釋放資源。

Spark on Yarn模式

Spark客戶端直接連接Yarn。不需要額外構(gòu)建Spark集群。 分布式部署集群，資源和任務(wù)監(jiān)控交給yarn管理，但是目前僅支持粗粒度資源分配方式，包含cluster和client運(yùn)行模式，cluster適合生產(chǎn)，driver運(yùn)行在集群子節(jié)點(diǎn)，具有容錯(cuò)功能，client適合調(diào)試，dirver運(yùn)行在客戶端。

Spark on yarn client模式

Spark-yarn-client.png

• Driver運(yùn)行位置
  • Driver 在本地運(yùn)行，并沒有在nodemanager上，在nodemanager上啟動(dòng)的applicationMaster僅僅是一個(gè)ExecutorLanucher，功能十分有限。
• 運(yùn)行流程
  • (1).Spark Yarn Client向YARN的ResourceManager發(fā)送請(qǐng)求，申請(qǐng)啟動(dòng)Application Master。同時(shí)在SparkContext初始化中將創(chuàng)建DAGScheduler和TASKScheduler等，由于我們選擇的是Yarn-Client模式，程序會(huì)選擇YarnClientClusterScheduler和YarnClientSchedulerBackend；
  • (2).ResourceManager收到請(qǐng)求后，在集群中選擇一個(gè)NodeManager，為該應(yīng)用程序分配第一個(gè)Container，要求它在這個(gè)Container中啟動(dòng)應(yīng)用程序的ApplicationMaster（實(shí)際啟動(dòng)的是ExecutorLanucher，功能十分有限），與YARN-Cluster區(qū)別的是在該ApplicationMaster不運(yùn)行SparkContext，只與SparkContext進(jìn)行聯(lián)系進(jìn)行資源的分派的ExecutorLanucher；
  • (3).Client中的SparkContext初始化完畢后，與ApplicationMaster建立通訊，向ResourceManager注冊，根據(jù)任務(wù)信息向ResourceManager申請(qǐng)資源（Container）；
  • (4).一旦ApplicationMaster申請(qǐng)到資源（也就是Container）后，便與對(duì)應(yīng)的NodeManager通信，要求它在獲得的Container中啟動(dòng)啟動(dòng)CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend啟動(dòng)后會(huì)向Client中的SparkContext注冊并申請(qǐng)Task；
  • (5).Client中的SparkContext分配Task給CoarseGrainedExecutorBackend執(zhí)行，CoarseGrainedExecutorBackend運(yùn)行Task并向Driver匯報(bào)運(yùn)行的狀態(tài)和進(jìn)度，以讓Client隨時(shí)掌握各個(gè)任務(wù)的運(yùn)行狀態(tài)，從而可以在任務(wù)失敗時(shí)重新啟動(dòng)任務(wù)；
  • (6).應(yīng)用程序運(yùn)行完成后，Client的SparkContext向ResourceManager申請(qǐng)注銷并關(guān)閉自己；

spark on yarn cluster模式

Spark-yarn-cluster.png

• Driver 運(yùn)行位置
  • Driver運(yùn)行在nodemanager上
• 運(yùn)行流程
  • (1). Spark Yarn Client向YARN中resourcemanager提交應(yīng)用程序，包括ApplicationMaster程序、啟動(dòng)ApplicationMaster的命令、需要在Executor中運(yùn)行的程序等；
  • (2). ResourceManager收到請(qǐng)求后，在集群中選擇一個(gè)NodeManager，為該應(yīng)用程序分配第一個(gè)Container，要求它在這個(gè)Container中啟動(dòng)應(yīng)用程序的ApplicationMaster(相當(dāng)于Driver客戶端)，其中ApplicationMaster進(jìn)行SparkContext等的初始化；
  • (3). ApplicationMaster向ResourceManager注冊，這樣用戶可以直接通過ResourceManage查看應(yīng)用程序的運(yùn)行狀態(tài)，然后它將采用輪詢的方式通過RPC協(xié)議為各個(gè)任務(wù)申請(qǐng)資源，并監(jiān)控它們的運(yùn)行狀態(tài)直到運(yùn)行結(jié)束；
  • (4). 一旦ApplicationMaster申請(qǐng)到資源（也就是Container）后，便與對(duì)應(yīng)的NodeManager通信，要求它在獲得的Container中啟動(dòng)啟動(dòng)CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend啟動(dòng)后會(huì)向ApplicationMaster中的SparkContext注冊并申請(qǐng)Task。這一點(diǎn)和Standalone模式一樣，只不過SparkContext在Spark Application中初始化時(shí)，使用CoarseGrainedSchedulerBackend配合YarnClusterScheduler進(jìn)行任務(wù)的調(diào)度，其中YarnClusterScheduler只是對(duì)TaskSchedulerImpl的一個(gè)簡單包裝，增加了對(duì)Executor的等待邏輯等；
  • (5). ApplicationMaster中的SparkContext分配Task給CoarseGrainedExecutorBackend執(zhí)行，CoarseGrainedExecutorBackend運(yùn)行Task并向ApplicationMaster匯報(bào)運(yùn)行的狀態(tài)和進(jìn)度，以讓ApplicationMaster隨時(shí)掌握各個(gè)任務(wù)的運(yùn)行狀態(tài)，從而可以在任務(wù)失敗時(shí)重新啟動(dòng)任務(wù)；
  • (6). 應(yīng)用程序運(yùn)行完成后，ApplicationMaster向ResourceManager申請(qǐng)注銷并關(guān)閉自己。

Spark on yarn client與Spark on yarn Cluster之間的區(qū)別

• yarn-client：
  • 用于測試，因?yàn)閐river運(yùn)行在本地客戶端，負(fù)責(zé)調(diào)度application，會(huì)與yarn集群產(chǎn)生超大量的網(wǎng)絡(luò)通信。好處是直接執(zhí)行時(shí)，本地可以看到所有的log，方便調(diào)試。
  • Application Master僅僅向YARN請(qǐng)求Executor，Client會(huì)和請(qǐng)求的Container通信來調(diào)度他們工作，也就是說Client不能離開。
• yarn-cluster：
  • 生產(chǎn)環(huán)境使用， 因?yàn)閐river運(yùn)行在nodemanager上，缺點(diǎn)在于調(diào)試不方便，本地用spark-submit提價(jià)以后，看不到log，只能通過yarn application-logs application_id這種命令查看，很麻煩
  • Driver運(yùn)行在AM(Application Master)中，它負(fù)責(zé)向YARN申請(qǐng)資源，并監(jiān)督作業(yè)的運(yùn)行狀況。當(dāng)用戶提交了作業(yè)之后，就可以關(guān)掉Client，作業(yè)會(huì)繼續(xù)在YARN上運(yùn)行，因而YARN-Cluster模式不適合運(yùn)行交互類型的作業(yè)；
• 總結(jié)
  • 理解YARN-Client和YARN-Cluster深層次的區(qū)別之前先清楚一個(gè)概念：Application Master。在YARN中，每個(gè)Application實(shí)例都有一個(gè)ApplicationMaster進(jìn)程，它是Application啟動(dòng)的第一個(gè)容器。它負(fù)責(zé)和ResourceManager打交道并請(qǐng)求資源，獲取資源之后告訴NodeManager為其啟動(dòng)Container。從深層次的含義講YARN-Cluster和YARN-Client模式的區(qū)別其實(shí)就是ApplicationMaster進(jìn)程的區(qū)別。