1.前言

本文講述如何使用IDEA遠程調試spark，這里所說的調試spark包括：

1. 調試spark應用程序，也就是使用spark算子編寫的driver application
2. spark自身，包括master，worker，所以這個主要針對的是standalone模式下的，使用yarn提交時不存在master和worker這兩個角色。

在開始之前會介紹一下如何使用idea遠程debug普通的jar應用，然后遠程debug spark原理是一樣的。

2. 遠程debug 普通的jar應用

先假設遠程debug的適用場景是：我將應用程序打成jar包，讓它運行在服務器上，然后在本地idea里以debug模式去運行這個jar包，希望達到的效果就像在idea里debug本地代碼一樣：可以斷點，可以查看變量值等等。

下文將這個運行在服務器上的jar包稱為被調試對象(debuggee)。 本地idea稱為調試者(debugger).

遠程調試有兩種模式，或者說有兩種方式可選：

1. attach模式， 運行debuggee，讓其監聽某個ip:port，然后等待debugger啟動并連接這個端口，然后就可以在debugger上斷點調試。
2. listen模式，讓debugger監聽某個ip:port, 然后啟動debugee連接這個端口，接下來在debugger上斷點調試。

以"HelloWorld" 程序為例:

package me.test.helloworld;

public class HelloWorld {
    public static void main(String[] args){
        System.out.println("hello world");
        for(String arg : args){
            System.out.println(arg);
        }
    }
}

-----------
使用mvn打包，然后可以通過如下命令運行：
> java -cp helloworld-1.0-SNAPSHOT.jar me.test.helloworld.HelloWorld arg1 arg2   

2.1 遠程調試模式-1 attach模式

在這種模式下讓debuggee監聽端口等待debugger連接.
IDEA里操作如下圖：

模式1.png

按照上圖復制-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005，這個是給debuggee的jvm參數。

• 這里將suspend=n, 改成了suspend=y， 這樣debuggee啟動后會阻塞住直到debugger連接它
• address=5005，表示debuggee監聽這個端口，也可以指定成address=<ip>:<port>的形式，這里ip是debuggee運行所在的機器的ip
• 上圖中Host， Port應該和上面address中的ip，port一樣，debugger會連接這個ip:port
• transport=dt_socket是debugger和debuggee之間傳輸協議
• server=y, 在模式1下這樣指定， 表示debuggee作為server等待debugger連接

在idea(debugger)里指定好這些以后， 接下來就是先 運行debuggee了，如下：

java -cp helloworld-1.0-SNAPSHOT.jar -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=192.168.1.102:5005  me.test.helloworld.HelloWorld arg1 arg2 

運行后出現下面信息：

Listening for transport dt_socket at address: 5005

表示debuggee等待連接。
接下來的過程就是在idea里，設置斷點，然后像本地debug一樣了。

2.2 遠程調試模式-2 listen模式

即讓debugger監聽端口等待debuggee的連接, 因此先啟動debugger。

IDEA里操作如下：

模式2.png

該模式下先啟動debugger，也就是啟動idea調試，debugger會監聽端口等待debuggee連接。

按照上圖復制給debuggee的jvm參數：

-agentlib:jdwp=transport=dt_socket,server=n,address=172.16.202.150:5005,suspend=y

• 這里去掉了onthrow=<FQ exception class name>,onuncaught=<y/n> 不知道是干什么的
• address==172.16.202.150:5005， debuggee連接該ip:port
• suspend=y, listen模式下可以去掉
• server=n， 表示由debuggee發起連接到debugger。

此時debugger先運行并監聽端口，接下來運行debuggee就可以了，如下：

java -cp helloworld-1.0-SNAPSHOT.jar -agentlib:jdwp=transport=dt_socket,server=n,address=172.16.202.150:5005 me.test.helloworld.HelloWorld

本章參考使用 Eclipse 遠程調試 Java 應用程序

3. 調試Spark

Spark按照角色可以分為Master、 Worker、Driver、Executor。其中Master, Worker只有在Standalone部署模式下才有，使用Yarn提交時只有Driver可Executor。使用Spark算子開發的應用提交執行后會都一個Driver和至少一個Executor，Driver充當job manager的角色，executor作為task executor執行算子。

下文先按照Master，Worker，Driver，Executor的順序介紹如何遠程調試。

3.1 調試Master

Master的main 方法入口在org.apache.spark.deploy.master.Master中。
通過spark源碼包中的sbin/start-master.sh運行Master，源碼包中查找的jar包的路徑是assembly/target/scala-<version>/jars/, 修改了源碼后可以通過運行mvn install -DskipTests重新生成jar包到該路徑下。

想要遠程調試Master主要就是怎么將-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005這種參數設置為啟動Master的jvm參數了。

這里涉及到了啟動Master的過程，不講了，直接說方法。Master啟動時會接收：SPARK_MASTER_OPTS和SPARK_DAEMON_JAVA_OPTS這兩個環境變量的值作為master啟動的jvm參數，其中：

1. SPARK_MASTER_OPTS僅僅被Master使用
2. SPARK_DAEMON_JAVA_OPTS，會被Master和Worker使用

因此可以在start-master.sh中設置環境變量如下：

export SPARK_MASTER_OPTS=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005

這樣運行start-master.sh, 隨后就能在${SPARK_HOME}/logs路徑下生成的日志文件里看到
Listening for transport dt_socket at address: 5005
這樣一條日志信息，表示Master的jvm阻塞并監聽端口等待debugger連接，結下來就是在idea里建立遠程連接。

還可以在${SPARK_HOME}/conf下面新建一個文件名為java-opts, 在這個文件里放jvm參數，一個參數一行，如下所示：

-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005
-Xmn2G

但是這個文件內容會被Master，Worker啟動時作為jvm參數使用。

注：不要通過以上在幾種方式里加-Xmx指定最大堆內存，可以通過設置環境變量SPARK_DAEMON_MEMORY為1G等等這種方式設置-Xmx的值。對于Worker也是同樣的。

3.2 調試Worker

Worker的main方法在org.apache.spark.deploy.worker.Worker中。
通過sbin/start-worker.sh啟動worker。

和Master不同的是Worker的jvm啟動參數的值是從環境變量SPARK_WORKER_OPTS讀取的。

可以在start-worker.sh中通過

export SPARK_WORKER_OPTS=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5006

設置。其他和Master一樣。

3.3 調試Driver

用戶自己使用Spark算子開發應用，然后使用spark-submit.sh提交應用去集群作為一個job運行，job運行起來后會有一個driver和若干executor，driver相當于這個運行中的job的JobManager，負責將RDD DAG劃分為stage，創建task，調度task去executor執行等等。

從運行spark-submit腳本，到用戶打包的jar被提交的集群運行，中間經歷好幾個過程。最終是由org.apache.spark.deploy.SparkSubmit，SparkSubmit自身的啟動命令是由 org.apache.spark.launcher.Main創建的，創建時會從環境變量SPARK_SUBMIT_OPTS獲取值作為SparkSubmit的jvm參數，所以可用export SPARK_SUBMIT_OPTS=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=<port>來調試SparkSubmit。

說回Driver，可以在${SPARK_HOME}/conf/下創建spark-defaults.conf文件，加入下面一行:

spark.driver.extraJavaOptions      -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5009

spark.driver.extraJavaOptions后面的配置都會作為driver的jvm啟動參數，后面就是在idea里斷點調試driver了

3.4 調試Executor

driver只是一個job manager的角色，任務的執行（也就是那些spark 算子map, filter...的執行是在executor上執行的）。

executor對應的main方法所在類是org.apache.spark.executor.CoarseGrainedExecutorBackend。
由于一個job 可能有多個executor，不是很好調試，不過測試環境下應該可以設置一個executor，executor的jvm啟動參數可以通過在${SPARK_HOME/conf/spark-defaults.conf}文件中加入：

spark.executor.extraJavaOptions  your-executor-jvm-params

傳遞。 比如：

spark.executor.extraJavaOptions -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005

設置按照這種方式設置好后，使用spark-submit.sh提交任務，假設是在standalone模式的集群，那么提交運行后Driver會先運行起來, 然后Driver申請在某個Worker上運行org.apache.spark.executor.CoarseGrainedExecutorBackend, 這個會單獨起一個jvm，使用spark.executor.extraJavaOptions參數，如果使用模式1 attach模式，你就可以在CoarseGrainedExecutorBackend里斷點調試了。

CoarseGrainedExecutorBackend運行起來不代表運行spark 算子的任務運行起來了，Driver會將任務序列化發送給CoarseGrainedExecutorBackend去執行，CoarseGrainedExecutorBackend創建Executor（包org.apache.spark.executor.Executor）去執行task，可以在Executor的run方法斷點去調試任務。