Spark源碼是有Scala語言寫成的,目前,IDEA對Scala的支持要比eclipse要好,大多數人會選在在IDEA上完成Spark平臺應用的開發。因此,Spark源碼閱讀的IDE理所當然的選擇了IDEA。
安裝jdk/java? 略
安裝git
安裝scala
安裝sbt
http://www.scala-sbt.org/download.html
下載地址
安裝完成后輸入sbt,會自動下載需要的包,要等一段時間。
本文介紹的是Windows下的各項配置方法(默認已經裝了java,JDK)。
下面列舉搭建此環境需要的各個組件:
IDEA,有兩個版本:Ultimate Edition & Community Edition,后者是free的,而且完全能滿足學習者所有的需求
Scala,Spark是用Scala語言寫成的,在本地編譯執行需要這個包
SBT,scala工程構建的工具
Git,IDEA自動下載SBT插件時可能會用到的工具
Spark Source Code,Spark源碼
spark下載源碼(http://spark.apache.org/downloads.html):
IDEA下載地址:https://www.jetbrains.com/idea/download/#section=windows
打開IDEA,在‘Welcome to IntelliJ IDEA’界面的‘Quick Start’欄,點擊Configure,選擇Plugins。
在彈出的窗口中可以看到已安裝的插件,現在IDEA默認還沒有Scala的插件。需要點擊左下角的Install JetBrains plugin...,在搜索框中輸入‘scala’,點擊安裝。安裝完成后可能會要求重啟一下IDEA。
解壓縮Spark Source Code包
導入Spark工程
在歡迎界面‘Quick Start’欄或者是在主界面的菜單欄File下,選Import Project,找到解壓之后的spark工程文件夾,OK。
選擇import project from external model中的SBT project,(這個選項只有在安裝了IDEA的Scala插件才會有)。
下一步,選擇Project SDK為JDK,最好勾上Use auto-import,然后點擊Finish。這時,IDEA會自動下載安裝SBT所需的各個包,沒有裝Git的話可能會報錯。
因為Spark是一個比較大的工程,所需的包也很多,這個過程也會特別慢,請耐心等待。
導入完成
導入完成后,自動打開工程,要等一段時間,等待sbt對這個工程進行編譯。
安裝intelliJ IDE
打開工程文件:file->open
打開后需要加載一些資源包
參考:
http://guozhongxin.com/pages/2014/10/15/spark_source_code.html