筆者介紹的是在MAC環(huán)境下使用Idea搭建spark環(huán)境。
環(huán)境:
spark 2.0.0
scala 2.11.8
maven 3.9.9
idea 15
1.Idea的安裝.Idea可以在官網(wǎng)上下載。熟悉java的肯定都知道這個開發(fā)利器，可以在官網(wǎng)上進行下載，在此就不在贅述。有免費的和付費版本，對于我們來說，免費的完全夠用。
2.maven的安裝與配置
Maven 是一個項目管理和構建自動化工具。我們?yōu)榱四硞€功能的實現(xiàn)經(jīng)常用到的別的jar包，maven可以非常方便的管理jar包。
1）在官網(wǎng)上進行下載http://maven.apache.org/download.cgi。下載完成之后進行環(huán)境配置。我把maven的包放在了? /usr/local/share/目錄下
2)在Terminal輸入 vi ~/bash_profile 在此文件配置環(huán)境。（包括java的環(huán)境也在此配置）
運行命令 source ~/.bash_profile 使生效
執(zhí)行 mav -v 查看是否成功
3.使用剛裝完的maven 配置idea
1打開 idea 新建一個工程
Maven home directory maven的下載目錄
user settings file 是maven的配置文件 我們選擇默認就可以了
local repository 是本地包的管理倉庫override之后可以自定義自己的管理目錄。maven自動下載的包都在這里了。
4.創(chuàng)建maven項目
配置完之后會有一段時間的loading 等待即可
Project SDK 你的java版本
給Creat from archetype 打上對勾之后我們就可以選擇模板，選擇scala的模板。一路next之后寫上名字就ok了。
這樣這個項目就創(chuàng)建完成了。我們看一下新項目的目錄結構。
其中的pom.xml就是配置我們項目的依賴包的。src是項目存放代碼的目錄，下面有兩個結構相同的目錄main和test，其中我們在main目錄下編寫代碼，test編寫測試代碼，這里先不使用測試，可以將test目錄刪除。勾選右上角的Enable Auto-Import，這樣Idea就會自動下載項目所需的依賴包。還要注意中間的Scala版本，選擇自己使用的版本。剛開始build會比較慢。
每一個依賴都在一個dependency標簽下，其中包括groupID、artifactID和version。如果不知道依賴包的這些內(nèi)容的話，可以在這里進行查詢，查詢結果就有這些信息。比如要查詢spark的依賴，有如下的結果：
http://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.10/2.0.0-preview
就可以復制到pom.xml文件中了。
maven會自動下載pom.xml中添加的依賴包，不用我們自己添加，非常方便。
這樣一個spark開發(fā)環(huán)境就搭建完畢了。
