前言
在安裝
Spark
之前,我們需要安裝Scala
語言的支持。在此我選擇的是scala-2.11.7
版本。
scala-2.11.7
下載
為了方便,我現(xiàn)在我的SparkMaster
主機上先安裝,把目錄打開到/usr
目錄下,與我的Java
目錄相一致。
wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz
下載之后解壓
tar -zxvf scala-2.11.7.tgz
解壓之后刪除源文件
rm -rf scala-2.11.7.tgz
配置環(huán)境
在此需要打開/etc/profile
文件進(jìn)行配置
vi /etc/profile
在文件的最后插入
export SCALA_HOME=/usr/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin
插入了之后要使得命令生效,需要的是:
source /etc/profile
檢測是否安裝成功
scala -version
配置其他Slave
主機也安裝scala
在此我選擇在SparkMaster
上使用rsync
命令將/usr/scala-2.11.7/
目錄復(fù)制到其他SparkWorker
上,另外/etc/profile
文件也同樣。
rsync -av /usr/scala-2.11.7/ SparkWorker1:/usr/scala-2.11.7/
rsync -av /usr/scala-2.11.7/ SparkWorker2:/usr/scala-2.11.7/
結(jié)言
其實復(fù)制的時候多種方式,可以使用
scp
,但是發(fā)現(xiàn)rsync
這個命令超級好用,故在此使用rsync
進(jìn)行復(fù)制。至此,三臺的主機的scale
文件已經(jīng)配置好了。已經(jīng)挺晚的了,明天再進(jìn)行配置spark
環(huán)境吧。
文章出自kwongtai'blog,轉(zhuǎn)載請標(biāo)明出處!