第一步:下載spark-1.0.2-bin-hadoop2.tgz ,scala-2.10.4.tgz 版本隨意,由于文件包大于10兆,上傳不了,自行下載吧,下載地址:http://spark.apache.org/downloads.html,http://www.scala-lang.org/download/
下載完后解壓到目錄 如:/exprot/servers ,命令tar -zxvf spark-1.0.2-bin-hadoop2.tgz
第二步:配置環境變量,命令vi /etc/profile
1.配置JAVA_HOME 如:export JAVA_HOME=/export/servers/jdk1.7.0_80,jdk請自行下載
2.配置SCALA_HOME 如:export SCALA_HOME=/export/servers/scala-2.10.4
3.配置SPARK_HOME 如:export SPARK_HOME=/export/servers/spark-1.0.2-bin-hadoop2
4.配置PATH ,可以自己新增一個 如:export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
第三步:配置spark conf文件,首先進入到conf目錄 cd /export/servers/spark-1.0.2-bin-hadoop2/conf,
1.如果該目錄下存在spark-env.sh.template這個文件 ,那么請復制一份并改名為
spark-env.sh,如果沒有spark-env.sh.template,自己直接創建一個spark-env.sh
2.如果該目錄下存在slaves.template這個文件,那么請復制一份并改名為slaves,如果存在slaves,那就什么不用做
3.配置spark-env.sh
export JAVA_HOME=/export/servers/jdk1.7.0_80
export SCALA_HOME=/export/servers/scala-2.10.4
export SPARK_MASTER_IP=192.168.195.159
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/export/servers/spark-1.0.2-bin-hadoop2/conf
SPARK_WORKER_INSTANCES=2
SPARK_WORKER_CORES=2
4.配置 slaves
192.168.158.94
jdbc:mysql:replication://[master-host]:[port],[slave-host]:[port],.../database?[property=<value>]