安裝java環境
下載jdk，點擊下載：
因為接下來安裝的Hadoop版本是3.0所以這里安裝1.8JDK
1、創建目錄/usr/java
# mkdir -p /usr/java
2、將下載的jdk-8u60-linux-x64.tar.gz上傳至/usr/java目錄;
3、解壓jdk-8u60-linux-x64.tar.gz
# tar -zxvf jdk-8u60-linux-x64.tar.gz
4、解壓生成后,設置環境變量,具體命令如下
# echo "export JAVA_HOME=/usr/java/jdk1.8.0_60" >>/etc/profile
# echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile
# source /etc/profile
# java -version
配置ssh免密登錄
首先安裝配置SSH
原因：不配置SSH免密登錄，每次請求流程比較繁瑣。客戶機在與遠程機進行交互時要進行三次才能登錄：第一步請求遠程機第二步遠程機返回公鑰第三步客戶機使用密碼+公鑰加密后登錄，這樣導致每次都需要輸入密碼。 配置的ssh免密碼登錄后：客戶機直接發送公鑰到遠程機，遠程機發送隨機字符串到客戶機，客戶機使用私鑰加密傳給遠程機，遠程機使用公鑰加密后判斷是否正確。 客戶機掌握公鑰和私鑰，并且不再需要密碼登錄的方式成為ssh免密登錄。
1、檢測是否已經配置ssh
# ssh -version
2、獲取并安裝ssh
# apt install openssh-server(ubuntu)
# yum install openssh-server(centos)
3、配置ssh免密登錄
一直回車
# ssh-keygen -t rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4、測試ssh無密登陸
如果不提示輸入密碼則配置成功
# ssh localhost
安裝Hadoop3環境
安裝完成后可能會出現問題
Q1:Starting namenodes on [localhost]
ERROR: Attempting to launch hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting launch
解決方法：打開sbin/start-dfs.sh和stop-dfs.sh在文件頭部添加
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
Q2:出現一下yarn錯誤提示：
Starting resourcemanager
ERROR: Attempting to launch yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting launch.
Starting nodemanagers
ERROR: Attempting to launch yarn nodemanager as root
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting launch.
解決方案：打開sbin/start- yarn.sh和stop- yarn.sh在文件頭部添加
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
安裝scala環境
因為spark是有scale語言編寫，因此需要安裝scale環境。
打開https://www.scala-lang.org/download/下載對應版本語言庫，這里下載版本是scala-2.12.1.tgz
1、將下載好的文件復制到/usr/local
2、解壓下載的scala文件
# cd /usr/local/scala2.12
# tar -xzvf scala-2.12.1.tgz
3、添加環境變量
# vi /etc/profile
# export SCALA_HOME=/usr/local/scala2.12
# export PATH=$SCALA_HOME/bin:$PATH
4、配置生效
# source /etc/profile
5、檢測是否安裝成功
# scala –version
安裝spark環境
打開下載地址http://spark.apache.org/downloads.html，選擇需要下載的Spark release版本和package type，點擊spark-2.3.3-bin-hadoop2.7.tgz打開下載頁面。
1、 將下載好的文件復制到/usr/local/spark-2.3.3
2、解壓文件spark-2.3.3-bin-hadoop2.7.tgz
# cd /usr/local/spark-2.3.3
# tar -xzvf spark-2.3.3-bin-hadoop2.7.tgz
3、添加環境變量
# vi /etc/profile
4、添加環境變量配置
# export SPARK_HOME=/usr/local/spark-2.3.3
# export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
5、添加配置文件
cong下創建配置文件spark-env.sh 配置hadoop+jdk
# export SPARK_DIST_CLASSPATH=$(${HADOOP_PATH} classpath)
# export JAVA_HOME=/usr/java/dk1.8.0_60
6、驗證成功
# spark-shell
參考 Hadoop 安裝與測試
若有疑問歡迎留言交流
