hadoop的安裝

新建hadoop目錄，并創建source文件夾用來存放相關的軟件。

mkdir /opt/hadoop
mkdir /opt/hadoop/source

# 解壓安裝
tar -xzvf /usr/local/hadoop-2.7.3.tar.gz
#將解壓后的文件夾移動到 hadoop目錄下
mv hadoop-2.7.3 /opt/hadoop

配置環境變量

編輯配置文件

vim /etc/profile

#添加如下內容

#HADOOP
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
# hadoop data direcotory
export HADOOP_DATA_DIR=/mnt/hdfs
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

#使配置文件生效
source /etc/profile

#更改文件所有者
chown hadoop $HADOOP_HOME

建立數據存儲目錄namenode和datanode

環境變量HADOOP_DATA_DIR=/mnt/hdfs

#建立目錄
mkdir $HADOOP_DATA_DIR/namenode
mkdir $HADOOP_DATA_DIR/datanode

#更改文件所有者
chown hadoop /mnt/hdfs/namenode
chown hadoop /mnt/hdfs/datanode

修改hadoop配置文件

進入相應的路徑

cd /opt/hadoop/hadoop-2.7.3/etc/hadoop

對要修改的文件進行備份

cp core-site.xml core-site.xml.bak
cp hdfs-site.xml hdfs-site.xml.bak
cp yarn-site.xml yarn-site.xml.bak
cp hadoop-env.sh hadoop-env.sh.bak
cp mapred-site.xml.template mapred-site.xml

修改hadoop-env.sh

# 將變量改成常量即路徑！！！不然會找不到JAVA_HOME
export JAVA_HOME=$JAVA_HOME //默認
export JAVA_HOME=/opt/IBM/WebSphere/AppServer/java //改成java安裝路徑

**修改core-site.xml **
在<configuration></configuration>增加hdfs的端口信息
增加的內容如下：

<property> 
  <name>fs.default.name</name> 
  <value>hdfs://localhost:9000</value>
</property> 

<property>
<!-- 設置每個節點臨時文件目錄 --> 
  <name>hadoop.tmp.dir</name> 
<!-- 當前用戶須要對此目錄有讀寫權限，啟動集群時自動創建 -->
  <value>/home/tmp</value> 　　 
</property> 

修改hdfs-site.xml
在<configuration></configuration>增加以下內容：

<property>
<!-- 設置數據的備份數為1--> 
 <name>dfs.replication</name>
 <value>1</value> 
</property> 

<property>
 <name>dfs.namenode.dir</name>
 <value>file:/mnt/hdfs/namenode</value> 
</property> 

<property>
 <name>dfs.datanode.dir</name>
 <value>file:/mnt/hdfs/datanode</value> 
</property>

修改mapred-site.xml文件

<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value> 
</property>

修改yarn-site.xml文件
在<configuration></configuration>增加以下內容：

<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property> 

<property>
 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>           
 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

啟動hadoop

1. 格式化namenode
   hadoop namenode -format
2. 啟動所有hadoop守護進程
   start-all.sh
3. 查看守護進程是否全部啟動
   jps

hadoop全部守護進程啟動應該有5個，如下：

遇到的錯誤

注意：
在搭建過程中遇到報錯一定要去查看日志，然后再去解決問題，會事半功倍。錯誤日志所在目錄為：hadoop的安裝路徑/logs

Could not find the main class

hadoop格式化時報錯org.apache.hadoop.hdfs.server.namenode.NameNode。。。
我這里是由于之前安裝過cognos，java環境變量設置的是cognos的自帶java環境。
解決辦法

1. 下載java
   yum install java*
   下載完成后可以看到下載了多個java版本，從1.5到1.7。這里我們選擇使用1.7版本。
2. 利用linux下的多版本管理軟件alternatives來實現jdk的版本更改
   在/usr/lib/jvm文件夾下時間存儲了各個jdk版本的軟件，而alternatives正是通過修改它的java引用達到版本切換的目的。
3. 使用alternatives實現版本切換

• 查看相應的jdk是否在redhat的jdk菜單里。并選擇序號，回車即可；
  update-alternatives --config java
  update-alternatives --config javac

  
  

4. java -version,javac -version查看當前jdk版本
5. 如果java版本沒有進行更改，則需要在環境變量path中添加選擇的java變量。
   通過如下命令可以在$PATH的開始或末尾添加jdk的環境變量(bin目錄下保存了java, javac, javah等可執行命令)

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk.x86_64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

由于執行的時候總是從$PATH的開始搜索可執行文件的位置，所以如果環境變量中已經設置了一個jdk，那么把新的jdk設置在PATH的開始才會有用。

No route to host

jps發現少了nodemanager，于是查看日志文件hadoop-root-datanode-cognos.log
發現報了一下錯誤：

DataNode: Initialization failed for Block pool

格式化并啟動所有進程后沒有datanode進程
查看datanode日志發現

#java.io.IOException: Incompatible clusterIDs in /home/tmp/dfs/data: namenode clusterID = CID-07c55851-43ac-4c60-8920-4222ebdae886; datanode clusterID = CID-f3af4a31-2c73-4a0d-a6f0-8e1d310df111
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:775)
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadStorageDirectory(DataStorage.java:300)
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadDataStorage(DataStorage.java:416)
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.addStorageLocations(DataStorage.java:395)
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:573)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1362)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1327)
    at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:317)
    at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:223)
    at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:802)
    at java.lang.Thread.run(Thread.java:744)
#2017-01-11 09:20:00,862 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to cognos/172.16.7.191:9000. Exiting. 
#java.io.IOException: All specified directories are failed to load.

這是由于datanode的clusterID 和 namenode的clusterID 不匹配造成的。
造成這個原因的操作是我剛開始配置core-site.xml的時候，hdfs的value配置的是：hdfs://localhost:9000。而后來我又改成了hdfs://172.16.7.191:9000。這導致在兩次執行格式化操作的時候datanode的clusterID 和 namenode的clusterID 不匹配。

解決辦法

1. 將/home/tmp/dfs/data/current目錄里的version文件的clusterID替換成/home/tmp/dfs/name/current目錄下的version文件里的clusterID
2. 執行重啟操作 start-dfs.sh 然后用 jps命令查看 就可以看到namenode已被啟動

參考文章：
jdk版本切換
通過web端口查看主節點、slave1節點及集群運行狀態