hadoop HA高可用集群模式搭建指南

簡述

hadoop 集群一共有4種部署模式，詳見《hadoop 生態圈介紹》。
HA模式的集群里面會部署兩臺NN（最多也只能兩臺），以形成主備NN節點，達到高可用的目的。兩臺NN之間同步數據有兩種方法：QJM和NFC。本文選擇QJM方式，下文中出現的 journalnode 即為QJM模式下的進程。
另外還可以配置兩臺ResourceManager，形成主備RM節點，從而達到yarn集群的高可用。
該模式下的集群配置是在完全分布式模式的基礎上做了部分調整。

所有四種模式的部署指南見：
hadoop 偽分布式搭建指南
 hadoop 完全分布式搭建指南
 hadoop HA高可用集群模式搭建指南
 hadoop HA+Federation（聯邦）模式搭建指南

搭建過程

系統環境

Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模擬三臺主機，內存都為2G

節點角色

IP	主機名	角色描述
192.168.100.201	h01.vm.com	主節點 NameNode, job-history-server
192.168.100.202	h02.vm.com	主節點 NameNode, (yarn)ResourceManager
192.168.100.203	h03.vm.com	-

另，以上所有節點都同時是 zookeeper、zkfc、journalnode 和 datanode。運行Namenode和ResourceManager的節點即為主節點。

更新軟件源索引

分別在 h01 h02 h03 操作

sudo apt-get update

安裝基礎軟件

分別在 h01 h02 h03 操作

sudo apt-get install ssh
sudo apt-get install rsync

配置主機域名

分別在 h01 h02 h03 操作

sudo vim /etc/hostname # centos系統可能沒有該文件，創建即可
h01.vm.com # 該節點主機名

將該文件內容修改為對應的主機名，例如 h01.vm.com

域名解析

搭建內網DNS服務器（可選，但推薦），可閱讀vincent的博文
http://blog.kissdata.com/2014/07/10/ubuntu-dns-bind.html
配置 /etc/hosts，將以下代碼追加到文件末尾即可（如搭建了DNS服務器，則跳過此步驟）
分別在 h01 h02 h03 操作

sudo vim /etc/hosts
192.168.100.201 h01.vm.com h01
192.168.100.202 h02.vm.com h02
192.168.100.203 h03.vm.com h03

!!! Ubuntu系統，須刪掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!!
Check that there isn't an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this).
127.0.1.1 h01.vm.com # must remove

不然可能會引起 hadoop、zookeeper 節點間通信的問題

時間同步（可選）

在內網中搭建 ntp 服務器，可閱讀vincent的博文
http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html

準備jdk、hadoop和zookeeper軟件包

須到官方網站下載stable版本
jdk-7u79-linux-x64.tar.gz
hadoop-2.7.2.tar.gz
zookeeper-3.4.8.tar.gz
所有的軟件包都統一解壓到 /home/vagrant/VMBigData 目錄下，其中 vagrant 是linux系統的用戶名，由于我是使用 vagrant 虛擬的主機，所以默認是 vagrant
在 h01 操作

# 先在其中一臺機子操作，后面會使用 scp 命令或者其他方法同步到其他主機
mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java /home/vagrant/VMBigData/zookeeper
tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java
tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop
tar zxf zookeeper-3.4.8.tar.gz -C /home/vagrant/VMBigData/zookeeper

配置軟連接，方便以后升級版本

在 h01 操作，后面通過 scp 同步到其他主機

ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/  /home/vagrant/VMBigData/java/default
ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/  /home/vagrant/VMBigData/hadoop/default
ln -s /home/vagrant/VMBigData/zookeeper/zookeeper-3.4.8/ /home/vagrant/VMBigData/zookeeper/default

配置環境變量

分別在 h01 h02 h03 操作

sudo vim /etc/profile
export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
source /etc/profile

配置免密碼ssh登錄

hadoop主節點需要能遠程登陸集群內的所有節點（包括自己），以執行命令。所以需要配置免密碼的ssh登陸。可選的ssh秘鑰對生成方式有rsa和dsa兩種，這里選擇rsa。

分別在 h01 h02 ，即兩個主節點上操作

ssh-keygen -t rsa -C "youremail@xx.com"
# 注意在接下來的命令行交互中，直接按回車跳過輸入密碼

以下命令將本節點的公鑰 id_rsa.pub 文件的內容追加到遠程主機的 authorized_keys 文件中（默認位于 ~/.ssh/）

ssh-copy-id vagrant@h01.vm.com # vagrant是遠程主機用戶名
ssh-copy-id vagrant@h02.vm.com # vagrant是遠程主機用戶名
ssh-copy-id vagrant@h03.vm.com

在 h01 h02 上測試無密碼 ssh 登錄到 h01 h02 h03

ssh h01.vm.com
ssh h02.vm.com
ssh h03.vm.com

!!! 注意使用rsa模式生成密鑰對時，不要輕易覆蓋原來已有的，確定無影響時方可覆蓋 !!!

配置從節點

在 slaves 文件中配置的主機即為從節點，將自動運行datanode服務

在 h01 操作，后面通過 scp 同步到其他主機

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves
h01.vm.com 
h02.vm.com
h03.vm.com

建立存儲數據的相應目錄

在 h01 操作，后面通過 scp 同步到其他主機

mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp
mkdir -p /home/vagrant/VMBigData/hadoop/data/pid
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs
mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs

配置hadoop參數

在 h01 操作，后面通過 scp 同步到其他主機

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh

# export JAVA_HOME=${JAVA_HOME} # 注意注釋掉原來的這行
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default
# export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注釋掉原來的這行
export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
# export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注釋掉原來的這行
export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh

export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <!-- 指定hdfs的nameservice為h01，需與dfs.nameservices一致 -->  
  <property> 
    <name>fs.defaultFS</name>  
    <value>hdfs://ns1</value> 
  </property>  
  <!-- 指定hadoop數據存儲目錄 -->  
  <property> 
    <name>hadoop.tmp.dir</name>  
    <value>/home/vagrant/VMBigData/hadoop/data/hdfs/tmp</value> 
  </property>  
  <!-- 指定zookeeper地址 -->  
  <property> 
    <name>ha.zookeeper.quorum</name>  
    <value>h01.vm.com:2181,h02.vm.com:2181,h03.vm.com:2181</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>dfs.replication</name>  
    <!-- 單機版的一般設為1，若是集群，一般設為3 -->  
    <value>2</value> 
  </property>  
  <!-- 以下3個 property 的配置，是非HA模式下的，即一個集群只有一個 namenode，在這里不可使用 -->  
  <!-- 配置Secondary NameNode在另外一個節點上，該節點也將作為主節點之一 -->  
  <!-- <property>
<name>dfs.http.address</name>
<value>h01.vm.com:50070</value>
<description>Secondary get fsimage and edits via dfs.http.address</description>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>h02.vm.com:50090</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>/home/vagrant/VMBigData/hadoop/data/namesecondary</value>
</property> -->  
  <!-- 以下 property 配置，是haddop的HA即高可用模式，一個集群可以配置最多2個namenode -->  
  <!-- 命名空間的邏輯名稱 -->  
  <property> 
    <name>dfs.nameservices</name>  
    <value>ns1</value> 
  </property>  
  <!-- 命名空間中所有NameNode的唯一標示。該標識指示DataNode集群中有哪些NameNode。目前最多只能配置兩個NameNode -->  
  <property> 
    <name>dfs.ha.namenodes.ns1</name>  
    <value>nn1,nn2</value> 
  </property>  
  <property> 
    <name>dfs.namenode.rpc-address.ns1.nn1</name>  
    <value>h01.vm.com:9000</value> 
  </property>  
  <property> 
    <name>dfs.namenode.http-address.ns1.nn1</name>  
    <value>h01.vm.com:50070</value> 
  </property>  
  <property> 
    <name>dfs.namenode.rpc-address.ns1.nn2</name>  
    <value>h02.vm.com:9000</value> 
  </property>  
  <property> 
    <name>dfs.namenode.http-address.ns1.nn2</name>  
    <value>h02.vm.com:50070</value> 
  </property>  
  <!-- JournalNode URLs，ActiveNameNode 會將 Edit Log 寫入這些 JournalNode 所配置的本地目錄即 dfs.journalnode.edits.dir -->  
  <property> 
    <name>dfs.namenode.shared.edits.dir</name>  
    <value>qjournal://h01.vm.com:8485;h02.vm.com:8485;h03.vm.com:8485/ns1</value> 
  </property>  
  <!-- JournalNode 用于存放 editlog 和其他狀態信息的目錄 -->  
  <property> 
    <name>dfs.journalnode.edits.dir</name>  
    <value>/home/vagrant/VMBigData/hadoop/data/journal</value> 
  </property>  
  <property> 
    <name>dfs.ha.automatic-failover.enabled</name>  
    <value>true</value> 
  </property>  
  <property> 
    <name>dfs.client.failover.proxy.provider.ns1</name>  
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
  </property>  
  <!-- 一種關于 NameNode 的隔離機制(fencing) -->  
  <property> 
    <name>dfs.ha.fencing.methods</name>  
    <value>sshfence shell(/bin/true)</value> 
  </property>  
  <property> 
    <name>dfs.ha.fencing.ssh.private-key-files</name>  
    <value>/home/vagrant/.ssh/id_rsa</value> 
  </property>  
  <property> 
    <name>dfs.ha.fencing.ssh.connect-timeout</name>  
    <value>30000</value> 
  </property>  
  <!-- HA模式配置結束 -->  
  <property> 
    <name>dfs.namenode.name.dir</name>  
    <!-- 創建的namenode文件夾位置，如有多個用逗號隔開。配置多個的話，每一個目錄下數據都是相同的，達到數據冗余備份的目的 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/namenode1,file:///home/vagrant/VMBigData/hadoop/data/namenode2</value> 
  </property>  
  <property> 
    <name>dfs.datanode.data.dir</name>  
    <!-- 創建的datanode文件夾位置，多個用逗號隔開，實際不存在的目錄會被忽略 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/datanode1,file:///home/vagrant/VMBigData/hadoop/data/datanode2</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>yarn.resourcemanager.hostname</name>  
    <value>h02.vm.com</value> 
  </property>  
  <property> 
    <name>yarn.log-aggregation-enable</name>  
    <!-- 打開日志聚合功能，這樣才能從web界面查看日志 -->  
    <value>true</value> 
  </property>  
  <property> 
    <name>yarn.log-aggregation.retain-seconds</name>  
    <!-- 聚合日志最長保留時間 -->  
    <value>86400</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.resource.memory-mb</name>  
    <!-- NodeManager總的可用內存，這個要根據實際情況合理配置 -->  
    <value>1024</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.minimum-allocation-mb</name>  
    <!-- MapReduce作業時，每個task最少可申請內存 -->  
    <value>256</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.maximum-allocation-mb</name>  
    <!-- MapReduce作業時，每個task最多可申請內存 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-pmem-ratio</name>  
    <!-- 可申請使用的虛擬內存，相對于實際使用內存大小的倍數。實際生產環境中可設置的大一些，如4.2 -->  
    <value>2.1</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-check-enabled</name>  
    <value>false</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.local-dirs</name>  
    <!-- 中間結果存放位置。注意，這個參數通常會配置多個目錄，已分攤磁盤IO負載。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/localdir1,/home/vagrant/VMBigData/hadoop/data/localdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.log-dirs</name>  
    <!-- 日志存放位置。注意，這個參數通常會配置多個目錄，已分攤磁盤IO負載。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/logdir1,/home/vagrant/VMBigData/hadoop/data/logdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>mapreduce.framework.name</name>  
    <value>yarn</value> 
  </property>  
  <property> 
    <name>yarn.app.mapreduce.am.resource.mb</name>  
    <!-- 默認值為 1536,可根據需要調整，調小一些也是可接受的 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>mapreduce.map.memory.mb</name>  
    <!-- 每個map task申請的內存，每一次都會實際申請這么多 -->  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.map.java.opts</name>  
    <!-- 每個map task中的child jvm啟動時參數，需要比 mapreduce.map.memory.mb 設置的小一些 -->  
    <!-- 注意：map任務里不一定跑java，可能跑非java（如streaming） -->  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.memory.mb</name>  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.java.opts</name>  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.map.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.reduce.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapred.child.java.opts</name>  
    <!-- 默認值為 -Xmx200m，生產環境可以設大一些 -->  
    <value>-Xmx384m</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.mb</name>  
    <!-- 任務內部排序緩沖區大小 -->  
    <value>128</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.factor</name>  
    <!-- map計算完全后的merge階段，一次merge時最多可有多少個輸入流 -->  
    <value>100</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.shuffle.parallelcopies</name>  
    <!-- reuduce shuffle階段并行傳輸數據的數量 -->  
    <value>50</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.address</name>  
    <value>h01.vm.com:10020</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.webapp.address</name>  
    <value>h01.vm.com:19888</value> 
  </property> 
</configuration>

安裝配置zookeeper

在 h01 操作，后面通過 scp 同步到其他主機

cd /home/vagrant/VMBigData/zookeeper/default/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
# 對該文件做出以下修改
dataDir=/home/vagrant/VMBigData/zookeeper/data/tmp
# 如果無法啟動zookeeper，可將以下代碼對應的行改為 0.0.0.0:2888:3888
# 注意zookeeper解析該文件很死板，不要輸入多余的空格和空行
server.1=h01.vm.com:2888:3888
server.2=h02.vm.com:2888:3888
server.3=h03.vm.com:2888:3888

mkdir -p /home/vagrant/VMBigData/zookeeper/data/tmp
vim /home/vagrant/VMBigData/zookeeper/data/tmp/myid
# 在此文件中輸入節點編號，比如h01節點就輸入1，h02節點就輸入2

將hadoop所需文件同步到其他主機

在 h01 上操作

scp -r /home/vagrant/VMBigData vagrant@h02.vm.com:/home/vagrant
scp -r /home/vagrant/VMBigData vagrant@h03.vm.com:/home/vagrant

!!! 注意：default 軟連接需要重建 !!!

修改各節點的 zookeeper 的 /home/vagrant/VMBigData/zookeeper/data/tmp/myid 文件，內容為各節點編號，本例中為 1,2,3

啟動zookeeper

在 h01 h02 h03 操作

cd /home/vagrant/VMBigData/zookeeper/default
bin/zkServer.sh start

啟動JournalNode

在任一配置了journalnode的節點操作

cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemons.sh start journalnode

格式化namenode

在 h01 namenode 上執行

hdfs namenode -format

!!! 注意僅在首次啟動時執行，因為此命令會刪除hadoop集群所有的數據 !!!

同步兩個namenode數據（方法一：推薦）

在 h01 啟動 namenode

cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh start namenode

在 h02 執行同步

cd /home/vagrant/VMBigData/hadoop/default
bin/hdfs namenode -bootstrapStandby

在 h02 啟動 namenode

cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh start namenode

同步兩個namenode數據（方法二：不推薦，可能引起復制后的文件的權限問題）

在 h01 操作

scp -r /home/vagrant/VMBigData/hadoop/data/namenode1/ vagrant@h02.vm.com:/home/vagrant/VMBigData/hadoop/data/
scp -r /home/vagrant/VMBigData/hadoop/data/namenode2/ vagrant@h02.vm.com:/home/vagrant/VMBigData/hadoop/data/

格式化zkfc

在 h01 或 h02 (任一namenode) 上操作

hdfs zkfc -formatZK

!!! 注意僅在首次啟動時執行 !!!

啟動zkfc

在 h01 h02 h03 等計劃運行zkfc的節點上操作

cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh start zkfc
# sbin/hadoop-daemon.sh stop zkfc #  停止

啟動hadoop集群：

啟動hdfs

可在任意主節點執行

cd /home/vagrant/VMBigData/hadoop/default
sbin/start-dfs.sh
# sbin/stop-dfs.sh # 停止

啟動Yarn

在 h02 ResourceManager 上操作

cd /home/vagrant/VMBigData/hadoop/default
sbin/start-yarn.sh
# sbin/stop-yarn.sh# 停止

啟動 job history server（可選）

在 h01 上操作

cd /home/vagrant/VMBigData/hadoop/default
sbin/mr-jobhistory-daemon.sh start historyserver
# sbin/mr-jobhistory-daemon.sh stop historyserver # 停止

瀏覽服務啟動情況

NameNode1
http://192.168.100.201:50070

NameNode2
http://192.168.100.202:50070

ResourceManager
http://192.168.100.202:8088

MapReduce JobHistory Server
http://192.168.100.201:19888

Datanode
http://192.168.100.201:50075
http://192.168.100.202:50075
http://192.168.100.203:50075

zookeeper
bin/zkServer.sh status

zookeeper命令行
zkCli.sh -server 127.0.0.1:2181

集群狀態
bin/hdfs dfsadmin -report

hadoop進程
jps

最后編輯于：2018.01.06 10:54:09

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市，隨后出現的幾起案子，更是在濱河造成了極大的恐慌，老刑警劉巖，帶你破解...
沈念sama閱讀 227,797評論 6贊 531
死咒
序言：濱河連續發生了三起死亡事件，死亡現場離奇詭異，居然都是意外死亡，警方通過查閱死者的電腦和手機，發現死者居然都...
沈念sama閱讀 98,179評論 3贊 414
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人，你說我怎么就攤上這事。” “怎么了？”我有些...
開封第一講書人閱讀 175,628評論 0贊 373
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長。經常有香客問我，道長，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 62,642評論 1贊 309
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮，結果婚禮上，老公的妹妹穿的比我還像新娘。我一直安慰自己，他們只是感情好，可當我...
茶點故事閱讀 71,444評論 6贊 405
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著，像睡著了一般。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發上，一...
開封第一講書人閱讀 54,948評論 1贊 321
城市分裂傳說
那天，我揣著相機與錄音，去河邊找鬼。笑死，一個胖子當著我的面吹牛，可吹牛的內容都是我干的。我是一名探鬼主播，決...
沈念sama閱讀 43,040評論 3贊 440
雙鴛鴦連環套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了？” 一聲冷哼從身側響起，我...
開封第一講書人閱讀 42,185評論 0贊 287
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后，有當地人在樹林里發現了一具尸體，經...
沈念sama閱讀 48,717評論 1贊 333
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內容為張勛視角年9月15日...
茶點故事閱讀 40,602評論 3贊 354
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發現自己被綠了。大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
茶點故事閱讀 42,794評論 1贊 369
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖，靈堂內的尸體忽然破棺而出，到底是詐尸還是另有隱情，我是刑警寧澤，帶...
沈念sama閱讀 38,316評論 5贊 358
?日本核電站爆炸內幕
正文年R本政府宣布，位于F島的核電站，受9級特大地震影響，放射性物質發生泄漏。R本人自食惡果不足惜，卻給世界環境...
茶點故事閱讀 44,045評論 3贊 347
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧，春花似錦、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 34,418評論 0贊 26
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至，卻和暖如春，著一層夾襖步出監牢的瞬間，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 35,671評論 1贊 281
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人。一個月前我還...
沈念sama閱讀 51,414評論 3贊 390
代替公主和親
正文我出身青樓，卻偏偏與公主長得像，于是被迫代替她去往敵國和親。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
茶點故事閱讀 47,750評論 2贊 370

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

hadoop HA高可用集群模式搭建指南

hadoop HA高可用集群模式搭建指南

簡述

搭建過程

系統環境

節點角色

更新軟件源索引

安裝基礎軟件

配置主機域名

域名解析

時間同步（可選）

準備jdk、hadoop和zookeeper軟件包

配置軟連接，方便以后升級版本

配置環境變量

配置免密碼ssh登錄

配置從節點

建立存儲數據的相應目錄

配置hadoop參數

安裝配置zookeeper

將hadoop所需文件同步到其他主機

啟動zookeeper

啟動JournalNode

格式化namenode

同步兩個namenode數據（方法一：推薦）

同步兩個namenode數據（方法二：不推薦，可能引起復制后的文件的權限問題）

格式化zkfc

啟動zkfc

啟動hadoop集群：

瀏覽服務啟動情況

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

hadoop HA高可用集群模式搭建指南

簡述

搭建過程

系統環境

節點角色

更新軟件源索引

安裝基礎軟件

配置主機域名

域名解析

時間同步（可選）

準備jdk、hadoop和zookeeper軟件包

配置軟連接，方便以后升級版本

配置環境變量

配置免密碼ssh登錄

配置從節點

建立存儲數據的相應目錄

配置hadoop參數

安裝配置zookeeper

將hadoop所需文件同步到其他主機

啟動zookeeper

啟動JournalNode

格式化namenode

同步兩個namenode數據（方法一：推薦）

同步兩個namenode數據（方法二：不推薦，可能引起復制后的文件的權限問題）

格式化zkfc

啟動zkfc

啟動hadoop集群：

瀏覽服務啟動情況

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频