一、原理（四大要點） （1）保證元數(shù)據(jù)一致（edits） namenode（fsimage edits） a、NFS b、journalnode c、zk （2）只有一臺na...
發(fā)簡信
IP屬地：西藏
-
【原創(chuàng)】七、Hadoop 2.5.2+zookeeper高可用部署
-
【原創(chuàng)】七、Hadoop 2.5.2+zookeeper高可用部署
一、原理（四大要點） （1）保證元數(shù)據(jù)一致（edits） namenode（fsimage edits） a、NFS b、journalnode c、zk （2）只有一臺na...
-
【原創(chuàng)】六、Zokeeper分布式集群部署
一、Zookeeper集群幾個配置項 tickTime：zookeeper服務(wù)器之間或客戶端與服務(wù)器之間維持心跳的時間間隔，單位是毫秒。 datadir：zookeeper存...
-
【原創(chuàng)】五、Hadoop 2.5.2分布式環(huán)境部署一、地址規(guī)劃 二、 按照之前安裝的機器，克隆兩臺機器，分別修改hostname、網(wǎng)卡和ip，配置NTP時間同步 修改主機名：vi /etc/sysconfig/network...
-
【原創(chuàng)】四、HDFS中NameNode的啟動過程
一、HDFS中NameNode的啟動過程 1、在hdfs-site.xml中設(shè)置文件存儲路徑并指向data路徑，在Hadoop安裝路徑中新建data目錄。 2、進行namen...
-
【原創(chuàng)】三、hadoop2.5.2+centos6.5編譯源碼1、安裝jdk1.7，并配置環(huán)境變量 2、安裝其他基礎(chǔ)庫 [root@hadoop0cdh]#yuminstallg++autoconfautomakelibtoolmake...
-
【原創(chuàng)】二、關(guān)于HDFS、YARN及MapReduce的理解
一、HDFS HDFS是分布式文件系統(tǒng)，有高容錯性的特點，可以部署在價格低廉的服務(wù)器上，主要包含namenode和datanode。 Namenode是hdfs中文件目錄和文...
-
【原創(chuàng)】一、Hadoop 2.5.2偽分布式環(huán)境搭建
一、環(huán)境準備 新建或克隆一臺新的centos服務(wù)器虛擬機。 修改ip和hosts，關(guān)閉防火墻iptables和selinux。 新建hadoop用戶，并賦予相應的sudoer...
-
【原創(chuàng)】第零篇大數(shù)據(jù)學習介紹
大數(shù)據(jù)相關(guān)技術(shù)學習和使用了一段時間，最近就沒有怎么用了。打算把之前學習的知識總結(jié)并記錄起來分享給大家，防止忘記了，那就浪費了花費的那么時間和精力了。本系列全部采用hadoop...