一、HDFS中NameNode的啟動(dòng)過(guò)程
1、在hdfs-site.xml中設(shè)置文件存儲(chǔ)路徑并指向data路徑,在Hadoop安裝路徑中新建data目錄。
2、進(jìn)行namenode格式化,在data目前中生成各類目錄,并生成fsimage文件。
3、第一次啟動(dòng)namenode硬盤(pán)中將fsimage加載到內(nèi)存中,hdfs文件如果修改,將寫(xiě)edits文件作為log,并將最新修改內(nèi)容加載到內(nèi)容中。同時(shí)secondarynamenode,將不斷的從namenode中下載并合并相應(yīng)的fsimage+edits,并上傳到namenode,namenode修改原fsimage,替換為新的fsimage。
4、datanode向namenode進(jìn)行注冊(cè)。每隔3秒,datanode向namenode注冊(cè)心跳的間隔時(shí)間。
5、每小時(shí)datanode默認(rèn)向namenode發(fā)送block report。匯報(bào)datanode的數(shù)據(jù)節(jié)點(diǎn)情況。
6、第二次啟動(dòng),namenode硬盤(pán)中將新的fsimage加載到內(nèi)存中,并進(jìn)行改寫(xiě)edits,其他的與第一次啟動(dòng)相似。見(jiàn)下圖
二、HDFS中NameNode元數(shù)據(jù)本地磁盤(pán)存儲(chǔ)目錄如何配置以及DataNode存儲(chǔ)數(shù)據(jù)的本地磁盤(pán)目錄配置
三、存儲(chǔ)在HDFS上的文件,存儲(chǔ)機(jī)制及數(shù)據(jù)安全性保證。
可以在hdfs-site.xml中設(shè)置hdfs的副本數(shù)量
如果設(shè)置3副本,一定有兩個(gè)副本不在同一個(gè)機(jī)架,并且3個(gè)副本不在同的機(jī)器上。