Hadoop配置文件
Hadoop集群中的每臺計算節(jié)點都有一組自己的配置文件。
Hadoop系統(tǒng)的后續(xù)版本中按照不同的功能將其劃分為多個配置文件，此外有兩種類型的配置文件:
-default.xml和-site.xml。-site.xml中的配置項覆蓋-default.xml中有相同的配置項。
配置Hadoop守護進程
- hadoop-env.sh
- yarn-env.sh
- mapred-env.sh
這些腳本文件負責設置以下屬性 - Java主目錄
- 不同的日志文件位置
- 用于不同各種守護進程的JVM選項
下列配置選線來配置各個守護進程
名稱節(jié)點——————HADOOP_NAMENODE_OPTS
數(shù)據(jù)節(jié)點——————HADOOP_DATANODE_OPTS
輔助名稱節(jié)點——————HADOOP_SECONDARYNAMENODE_OPTS
資源管理器———————YARN_RESOURCEMANAGER_OPTS
節(jié)點管理器———————YARN_NODEMANAGER_OPTS
Hadoop配置文件的優(yōu)先級
1.MapReduce任務初始化的時候，由JobConf或者Job對象指定的值
2.客戶端節(jié)點的-site.xml
3.從節(jié)點的-site.xml
4.*-dafault文件中的默認值，這個文件是集群中的所有節(jié)點都是相同的
<final>true<final>可以設置屬性不被客戶端修改或者程序修改
core-site.xml
hdfs-*.xml
mapred-site.xml
yarn-site.xml
從HDFS中復制海量數(shù)據(jù)
hadoop distcp hdfs://192.168.1.220:8020/user/hadoop/mydatabase hdfs://192.168.1.22:9000/user/hadoop
注意hadoop的HDFS存放的端口位置
