大數據環境搭建--01 Centos7環境配置

1. 在VMware上安裝三臺Centos7虛擬機

請參考其他教程,如:http://www.linuxidc.com/Linux/2014-10/108013.htm

2. 配置網路(使用NAT模式)

設置VMware的ip(網關IP),此次將網段設置為192.168.88.0,三臺虛擬機的ip分別為201,202,203


Paste_Image.png
Paste_Image.png

將主機上的VMnet8虛擬網卡的ip設置為192.168.88.2

Paste_Image.png

3. 設置虛擬機靜態ip

此處以201為例,使用root身份登錄系統,使用vim打開配置文件/etc/sysconfig/network-scripts/ifcfg-ens33,將內容修改如下:

TYPE="Ethernet"
BOOTPROTO="static" #將dhcp改為static
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="8ae181fb-3e3e-4167-a157-687f2f1c71f4"
DEVICE="ens33"
ONBOOT="yes" #開機啟用本配置
IPADDR=192.168.88.201 #靜態IP地址
GATEWAY=192.168.88.1 #網管地址
NETMASK=255.255.255.0 #子網掩碼
DNS1=192.168.88.1 #DNS設置為網管一樣

重啟虛擬機即可生效

4. 設置虛擬機主機名

我們將主機名命名為以cluster+ip后綴的形式,此處三臺依次為:
192.168.88.201 cluster201
192.168.88.202 cluster202
192.168.88.203 cluster203
此處以201為例,查看當前主機名:

[root@localhost ~]# hostname
localhost.localdomain
# 修改hostname,這種修改方式重啟后會失效
[root@localhost ~]# hostname cluster201
[root@localhost ~]# hostname
cluster201

使用vim打開/etc/hostname文件,將內容修改如下:

cluster201

可重啟一下虛擬機

5. 修改hosts文件

三臺虛擬機執行同樣的操作,使用vim打開/etc/hosts文件,在文件末尾增加如下內容:

192.168.88.201 cluster201
192.168.88.202 cluster202
192.168.88.203 cluster203

6. 設置ssh免密登錄

此處以201和root用戶為例,在201上要用root用戶免密登錄到202與203上,其他用戶與IP虛擬機類似
在201上生成key:

# 執行如下命令生成key,一路回車即可
[root@cluster201 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
ed:5f:6f:e0:84:a7:a4:4c:97:0a:e9:8e:a4:56:17:2c root@cluster201
The key's randomart image is:
+--[ RSA 2048]----+
|                 |
|                 |
|       .         |
|      E o.       |
|       .So.  o   |
|      . +.. = +  |
|     ..o +.= =.. |
|    .o .. +......|
|   .. ...   .  ..|
+-----------------+
#查看~/.ssh目錄下生成了兩個文件
[root@cluster201 ~]# ls .ssh/
id_rsa  id_rsa.pub
# 將公鑰放入目標機器后執行,第一次ssh到202,此時就不需要密碼了
[root@cluster201 ~]# ssh cluster202
The authenticity of host 'cluster202 (192.168.88.202)' can't be established.
ECDSA key fingerprint is 7c:1f:06:3d:19:63:3a:c2:79:19:3f:02:ed:f7:49:cd.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'cluster202,192.168.88.202' (ECDSA) to the list of known hosts.
Last login: Thu Jun  1 17:39:52 2017 from 192.168.88.2
[root@cluster202 ~]# 

將公鑰放入到登錄的目標機器上(202,203):
將生成key的機器上的/.ssh/id_rsa.pub內容追加到目標機器的/.ssh/authorized_keys的最后一行,
然后把三臺機器 .ssh/ 文件夾權限改為700,authorized_keys文件權限改為600(or 644)

[root@cluster201 ~]$ chmod 700 .ssh
[root@cluster201 ~]$ chmod 600 .ssh/authorized_keys

7. 安裝JAVA環境

請參考:http://www.lxweimin.com/p/288cf1bc3096

8. 添加hadoop用戶,設置免密登錄,添加應用安裝目錄/opt/bigdata

[root@cluster201 ~]# adduser hadoop
# 比如講秘密設置為123456
[root@cluster201 ~]# passwd hadoop
更改用戶 hadoop 的密碼 。
新的 密碼:
無效的密碼: 密碼少于 8 個字符
重新輸入新的 密碼:
passwd:所有的身份驗證令牌已經成功更新。
# 免密登錄參考6
#新建應用安裝目錄,并修改權限
[root@cluster202 ~]# mkdir /opt/bigdata
[root@cluster202 ~]# chown hadoop /opt/bigdata
[root@cluster202 ~]# chgrp hadoop /opt/bigdata
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,663評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,125評論 3 414
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,506評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,614評論 1 307
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,402評論 6 404
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 54,934評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,021評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,168評論 0 287
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,690評論 1 333
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,596評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,784評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,288評論 5 357
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,027評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,404評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,662評論 1 280
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,398評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,743評論 2 370

推薦閱讀更多精彩內容

  • 名詞延伸 通俗的說,域名就相當于一個家庭的門牌號碼,別人通過這個號碼可以很容易的找到你。如果把IP地址比作一間房子...
    楊大蝦閱讀 20,614評論 2 56
  • 目前能ping通的IP:216.58.193.51 59.18.44.245 59.18.44.53 59.18....
    StevenZack閱讀 1,831評論 0 0
  • 之前的有點忘記了,這里在云筆記拿出來再玩玩.看不懂的可以留言 大家可以嘗試下Ambari來配置Hadoop的相關環...
    HT_Jonson閱讀 2,981評論 0 50
  • 1、第八章 Samba服務器2、第八章 NFS服務器3、第十章 Linux下DNS服務器配站點,域名解析概念命令:...
    哈熝少主閱讀 3,750評論 0 10
  • 昨晚發了一篇日志,是關于四月的一些瑣事,有公眾號,有收到的信,有兼職。 阿萍說,我從南京回來了。晚安! 倩倩說,明...
    超酷的阿婷閱讀 203評論 0 0