? ? ? ? 負載均衡及高可用一直是我們線上服務(wù)架構(gòu)所關(guān)注的重點，本文內(nèi)容，將介紹如何在 Docker 環(huán)境下實現(xiàn) MongoDB 的副本集及分片。
? ? ? ? 在 MongoDB 中，副本集是一組實現(xiàn)了復(fù)制功能的服務(wù)器，其中一個是主服務(wù)器（Primary），用于處理客戶端請求；其余為備份服務(wù)器（Secondary），用于保存主服務(wù)器的副本。如果主服務(wù)器出現(xiàn)故障，備份服務(wù)器將推舉出其中一個成員為主服務(wù)器，繼續(xù)響應(yīng)請求。分片（Sharding）是將數(shù)據(jù)拆分并分散存放在不同機器上，這樣不需要功能強大的大型計算機就可以存儲更多的數(shù)據(jù)，處理更大的負載。MongoDB 的分片機制允許你創(chuàng)建一個包含許多臺機器的集群，將數(shù)據(jù)子集分散在集群中，每個分片維護著一個數(shù)據(jù)集合的子集。與單機服務(wù)器和副本集相比，集群架構(gòu)可以使應(yīng)用程序具有更大的數(shù)據(jù)處理能力。
? ? ? ? 副本集是讓多臺服務(wù)器都擁有同樣的數(shù)據(jù)副本，每一臺服務(wù)器都是其他服務(wù)器的鏡像，而每一個分片都擁有和其他分片不同的數(shù)據(jù)子集。
? ? ? ? 分片的目標之一是創(chuàng)建一個擁有5臺、500臺甚至更多機器的集群，整個集群對應(yīng)用程序來說就像是一臺單機服務(wù)器。為了對應(yīng)用程序隱藏數(shù)據(jù)庫架構(gòu)的細節(jié)，在分片之前要先執(zhí)行 mongos 進行一次路由過程。這個路由服務(wù)器維護著一個“內(nèi)容列表”，指明了每個分片包含哪些數(shù)據(jù)內(nèi)容。應(yīng)用程序只需要連接到路由服務(wù)器，就可以像使用單機服務(wù)器一樣進行正常的請求了。
? ? ? ? 那么是不是在業(yè)務(wù)剛起步時就進行分片呢？不然。分片不止會增加部署的操作復(fù)雜度，還要求做出設(shè)計決策，而該決策以后很難再更改，所以不必太早分片，但也不宜在系統(tǒng)運行太久之后分片，因為在一個過載的系統(tǒng)上不停服進行分片是非常困難的。可以參考以下四點來決定何時分片：
????????????需要增加可用RAM
????????????增加可用磁盤空間
????????????減輕單臺服務(wù)器的負載
????????????處理單個 mongod 無法承受的吞吐量
? ? ? ? MongoDB 集群包含三個組件：配置服務(wù)器、mongos 服務(wù)器、mongod 服務(wù)器。配置服務(wù)器相當于集群的大腦，保存著集群和分片的元數(shù)據(jù)：集群中有哪些分片、分片的是哪些集合以及數(shù)據(jù)塊的分布等。mongos 需要從配置服務(wù)器獲取信息，因此配置服務(wù)器應(yīng)先于任何 mongos 進程啟動。配置服務(wù)器是獨立的 mongod 進程，所以可以像啟動 mongod 一樣啟動配置服務(wù)器，但在 MongoDB3.4 及以后的版本，配置服務(wù)器必須部署為副本集的形式。
準備環(huán)境
一：初始化宿主機系統(tǒng)
?1.安裝程序包
? ? ?yum -y install docker vim net-tools psmisc sysstat telnet wget lsof lrzsz
?????systemctl enable docker
?????setenforce 0
?????vim /etc/sysconfig/selinux ? ?修改Selinux為關(guān)閉狀態(tài)
?????vim /etc/security/limits.conf ? ?修改文件句柄數(shù)
?2.禁止內(nèi)存過度分配
echo 1 > /proc/sys/vm/overcommit_memory
vim /boot/grub2/grub.cfg
? ? numa=off
3.禁用zone_reclaim_mode
? ? cat /proc/sys/vm/zone_reclaim_mode
? ? ? ? 0
4.塊設(shè)備預(yù)讀大小
? ? blockdev --report
? ? blockdev --setra 16 /dev/sdb1
5.禁用大內(nèi)存頁面
? ? if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
? ? echo never > /sys/kernel/mm/transparent_hugepage/enabled
? ? fi
? ? if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
? ? echo never > /sys/kernel/mm/transparent_hugepage/defrag
? ? fi
6.修改文件描述符限制
? ? nofile 64000
? ? nproc? 64000
7.時鐘同步
? ? */2 * * * * ntpdate 1.sg.pool.ntp.org
8.禁用atime，默認relatime
? ? ?vim /etc/fstab
? ? ?UUID=ef6ba050-6cdc-416a-9380-c14304d0d206 /? ? ? ? ? ? ? ? ? ? ? ?xfs? ? ?defaults,noatime? ? ? ? 0 0
? ? noatime,nodiratime?
9.創(chuàng)建所需目錄
mkdir -p /data/db/rs{1..3}
mkdir -p /data/db/conf{1..3}
mkdir -p /data/logs/rs{1..3}
chown -R mongo.mongo /data
二：構(gòu)建鏡像
1.Download Base Image centos7.3
?????docker pull docker.io/centos
2.start centos
?????docker run -d -it --name centos7 docker.io/centos /bin/bash
? ? ?docker run exec -it centos7? bash
? ? ?useradd? mongo
? ? ?usermod mongo -u 1021
? ? ?groupmod -g 1021 mongo
? ? ?mkdir -p /data/db
? ? ?mkdir -p /data/logs
? ? ?chown -R mongo.mongo /data
? ? ?ln -s? /usr/lib64/libsasl2.so.3 /usr/lib64/libsasl2.so.2
? ? ?ln -s /home/mongo/mongodb/bin/* /usr/bin/
?????su - mongo
?????mongo --hlep
? ? ?yum install -y crontabs
? ? ?su - root
? ? ?/usr/sbin/crond
3.docker commit centos 7 centos7
4.docker build -t mongod3.2.11 .
cat Dockerfile
####mongod####
FROM centos7
MAINTAINER Weiwendi
USER mongo
ENTRYPOINT ["/usr/bin/mongod"]
5.docker build -t mongos3.2.11 .?
cat Dockerfile
####mongos####
FROM centos7
MAINTAINER Weiwendi
USER mongo
ENTRYPOINT ["/usr/bin/mongos"]
分發(fā)配置文件
ConfigDB
-------------------------------------------------------------------
port? ? ? ? ? ? =? ?37019
pidfilepath? ? ?=? ?/data/mongodb/configdb/data/mongod.pid
fork? ? ? ? ? ? =? ?true
configsvr? ? ? ?=? ?true
dbpath? ? ? ? ? =? ?/data/mongodb/configdb/data
logpath? ? ? ? ?=? ?/data/mongodb/configdb/logs/mongod.log
logappend? ? ? ?=? ?true
logRotate? ? ? ?=? ?rename
journal? ? ? ? ?=? ?true
directoryperdb? =? ?true
nohttpinterface =? ?true
quiet? ? ? ? ? ?=? ?true
auth? ? ? ? ? ? =? ?true
keyFile? ? ? ? ?=? ?/data/mongodb/key/mongodb-keyfile
profile? ? ? ? ?=? ?1
slowms? ? ? ? ? =? ?2000
storageEngine? ?=? ?wiredTiger
wiredTigerDirectoryForIndexes = true
wiredTigerCacheSizeGB = 100
replSet? ? ? ? ?=? ?cfgdb
mongos
-------------------------------------------------------------------
port? ? ? ? ? ? =? ?47017
pidfilepath? ? ?=? ?/data/mongodb/mongos/data/mongos.pid
fork? ? ? ? ? ? =? ?true
configdb? ? ? ? =? ?cfgdb/192.168.17.128:37019,192.168.17.129:37019,192.168.17.131:37019
logpath? ? ? ? ?=? ?/data/mongodb/mongos/logs/mongos.log
logappend? ? ? ?=? ?true
logRotate? ? ? ?=? ?rename
quiet? ? ? ? ? ?=? ?true
keyFile? ? ? ? =? ?/data/mongodb/mongodb-keyfile
mongod
-----------------------------------------------------------------
port? ? ? ? ? ? =? ?27017
pidfilepath? ? ?=? ?/data/logs/mongod.pid
fork? ? ? ? ? ? =? ?true
dbpath? ? ? ? ? =? ?/data/db
logpath? ? ? ? ?=? ?/data/logs/rs1.log
logappend? ? ? ?=? ?true
logRotate? ? ? ?=? ?rename
journal? ? ? ? ?=? ?true
directoryperdb? =? ?true
nohttpinterface =? ?true
quiet? ? ? ? ? ?=? ?true
auth? ? ? ? ? ?=? ?true
keyFile? ? ? ? =? ?/data/mongodb/key/mongodb-keyfile
profile? ? ? ? ?=? ?1
slowms? ? ? ? ? =? ?2000
storageEngine? ?=? ?wiredTiger
wiredTigerDirectoryForIndexes = true
wiredTigerCollectionBlockCompressor = snappy
wiredTigerJournalCompressor = snappy
wiredTigerCacheSizeGB = 60
replSet? ? ? ?=? ?rs1
oplogSize? ? ?=? ?102400
在三臺主機上啟動Docker容器
創(chuàng)建副本集
172.31.90.39? ?（副本集1）
docker run --name rs1_srv1 -p 21117:27017 --restart=always -v /data/db/rs1:/data/db -v /data/logs/rs1:/data/logs -v /data/conf/rs1:/data/conf -v /data/backup:/data/bak -d? registry.newborn-town.com:5000/wtmongodb3.2.11 -f /data/conf/mongodb.conf
docker run --name rs1_srv2 -p 21217:27017 --restart=always -v /data/db/rs2:/data/db -v /data/logs/rs2:/data/logs -v /data/conf/rs2:/data/conf -v /data/backup:/data/bak -d? registry.newborn-town.com:5000/wtmongodb3.2.11 -f /data/conf/mongodb.conf
docker run --name rs1_srv3 -p 21317:27017 --restart=always -v /data/db/rs3:/data/db -v /data/logs/rs3:/data/logs -v /data/conf/rs3:/data/conf -v /data/backup:/data/bak -d? registry.newborn-town.com:5000/wtmongodb3.2.11 -f /data/conf/mongodb.conf
172.31.90.64? （副本集2）
docker run --name rs2_srv1 -p 21117:27017 --restart=always -v /data/db/rs1:/data/db -v /data/logs/rs1:/data/logs -v /data/conf/rs1:/data/conf -v /data/backup:/data/bak -d? registry.newborn-town.com:5000/wtmongodb3.2.11 -f /data/conf/mongodb.conf
docker run --name rs2_srv2 -p 21217:27017 --restart=always -v /data/db/rs2:/data/db -v /data/logs/rs2:/data/logs -v /data/conf/rs2:/data/conf -v /data/backup:/data/bak -d? registry.newborn-town.com:5000/wtmongodb3.2.11 -f /data/conf/mongodb.conf
docker run --name rs2_srv3 -p 21317:27017 --restart=always -v /data/db/rs3:/data/db -v /data/logs/rs3:/data/logs -v /data/conf/rs3:/data/conf -v /data/backup:/data/bak -d? registry.newborn-town.com:5000/wtmongodb3.2.11 -f /data/conf/mongodb.conf
172.31.90.161? （副本集3）
docker run --name rs3_srv1 -p 21117:27017 --restart=always -v /data/db/rs1:/data/db -v /data/logs/rs1:/data/logs -v /data/conf/rs1:/data/conf -v /data/backup:/data/bak -d? registry.newborn-town.com:5000/wtmongodb3.2.11 -f /data/conf/mongodb.conf
docker run --name rs3_srv2 -p 21217:27017 --restart=always -v /data/db/rs2:/data/db -v /data/logs/rs2:/data/logs -v /data/conf/rs2:/data/conf -v /data/backup:/data/bak -d? registry.newborn-town.com:5000/wtmongodb3.2.11 -f /data/conf/mongodb.conf
docker run --name rs3_srv3 -p 21317:27017 --restart=always -v /data/db/rs3:/data/db -v /data/logs/rs3:/data/logs -v /data/conf/rs3:/data/conf -v /data/backup:/data/bak -d? registry.newborn-town.com:5000/wtmongodb3.2.11 -f /data/conf/mongodb.conf
配置服務(wù)器
172.31.90.39
? ? docker run --name cfg1 -p 37017:27017 --restart=always -v /data/db/conf1:/data/db -d registry.newborn-town.com:5000/mongod-3.2.10? --storageEngine wiredTiger --smallfiles --configsvr --dbpath /data/db --port 27017
172.31.90.64
? ? docker run --name cfg2 -p 37017:27017 --restart=always -v /data/db/conf2:/data/db -d registry.newborn-town.com:5000/mongod-3.2.10 --storageEngine wiredTiger --smallfiles --configsvr --dbpath /data/db --port 27017
172.31.90.161
? ? docker run --name cfg3 -p 37017:27017 --restart=always -v /data/db/conf3:/data/db -d registry.newborn-town.com:5000/mongod-3.2.10? --storageEngine wiredTiger --smallfiles --configsvr --dbpath /data/db --port 27017
mongos進程
172.31.90.39
? ? docker run --name mongos1 -p 27017:27018 --restart=always -v /data/logs/rs1:/data/logs -d registry.newborn-town.com:5000/mongos-3.2.10? --logpath /data/logs/mongos.log --logappend --configdb 172.31.90.39:37017,172.31.90.64:37017,172.31.90.161:37017? --port 27018
172.31.90.64
? ? docker run --name mongos2 -p 27017:27018 --restart=always -v /data/logs/rs2:/data/logs -d registry.newborn-town.com:5000/mongos-3.2.10? --logpath /data/logs/mongos.log --logappend --configdb 172.31.90.39:37017,172.31.90.64:37017,172.31.90.161:37017? --port 27018
172.31.90.161
? ? docker run --name mongos3 -p 27017:27018 --restart=always -v /data/logs/rs3:/data/logs -d registry.newborn-town.com:5000/mongos-3.2.10? --logpath /data/logs/mongos.log --logappend --configdb 172.31.90.39:37017,172.31.90.64:37017,172.31.90.161:37017? --port 27018
以上啟動Docker容器步驟，可以通過docker compose來管理。
設(shè)置副本集（在mongodb上執(zhí)行）
172.31.90.39
mongo --port 21117
use admin
config_rs = {
? ?"_id":"rs1",
? ?"members": [
? ? ? ?{"_id":0,"host":"172.31.90.39:21117"},
? ? ? ?{"_id":1,"host":"172.31.90.64:21117"},
? ? ? ?{"_id":2,"host":"172.31.90.161:21117"}
? ?]
}
rs.initiate(config_rs)
172.31.90.64
mongo --port 21217
use admin
config_rs = {
? ?"_id":"rs2",
? ?"members": [
? ? ? ?{"_id":0,"host":"172.31.90.39:21217"},
? ? ? ?{"_id":1,"host":"172.31.90.64:21217"},
? ? ? ?{"_id":2,"host":"172.31.90.161:21217"}
? ?]
}
rs.initiate(config_rs)
172.31.90.161
mongo --port 21317
use admin
config_rs = {
? ?"_id":"rs3",
? ?"members": [
? ? ? ?{"_id":0,"host":"172.31.90.39:21317"},
? ? ? ?{"_id":1,"host":"172.31.90.64:21317"},
? ? ? ?{"_id":2,"host":"172.31.90.161:21317"}
? ?]
}
rs.initiate(config_rs)
設(shè)置分片（mongos上執(zhí)行）
use admin
sh.addShard("rs1/172.31.90.39:21117,172.31.90.64:21117,172.31.90.161:21117")
sh.addShard("rs2/172.31.90.39:21217,172.31.90.64:21217,172.31.90.161:21217")
sh.addShard("rs3/172.31.90.39:21317,172.31.90.64:21317,172.31.90.161:21317")
sh.enableSharding("kittylive")
use kittylive
db.user.createIndex({user_id:"hashed"})
db.bill.createIndex({bill_id:"hashed"})
db.giftRecord.createIndex({gift_id:"hashed"})
sh.shardCollection("kittylive.user",{"user_id":"hashed"})
sh.shardCollection("kittylive.bill",{"bill_id":"hashed"})
sh.shardCollection("kittylive.giftRecord",{"gift_id":"hashed"})
設(shè)置塊遷移窗口期
? ? ?use config
?????db.settings.update({ _id : "balancer" }, { $set : { activeWindow : { start : "22:00", stop : "02:00" } } }, true )
?????sh.getBalancerWindow()
