一. 準備工作
注意
docker通過unix socket通信，需要sudo權限, 每次操作docker都需要在命令行前添加sudo，比較煩，官方給出了方法。安裝docker是會創建docker用戶組，也擁有unix socker讀寫權限，將當前用戶添加至docker用戶組，即可免除命令行前添加sudo。參考- 容器間默認通過網橋連接內外部網絡，主機需要允許網卡轉發
- docker 網橋默認網段為
172.17.42.1/16，公司vpn默認對網段
172.17.0.0/20路由，會覆蓋docker網段，導致容器無法與外部網絡通信，修改/etc/default/docker，添加DOCKER_OPTS="--bip=192.168.1.0/20"，這里網段是容器間的內部網絡，可以自行修改，改到滿意。- 國內使用官方鏡像比較慢，建議使用國內第三方鏡像加速。如：DaoCloud，阿里云
二. 實驗
(一) 主從模式
- 準備工作
- 創建db目錄
mkdir -p /data/mongodbtest/master /data/mongodbtest/slaver - `docker-compose.yml內容如下：
version: '2' services: master: image: mongo:latest volumes: - /data/mongodbtest/master:/data/db command: mongod --dbpath /data/db --master slaver: image: mongo:latest volumes: - /data/mongodbtest/slaver:/data/db command: mongod --dbpath /data/db --slave --source master:27017 links: - master
- 創建db目錄
- 啟動容器
docker-compose up -d
注:
docker-compose會默認將文件夾名字作為容器名的前綴, 我的文件夾為masterslave，容器明分別為masterslave_master_1和masterslave_slave_1
- 驗證
在master中插入一條記錄：
查看slave中的數據，執行$ docker-compose exec master mongo $ use test $ db.test.insert({msg: "from master", ts: new Date()})
測試故障轉移：首先，關閉master，$ docker-compose exec slaver mongo $ rs.slaveOk() $ use test $ db.test.find() $ db.test.insert({msg: 'from slaver', ts: new Date()}) // 報錯, slaver只有讀權限 $ db.printReplicationInfo() // 查看slave服務信息docker-compose stop master；其次，重新連接slave，查看服務信息，插入數據。如下：$ docker-compose exec slaver mongo $ db.printReplicationInfo() //依然是slave, 沒有自動切換為master $ use test $ db.testData.insert({msg: "from slave", ts: new Date()}) //插入失敗 - 總結
簡單的master-slave模型僅僅做了一個數據復制，而且并不可靠，master掛了整體將無法進行寫操作
(二) 副本集(Relica set)
三實例
1主 + 2次要
- 準備工作
-
創建db文件夾
mkdir -p /data/mongodbtest/replset/rs1 /data/mongodbtest/replset/rs2 /data/mongodbtest/replset/rs2 -
docker-compose.yml
version: '3' services: rs1: image: mongo:latest volumes: - /data/mongodbtest/replset/rs1:/data/db command: mongod --dbpath /data/db --replSet myset rs2: image: mongo:latest volumes: - /data/mongodbtest/replset/rs2:/data/db command: mongod --dbpath /data/db --replSet myset rs3: image: mongo:2.7.8 volumes: - /data/mongodbtest/replset/rs3:/data/db command: mongod --dbpath /data/db --replSet myset
-
初始化副本級
docker-compose exec rs1 mongo rs.initiate() rs.add('rs2:27017') rs.add('rs3:27017') rs.conf() //查看配置 rs.status() //查看副本級狀態 -
驗證
-
數據復制功能
docker-compose exec rs1 mongo use test db.test.insert({msg: 'from primary', ts: new Date()}) quit() docker-compose exec rs2 mongo rs.slaveOk() //副本集默認僅primary可讀寫 use test db.test.find() quit() docker-compose exec rs3 mongo rs.slaveOk() //副本集默認僅primary可讀寫 use test db.test.find() quit() -
故障轉移功能
副本集在primary掛掉以后，可以在secondary中選取出新的primarydocker-compose stop rs1登錄
rs2/rs3中查看可以看到，選出了新的primary，這時候我們重新啟動rs1，它成為了secondarydocker-compose start rs1 docker-compose exec rs1 mongo
-
總結
通過客戶端的設置, 可以進行主副節點讀寫分離:
a). primary:默認參數, 只從主節點上進行讀取操作;
b). primaryPreferred:大部分從主節點上讀取數據, 只有主節點不可用時從secondary節點讀取數據;
c). secondary:只從secondary節點上進行讀取操作, 存在的問題是secondary節點的數據會比primary節點數據"舊";
d). secondaryPreferred:優先從secondary節點進行讀取操作, secondary節點不可用時從主節點讀取數據;
e). nearest:不管是主節點,secondary節點, 從網絡延遲最低的節點上讀取數據.
副節點不是越多越好, 因為引主節點做寫操作, 其他副節點從主節點復制數據, 副節點越多, 主節點壓力越大.
1主 + 1副 + 1仲裁
-
準備工作
刪除
/data/mongodbtest/replset/rs[1-3]/下的內容-
docker-compose.yml
version: '3' services: rs1: image: mongo:latest volumes: - /data/mongodbtest/replset/rs1:/data/db command: mongod --dbpath /data/db --replSet myset --oplogSize 128 secondary: image: mongo:latest volumes: - /data/mongodbtest/replset/rs2:/data/db command: mongod --dbpath /data/db --replSet myset --oplogSize 128 arbiter: image: mongo:latest command: mongod --dbpath /data/db --replSet myset --smallfiles --oplogSize 128
-
啟動
docker-compose up -d -
初始化副本級
mongo rs1:27017 rs.initiate() rs.add('rs2:27017') rs.add('rs3:27017', true) // arbiter only rs.conf() //查看配置 rs.status() //查看副本級狀態 驗證(同上)
總結
每個副本集對主節點都是全量拷貝, 數量壓力增大的時候, 節點壓力隨之變大. 無法自動擴張.
限制
在官方文檔中提到了副本集的一些限制:
- 副本集最多有50個成員
- 可以投票的成員最多7個
- 如果啟動
mongod的時候沒有通過--oplogSize制定oplog的大小，默認oplog最大為50G
分片
MongoDB 提供了水平擴展的功能，其
Sharding 機制使其具備了支撐大數據量和大吞吐量的能力。在一個
Sharding 集群中，有下面三種角色：
-
shard: 每個shard存儲整個sharding集群數據的一個子集，每一個shard都是一個replset -
mongos: 查詢路由，客戶端通過其從shard中查詢數據，也可以理解為proxy -
config servers: 配置服務器，存儲整個sharding集群的元數據和配置。
MongoDB 3.4 起，要求
config servers也是replset。
MongoDB 提供兩種分片策略：hash sharding和range sharding，需要根據自己的業務特征和數據特征進行選擇。
測試版
環境
1 config servers(csrs) + 1 mongos + 1shard(1primary + 1secondary + 1arbiter)-
準備工作
-
創建文件夾
mkdir -p /data/mongodbtest/cs/rs1 /data/mongodbtest/cs/rs2 /data/mongodbtest/cs/rs3 # for config server replset mkdir -p /data/mongodbtest/sh/rs1 /data/mongodbtest/sh/rs2 /data/mongodbtest/sh/rs3 # for sharding 1 mkdir -p /data/mongodbtest/mongos keyfile
MongoDB 規定sharding集群內部必須有授權機制，比如mongos去訪問config server的時候，我們這里通過key-
docker-compose.yml
version: '3' services: csrs1: image: mongo:latest volumes: - /data/mongodbtest/cs/rs1:/data/db command: mongod --noauth --configsvr --replSet csrs --dbpath /data/db csrs2: image: mongo:latest volumes: - /data/mongodbtest/cs/rs2:/data/db command: mongod --noauth --configsvr --replSet csrs --dbpath /data/db csrs3: image: mongo:latest volumes: - /data/mongodbtest/cs/rs3:/data/db command: mongod --noauth --configsvr --replSet csrs --dbpath /data/db mongos: image: mongo:latest command: mongos --noauth --configdb csrs/csrs1:27019,csrs2:27019,csrs3:27019 shrs1: image: mongo:latest volumes: - /data/mongodbtest/sh/rs1:/data/db command: mongod --noauth --dbpath /data/db --shardsvr --replSet shrs shrs2: image: mongo:latest volumes: - /data/mongodbtest/sh/rs2:/data/db command: mongod --noauth --dbpath /data/db --shardsvr --replSet shrs shrs3: image: mongo:latest volumes: - /data/mongodbtest/sh/rs3:/data/db command: mongod --noauth --dbpath /data/db --shardsvr --replSet shrs
-
啟動
docker-compose up -d-
配置副本集
-
配置
config serverdocker-compose exec csrs1 mongo --port 27019 rs.initiate() rs.add('csrs2:27019') rs.add('csrs3:27019') rs.status() //查看狀態 quit()
config server 默認端口為 27019
- 配置
shard server
docker-compose exec shrs1 mongo --port 27018
rs.initiate()
var cfg = rs.conf()
cfg.members[0].host = 'shrs1:27018'
rs.reconfig(cfg)
rs.add('shrs2:27018')
rs.add('shrs3:27018')
quit()
'shard server' 默認端口號為 27018
-
-
配置
mongosdocker-compose exec mongos mongo sh.addShard('shrs/shrs1:27018') sh.status() //查看狀態
