一、codis介紹
codis是一個分布式redis集群解決方案，對于上層的應用來說, 連接到codis-proxy和連接原生的redis-server沒有明顯的區別。
上層應用可以像使用單機的redis一樣使用，codis底層會處理請求的轉發，不停機的數據遷移等工作。所有后邊的一切事情，對于前面的客戶端來說是透明的，可以簡單的認為后邊連接的是一個內存無限大的redis服務。
codis由四部分組成:
codis proxy(codis-proxy)
codis dashboard(codis-config)
codis redis(codis-server)
zookeeper/etcd
codis-proxy是客戶端連接的redis代理服務，codis-proxy本身實現了redis協議，表現得和一個原生的redis沒什么區別(就像twemproxy)，對于一個業務來說，可以部署多個codis-proxy，codis-proxy本身是無狀態的。
codis-config是codis的管理工具，支持包括：添加/刪除redis節點，添加/刪除proxy節點，發起數據遷移等操作。
codis-config本身還自帶了一個http-server，會啟動一個dashboard，用戶可以直接在瀏覽器上觀察codis集群的運行狀態。
codis-server是codis項目維護的一個redis分支，基于redis2.8.21開發，加入了slot的支持和原子的數據遷移指令。codis上層的codis-proxy和codis-config只能和這個版本的redis交互才能正常運行。
codis依賴zookeeper來存放數據路由表和codis-proxy節點的元信息，codis-config發起的命令都會通過zookeeper同步到各個存活的codis-proxy。
codis支持按照namespace區分不同的產品，擁有不同的product name的產品，各項配置都不會沖突。
codis架構圖如下：
二、環境準備
codis集群的搭建，需要zookeeper集群，有關zookeeper集群的搭建，可以參考這篇文章《爛泥：zookeeper集群搭建》。
除了zookeeper集群之外，我們還需要安裝go語言環境，因為codis是基于go語言開發的。
2.1 ****安裝基礎依賴
安裝基礎依賴，使用如下命令：
yum install -y git gcc make g++ gcc-c++ automake openssl-devel zlib-*
基礎依賴安裝往后，我們現在開始配置go語言環境。
2.2 go****語言環境搭建**
codis是基于go語言開發的，所以我們要在所有服務器上都配置go語言環境。
GOPATH, GOROOT配置:https://golang.org/doc/install
下載go語言包，如下：
wget https://storage.googleapis.com/golang/go1.6.1.linux-amd64.tar.gz
下載完畢后，解壓到/usr/local，如下：
tar -C /usr/local -xf go1.6.1.linux-amd64.tar.gz
把go加入到系統的環境變量，如下：
GOPATH:是go的工作目錄
GOROOT:是go的安裝目錄
vim /etc/profile
export GOROOT=$PATH:/usr/local/go/bin
export GOPATH=/usr/local/go/work
讓剛剛加入的環境變量生效，并查看go是否配置成功，如下：
source /etc/profile
env
go version
通過上圖，我們可以很明顯的看出go語言環境配置成功。
三、安裝codis
codis的安裝，我們可以通過三種不同的方式進行：通過go下載安裝、通過git方式和通過源碼方式，下面分別介紹下。
3.1 ****通過go下載安裝
官方github地址為：https://github.com/CodisLabs/codis
cd /usr/local/go/work/src/github.com/CodisLabs/codis
官方使用文檔地址為：
https://github.com/CodisLabs/codis/blob/master/doc/tutorial_zh.md
按照官方github介紹，codis首選方式是通過go下載安裝的。命令如下：
go get -u -d github.com/CodisLabs/codis
注意：由于眾所周知的原因，這一步比較慢，需要耐心等待。上一步執行完畢后，我們切換到目錄下，進行編譯，如下：
make
注意：這一步也比較慢，需要耐心等待。
make編譯執行完畢后后，會在bin目錄下生成codis-config、codis-proxy、codis-server三個可執行文件以及assets目錄。
其中assets是codis-config的dashboard http 服務需要的前端資源，需要和codis-config放置在同一目錄下。如下：
ll bin/
編譯完畢后，我們現在來測試編譯的結果，使用如下命令：
make gotest
通過上圖，我們可以看到codis已經安裝成功。
3.2 ****通過git方式
上一章節，我們介紹了codis通過go下載安裝的方法，這一章節，我們通過git方式進行安裝。
首先下載codis最新的git倉庫，使用如下命令：
git clone https://github.com/CodisLabs/codis.git
git倉庫下載完畢后，我們接下來進行如下的操作。如下：
mkdir -p /usr/local/src/github.com/CodisLabs/
cp -r codis /usr/local/src/github.com/CodisLabs/
cd /usr/local/src/github.com/CodisLabs/codis/
以上操作完畢后，就和通過go下載安裝方式一樣了。執行make命令進行編譯，然后執行make gotest命令進行測試。
3.3 ****通過下載源碼
下面我們來介紹下，通過源碼方式的安裝。下載codis源碼文件，如下：
wget https://github.com/CodisLabs/codis/archive/3.0.3.tar.gz
解壓源碼包，如下：
tar -xf 3.0.3.tar.gz
cd codis-3.0.3/
然后進行編譯，使用make命令，如下：
這一步很慢，需要下載各種依賴，然后是make gotest。
基本和go下載安裝方式一樣，不過需要說明下，我通過源碼方式一直沒有安裝成功。報如下錯誤：
所以以上三種安裝的方法，建議使用第一、二種，盡管有點慢。
四、配置codis集群
codis安裝完畢后，我們現在來配置codis集群。在正式配置集群之前，先創建相關的目錄，然后復制相關文件到新的目錄下。使用如下命令：
cd /usr/local/go/work/src/github.com/CodisLabs/codis
mkdir -p /usr/local/codis/{log,redis_conf}
cp -rf bin/ /usr/local/codis/
cp config.ini /usr/local/codis/
cp extern/redis-test/conf/6379.conf /usr/local/codis/redis_conf/20189.conf
cp extern/redis-test/conf/6380.conf /usr/local/codis/redis_conf/20190.conf
4.1 ****編輯codis配置文件
上述操作完畢后，我們來修改codis的配置文件config.ini，在此我們只需要修改相關的選項即可。如下：
vim /usr/local/codis/config.ini
coordinator=zookeeper
zk=192.168.1.9:2181,192.168.1.124:2181,192.168.1.231:2181
product=test
dashboard_addr=192.168.1.9:18087
password=
backend_ping_period=5
session_max_timeout=1800
session_max_bufsize=131072
session_max_pipeline=1024
zk_session_timeout=30000
proxy_id=proxy_9
該配置文件中，我們需要注意三個參數：zk、dashboard_addr、proxy_id。
其中zk是表示zookeeper集群的服務器IP地址，dashboard_addr表示codis web管理的IP地址及端口，proxy_id表示codis的id，注意每臺codis服務器該值要唯一。
另外兩臺服務器的codis配置文件，內容如下：
到此codis配置文件修改完畢。
4.2 ****編輯redis配置文件
codis配置文件修改完畢后，我們現在來修改redis配置文件。
每臺codis服務器上，我們要啟動兩個redis實例（也可以啟動多個redis實例），所以我們要配置兩個redis。如下：
vim /usr/local/codis/redis_conf/20189.conf
daemonize no
pidfile /var/run/redis20189.pid
port 20189
tcp-backlog 511
timeout 0
tcp-keepalive 0
loglevel notice
logfile /var/log/redis/20189.log
databases 16
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump20189.rdb
dir /usr/local/codis/
slave-serve-stale-data yes
slave-read-only yes
repl-disable-tcp-nodelay no
slave-priority 100
appendonly no
appendfilename “appendonly.aof”
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events “”
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
配置第二個redis實例，如下：
yes|cp /usr/local/codis/redis_conf/20189.conf /usr/local/codis/redis_conf/20190.conf
sed -i ‘s/20189/20190/g’ /usr/local/codis/redis_conf/20190.conf
mkdir -p /var/log/redis/
每臺codis服務器上redis配置完畢后，我們來啟動redis實例，如下：
/usr/local/codis/bin/codis-server /usr/local/codis/redis_conf/20189.conf &
/usr/local/codis/bin/codis-server /usr/local/codis/redis_conf/20190.conf &
ps -ef |grep codis-server
注意：我們每臺codis服務器上的redis實例都需要啟動。
4.3 ****啟動codis dashboard
redis實例全部啟動后，我們現在來啟動codis的dashboard。
注意，我們一定要在192.168.1.9這臺codis服務器上啟動該命令，這是因為我們在4.1章節codis配置文件中配置的dashboard地址就是192.168.1.9。
使用如下命令啟動dashboard：
nohup /usr/local/codis/bin/codis-config -c config.ini dashboard &
netstat -tunlp
codis dashboard訪問端口是18087，如下：
http://codis.ilanni.com:18087/admin/
通過上圖，我們可以很明顯的看出codis dashboard已經正常啟動。
4.4 ****創建redis server分組
codis dashboard已經正常啟動后，我們現在來創添加redis server分組。如下：
這樣我們第一個redis server分組就創建完畢了，可以使用同樣的方法創建第二、三個分組。如下：
這樣三組redis server分組就創建完畢了。
當然我們也可以通過命令進行創建，如下：
/usr/local/codis/bin/codis-config server add-group 1
/usr/local/codis/bin/codis-config server add-group 2
/usr/local/codis/bin/codis-config server add-group 3
/usr/local/codis/bin/codis-config server list
注意：上述命令在三臺codis服務器上任意一臺上執行。
到此codis的redis server分組添加完畢。
4.5 ****添加redis實例
redis server分組添加完畢后，我們現在來為每一個分組添加redis實例。先為group_1添加redis實例，如下：
這個里面可以填寫任何一個codis服務器上的redis實例（哪怕不是codis服務器的redis實例），在此我們填寫的是192.168.1.9這臺服務器上的redis實例。
可以看到group_1組的第一個redis實例，被自動配置為master類型。
現在我們來添加第二個redis實例，如下：
通過上圖，我們可以很明顯的看到第二個添加的redis實例被默認配置為slave類型。
注意：redis官方的支持的集群也是master-slave主從式的集群。
group_2組和group_3組的redis實例添加和上面的操作一樣，如下：
這樣三組redis實例就全部添加完畢。
當然我們也可以通過命令進行添加，如下：
/usr/local/codis/bin/codis-config server add 1 192.168.1.9:20189 master
/usr/local/codis/bin/codis-config server add 1 192.168.1.9:20190 slave
/usr/local/codis/bin/codis-config server add 2 192.168.1.124:20189 master
/usr/local/codis/bin/codis-config server add 2 192.168.1.124:20190 slave
/usr/local/codis/bin/codis-config server add 3 192.168.1.231:20189 master
/usr/local/codis/bin/codis-config server add 3 192.168.1.231:20190 slave
注意：上述命令中的數字，表示的是哪一個分組，master/slave表示的是所屬類型。
我們也可以通過命令查看，各個redis server組的信息，如下：
/usr/local/codis/bin/codis-config server list
注意：每組添加的第一個redis實例不能被刪除，因為codis默認把該redis實例設置為master。
到此redis server分組的redis實例添加完畢。
4.6 ****分配slot范圍
codis采用pre-sharding的技術來實現數據的分片，默認分成1024個slot(0-1023)。對于每個key來說，可以通過以下公式確定所屬的slot id:slotid=crc32(key)%1024。
每一個slot都會有一個且必須有一個特定的server group id來表示這個slot的數據由哪個server group來提供。
在分配slot之前，我們需要初始化slot。
在codis服務器任意一臺上執行bin/codis-config slot init命令，該命令會在zookeeper上創建slot相關信息。如下：
cd /usr/local/codis
/usr/local/codis/bin/codis-config -c config.ini slot init
slot初始化完畢后，我們現在來分配slot范圍。如下：
上圖中的New Group Id是自定義的。
通過上圖，我們可以看到第一組slot分配成功。
現在來查看slot分配信息，如下：
通過上圖，我們可以很明顯的看出組1分配的slot是0-334,335以后還沒有分配。現在來分配剩下的slot，如下：
這樣slot已經全部分配完畢。
當然我們也可以通過命令進行分配，如下：
/usr/local/codis/bin/codis-config slot range-set 0 334 1 online
/usr/local/codis/bin/codis-config slot range-set 335 669 2 online
/usr/local/codis/bin/codis-config slot range-set 670 1023 3 online
查看slot信息，如下：
/usr/local/codis/bin/codis-config slot info 1
/usr/local/codis/bin/codis-config slot info 2
/usr/local/codis/bin/codis-config slot info 3
4.7 ****啟動codis-proxy
以上全部配置完畢后，我們來啟動codis-proxy，使用如下命令：
nohup /usr/local/codis/bin/codis-proxy
-c /usr/local/codis/config.ini
--log-level=error
-L /usr/local/codis/log/proxy.log
--cpu=2
--addr=192.168.1.9:19000
--http-addr=192.168.1.9:11000 &
下面對以上命令中的參數進行解釋：
-c 配置文件地址。
-L 日志輸出文件地址。
–log-level=<loglevel> 輸出日志級別(debug<info (default)<warn<error<fatal)。
–cpu=<cpu_num> proxy占用的cpu核數,默認1,最好設置為機器的物理cpu數的一半到2/3左右。
–addr=<proxy_listen_addr> proxy的redis server監聽的地址, 格式<ip or hostname>:<port>, 如: localhost:9000, :9001。
–http-addr=<debug_http_server_addr> proxy的調試信息啟動的http server,可以訪問 http://debug_http_server_addr/debug/vars。
codis-proxy啟動后，我們可以在dashboard上進行查看，如下：
到此codis集群就搭建完畢。
五、連接codis集群
codis集群搭建完畢后，現在我們來連接codis集群。要連接codis集群，我們只需要連接codis-proxy即可。即連接4.7章節中的codis-proxy服務器地址，然后加19000端口。使用redis-cli命令連接，如下：
redis-cli -h 192.168.1.9 -p 19000
info
通過上圖，我們可以很明顯的看到連接codis集群是ok的。
我們現在對codis集群做一些壓力測試，同時在dashboard上觀察鍵值對的情況。如下：
redis-benchmark -h 192.168.1.9 -p 19000 -c 10000 -d 100 -t set -n 100000 -r 100000
上述命令的意思是，使用redis-benchmark壓力測試命令連接codis集群，同時并發10000個（-c），測試set操作(-t)，每個測試數據集是100字節(-d),請求數是100000（-n），使用使用隨機數插入數值（-r）。
通過上圖，可以很明顯的看到codis集群的性能還是很不錯的呢。
而我們laravel框架中redis的配置直接填寫codis-proxy的連接地址即可。如下：
六、其他
在codis搭建和使用過程中，我們還是會碰到一些其他問題的，下面就稍微提下。
6.1 ****報zk節點不存在錯誤
如果要kill的dashboard的話，強烈建議通過kill -15 pid來關閉。
如果是直接使用kill -9進行kill的話，可能會報zk節點不存在錯誤的話。
這樣的話，我們需要通過連接zookeeper集群，刪除相關節點，然后再進行操作。刪除節點操作，操作如下：
cd /usr/local/zookeeper/
./bin/zkCli.sh -server 127.0.0.1:2181
ls /zk/codis/db_test
rmr /zk/codis/db_test
6.2 ****與阿里云slb集成
在這里我們大致介紹下，codis在與阿里云的slb（負載均衡）進行集成的線上生產環境的案例。
目前我們連接codis集群是通過單個codis-proxy來進行的，如果這個節點掛了，就會出現了單點故障的危險。
所以我們這邊在codis集群每臺服務器上，都啟動一個codis-proxy。然后前端使用slb進行統一接入，slb后端就有三臺codis-proxy服務器。
codis集群的搭建和前面是一樣的，只是在此我們的codis所在ecs（服務器）只有內網IP（省錢），而且slb我們是要的也是內網（省錢）。如下：
這樣的話，客戶端連接slb的地址就是連接codis整個集群了，同時也避免了單點故障的問題。
公司的redis有時background save db不成功，通過log發現下面的告警，很可能由它引起的：
[13223] 17 Mar 13:18:02.207 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
于是通過搜索，也有人跟我遇到同樣的問題，基本可以確定是由它引起的。
**內核參數overcommit_memory **
它是 內存分配策略
可選值：0、1、2。0， 表示內核將檢查是否有足夠的可用內存供應用進程使用；如果有足夠的可用內存，內存申請允許；否則，內存申請失敗，并把錯誤返回給應用進程。1， 表示內核允許分配所有的物理內存，而不管當前的內存狀態如何。2， 表示內核允許分配超過所有物理內存和交換空間總和的內存
****什么是Overcommit和OOM****
Linux對大部分申請內存的請求都回復"yes"，以便能跑更多更大的程序。因為申請內存后，并不會馬上使用內存。這種技術叫做Overcommit。當linux發現內存不足時，會發生OOM killer(OOM=out-of-memory)。它會選擇殺死一些進程(用戶態進程，不是內核線程)，以便釋放內存。
當oom-killer發生時，linux會選擇殺死哪些進程？選擇進程的函數是oom_badness函數(在mm/oom_kill.c中)，該函數會計算每個進程的點數(0~1000)。點數越高，這個進程越有可能被殺死。每個進程的點數跟oom_score_adj有關，而且oom_score_adj可以被設置(-1000最低，1000最高)。
解決方法：
/etc/sysctl.conf
vm.overcommit_memory=1 或者sysctl vm.overcommit_memory=1
或者
echo 1 > /proc/sys/vm/overcommit_memory
內核參數說明如下：
overcommit_memory文件指定了內核針對內存分配的策略，其值可以是0、1、2。
0， 表示內核將檢查是否有足夠的可用內存供應用進程使用；如果有足夠的可用內存，內存申請允許；否則，內存申請失敗，并把錯誤返回給應用進程。 1， 表示內核允許分配所有的物理內存，而不管當前的內存狀態如何。2， 表示內核允許分配超過所有物理內存和交換空間總和的內存
redis數據同步
git clone https://github.com/CodisLabs/redis-port
cd redis-port
make
./bin/redis-port sync --from 10.168.22.140:6379 --filterdb=3 --target 10.251.241.246:19000
轉自: http://www.ilanni.com/?p=11524#五、連接codis集群
