1、前言
此工程實(shí)現(xiàn)來(lái)自 github 鏈接:https://github.com/stateIs0/lu-raft-kv。題者說(shuō)是一個(gè)基于 raft 的分布式 kv 系統(tǒng),但實(shí)際上就是一個(gè)完整的 raft 實(shí)現(xiàn)(雖然論文說(shuō)的重發(fā)他沒(méi)去做了,但不影響整體思路),可以把它當(dāng)成 raft 論文的實(shí)現(xiàn),具體論文可以參照 raft 論文或者其翻譯版。
2、思路
RPC 框架采用 sofa(任何 RPC 都可),本地存儲(chǔ)采用 RocketsDB,是一款比較好用的嵌入式數(shù)據(jù)庫(kù)(或者自己文件實(shí)現(xiàn)也可,只是這邊重點(diǎn)在于 Raft,不過(guò)一般開(kāi)源的中間件如 zk 都會(huì)實(shí)現(xiàn)自己的內(nèi)存數(shù)據(jù)庫(kù))。Raft 提交分為兩階段 prepare 和 commit 階段,所以代碼中 db 初始化了兩個(gè):logDb、machineDb,分別存在日志模塊、狀態(tài)機(jī)模塊,對(duì)應(yīng)兩階段的存儲(chǔ)。整個(gè)代碼的類(lèi)圖如圖所示:
整個(gè)系統(tǒng)由 RaftClient 與 DefaultRpcServer 進(jìn)行交互,DefaultRpcServer 只暴露了一個(gè) handlerRequest 接口與 client 或者其他 node 交互。
每個(gè) DefaultNode 都由 Consensus(一致性模塊)、LogModule(日志模塊)、StateMachine(狀態(tài)機(jī)模塊)、NodeConfig(配置模塊)、LifeCycle(生命周期模塊)、Node(節(jié)點(diǎn)模塊)組成。
Consensus(一致性模塊):定義了兩個(gè)方法:requestVote(投票)、appendEntries(追加日志)。
LogModule(日志模塊):最主要是 write、read 方法,其次還有一些為了整個(gè)流程的操作而定義的其他方法。
StateMachine(狀態(tài)機(jī)模塊):最主要是 apply 方法(將日志提交到狀態(tài)機(jī)中),其次還有一些為了整個(gè)流程的操作而定義的其他方法。
NodeConfig(配置模塊):配置自己地址跟集群所有地址。
LifeCycle(生命周期模塊):定義來(lái) init、destroy 接口。
Node(節(jié)點(diǎn)模塊):Node 是一個(gè)聚合類(lèi),它有上面所有的屬性,把這些模塊聚合起來(lái),表示一個(gè) Raft 節(jié)點(diǎn)。它來(lái)實(shí)現(xiàn)具體的業(yè)務(wù)邏輯,比如說(shuō) handlerRequestVote(選舉投票,調(diào)用 Consensus 模塊)、 handlerAppendEntries(追加日志,調(diào)用 Consensus 模塊)、處理客戶端請(qǐng)求(主要??),重定向等。
3、設(shè)計(jì)
Raft 論文主要說(shuō)了三點(diǎn):選舉、日志復(fù)制、安全性。前兩點(diǎn)主要將集群的選舉規(guī)則,怎樣從 follower -> candidate -> leader 轉(zhuǎn)變。日志復(fù)制則講了日志復(fù)制的流程,兩階段分別怎樣做。安全性主要論證了為何 Raft 有效,這節(jié)主要將證明之類(lèi)的。光工程實(shí)現(xiàn)的話,只需要關(guān)注選舉、日志復(fù)制即可。
詳細(xì)內(nèi)容可以參照作者的博客,博客地址如下:http://thinkinjava.cn/2019/01/12/2019/2019-01-12-lu-raft-kv/。寫(xiě)的也算是很清楚的,代碼寫(xiě)的也賞心悅目,非常易懂,可以多讀。
4、后記
之前讀過(guò) zookeeper 的書(shū)、源碼,竊以為源碼的實(shí)現(xiàn)還是停復(fù)雜的,我當(dāng)時(shí)調(diào)試了很多次,后面實(shí)在沒(méi)辦法看別人的解析才知道 zab 協(xié)議的實(shí)現(xiàn)。能上生產(chǎn)的工程代碼確實(shí)很復(fù)雜,以至于我看到選舉那塊就心力交瘁了,后面日志復(fù)制都沒(méi)注意。所以,我覺(jué)得學(xué)一個(gè)新的東西的時(shí)候,如果有那種簡(jiǎn)化版但又完完整整實(shí)現(xiàn)論文的代碼,真的非常重要。