Raft 算法工程實(shí)現(xiàn)

1、前言

此工程實(shí)現(xiàn)來(lái)自 github 鏈接:https://github.com/stateIs0/lu-raft-kv。題者說(shuō)是一個(gè)基于 raft 的分布式 kv 系統(tǒng),但實(shí)際上就是一個(gè)完整的 raft 實(shí)現(xiàn)(雖然論文說(shuō)的重發(fā)他沒(méi)去做了,但不影響整體思路),可以把它當(dāng)成 raft 論文的實(shí)現(xiàn),具體論文可以參照 raft 論文或者其翻譯版。

2、思路

RPC 框架采用 sofa(任何 RPC 都可),本地存儲(chǔ)采用 RocketsDB,是一款比較好用的嵌入式數(shù)據(jù)庫(kù)(或者自己文件實(shí)現(xiàn)也可,只是這邊重點(diǎn)在于 Raft,不過(guò)一般開(kāi)源的中間件如 zk 都會(huì)實(shí)現(xiàn)自己的內(nèi)存數(shù)據(jù)庫(kù))。Raft 提交分為兩階段 prepare 和 commit 階段,所以代碼中 db 初始化了兩個(gè):logDb、machineDb,分別存在日志模塊、狀態(tài)機(jī)模塊,對(duì)應(yīng)兩階段的存儲(chǔ)。整個(gè)代碼的類(lèi)圖如圖所示:


工程類(lèi)圖

整個(gè)系統(tǒng)由 RaftClient 與 DefaultRpcServer 進(jìn)行交互,DefaultRpcServer 只暴露了一個(gè) handlerRequest 接口與 client 或者其他 node 交互。

每個(gè) DefaultNode 都由 Consensus(一致性模塊)、LogModule(日志模塊)、StateMachine(狀態(tài)機(jī)模塊)、NodeConfig(配置模塊)、LifeCycle(生命周期模塊)、Node(節(jié)點(diǎn)模塊)組成。

Consensus(一致性模塊):定義了兩個(gè)方法:requestVote(投票)、appendEntries(追加日志)。

LogModule(日志模塊):最主要是 write、read 方法,其次還有一些為了整個(gè)流程的操作而定義的其他方法。

StateMachine(狀態(tài)機(jī)模塊):最主要是 apply 方法(將日志提交到狀態(tài)機(jī)中),其次還有一些為了整個(gè)流程的操作而定義的其他方法。

NodeConfig(配置模塊):配置自己地址跟集群所有地址。

LifeCycle(生命周期模塊):定義來(lái) init、destroy 接口。

Node(節(jié)點(diǎn)模塊):Node 是一個(gè)聚合類(lèi),它有上面所有的屬性,把這些模塊聚合起來(lái),表示一個(gè) Raft 節(jié)點(diǎn)。它來(lái)實(shí)現(xiàn)具體的業(yè)務(wù)邏輯,比如說(shuō) handlerRequestVote(選舉投票,調(diào)用 Consensus 模塊)、 handlerAppendEntries(追加日志,調(diào)用 Consensus 模塊)、處理客戶端請(qǐng)求(主要??),重定向等。

3、設(shè)計(jì)

Raft 論文主要說(shuō)了三點(diǎn):選舉、日志復(fù)制、安全性。前兩點(diǎn)主要將集群的選舉規(guī)則,怎樣從 follower -> candidate -> leader 轉(zhuǎn)變。日志復(fù)制則講了日志復(fù)制的流程,兩階段分別怎樣做。安全性主要論證了為何 Raft 有效,這節(jié)主要將證明之類(lèi)的。光工程實(shí)現(xiàn)的話,只需要關(guān)注選舉、日志復(fù)制即可。

詳細(xì)內(nèi)容可以參照作者的博客,博客地址如下:http://thinkinjava.cn/2019/01/12/2019/2019-01-12-lu-raft-kv/。寫(xiě)的也算是很清楚的,代碼寫(xiě)的也賞心悅目,非常易懂,可以多讀。

4、后記

之前讀過(guò) zookeeper 的書(shū)、源碼,竊以為源碼的實(shí)現(xiàn)還是停復(fù)雜的,我當(dāng)時(shí)調(diào)試了很多次,后面實(shí)在沒(méi)辦法看別人的解析才知道 zab 協(xié)議的實(shí)現(xiàn)。能上生產(chǎn)的工程代碼確實(shí)很復(fù)雜,以至于我看到選舉那塊就心力交瘁了,后面日志復(fù)制都沒(méi)注意。所以,我覺(jué)得學(xué)一個(gè)新的東西的時(shí)候,如果有那種簡(jiǎn)化版但又完完整整實(shí)現(xiàn)論文的代碼,真的非常重要。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,882評(píng)論 6 531
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,208評(píng)論 3 414
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人,你說(shuō)我怎么就攤上這事?!?“怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 175,746評(píng)論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我,道長(zhǎng),這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 62,666評(píng)論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 71,477評(píng)論 6 407
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 54,960評(píng)論 1 321
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,047評(píng)論 3 440
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 42,200評(píng)論 0 288
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 48,726評(píng)論 1 333
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 40,617評(píng)論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 42,807評(píng)論 1 369
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,327評(píng)論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,049評(píng)論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 34,425評(píng)論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 35,674評(píng)論 1 281
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 51,432評(píng)論 3 390
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 47,769評(píng)論 2 372

推薦閱讀更多精彩內(nèi)容