LevelDB實(shí)踐

關(guān)于LevelDB,眾所周知就是google基于lsm不斷演化出來的一種kv存儲庫。而中間有各種語言的不同版本,今天則直接介紹一下golang版本中的一下實(shí)例。

基本功能

作為kv存儲庫,本身leveldb并不是和redis以及mysql一樣擁有自己的獨(dú)立服務(wù),它本身是作為一個三方庫,支持各個服務(wù)直接使用,這更像sqllite的能力,這中間就需要指定一個路徑作為數(shù)據(jù)庫的基本空間。

db, err := leveldb.OpenFile("path/to/db", nil)
...
defer db.Close()

通過OpenFile方法,便可以指定對應(yīng)的數(shù)據(jù)庫路徑,第二個參數(shù)則是當(dāng)前數(shù)據(jù)庫的相關(guān)屬性,例如過濾器類型、緩存大小、壓縮屬性相關(guān),這塊就放在后面細(xì)說

當(dāng)打開數(shù)據(jù)庫后,kv存儲基本上就是3類操作:插入和查詢、刪除,只不過刪除在最底層實(shí)現(xiàn)也還是插入邏輯。具體使用也是如下:

err = db.Put([]byte("key"), []byte("value"), nil)

if err != nil {
    panic(err)
}

data, err := db.Get([]byte("key"), nil)

if err != nil {
    panic(err)
}

fmt.Println(data)

err = db.Delete([]byte("key"), nil)

if err != nil {
    panic(err)
}  

方法基本上沒有什么特殊之處,而第二個參數(shù)都是操作中基本上需要的一下配置化信息:插入和更新操作關(guān)心是否強(qiáng)制落庫以及是否支持合并寫入、而查詢所關(guān)心的則是是否不走緩存

當(dāng)然,為了高性能,leveldb本身也支持批量插入

batch := new(leveldb.Batch)
batch.Put([]byte("foo"), []byte("value"))
batch.Put([]byte("bar"), []byte("another value"))
batch.Delete([]byte("baz"))
err = db.Write(batch, nil)

批量插入的核心優(yōu)點(diǎn)就是會打開一個事務(wù)保證此次的插入原子性。關(guān)于本身事務(wù)的實(shí)現(xiàn),這也是后續(xù)的一個課題。

遍歷

當(dāng)數(shù)據(jù)的存儲已經(jīng)給出實(shí)例,那這塊還需要有檢索能力,才能支持更豐富的應(yīng)用場景。
而關(guān)于遍歷。由于本身是一個高性能的并發(fā)數(shù)據(jù)庫,當(dāng)并行時出現(xiàn)變更,則會導(dǎo)致遍歷異常,而若直接加鎖,則會導(dǎo)致性能的大規(guī)模損壞。這也映射了mysql中的mvcc實(shí)現(xiàn)。
在leveldb中,直接使用的是迭代器+快照的方法來實(shí)現(xiàn)遍歷能力。而遍歷本身也就分為全局遍歷、部分遍歷、范圍遍歷、匹配遍歷。這塊也暫時舉幾個??,讓人有直觀的印象。

    for i := 0; i < 5; i++ {
        db.Put([]byte(gofakeit.Name()), []byte(gofakeit.Address().Address), nil)
    }

    iter := db.NewIterator(nil, nil)
    for iter.Next() {
        // Remember that the contents of the returned slice should not be modified, and
        // only valid until the next call to Next.
        key := iter.Key()
        value := iter.Value()
        fmt.Println("all date: ", string(key), " -> ", string(value))
    }
    iter.Release()

生成數(shù)據(jù)本身使用的是github.com/brianvoe/gofakeit
而針對范圍遍歷。我們只需要更改一下迭代器的生成即可:

iter = db.NewIterator(&util.Range{Start: []byte("Trinity Runte"), Limit: []byte("Vito Gulgowski")}, nil)

部分遍歷。則是通過迭代器本身的seek方法來找到偏移量:

iter.Seek([]byte("Trinity Runte"))

還有一個有趣的點(diǎn)是,遍歷能支持前綴匹配:

iter := db.NewIterator(util.BytesPrefix([]byte("foo-")), nil)

關(guān)于遍歷本身,其實(shí)么有特別多好講的,更多的是遍歷對性能上是一個較大的損失,因?yàn)楸旧韑eveldb是分層文件,遍歷則表示需要將所有數(shù)據(jù)全部查詢,其中也就包括熱點(diǎn)和非熱點(diǎn)數(shù)據(jù),這樣會變現(xiàn)導(dǎo)致io的壓力增加。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,882評論 6 531
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,208評論 3 414
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,746評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,666評論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 71,477評論 6 407
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 54,960評論 1 321
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,047評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,200評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 48,726評論 1 333
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 40,617評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 42,807評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,327評論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,049評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,425評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,674評論 1 281
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,432評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 47,769評論 2 372

推薦閱讀更多精彩內(nèi)容

  • 1.摘要 本文介紹LevelDB的介紹,性能,框架,核心構(gòu)件原理,基本操作接口樣例。 2. LevelDB概述 L...
    筆名輝哥閱讀 6,197評論 0 6
  • LevelDB是一個可持久化的KV數(shù)據(jù)庫引擎,由Google傳奇工程師Jeff Dean和Sanjay Ghema...
    SunnyZhang的IT世界閱讀 617評論 0 2
  • 你是什么鬼? leveldb : 老子是一個單機(jī)的KV數(shù)據(jù)庫,適合寫多讀少,支持持久化,支持故障恢復(fù),咋樣,牛逼吧...
    戈風(fēng)閱讀 14,062評論 8 49
  • 表情是什么,我認(rèn)為表情就是表現(xiàn)出來的情緒。表情可以傳達(dá)很多信息。高興了當(dāng)然就笑了,難過就哭了。兩者是相互影響密不可...
    Persistenc_6aea閱讀 125,537評論 2 7
  • 16宿命:用概率思維提高你的勝算 以前的我是風(fēng)險(xiǎn)厭惡者,不喜歡去冒險(xiǎn),但是人生放棄了冒險(xiǎn),也就放棄了無數(shù)的可能。 ...
    yichen大刀閱讀 6,075評論 0 4