分布式中的log

log在當前互聯網中的應用:

分布式數據系統中有序的數據變化,數據分布式化

消息系統----消息系統是事件驅動架構中必不可少的元素。log是各種消息系統,activemq,kafka,rocketmq中的基本單元,承載事件。可使用消息系統構建業務總線,解耦事件產生者與事件關注者。也可用作負載均衡。

數據流--應用于數據集成,數據共享問題

實時計算--流處理,解決pull方式的沉重低效,與高延遲

簡單說上面幾點就是 log解決了

協調,同步,數據集成(共享),解耦,過程中處理 五大問題


協調:通過log傳輸信息,使得各個系統統一對一件事物的決策確定

同步:子系統只關注主系統的數據變化事件log,而不關注應用對數據的操作。

數據集成:各系統共享數據,數據源提供可積壓,可重復消費消息,可記錄客戶端消費位置的log日志集群實現。

解耦:消費者與生產者解耦,互相不關注對方的存在,消費者以log獲知事件的發生,并可實現削峰填谷,消費者可擴增消費能力,或削弱消費能力,而生產者不必調整生產能力。

過程中處理:實時計算的奧妙在于拓展了數據源,對于二級消費者,甚至三級消費者,可能消費的數據是一級消費者,二級消費者組裝后的數據,但是三級消費者無需關注中間處理過程。實時計算在于在事件最終落地之前,實時的做了合并,修改,分析等操作。通過log,實時計算組件可構建一個完善的數據流。

分布式系統中的logs

解決了兩個重要的分布式數據系統中的問題:

1,有序的數據變化 :redis aof數據同步,mysql主從

2,數據分布式化 集群方式存儲數據

數據集成中的log

數據集成是把不同來源、格式、特點性質的數據(基礎數據,簡單加工)在邏輯上或物理上有機地集中,從而為企業提供全面的數據共享。例如集團下子公司A,與集團下子公司B的數據需要共享。

可見,數據是整個系統應用中,最底層的支持,一個可靠的數據源是構建一個好的數據集成系統的關鍵。

數據源可以是各種數據庫里的表,也可以是一個消息中間件內整合了的log日志,消息中間件作為數據集成的的數據源,比純的數據庫中的數據作為數據集成的源頭有如下優點:

1,可實時消費,減少了對數據倉庫大批量pull的繁雜,消費者可根據自己索引快速增量pull數據。

2,消息中間件統一過濾,規范的事件log格式,避免數據倉庫中對數據的處理方式不對問題

3,多數據源覆蓋困難(kafka使得消費者與生產者解耦,消費者無需關注多數據源,只需關注kafka數據集群)


定義良好的log結構,以及一個好的可積壓的消息中間件是數據源構建的關鍵。

實時計算中的log

實時計算中的log算是對數據集成中的log進行的一種拓展,經過程序處理的log,傳遞給消費者,而log本身是否經過處理,是否是原生log,對于消費者來說是透明的。



事件驅動架構下的log作用:

分布式系統構建復雜,最好的處理辦法是各盡其責,各個組件完善自己的功能,大家協同合作,各系統可通過log進行溝通,數據共享,降低自身復雜度。

在分布式系統中,log應解決的問題:

數據一致性問題

節點數據同步

提供提交語義,來表明多系統對某件事情達成共識

提供可訂閱的數據源

數據恢復能力

負載均衡能力

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,345評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,494評論 3 416
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,283評論 0 374
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,953評論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,714評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,186評論 1 324
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,255評論 3 441
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,410評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,940評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,776評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,976評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,518評論 5 359
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,210評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,642評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,878評論 1 286
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,654評論 3 391
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,958評論 2 373

推薦閱讀更多精彩內容