【20170108&9】

回本部半天。

跟著storm官方文檔看storm的內容,了解了SchedulerConfigurationGuaranteeing message processing三個部分。

Scheduler類似于要做的資源管理器,是storm自帶的。主要有四種調度器DefaultScheduler,IsolationScheduler,MultitenantScheduler,ResourceAwareScheduler.負責為不同的任務分配資源。

Configuration是用來配置storm,配置文件可以覆蓋,其優先級:defaults.yaml < storm.yaml < topology specific configuration < internal component specific configuration < external component specific configuration(越全局的配置文件優先級越低)

Guaranteeing Message Processing,信息處理保障機制,似乎是storm可靠性和容錯性的主要依據。這篇博客講解細致。storm spout下面的多級tuple主要通過ack和fail通信,如果次級的tuple完成了,則調用上一級tuple的ack,上一級的tuple的子tuple全都返回ack,則該tuple完成(占用的內存也清零);如果出錯了,則調用上一級的fail,重新為該tuple分配資源重新計算,這樣保證了所有的tuple被完全正確的執行。這種上下級tuple間的聯系是通過傳遞id實現的。tuple產生一個子tuple叫做anchoring。另外也可以為了提高計算效率犧牲可靠性,只需要配置時讓每個topology的acker為零即可,就不會有ack返回,同時也失去了前后級tuple的聯系,前級tuple 不管后級的是否出錯。

Daemon Fault Tolerance ,守護線程容錯機制,分別介紹了當worker出錯、Nimbus出錯、supervisor Daemon出錯、以及node出錯的時候如何處理。其中node出錯的機制(似乎)與前面信息處理保障機制acker數量為0的時候一致,也就是等到timeout之后重新執行;worker出錯supervisor會重新啟動它,如果總是失敗不能給Nimbus發送心跳,則Nimbus會重新啟動worker;Nimbus和supervisor Daemon出錯,不會有進程被打斷,Nimbus和SD就會重啟;如果只有Nimbus出錯,則worker不會被打斷,SD也正常運行,但是worker不會被重分配。


三葉草的項目,今天寫了一個初步的簡陋的界面,只有一個開始鍵和輸入用戶姓名密碼的文本框。

之前debug的時候的閃退的問題,在一個FreshMessage的里面有一個nullPointerException的error,加了一個try-cache之后問題居然就沒出現了。。。據szx大神說是從服務器拿新的單詞包的時候網速跟不上導致后面執行的時候還沒有,是線程沖突問題,之后沒再管,后面可以試試加個延時啥的。

另外主界面的設計有待解決。。。

后面打算先看看opengl的基礎知識,再熟悉一下這部分的原有代碼,逐漸改起來。先解決單詞長度有限的問題。

goodnight~


忘記還有Eclispe加載Maven項目的時候還是在update上面一直卡住,今天草草瀏覽了一下百度,還沒解決。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,428評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,024評論 3 413
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,285評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,548評論 1 307
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,328評論 6 404
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 54,878評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 42,971評論 3 439
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,098評論 0 286
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,616評論 1 331
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,554評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,725評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,243評論 5 355
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 43,971評論 3 345
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,361評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,613評論 1 280
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,339評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,695評論 2 370

推薦閱讀更多精彩內容

  • 目錄 場景假設 調優步驟和方法 Storm 的部分特性 Storm 并行度 Storm 消息機制 Storm UI...
    mtide閱讀 17,169評論 30 60
  • Date: Nov 17-24, 2017 1. 目的 積累Storm為主的流式大數據處理平臺對實時數據處理的相關...
    一只很努力爬樹的貓閱讀 2,189評論 0 4
  • 這是一個JStorm使用教程,不包含環境搭建教程,直接在公司現有集群上跑任務,關于JStorm集群環境搭建,后續研...
    Coselding閱讀 6,377評論 1 9
  • 原文鏈接Storm Tutorial 本人原創翻譯,轉載請注明出處 這個教程內容包含如何創建topologies及...
    quiterr閱讀 1,630評論 0 6
  • 分手后的第五天他喝了酒,其實他已經想通了,可就是心里還是堵得慌。 第一天的時候,他郁悶了一整天 看著換掉了情侶頭像...
    我才不是高冷的A君閱讀 245評論 0 2