Flink Checkpoint配置

范例:

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// start a checkpoint every 1000 ms
env.enableCheckpointing(1000);

// advanced options:
// set mode to exactly-once (this is the default)
env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);

// checkpoints have to complete within one minute, or are discarded
env.getCheckpointConfig().setCheckpointTimeout(60000);

// make sure 500 ms of progress happen between checkpoints
env.getCheckpointConfig().setMinPauseBetweenCheckpoints(500);

// allow only one checkpoint to be in progress at the same time
env.getCheckpointConfig().setMaxConcurrentCheckpoints(1);

// enable externalized checkpoints which are retained after job cancellation
env.getCheckpointConfig().enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);

// This determines if a task will be failed if an error occurs in the execution of the task’s checkpoint procedure.
env.getCheckpointConfig().setFailOnCheckpointingErrors(true);
  • 使用StreamExecutionEnvironment.enableCheckpointing方法來設置開啟checkpoint
    (具體可以使用StreamExecutionEnvironment.getCheckpointConfig.enableCheckpointing(long interval)),
    或者StreamExecutionEnvironment.getCheckpointConfig.enableCheckpointing(long interval, CheckpointingMode mode)
    interval用于指定checkpoint的觸發間隔(單位milliseconds)
    CheckpointingMode默認是CheckpointingMode.EXACTLY_ONCE
    也可以指定為CheckpointingMode.AT_LEAST_ONCE

  • 也可以通過StreamExecutionEnvironment.getCheckpointConfig().setCheckpointingMode來設置CheckpointingMode
    一般對于超低延遲的應用(大概幾毫秒)可以使用CheckpointingMode.AT_LEAST_ONCE,其他大部分應用使用CheckpointingMode.EXACTLY_ONCE就可以
    checkpointTimeout用于指定checkpoint執行的超時時間(單位milliseconds),超時沒完成就會被abort掉。

  • minPauseBetweenCheckpoints用于指定checkpoint距上一個checkpoint完成之后最少等多久可以出發另一個checkpoint
    當指定這個參數時,maxConcurrentCheckpoints的值為1

  • maxConcurrentCheckpoints用于指定運行中的checkpoint最多可以有多少個;
    如果有設置了minPauseBetweenCheckpoints,則maxConcurrentCheckpoints這個參數就不起作用了(大于1的值不起作用)

  • enableExternalizedCheckpoints用于開啟checkpoints的外部持久化,但是在job失敗的時候不會自動清理,需要自己手工清理stateExternalizedCheckpointCleanup用于指定當job canceled的時候externalized checkpoint該如何清理,DELETE_ON_CANCELLATION的話,在job canceled的時候會自動刪除externalized state,但是如果是FAILED的狀態則會保留;RETAIN_ON_CANCELLATION則在job canceled的時候會保留externalized checkpoint state

  • failOnCheckpointingErrors用于指定在checkpoint發生異常的時候,是否應該failtask,默認為true,如果設置為false,則task會拒絕checkpoint然后繼續運行

flink-conf.yaml相關配置:

#==============================================================================
# Fault tolerance and checkpointing
#==============================================================================

# The backend that will be used to store operator state checkpoints if
# checkpointing is enabled.
#
# Supported backends are 'jobmanager', 'filesystem', 'rocksdb', or the
# <class-name-of-factory>.
#
# state.backend: filesystem

# Directory for checkpoints filesystem, when using any of the default bundled
# state backends.
#
# state.checkpoints.dir: hdfs://namenode-host:port/flink-checkpoints

# Default target directory for savepoints, optional.
#
# state.savepoints.dir: hdfs://namenode-host:port/flink-checkpoints

# Flag to enable/disable incremental checkpoints for backends that
# support incremental checkpoints (like the RocksDB state backend). 
#
# state.backend.incremental: false
  • state.backend用于指定checkpoint state存儲的backend,默認為none
  • state.backend.async用于指定backend是否使用異步snapshot(默認為true),有些不支持async或者只支持asyncstate backend可能會忽略這個參數
  • state.backend.fs.memory-threshold,默認為1024,用于指定存儲于filesstate大小閾[yù]值,如果小于該值則會存儲在root checkpoint metadata file
  • state.backend.incremental,默認為false,用于指定是否采用增量checkpoint,有些不支持增量checkpointbackend會忽略該配置
  • state.backend.local-recovery,默認為false
  • state.checkpoints.dir,默認為none,用于指定checkpointdata filesmeta data存儲的目錄,該目錄必須對所有參與的TaskManagersJobManagers可見
  • state.checkpoints.num-retained,默認為1,用于指定保留的已完成的checkpoints個數
  • state.savepoints.dir,默認為none,用于指定savepoints的默認目錄
  • taskmanager.state.local.root-dirs,默認為none

小結:

  • 可以通過使用StreamExecutionEnvironment.enableCheckpointing方法來設置開啟checkpoint;具體可以使用enableCheckpointing(long interval),或者enableCheckpointing(long interval, CheckpointingMode mode)

  • checkpoint的高級配置可以配置enableExternalizedCheckpoints(用于開啟checkpoints的外部持久化,在job failed的時候externalized checkpoint state無法自動清理,但是在job canceled的時候可以配置是刪除還是保留state)

  • flink-conf.yaml里頭也有checkpoint的相關配置,主要是state backend的配置,比如state.backend.asyncstate.backend.incrementalstate.checkpoints.dirstate.savepoints.dir

Java 配置實例:

/**
 * 是否重啟標識flag
 */
private static boolean replayFlag = true;

/**
 * 重啟次數
 */
private static Integer replayTimes;

/**
 * 重啟時間間隔
 */
private static Integer replaySeconds;

private static Long checkPointTime;

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

if (replayFlag) {
    env.setRestartStrategy(RestartStrategies.fixedDelayRestart(
            replayTimes,
            Time.of(replaySeconds, TimeUnit.SECONDS)
    ));
    CheckpointConfig config = env.getCheckpointConfig();

    //env.setStateBackend(new FsStateBackend(checkPointDir));
    // 任務流取消和故障時會保留Checkpoint數據,以便根據實際需要恢復到指定的Checkpoint
    config.enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
    
    // 設置checkpoint的周期, 每隔1000 ms進行啟動一個檢查點
    config.setCheckpointInterval(checkPointTime);
    
    // 設置模式為exactly-once
    config.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
    
    // 確保檢查點之間有至少500 ms的間隔【checkpoint最小間隔】
    config.setMinPauseBetweenCheckpoints(500);
    
    // 檢查點必須在一分鐘內完成,或者被丟棄【checkpoint的超時時間】
    config.setCheckpointTimeout(checkPointTime);
    
    // 同一時間只允許進行一個檢查點
    config.setMaxConcurrentCheckpoints(1);
}
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,818評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,185評論 3 414
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,656評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,647評論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,446評論 6 405
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 54,951評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,041評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,189評論 0 287
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,718評論 1 333
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,602評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,800評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,316評論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,045評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,419評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,671評論 1 281
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,420評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,755評論 2 371

推薦閱讀更多精彩內容