Check Point
sparkContext.setCheckpointDir()
- spark的checkpoint目錄在集群模式下，必須是 hdfs path。因?yàn)樵诩耗Ｊ较?，?shí)際上 checkpointed RDD 是從executor machines 的 check point files 里面加載而來(lái)。
RDD CheckPoint
- 實(shí)際上是利用 hdfs 的冗余來(lái)實(shí)現(xiàn)高可用。
- 文件rdd-x保持的是 該rdd 的 信息。
- 如果 rdd1.checkpoint(), 那么 后面依賴(lài) rdd1的 rdd2 在計(jì)算時(shí)加載 rdd1實(shí)際上是從 checkpoint產(chǎn)生的eliableCheckpointRDD而來(lái)，（而不是從 rdd0->rdd1重新計(jì)算）。
- 如果 rdd1.persist()并且 checkpoint 了，會(huì)優(yōu)先加載 cache 里面的，然后是 checkpoint 里面的。
Streaming CheckPoint
Streaming里面的 checkpoint 又有其特殊的重要性。除存儲(chǔ)某個(gè) DStream 的數(shù)據(jù)外，還存儲(chǔ)了環(huán)境相關(guān)信息。數(shù)據(jù)的 checkpoint 的目的同上，為了切斷過(guò)長(zhǎng)的依賴(lài)，使后面的操作的依賴(lài)更可口。而 metadata 的 checkpoint 是為了更好的恢復(fù) driver。
Spark Streaming 會(huì) checkpoint 兩種類(lèi)型的數(shù)據(jù)。
- Metadata（元數(shù)據(jù)） checkpointing - 保存定義了 Streaming 計(jì)算邏輯至類(lèi)似 HDFS 的支持容錯(cuò)的存儲(chǔ)系統(tǒng)。用來(lái)恢復(fù) driver，元數(shù)據(jù)包括：
配置 - 用于創(chuàng)建該 streaming application 的所有配置
DStream 操作 - DStream 一些列的操作
未完成的 batches - 那些提交了 job 但尚未執(zhí)行或未完成的 batches - Data checkpointing - 保存已生成的RDDs至可靠的存儲(chǔ)。這在某些 stateful 轉(zhuǎn)換中是需要的，在這種轉(zhuǎn)換中，生成 RDD 需要依賴(lài)前面的 batches，會(huì)導(dǎo)致依賴(lài)鏈隨著時(shí)間而變長(zhǎng)。為了避免這種沒(méi)有盡頭的變長(zhǎng)，要定期將中間生成的 RDDs 保存到可靠存儲(chǔ)來(lái)切斷依賴(lài)鏈
什么時(shí)候需要啟用 checkpoint？
有重要的過(guò)長(zhǎng)的計(jì)算依賴(lài)
用了一些全局的變量，比如stateful，broadcast 等
希望從application從 driver 中恢復(fù)，注意需要重寫(xiě) functionToCreateContext
http://www.lxweimin.com/p/00b591c5f623隨著 streaming application 的持續(xù)運(yùn)行，checkpoint 數(shù)據(jù)占用的存儲(chǔ)空間會(huì)不斷變大。因此，需要小心設(shè)置checkpoint 的時(shí)間間隔。設(shè)置得越小，checkpoint 次數(shù)會(huì)越多，占用空間會(huì)越大；如果設(shè)置越大，會(huì)導(dǎo)致恢復(fù)時(shí)丟失的數(shù)據(jù)和進(jìn)度越多。一般推薦設(shè)置為 batch duration 的5~10倍
注意：類(lèi) Checkpoint 對(duì)象序列化后的數(shù)據(jù)，在 Spark Streaming application 重新編譯后，再去反序列化 checkpoint 數(shù)據(jù)就會(huì)失敗。這個(gè)時(shí)候就必須新建 StreamingContext。解決方案：對(duì)于重要的數(shù)據(jù)，自行維護(hù)，比如 kafka 的offset。
TODO check: offset checkpoint metadata or hdfs 存 or
zookeeper存 比較。
zero data loss 保證
Write Ahead Log+ reliable receivers（收到數(shù)據(jù)并且 replicate 之后向 source 確認(rèn)）
多大程度上保證 zero data loss，跟源本身的實(shí)現(xiàn)機(jī)制，receiver 的實(shí)現(xiàn)也有關(guān)系
在 deploy 上 checkpoint 也有一些依賴(lài)
具體參考：
http://spark.apache.org/docs/latest/streaming-programming-guide.html#deploying-applications
Persistent vs CheckPoint
Spark 在生產(chǎn)環(huán)境下經(jīng)常會(huì)面臨transformation的RDD非常多（例如一個(gè)Job中包含1萬(wàn)個(gè)RDD）或者具體transformation的RDD本身計(jì)算特別復(fù)雜或者耗時(shí)（例如計(jì)算時(shí)長(zhǎng)超過(guò)1個(gè)小時(shí)），這個(gè)時(shí)候就要考慮對(duì)計(jì)算結(jié)果數(shù)據(jù)的持久化。如果采用persist把數(shù)據(jù)放在內(nèi)存中，雖然是快速的，但是也是最不可靠的；如果把數(shù)據(jù)放在磁盤(pán)上，也不是完全可靠的！例如磁盤(pán)會(huì)損壞，系統(tǒng)管理員可能清空磁盤(pán)。持久化的方向可以是 persistent 或者 checkpoint。 當(dāng)兩者目的又有所不同。
cache/persistent 可以說(shuō)一方面是為了提速，另一方面是為了當(dāng)某一重要步驟過(guò)長(zhǎng)，后面的依賴(lài)出錯(cuò)（可能是邏輯錯(cuò)誤）情況下，可以無(wú)需從頭算起。
checkpoint：則更多的是為了高可用。其核心另的還是 hdfs 的 replicaton.其情形是集群總某個(gè)點(diǎn)的硬件設(shè)備壞掉，例如 persistent 中某個(gè)盤(pán)壞了，整個(gè)應(yīng)用仍然是可用的。Checkpoint的產(chǎn)生就是為了相對(duì)而言更加可靠的持久化數(shù)據(jù)，在Checkpoint的時(shí)候可以指定把數(shù)據(jù)放在本地，并且是多副本的方式，但是在生產(chǎn)環(huán)境下是放在HDFS上，這就天然的借助了HDFS高容錯(cuò)、高可靠的特征來(lái)完成了最大化的可靠的持久化數(shù)據(jù)的方式；
Checkpoint是為了最大程度保證絕對(duì)可靠的復(fù)用RDD計(jì)算數(shù)據(jù)的Spark高級(jí)功能，通過(guò)checkpoint我們通常把數(shù)據(jù)持久化到HDFS來(lái)保證數(shù)據(jù)最大程度的安全性；
Checkpoint就是針對(duì)整個(gè)RDD計(jì)算鏈條中特別需要數(shù)據(jù)持久化的環(huán)節(jié)（后面會(huì)反復(fù)使用當(dāng)前環(huán)節(jié)的RDD）開(kāi)始基于HDFS等的數(shù)據(jù)持久化復(fù)用策略，通過(guò)對(duì)RDD啟動(dòng)checkpoint機(jī)制來(lái)實(shí)現(xiàn)容錯(cuò)和高可用；
加入進(jìn)行一個(gè)1萬(wàn)個(gè)步驟，在9000個(gè)步驟的時(shí)候persist，數(shù)據(jù)還是有可能丟失的，但是如果checkpoint，數(shù)據(jù)丟失的概率幾乎為0。
理解spark streaming 情形下的數(shù)據(jù)丟失，對(duì) checkpoint 非常重要
http://spark.apache.org/docs/latest/streaming-programming-guide.html#fault-tolerance-semantics
