|0x00 從實時數倉的歷史談起 實時數倉的歷史，有三個顯著的分水嶺。 第一個分水嶺是從無到有，隨著以Storm為代表的實時計算框架出現，大數據從此擺脫了MapReduce單...
發簡信
IP屬地：廣東
-
-
HDFS架構師 5 - NameNode bug分析及雙緩沖機制
一、回顧HDFS 元數據 管理 1、0 回顧HDFS 元數據 管理 流程 35} 0:8 1.1 寫元數據（journalnode)超時會導致namenode進程異常退出 3...
-
kafka圖解源碼-2.0 服務端代碼設計1-網絡31 ）服務端代碼設計-觀察-kafka源碼的包 31} 0：7 重點代碼包： broker：D:\Git_SRC\JavaProjects\kafka-0.10.1...
-
kafka圖解源碼-3 消費者代碼設計67)消費者源碼-coondinator原理刨析 -63｝0:16 68)消費者源碼-consumer初始化 -64｝0:16 入口↓▲★\kafka-0.10.1.0-...
-
深入淺出kafka-broker相關原理1 、 broker管理之leo hw 含義 41} leo ： log and offset 每partion 收到1條消息都更新自己的 offset ...
-
深入淺出kafka-消費者相關原理
1、 消費組概念 32} 0:7 2、偏移量工具 35} 0：15 kafkaOffsetMonitor-assembly-0.3.0 3、感知消費異常 36} ...
-
深入淺出kafka-生產者相關原理
1 生產者如何提升吞吐量 26} 0： 10 發送原理圖 1、buffer.memory 設置緩沖區 默認32M2、compression.type 默認n...
-
HDFS架構師3.1-元數據管理流程2（日志同步及fsimage互傳）19} 20} 21} 22} 1、內存里面的元數據刷盤 19}接上期 ——1.1 .1.1》 FSEditLog.logSync（）——1.1 .1.1.1》 EditL...
-
Docker 構建 Flink 1.10.2 集群(ON YARN)
1. 借鑒 使用Docker在本地搭建Flink分布式集群[https://blog.csdn.net/clypm/article/details/86303248]基于do...
-
HDFS架構師3.0-元數據管理流程1（主節點雙緩沖寫）1、以創建目錄的場景 為例貫穿整個流程 自編客戶端 FileTest 代碼_>▲★▼FileSystem fileSystem=FileSystem.newInstance...
-
HDFS架構師 2.2 - NameNode元數據雙緩沖寫入原理demo
（1）HDFS元數據管理、雙緩沖 17 } 0：55 雙緩沖寫元數據的方法 ——》 FSEditLog#logEdit（）▼▼
-
HDFS架構師 2-1 —DataNode啟動流程-注冊及心跳
1、 DataNode啟動流程 19：00 本節入口：DataNode類main方法/* DataNode類注釋說明： TODO (1) DataNode存儲hdfs上b...
-
HDFS架構師 2-0 — NameNode啟動流程2
接上回——》NameNode #構造函數（）——1 》NameNode # initialize▼rpcServer = createRpcServer(conf); ...
-
Flink源碼5- task執行及state和checkpoint一 、 task執行入口 0：15 接 上期 回顧★ ——7 》 TaskExecutor#submitTask（） 第一個入口：Task 構造函數——》Task 構造...
-
Flink源碼4-Slot分配和Task執行接上期：——》JobMaster#startJobExecution（）resetAndStartScheduler();——》JobMaster#resetAndStart...
-
Flink源碼3-task任務提交到graph生成1、 上次回顧 0：10 ~0：18 2、 本次大綱 0：18 ~0：22 4.1 Flink 編程套路 0：23 ~ 0：38 4.2 Clifrontend 提交分...
-
Flink源碼2-TaskManager啟動和注冊1、 上期回顧 0：00：00 ~0：20：00 2、 TaskManager 的啟動 0：20：00 ~ 1：39：00 flink-daemon.sh 腳本 3...
-
Flink源碼1-Flink 的集群和Jobmanager啟動1、Flink RPC 詳解 0：5：00 ~ 0：26：00 1、ActorSystem 是管理 Actor生命周期的組件， Actor是負責進行通信的組2、每個 Act...
-
flink架構師5-CEP、一致性、YARN一 、 CEP 0：18~1：10 二、一致性保證 1：10 ~2：25 我們使用FlinkKafkaConumser,并且啟用Checkpoint，偏移量會通過ch...