發簡信
IP屬地：澳門
-
kafka系列第5篇：一文讀懂消費者背后的那點"貓膩"
前言 經過前幾篇文章的介紹，大致了解了生產者背后的運行原理。消息有生產就得有人去消費，今天我們就來介紹下消費端消費消息背后發生的那點事兒。 ?文...
-
Kafka系列第4篇：消息發送背后網絡操作的那點事兒
?前言 上篇文章講述了消息從生產到寫入到 Broker 的 partition 上背后發生的故事，并提出了消息發送的網絡模型的問題。本篇文章我們...
-
Spark內核分析之BlockManager工作原理介紹最近一直在忙，沒顧得上寫文章，新年的第一篇文章，希望大家可以喜歡；好了，今天接著之前的內容，來聊聊BlockManager的工作原理，上圖來分析...
-
Spark內核分析之Shuffle操作流程（非常重要）如題，我們來分析一下spark的shuffle操作原理；為什么說其非常重要，是因為shuffle操作是我們在Spark調優中非常重要的一環，對s...
-
Spark內核分析之DAGScheduler劃分算法實現原理講解（重要）接著上一篇，我們接著來分析下一個非常重要的組建DAGScheduler的運行原理是怎么實現的；通過之前對Spark的分析講解，我們的Spark作...
-
Spark內核分析之Worker原理分析接著上篇的Schedule調度內容，本篇我們來看看Driver，Application向Worker發送launch以后到底發生了什么。先來看看...
-
Spark內核分析之Scheduler資源調度機制上一篇我們闡述了Driver，Application，Worker的注冊實現原理，本篇我們來接著聊聊Driver，Application在注冊之...
-
Spark內核分析之Master的注冊機制實現原理這篇文章我們來討論一下Master的注冊機制；那么有哪些信息需要注冊到Master上面去呢？很簡單，分別有Worker的注冊，Driver的注冊...
-
Spark內核分析之Spark的HA源碼分析Spark作業運行的集群環境有兩種，分別基于standalone模式和Yarn集群模式。我們知道Yarn集群提供了HA來保證了集群的高可用，而s...