前言 經過前幾篇文章的介紹，大致了解了生產者背后的運行原理。消息有生產就得有人去消費，今天我們就來介紹下消費端消費消息背后發生的那點事兒。 ?文章概覽 1. 消費者與消費組的...
發簡信
IP屬地：安徽
-
kafka系列第5篇：一文讀懂消費者背后的那點"貓膩"
-
Kafka系列第4篇：消息發送背后網絡操作的那點事兒
?前言 上篇文章講述了消息從生產到寫入到 Broker 的 partition 上背后發生的故事，并提出了消息發送的網絡模型的問題。本篇文章我們來嘗試揭開其背后的神秘面紗，耐...
-
-
是不是可以考慮優化shuffle類算子,比如某些中間結果比較小的緩存下來做廣播處理等等
Spark內核分析之BlockManager工作原理介紹
最近一直在忙，沒顧得上寫文章，新年的第一篇文章，希望大家可以喜歡；好了，今天接著之前的內容，來聊聊BlockManager的工作原理，上圖來分析； 在DAGShceduler...
-
我沒有遇到過你所說的情況,有沒有可能是你的任務產生了大量的中間數據導致tmp目錄變得非常大
Spark內核分析之BlockManager工作原理介紹
最近一直在忙，沒顧得上寫文章，新年的第一篇文章，希望大家可以喜歡；好了，今天接著之前的內容，來聊聊BlockManager的工作原理，上圖來分析； 在DAGShceduler...
-
我是一名java開發工程師。經常在自己業余時間學習之時，喜歡寫一些筆記文檔來對相應的知識點進行一個總結。未來我會把更多自己寫的筆記文檔寫成簡書，希望大家能夠喜歡。謝謝大家！！！
