學習一下MPP架構的特點，優勢，常見的一些MPP架構的系統（CK、Doris、SR、Trino等）各方面對比。 一、MPP架構概述 1.1 什么是MPP架構 MPP (Mas...
發簡信
IP屬地：北京
-
MPP架構相關知識學習
-
【HDFS】EC重構過程中的校驗功能：DecodingValidator
一、動機 DecodingValidator是在HDFS-15759中引入的一個用于校驗EC數據重構正確性的組件。 先說下引入DecodingValidator的動機，據很多...
-
【HDFS】EC文件副本缺失后，會自動補充么？
EC存儲能夠有效較低存儲成本，但是我們也需要關注數據可用性相關的事情，避免發生數據丟失的情況。 本文來探討一下EC補充低冗余度的塊的相關知識。 先說一下什么是低冗余度，我以R...
-
【HDFS】BlockPlacementPolicyRackFaultTolerant#getMaxNode方法的功能及具體實例
方法參數說明： numOfChosen：已經選擇的節點數 numOfReplicas：還需要選擇的副本數 方法的返回值是一個長度為2的數組：[調整后的要選出多少個節點（不包括...
-
【Ratis】關于對Raft論文里safety的保證及代碼實現
Raft論文里算法部分核心內容就三個方面：1、Leader Election 領導者選舉2、Log Replication 日志復制3、Safety 安全性 前面的系列文章...
-
【HDFS-Client系列】FSOutputSummer#write1方法的細節
有些代碼初次閱讀并不能看出其中的處理細節，但是當過一段時間對這個部分熟悉了之后再來閱讀，就能發現并體會其中的細節。 本文說一下FSOutputSummer#write1的細節...
-
【HDFS】如果文件的lastblock的最后一個chunk不滿512字節，會生成checksum么？
如題，本文試圖弄清楚這樣一個問題：如果文件的最后一個block的最后一個chunk里的數據不足512字節，那么還會為其生成checksum么？ 先給出答案：會生成。 接著我們...
-
【HDFS】FsDatasetSpi#adjustCrcChannelPosition
FsDatasetSpi接口里定義adjustCrcChannelPosition方法。應用場景在：append，block recovery等場景。 方法的作用是設置che...
-
【HDFS】DFSPacket中lastPacketInBlock字段的關鍵作用！
這篇文章介紹了DFSPacket對象的lastPacketInBlock字段相關的知識。【HDFS Client】DFSPacket對象什么情況下是lastPacketInB...
-
【HDFS Client】DFSOutputStream細節（未完成）
前言 本文主要介紹以下內容：DFSOutputStream里的一些重要方法的作用DFSOutputStream里關于寫Packet的一些有趣的配置項。 重要方法 abort：...
-
【HDFS Client】DFSPacket對象什么情況下是lastPacketInBlock？前言：本篇文章主要回答了如下問題：① HDFS客戶端寫數據時怎么界定一個DFSPacket對象是此block里的最后一個DFSPacket？② DFSPacket對象里的la...
-
protobuf協議兼容處理
目標： 了解protobuf是如何做協議兼容的。 問題： 在protobuf中，是怎么做到新舊協議傳輸的兼容的，比如：（問題一）在新的協議里面增加了一個字段，傳輸到另一方是如...
-
【HDFS】BlockSender發送數據源碼詳解本文包含如下內容：1、BlockSend在發送數據之前讀數據文件和meta文件生成的Packet的結構。2、BlockSender的核心方法：sendBlock和sendPa...
-
-
【HDFS】從BlockPoolSlice#createRbwFile到BlockReceiver()
BlockPoolSlice#createRbwFile的過程 FsDatasetImpl#createRbw的源碼詳解 需要構造BlockReceiver的幾種情況討論 從...
-
【HDFS】FsDatasetImpl系列文章
【HDFS】FsDatasetImpl#recoverClose方法[https://blog.csdn.net/yexiguafu/article/details/1290...
-
【HDFS】一個RPC的生命周期，從服務端接收到響應的各個階段的統計指標注：本文參考的hadoop版本是：3.3.2 RPC生命周期 在ProcessingDetails.Timing枚舉類里： TODO：畫一幅圖，標注出每個階段。 Handle...
-
openJDK源碼下載對于英文不好的同學，在國外的網站下載各種工具代碼， 是非常痛苦的。今天分享下openJDK源碼是如何下載的。 1.打開openjdk網站 打開鏈接 2.點擊想要下載的jdk的...
-
Linux內核之文件系統如何描述一個文件 文件在內存和磁盤上是如何描述的：每個文件至少要有一個數據結構存放該文件的信息，包括uid、gid、flag、文件長度、文件內容存放位置的數據結構等。在Lin...
-
我在maven public倉庫里看到有gdal的包，直接用那個不行么?
【Java】maven-shaded-plugin超詳細詳解
一、總體介紹 maven-shaded-plugin提供了兩大基本功能： 將依賴的jar包打包到當前jar包（常規打包是不會將所依賴的jar包打進來的）； 對依賴的jar包進...
