發簡信
IP屬地：寧夏
-
[翻譯] 模式：服務網格?微服務?分布式系統?服務網?模式? 自從幾十年前分布式系統被首次提出，我們了解到分布式系統能夠實現在這之前我們甚至沒有想到過的用例，但它們也會...
-
第6章 MapReduce應用開發-MRUnit編寫
MRUnit是一個測試庫，可以方便地測試Mapper與Reducer運行邏輯是否符合預期. 1、Mapper單元測試 如下為V1版本Mapper...
-
第6章 MapReduce應用開發-管理配置
1、多環境配置切換 開發時，如果需要經常在本地運行與集群運行間切換，可以編寫多個hadoop配置文件，每個文件包含每個環境的連接設置，運行時指定...
-
第6章 MapReduce應用開發-Configuration詳解
1、API解讀 Resources 配置通過資源指定，資源以XML形式包含一組name/value對，每個資源通過String或Path指定，假...
-
第5章 Hadoop IO操作 學習筆記
5.1 數據完整性 系統中需要處理的數據量大到Hadoop處理極限時，容易出現數據丟失或者損壞.措施：數據引入系統時計算校驗和（checksum...
-
第3章 Hadoop分布式文件系統 學習筆記（二）3.6 數據流 3.6.1 剖析文件讀取 1、客戶端調用DistributedFileSystem.open方法以打開希望讀取的文件，Distr...
-
java.util.ServiceLoader加載服務實現類
1、ServiceLoader 簡介 用于加載服務提供者。 服務通常是一組接口或者抽象類，服務提供者是服務的特定實現。服務提供者中的類通常實現了...
-
Java查詢HDFS文件系統
1、文件元數據 FileStatus 輸入如下： FileStatus封裝了目錄與文件的元數據信息，包括所有者、塊大小、文件長度、修改時間、副本...
-
Java讀寫Hadoop文件
1、從Hadoop URL讀取文件 示例一： URL.setURLStreamHandlerFactory(new FsUrlStreamHan...