發簡信
IP屬地：四川
-
使用Spark讀取并分析二進制文件
需求 客戶希望通過spark來分析二進制文件中0和1的數量以及占比。如果要分析的是目錄，則針對目錄下的每個文件單獨進行分析。分析后的結果保存與被...
-
Spark中進行聚合時的特殊場景
在對數據進行統計分析時，如果對指標進行聚合運算，而待查詢的字段中還包含了維度，則原則上我們還需要按照維度字段進行分組。倘若這個聚合運算為sum函...
-
代碼診所續幾年前，我有機會負責一個項目的咨詢。團隊很小，目標是對舊有系統的后端用Java改寫，而團隊的開發人員全為C程序員。我的工作職責是負責項目設計、開...
-
代碼診所幾年前，我有機會負責一個項目的咨詢。團隊很小，目標是對舊有系統的后端用Java改寫，而團隊的開發人員全為C程序員。我的工作職責是負責項目設計、開...
-
繼續探索with語句
在上一篇博客《漂亮的with，魚與熊掌可以兼得》中，展現了with的優雅之處，然而在比較with與|>時，言猶未盡，講得不夠透徹。 在那篇博客中...
-
推行TDD的思考
我在參與的開發項目以及咨詢項目中，都有實踐TDD的經驗。直至今日，我仍然會在某些功能開發時采用TDD的方式實現功能。雖然沒有達到將TDD溶于開發...
-
漂亮的with，魚與熊掌可以兼得
假設要加載磁盤上的一個文件，并以二進制形式讀取文件的數據。若要從健壯性的角度考慮，需得考慮兩種異常情況： 加載文件失敗，例如給定的文件路徑并不存...
-
一次設計演進之旅需求背景： 我們需要實現對存儲在HDFS中的Parquet文件執行數據查詢，并通過REST API暴露給前端以供調用。由于查詢的結果可能數量較大...
-
Scala中的map與collect
在Scala中，當我需要對集合的元素進行轉換時，自然而然會使用到map方法。而當我們在對tuple類型的集合或者針對Map進行map操作時，通常...