發簡信
IP屬地：廣東
-
Spark中Executor內存中管理機制分為兩種1.靜態內存管理2.統一內存管理一.靜態內存管理 首先定義內存的大小為3G（--executor-memory 3G）定義完成后，靜態的...
-
Spark shuffle中 reduce task是怎么拉取數據的？1.map task 執行完畢后會將計算狀態以及磁盤小文件位置等信息分裝到mapStatue對象中，然后由本進程中的MapOutPutTrack...
-
Spark shuffle一.reduceByKey的含義reduceByKey會將上一個RDD中的每一個key對應的所有value聚合成一個value，然后生成一個新的...
-
會發生shuule的算子
reduceByKeycountByKeyjoingroupByKeycogroup他們的共同特點都是一些聚合類的算子
-
Spark中sortByKey是如何進行全局排序的首先有一個問題有一臺服務器:24core 128G內存，要處理一個1T的數據怎么辦？ 要采用拆分策略，將1T的數據拆分成128G大小的塊進入服務...
-
統計一下每一個月份中，溫度最高top2
思路首先按照月份來分組，對組內的數據按照溫度來排序取溫度最高的前兩名，然后分組取RDD代碼 關于serialVersionUIDserialVe...
-
根據溫度排序，溫度相同按照濕度排序
原始數據 思路：1.將數據讀取到RDD1中2.將RDD1中的數據轉換成K-V格式的RDD23.對RDD2使用sortByKey排序代碼 其中So...
-
map 和 mapPartitions
map:遍歷算子，可以遍歷RDD中每一個元素，遍歷的單位是每條記錄 mapPartitions遍歷算子，可以改變RDD格式，會提高RDD并行度，...
-
reduceByKey和countByKey區別
相同點： 兩者都會根據key來分組 不同點：reduceByKey會根據用戶傳入的聚合邏輯對數組內的數據進行聚合，countByKey不需要用戶...