發(fā)簡信
IP屬地：青海
-
spark統(tǒng)一內(nèi)存管理器UnifiedMemoryManager
在1.6版本之前spark采用靜態(tài)內(nèi)存管理器StaticMemoryManager進(jìn)行內(nèi)存管理，而在之后spark采用統(tǒng)一內(nèi)存管理器Unifie...
-
GeoMan模型數(shù)據(jù)預(yù)處理geoman模型基于編解碼網(wǎng)絡(luò)及分層注意力機(jī)制設(shè)計而成，可以對多源時間序列進(jìn)行預(yù)測。在編碼端，引入局部及全局注意力，并將傳感器之間的距離作為全局...
-
基于spark隨機(jī)森林的水質(zhì)預(yù)測
根據(jù)水質(zhì)監(jiān)測信息預(yù)測水質(zhì)變化趨勢，對水環(huán)境的有效防范治理具有重要意義。目前水質(zhì)預(yù)測方法主要分為兩類，一類為基于污染物在水環(huán)境中的理化過程建立的數(shù)...
-
java調(diào)用python程序
豐富的第三方庫使得python非常適合用于進(jìn)行數(shù)據(jù)分析，最近在項目中就涉及到j(luò)ava調(diào)用python實現(xiàn)的算法。目前，java調(diào)用python主...
-
spark源碼解析之partitioner
spark中stage的劃分依據(jù)action算子進(jìn)行，每一次action（reduceByKey等）算子都會觸發(fā)一次shuffle過程，該過程涉...
-
spark讀寫數(shù)據(jù)倉庫
1、使用場景 ?隨著業(yè)務(wù)及數(shù)據(jù)量的增長，數(shù)據(jù)庫中的數(shù)據(jù)大致可以分為兩類，一類為操作型數(shù)據(jù)，另一類為分析型數(shù)據(jù)。其中，操作型數(shù)據(jù)通常與日常業(yè)務(wù)緊密...
-
rdd實現(xiàn)wordcount
1、rdd實現(xiàn)wordcountrdd調(diào)用flatMap方法將rdd中每一個元素按空格分割并鋪平，再通過map方法組成元組，最后通過reduce...
-
基于spark實現(xiàn)emd算法
emd（empirical mode decomposition）算法廣泛用于非平穩(wěn)時間序列的平穩(wěn)性處理，其基本原理是將原始序列分解為一系列本征...
-
基于EMD分解與LSTM的空氣質(zhì)量預(yù)測作為RNN的一種變體，LSTM廣泛用于時間序列的預(yù)測。本文結(jié)合EMD（empirical mode decomposition）算法及LSTM提...