wsl即適用于Windows的Linux子系統支持幾種常見的Linux系統,我主要用了ubuntu2004。 確實很方便,Windows下直接可以打開Linux環境, 顯卡直...
wsl即適用于Windows的Linux子系統支持幾種常見的Linux系統,我主要用了ubuntu2004。 確實很方便,Windows下直接可以打開Linux環境, 顯卡直...
1.Spark SQL中的一個空值處理 背景是Dataframe轉為表之后使用Spark SQL,并需要過濾一些數值型空值。Scala中的NaN值,一般可以看作是Float或...
0. 本文目的 主要輔助信號與系統課程的學習與講解。 一些零碎的記錄,以后再酌情細化。 1. 利用sympy庫 基本方式是直接定義函數,之后調用自帶的函數做處理、計算、變換,...
2023.6 結論 WSL+ubuntu(或者純ubuntu)可以解決大部分問題,比如ubuntu20.04默認的python3.8下可以支持: Tensorflow_fed...
剛剛,做了一個詭異的夢。我剛剛下班,總覺得忘了點什么,回到家中,母親說她在北京專用的電話卡被一個號打爆了(現實中母親目前沒有在北京,也沒有一個北京專用的電話卡),說我應當去一...
Spark遇到的一個內存錯誤 問題 項目中遇到的一個問題,其實不是spark的鍋,但錯誤是它爆出來的,排錯過程可以借鑒:錯誤是這樣的: org.apache.spark.Sp...
1. 減少client模式下的日志輸出 2. 判斷字符串是否為整數或小數 和spark沒關系,是個scala語法問題。實際項目中涉及過濾數據質量的問題,因此綜合網上看到的例子...
把項目中的注釋和筆記整理了一下(實際業務的變量名和列名肯定不是下面示例這樣的......) 1. Spark的壓縮 一般不用動。默認shuffle等階段都會用壓縮,看到有文章...
問題 項目中碰到一個新問題,需要利用Spark分析海量小文件,具體大概是這樣的: 海量的雙層壓縮包: 數量可能幾十萬或更多,文件大小從幾KB到幾MB不等,可能是zip+zip...