從hdfs讀寫 parquet 、textfile 、 csv 、 xlsx四種文件格式代碼簡寫后如下：
發簡信
IP屬地：湖北
-
【pandas筆記】loc和Iloc區別
本文主要對比介紹pandas中的loc和iloc兩個基于索引的取值方式。 iloc的意思是基于索引（index-based selection），輸入為索引，也就是，行是（0...
-
-
【pandas筆記】pandas resample函數pandas處理數據的時候，可能會遇到分組問題，比如說一組統計數據需要按周分組統計，這時候利用DataFrame中的resample函數就會非常方便與優雅。 本文簡單介紹re...
-
【pandas筆記】刪除DataFrame中特定所在的行或列
pandas中，可以利用dropna刪除空行，同時也可以利用該函數刪除包含特定值所在的行。 1.刪除空行 2.根據特定值，刪除DataFrame中的行或列
-
【pandas筆記】重建索引
在pandas中，Dataframe索引關系著數據的讀取與插入等操作，本文主要介紹幾種常見的重建索引方法。 下面對df2重置索引，使其索引從0開始 方法一：直接賦值 方法二：...
-
【pandas筆記】去除Unnamed列
讀取Excel表的時候，經常會遇到一些說明性的文字(如圖)，當直接用pd.read_excel讀取表格時，會將說明文字也會讀取進來，對應的DataFrame會存在Unname...
-
python re模塊中re.S, re.U, re.I, re.M, re.X
修飾符描述re.I忽略大小寫re.L做本地化識別（locale-aware）匹配re.M多行匹配，影響 ^ 和 $re.S即為 . 并且包括換行符在內的任意字符（. 不包括換...
-
Transformer常見問題匯總
1.Transformer為何使用多頭注意力機制？（為什么不使用一個頭） 答： 多頭可以使參數矩陣形成多個子空間，矩陣整體的size不變，只是改變了每個head對應的維度大小...
-
Transformer模型解析記錄1.模型整體結構 整個Transformer模型由Encoder和Decoder兩部分組成。Encoder負責對輸入數據的編碼，而Decoder負責對編碼后的數據進行解碼。 ...
-
【pandas筆記】交換兩列
交換DataFrame中兩列的具體步驟：1.先將需要交換的其中一列保存下來；2.然后在DataFrame中刪除該列；3.最后將保存下來的列插入DataFrame中對應位置
-
Attention機制筆記Attention機制是Transformer模型中的一個重要組成部件，而Transformer的重要性就不言而喻了。本文主要對Attention機制做一個簡單的記錄，加深自...
-
解決powershell無法使用conda虛擬環境問題
問題描述 在cmd中輸入輸入conda activate base可以在命令行前面出現(base)的提示，但是切換到PowerShell中就沒有提示了，不能進入虛擬環境。 解...
-
Dockerfile中安裝crontab
在docker中安裝crontab的時候，踩了一些坑，在此記錄一下。先給出完整的dockerfile文件，后面再詳細說明~ echo輸入“#!” 利用echo輸入#!的時候，...
-
kenlm安裝
ubuntu版本安裝 1.下載kenlm安裝包 https://pypi.org/project/kenlm/#files[https://pypi.org/project/...
-
milvus數據庫初探
1.安裝(單機版) 1.1.安裝 docker 及 docker-compose 官方建議，docker 安裝 19.03 或以上版本，docker-compose 安裝 1...
-
Anaconda基本操作
1.獲取版本號 2.查看目前已存在的環境 3.創建虛擬環境 4.創建指定python版本的虛擬環境 5.創建帶指定包的虛擬環境 6.復制虛擬環境 7.進入虛擬環境 8.退出虛...
-
ImportError: No module named 'tensorflow_core.estimator'
tensorflow-estimator與tensorflow版本不一致導致的問題，如果tensorflow是2.0.0版本，則需要將tensorflow-estimator...
-
bazel編譯tensorflow源碼在安裝完tensorflow CPU版本后，經常看到如下的警告，該警告雖說可以通過一些python語句來忽略(忽略方法[http://www.lxweimin.com/p/8...