早上在處理數據的時候，發現花的時間比預期多出一半，原本計劃45分鐘完成，花了一個半小時，當然啦，也有摸魚的水分在啦，哈哈哈哈，然后我想著還是整理出來一下數據下載流程，這樣方便自己后續使用的時候一下子就檢索到！早上原本還計劃了其他事情，然后嗚嗚嗚現在都11點半啦！！改圖改圖整理圖！！快樂的生活呀，最近沒有其他課題煩擾，專心做一件事情的感覺真棒呀！夸夸自己，我咋如此棒棒的呀，看到此篇博文的你也是如此棒棒的呀，哈哈哈！！快樂就好
1. 阿里云平臺數據下載
(1) 軟件下載
我用的是ossutil工具下載，可以在官網上找到
ossutil.png
我下載l的是inux x86 64bit
然后安裝
sudo -v ; curl https://gosspublic.alicdn.com/ossutil/install.sh | sudo bash
(2) 配置
在交付數據的時候一般會提供以下信息
阿里云交付 ：下載win64版本ossbrowser軟件下載測序數據，鏈接如下：
https://gosspublic.alicdn.com/oss-browser/1.16.0/oss-browser-win32-x64.zip?spm=a2c4g.11186623.0.0.65df71c5W6HIRD&file=oss-browser-win32-x64.zip
AccessKeyId：LTAI5t6ttv7X
AccessKeySecret： WJqbHcgl8gS2yH
路徑：oss://10kgenomics/data-1094/
區域：華東2（上海）## (2) 基本命令
然后你需要配置文件/home/username/.ossutilconfig(這個的話你安裝的時候沒有改變路徑的話就是這個目錄下面)，才可以登錄并查看數據
# 修改/home/username/.ossutilconfig
vi /home/username/.ossutilconfig
在這個文件/home/username/.ossutilconfig中填寫這個內容
[Credentials]
language=EN
endpoint=oss-cn-shanghai.aliyuncs.com
accessKeyID=LTAI5t6ttv7X
accessKeySecret=WJqbHcgl8gS2yH
(3) 常用命令見官網
https://www.alibabacloud.com/help/zh/object-storage-service/latest/common-commands
(4) 具體使用
# 1.獲取數據列表
cd ~/Software/ossbrowser
./ossutil64 ls oss://10kgenomics/data-1094/
./ossutil64 ls oss://10kgenomics/data-1094/ --include *.fq.gz | awk -F ' ' '{print $8}' > pancreas_xenopus_ssutil_datapath.txt
# 2.下載數據
cd ~/Software/ossbrowser
datapath=/home/username/projects/Pancreas/Data
cat pancreas_xenopus_ssutil_datapath.txt | while read line; do echo "nohup ./ossutil64 cp ${line} ${datapath} --update &"; done >> 20221218_xenopus_data_download_command_new.sh
sh 20221218_xenopus_data_download_command_new.sh
# 3.下載md5文件并檢查文件完整性
nohup ./ossutil64 cp oss://10kgenomics/data-1094/md5.txt /home/username/projects/Pancreas/Data --update &
md5sum V350094917_L04_read_1.fq.gz
# 5e6239554b6c290de15699172cb4bf1c V350094917_L04_read_1.fq.gz
md5sum V350094917_L04_read_2.fq.gz
# d97401e0b8e028f1f827676ec07b6928 V350094917_L04_read_2.fq.gz
2. 諾禾云平臺數據下載
(1) 軟件下載
需要先使用賬戶密碼到諾禾致源交付平臺上下載
(2) 基本命令
# 1. 登錄
./lnd login -u 用戶名 -p 密碼
# 2. 列舉用戶根目錄
./lnd list
# 3. 目錄名稱 :列舉目錄下的所有文件
./lnd list oss://
# 4. 下載文件 到 本地,
./lnd cp oss:// 目錄/文件 本地目錄
# 5. 下載整個文件夾到本地目錄，相比于下載一個文件多了-d參數
./lnd cp -d oss:// 一個目錄 本地目錄
(3) 具體使用
為了方便，批量下載數據，這邊的話是一個一個文件下載的，也可以把nohup ./lnd cp 改成nohup ./lnd cp -d 就是批量下載文件夾了。
## 批量下載數據代碼
# sn_feizhou_xenopus_pan_datalist.txt這個需要自己構建
lnd_command="nohup ./lnd cp "
oss_path=" oss://CP2019092000014/H101SC23011182/RSSQ00504/X101SC23011182-Z01/X101SC23011182-Z01-J011/"
datapath="/home/zhengjh/projects/Pancreas/Data/snRNAseqData &"
cat sn_feizhou_xenopus_pan_datalist.txt | while read line; do echo "${lnd_command}${oss_path}${line}" "${datapath}" ; done >> Download_sn_feizhou_xenopous_command.sh
chmod +x Download_sn_feizhou_xenopous_command.sh
cat Download_sn_feizhou_xenopous_command.sh
sh Download_sn_feizhou_xenopous_command.sh > sn_feizhou_xenopous.out
