都8102年了,還用fastq-dump,快換fasterq-dump吧

之前寫過一篇文章Fastq-dump: 一個神奇的軟件, 詳細介紹了fastq-dump的用法。
雖然fastq-dump參數很多,而且一直被吐槽參數說明寫的太差,但是如果真的要用起來其實也就是一行代碼

fastq-dump --gzip --split-3 --defline-qual '+' --defline-seq '@$ac-$si/$ri' SRRXXXXX| SRRXXXX.sra
# 加上--gzip后需要時間進行文件壓縮

當然除了參數問題,還有一個讓人詬病的地方就是他只能單個線程,所以速度特別的慢。盡管相對于下游分析要分析好幾天而言,這點時間還能能等的。但是能快一點總是好的,所以在2018年的6月份,sra-tools更新了一個新的sra解壓工具,fasterq-dump, a faster fastq-dump,它能利用臨時文件和多線程加速從SRA文件提取FASTQ。

fasterq-dump的用法和fastq-dump一樣,如下所示

fasterq-dump --split-3 SRR5318040.sra 

如上代碼運行時如果出現報錯 err: invalid accession 'SRR5318040.sra ',請改用如下代碼

fasterq-dump --split-3 ./SRR5318040 

注意,這個 ./ 非常重要,這意味著我們使用的是下載到本地的sra數據。

此外還有建立了GitHub Wiki提供使用教程,參見https://github.com/ncbi/sra-tools/wiki/HowTo:-fasterq-dump。

重點參數是-e|threads, 用于選擇使用多少線程進行運行,默認是6個線程。 同時考慮到有些人容易著急,還提供了-p選項用于顯示當前進度。

我用一個9G大小的SRA文件,分別以fastq-dumpfasterq-dump進行了測試。

time fastq-dump --split-3 -O test SRR5318040.sra
# 558.76s user 41.36s system 101% cpu 9:51.82 total
time fasterq-dump --split-3 SRR5318040.sra -e 20 -o SRR5318040
# 582.70s user 121.06s system 1130% cpu 1:02.25 total

同樣的如果上面的fastqer-dump運行報錯,請把 SRR5318040.sra 改成 ./SRR5318040.

從用戶模式(user mode)來看, 兩者的總CPU使用時間都差不多是560秒,從內核模式來看(Kernel Mode)來看,fasterq-dump花了更多時間在調用底層硬件上,例如分配內存地址。fastq-dump基本上穩定在一個線程,而fasterq-dump盡管指定了20個線程,但平均只用了11.5個線程吧。

對于我們而言,我們只要看最后的total部分,也就是實際花了多少時間。fastq-dump花了快10分鐘,而fasterq-dump只需要1分鐘,快了9倍多。

最后還有一點不足之處:輸出的fastq的ID目前暫時沒有選項可以調整,需要自己寫個腳本解決。

ID
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,837評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,196評論 3 414
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事?!?“怎么了?”我有些...
    開封第一講書人閱讀 175,688評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,654評論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,456評論 6 406
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 54,955評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,044評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,195評論 0 287
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,725評論 1 333
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,608評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,802評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,318評論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,048評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,422評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,673評論 1 281
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,424評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,762評論 2 372

推薦閱讀更多精彩內容

  • NCBI-SRA和EBI-ENA數據庫 SRA數據庫: Sequence Read Archive:隸屬NCBI ...
    dulunar閱讀 32,207評論 6 74
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,607評論 25 708
  • 用兩張圖告訴你,為什么你的 App 會卡頓? - Android - 掘金 Cover 有什么料? 從這篇文章中你...
    hw1212閱讀 12,771評論 2 59
  • 經常會遇到奇葩顧客,真是又可氣又無語啊! 因為我們是銷售電子產品的,所賣產品的價格都比較高,端午節放假三天,遇到三...
    靜怡和然閱讀 1,140評論 19 17
  • 《親子日記》第六天 3月23日 星期五 晴 昨天晚上二寶睡的早,今天早早起床了,我被鬧鐘驚醒,起來...
    程文穎閱讀 169評論 0 0