DCU-Net: Multi-scale U-Net for brain tumor segmentation

論文:4區(qū) 2020
數(shù)據(jù)集:BraTS 2018

1. Introduction

膠質(zhì)瘤是發(fā)生在大腦中最常見的原發(fā)性腫瘤類型之一。它由膠質(zhì)瘤細(xì)胞生長而成,可分為低級(jí)和高級(jí)膠質(zhì)瘤。高等級(jí)膠質(zhì)瘤(HGG)更具侵略性和惡性,預(yù)期壽命最多兩年,而低等級(jí)膠質(zhì)瘤(LGG)可以是良性或惡性的,生長更緩慢,預(yù)期壽命為幾年[1].良性腫瘤一般在手術(shù)后恢復(fù),惡性腫瘤因其難治性而難以治愈。它嚴(yán)重危害人類健康,因此,如何更好地診斷和治療它是至關(guān)重要的[2]。

隨著醫(yī)學(xué)影像技術(shù)的發(fā)展,影像技術(shù)在疾病診斷中的作用也越來越重要。醫(yī)學(xué)影像技術(shù)主要包括X射線檢查、計(jì)算機(jī)斷層掃描(CT)、超聲波和磁共振成像(MRI)等。其中,MRI由于其清晰度和組織分辨率,可以提供多種信息診斷能力,通過設(shè)置不同的參數(shù)實(shí)現(xiàn)多種解剖斷層成像。此外,磁共振成像是非侵入性的,在不接受高電離輻射的情況下提供詳細(xì)的圖像形狀、尺寸和位置信息。因此,它在腦瘤的診斷、治療和手術(shù)指導(dǎo)方面引起了越來越多的關(guān)注。腦瘤分割在目前的診斷和治療中是有效的。通過對(duì)腦腫瘤的分割,醫(yī)生可以測量腦腫瘤的位置、大小和其他參數(shù),確定腫瘤的生長狀態(tài)和變化過程,對(duì)腦腫瘤進(jìn)行定量分析和隨訪比較。

傳統(tǒng)上,膠質(zhì)瘤的判斷和分期主要依靠放射科醫(yī)生的經(jīng)驗(yàn)和直覺,導(dǎo)致診斷的穩(wěn)定性和可靠性差。通過準(zhǔn)確可靠地將醫(yī)學(xué)影像轉(zhuǎn)換為量化的數(shù)字特征,放射組學(xué)通過描述腫瘤病變的微環(huán)境,為膠質(zhì)瘤的自動(dòng)檢測和判斷提供了有效的解決方案[3-5]。此外,通過提取個(gè)體患者的個(gè)性化特征,它在計(jì)算機(jī)輔助診斷和計(jì)算機(jī)輔助手術(shù)和放療以及膠質(zhì)瘤患者的醫(yī)學(xué)研究中也被證明是有效的。隨著大規(guī)模標(biāo)注數(shù)據(jù)的出現(xiàn)和計(jì)算機(jī)技術(shù)的發(fā)展,利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)對(duì)腦瘤進(jìn)行自動(dòng)分割已成為當(dāng)前研究的熱點(diǎn)。腦瘤分割可以是一個(gè)語義分割的任務(wù)。完全卷積網(wǎng)絡(luò)(FCN)[6]建立了一個(gè)CNN結(jié)構(gòu),被廣泛用于語義分割的任務(wù)。Ronneberger等人[7]在全卷積網(wǎng)絡(luò)模型的基礎(chǔ)上提出了用于醫(yī)學(xué)圖像分割的U-Net模型。U-Net和FCN都具有經(jīng)典的編碼-解碼拓?fù)浣Y(jié)構(gòu),但U-Net具有對(duì)稱的網(wǎng)絡(luò)結(jié)構(gòu)和跳過連接,U-Net在腦腫瘤圖像分割中的表現(xiàn)比FCN更好。

由于結(jié)構(gòu)簡單明了,U-Net很快發(fā)展成為醫(yī)學(xué)圖像分割中常用的基準(zhǔn)[8]。基于U-Net的分割方法大致可以分為兩類,二維U-Net結(jié)構(gòu)和三維U-Net結(jié)構(gòu)。

A. 基于二維U-Net結(jié)構(gòu)的研究。隨著網(wǎng)絡(luò)的深入,U-Net會(huì)丟失一些細(xì)節(jié)特征信息,導(dǎo)致目標(biāo)邊界的模糊分割。因此,大多數(shù)研究者選擇在U-Net的基礎(chǔ)上進(jìn)行多特征尺度的特征融合。Alom等人[9]提出了一個(gè)遞歸U-Net模型和一個(gè)遞歸殘差U-Net模型,在網(wǎng)絡(luò)參數(shù)相同的情況下,設(shè)計(jì)了更好的UNet架構(gòu),并通過實(shí)驗(yàn)證明該模型在視網(wǎng)膜圖像分割、皮膚癌分割和肺部病變分割任務(wù)中具有更好的性能。Zhang等人[10]提出利用全卷積殘差神經(jīng)網(wǎng)絡(luò)UNet的深度學(xué)習(xí),對(duì)乳房MRI中的乳房和纖維腺組織(FGT)進(jìn)行自動(dòng)分割。由于引入了殘差結(jié)構(gòu),該模型可以在MRI上獲得準(zhǔn)確的乳房和FGT的分割結(jié)果。Seo等人[11]在U-Net的跳過連接處增加了一個(gè)帶有去卷積和激活操作的殘差路徑,以避免特征的低分辨率信息的重復(fù)。此外,提議的架構(gòu)在跳過連接中增加了卷積層,以提取小物體輸入的高層次全局特征以及大物體輸入的高分辨率邊緣信息的高層次特征。使用2017年肝臟腫瘤分割(LiTS)挑戰(zhàn)賽的公共數(shù)據(jù)集,證明了修改后的U-Net(mU-Net)的功效。Ibtehaz N等人[12]在U-Net的基礎(chǔ)上提出了Multi Res-Unet,增加了剩余連接的擴(kuò)展,并提出了剩余路徑,在ISIC,BRATS等數(shù)據(jù)集上驗(yàn)證了其良好的分割性能。

B. 三維U-Net結(jié)構(gòu)的研究。三維網(wǎng)絡(luò)結(jié)構(gòu)可以充分利用MR圖像的三維特征,獲得更準(zhǔn)確的分割結(jié)果。因此,一些研究者選擇在U-Net的基礎(chǔ)上使用3D卷積核來提取腫瘤的特征。Isensee等人[8]提出了一個(gè)醫(yī)學(xué)圖像分割框架,可以適應(yīng)任何新的數(shù)據(jù)集。該框架可以根據(jù)給定數(shù)據(jù)集的屬性自動(dòng)調(diào)整所有的超參數(shù),無需人工干預(yù)。Nnu-net僅依靠兩個(gè)三維U-Net級(jí)聯(lián)和強(qiáng)大的訓(xùn)練方案,在六個(gè)公認(rèn)的分割挑戰(zhàn)中取得了最先進(jìn)的性能。Myronenko[13]設(shè)計(jì)了一個(gè)基于編碼器-解碼器結(jié)構(gòu)的語義分割網(wǎng)絡(luò),用于從三維MRIs中分割腫瘤子區(qū)域。由于訓(xùn)練數(shù)據(jù)集大小有限,為了使共享解碼器正規(guī)化并對(duì)其層施加額外的約束,增加了一個(gè)變異自動(dòng)編碼器分支來重建輸入圖像本身。該方法獲得了BRATS 2018挑戰(zhàn)賽的第一名。Chen等人[14]提出了一種新穎的Separable 3D U-Net結(jié)構(gòu),它分別利用了片內(nèi)和片間表示,該模型在BRATS 2018數(shù)據(jù)集上的DSC得分達(dá)到了0.88。

可以發(fā)現(xiàn),研究人員通過構(gòu)建二維網(wǎng)絡(luò)結(jié)構(gòu)對(duì)輸入的三維數(shù)據(jù)進(jìn)行切片,并轉(zhuǎn)換為二維數(shù)據(jù)輸入,從而使網(wǎng)絡(luò)在普通硬件設(shè)施上完成網(wǎng)絡(luò)參數(shù)的快速訓(xùn)練。三維網(wǎng)絡(luò)結(jié)構(gòu)可以充分利用MR圖像的三維特征,獲得更準(zhǔn)確的分割結(jié)果。但由于訓(xùn)練網(wǎng)絡(luò)的參數(shù)較多,網(wǎng)絡(luò)很難從頭開始訓(xùn)練,而且存在GPU和內(nèi)存消耗過大等問題,對(duì)計(jì)算機(jī)硬件設(shè)施要求較高。因此,研究人員在腦瘤分割的任務(wù)中更傾向于采用二維網(wǎng)絡(luò)。

Ronneberger[7]采用了上卷積層,這對(duì)于恢復(fù)卷積網(wǎng)絡(luò)中池化層的下采樣過程所丟失的信息很有幫助。顯然,這種技術(shù)只能夠恢復(fù)部分丟失的信息。因此,這種圖像識(shí)別技術(shù)的準(zhǔn)確性仍然有限。為了解決這一局限性,Chen等人[15]采用了擴(kuò)張卷積來提取更密集的特征圖,而不使用預(yù)先訓(xùn)練好的網(wǎng)絡(luò)的最后幾層的下采樣操作。Guillaume等人[16]提出了一個(gè)帶有稀釋卷積的全卷積網(wǎng)絡(luò),用于手寫文本行的分割,并取得了比FCN更好的分割結(jié)果。Vo等人[17]研究了擴(kuò)張卷積的級(jí)聯(lián)結(jié)構(gòu)和多分辨率輸入圖像的深度網(wǎng)絡(luò)結(jié)構(gòu)對(duì)語義分割的準(zhǔn)確性的影響。結(jié)果表明,多分辨率輸入圖像的深度網(wǎng)絡(luò)結(jié)構(gòu)通過聚合多尺度的上下文信息提高了語義分割的準(zhǔn)確性。可以看出,在CNN中加入稀釋卷積可以提高網(wǎng)絡(luò)的學(xué)習(xí)能力,獲得更好的分割結(jié)果。

經(jīng)典的U-Net方法在分割腦瘤的任務(wù)中表現(xiàn)良好,但它仍然存在一些問題。一方面,訓(xùn)練數(shù)據(jù)集中存在嚴(yán)重的類不平衡問題,這使得模型對(duì)小目標(biāo)的特征學(xué)習(xí)不足,最終影響了分割的準(zhǔn)確性。另一方面,U-Net模型下采樣路徑中的細(xì)節(jié)信息損失問題也沒有得到解決,尤其是池化操作,嚴(yán)重降低了特征圖的分辨率。針對(duì)U-Net方法在這兩方面存在的問題,我們提出通過對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)處理,在U-Net模型中引入擴(kuò)張卷積,通過擴(kuò)張卷積彌補(bǔ)特征圖的分辨率,建立一個(gè)比U-Net更高的腦腫瘤分割模型。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,428評(píng)論 6 531
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,024評(píng)論 3 413
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,285評(píng)論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,548評(píng)論 1 307
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 71,328評(píng)論 6 404
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 54,878評(píng)論 1 321
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 42,971評(píng)論 3 439
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,098評(píng)論 0 286
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 48,616評(píng)論 1 331
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 40,554評(píng)論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 42,725評(píng)論 1 369
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,243評(píng)論 5 355
  • 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 43,971評(píng)論 3 345
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,361評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,613評(píng)論 1 280
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 51,339評(píng)論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 47,695評(píng)論 2 370

推薦閱讀更多精彩內(nèi)容