論文:4區(qū) 2020
數(shù)據(jù)集:BraTS 2018
1. Introduction
膠質(zhì)瘤是發(fā)生在大腦中最常見的原發(fā)性腫瘤類型之一。它由膠質(zhì)瘤細(xì)胞生長而成,可分為低級(jí)和高級(jí)膠質(zhì)瘤。高等級(jí)膠質(zhì)瘤(HGG)更具侵略性和惡性,預(yù)期壽命最多兩年,而低等級(jí)膠質(zhì)瘤(LGG)可以是良性或惡性的,生長更緩慢,預(yù)期壽命為幾年[1].良性腫瘤一般在手術(shù)后恢復(fù),惡性腫瘤因其難治性而難以治愈。它嚴(yán)重危害人類健康,因此,如何更好地診斷和治療它是至關(guān)重要的[2]。
隨著醫(yī)學(xué)影像技術(shù)的發(fā)展,影像技術(shù)在疾病診斷中的作用也越來越重要。醫(yī)學(xué)影像技術(shù)主要包括X射線檢查、計(jì)算機(jī)斷層掃描(CT)、超聲波和磁共振成像(MRI)等。其中,MRI由于其清晰度和組織分辨率,可以提供多種信息診斷能力,通過設(shè)置不同的參數(shù)實(shí)現(xiàn)多種解剖斷層成像。此外,磁共振成像是非侵入性的,在不接受高電離輻射的情況下提供詳細(xì)的圖像形狀、尺寸和位置信息。因此,它在腦瘤的診斷、治療和手術(shù)指導(dǎo)方面引起了越來越多的關(guān)注。腦瘤分割在目前的診斷和治療中是有效的。通過對(duì)腦腫瘤的分割,醫(yī)生可以測量腦腫瘤的位置、大小和其他參數(shù),確定腫瘤的生長狀態(tài)和變化過程,對(duì)腦腫瘤進(jìn)行定量分析和隨訪比較。
傳統(tǒng)上,膠質(zhì)瘤的判斷和分期主要依靠放射科醫(yī)生的經(jīng)驗(yàn)和直覺,導(dǎo)致診斷的穩(wěn)定性和可靠性差。通過準(zhǔn)確可靠地將醫(yī)學(xué)影像轉(zhuǎn)換為量化的數(shù)字特征,放射組學(xué)通過描述腫瘤病變的微環(huán)境,為膠質(zhì)瘤的自動(dòng)檢測和判斷提供了有效的解決方案[3-5]。此外,通過提取個(gè)體患者的個(gè)性化特征,它在計(jì)算機(jī)輔助診斷和計(jì)算機(jī)輔助手術(shù)和放療以及膠質(zhì)瘤患者的醫(yī)學(xué)研究中也被證明是有效的。隨著大規(guī)模標(biāo)注數(shù)據(jù)的出現(xiàn)和計(jì)算機(jī)技術(shù)的發(fā)展,利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)對(duì)腦瘤進(jìn)行自動(dòng)分割已成為當(dāng)前研究的熱點(diǎn)。腦瘤分割可以是一個(gè)語義分割的任務(wù)。完全卷積網(wǎng)絡(luò)(FCN)[6]建立了一個(gè)CNN結(jié)構(gòu),被廣泛用于語義分割的任務(wù)。Ronneberger等人[7]在全卷積網(wǎng)絡(luò)模型的基礎(chǔ)上提出了用于醫(yī)學(xué)圖像分割的U-Net模型。U-Net和FCN都具有經(jīng)典的編碼-解碼拓?fù)浣Y(jié)構(gòu),但U-Net具有對(duì)稱的網(wǎng)絡(luò)結(jié)構(gòu)和跳過連接,U-Net在腦腫瘤圖像分割中的表現(xiàn)比FCN更好。
由于結(jié)構(gòu)簡單明了,U-Net很快發(fā)展成為醫(yī)學(xué)圖像分割中常用的基準(zhǔn)[8]。基于U-Net的分割方法大致可以分為兩類,二維U-Net結(jié)構(gòu)和三維U-Net結(jié)構(gòu)。
A. 基于二維U-Net結(jié)構(gòu)的研究。隨著網(wǎng)絡(luò)的深入,U-Net會(huì)丟失一些細(xì)節(jié)特征信息,導(dǎo)致目標(biāo)邊界的模糊分割。因此,大多數(shù)研究者選擇在U-Net的基礎(chǔ)上進(jìn)行多特征尺度的特征融合。Alom等人[9]提出了一個(gè)遞歸U-Net模型和一個(gè)遞歸殘差U-Net模型,在網(wǎng)絡(luò)參數(shù)相同的情況下,設(shè)計(jì)了更好的UNet架構(gòu),并通過實(shí)驗(yàn)證明該模型在視網(wǎng)膜圖像分割、皮膚癌分割和肺部病變分割任務(wù)中具有更好的性能。Zhang等人[10]提出利用全卷積殘差神經(jīng)網(wǎng)絡(luò)UNet的深度學(xué)習(xí),對(duì)乳房MRI中的乳房和纖維腺組織(FGT)進(jìn)行自動(dòng)分割。由于引入了殘差結(jié)構(gòu),該模型可以在MRI上獲得準(zhǔn)確的乳房和FGT的分割結(jié)果。Seo等人[11]在U-Net的跳過連接處增加了一個(gè)帶有去卷積和激活操作的殘差路徑,以避免特征的低分辨率信息的重復(fù)。此外,提議的架構(gòu)在跳過連接中增加了卷積層,以提取小物體輸入的高層次全局特征以及大物體輸入的高分辨率邊緣信息的高層次特征。使用2017年肝臟腫瘤分割(LiTS)挑戰(zhàn)賽的公共數(shù)據(jù)集,證明了修改后的U-Net(mU-Net)的功效。Ibtehaz N等人[12]在U-Net的基礎(chǔ)上提出了Multi Res-Unet,增加了剩余連接的擴(kuò)展,并提出了剩余路徑,在ISIC,BRATS等數(shù)據(jù)集上驗(yàn)證了其良好的分割性能。
B. 三維U-Net結(jié)構(gòu)的研究。三維網(wǎng)絡(luò)結(jié)構(gòu)可以充分利用MR圖像的三維特征,獲得更準(zhǔn)確的分割結(jié)果。因此,一些研究者選擇在U-Net的基礎(chǔ)上使用3D卷積核來提取腫瘤的特征。Isensee等人[8]提出了一個(gè)醫(yī)學(xué)圖像分割框架,可以適應(yīng)任何新的數(shù)據(jù)集。該框架可以根據(jù)給定數(shù)據(jù)集的屬性自動(dòng)調(diào)整所有的超參數(shù),無需人工干預(yù)。Nnu-net僅依靠兩個(gè)三維U-Net級(jí)聯(lián)和強(qiáng)大的訓(xùn)練方案,在六個(gè)公認(rèn)的分割挑戰(zhàn)中取得了最先進(jìn)的性能。Myronenko[13]設(shè)計(jì)了一個(gè)基于編碼器-解碼器結(jié)構(gòu)的語義分割網(wǎng)絡(luò),用于從三維MRIs中分割腫瘤子區(qū)域。由于訓(xùn)練數(shù)據(jù)集大小有限,為了使共享解碼器正規(guī)化并對(duì)其層施加額外的約束,增加了一個(gè)變異自動(dòng)編碼器分支來重建輸入圖像本身。該方法獲得了BRATS 2018挑戰(zhàn)賽的第一名。Chen等人[14]提出了一種新穎的Separable 3D U-Net結(jié)構(gòu),它分別利用了片內(nèi)和片間表示,該模型在BRATS 2018數(shù)據(jù)集上的DSC得分達(dá)到了0.88。
可以發(fā)現(xiàn),研究人員通過構(gòu)建二維網(wǎng)絡(luò)結(jié)構(gòu)對(duì)輸入的三維數(shù)據(jù)進(jìn)行切片,并轉(zhuǎn)換為二維數(shù)據(jù)輸入,從而使網(wǎng)絡(luò)在普通硬件設(shè)施上完成網(wǎng)絡(luò)參數(shù)的快速訓(xùn)練。三維網(wǎng)絡(luò)結(jié)構(gòu)可以充分利用MR圖像的三維特征,獲得更準(zhǔn)確的分割結(jié)果。但由于訓(xùn)練網(wǎng)絡(luò)的參數(shù)較多,網(wǎng)絡(luò)很難從頭開始訓(xùn)練,而且存在GPU和內(nèi)存消耗過大等問題,對(duì)計(jì)算機(jī)硬件設(shè)施要求較高。因此,研究人員在腦瘤分割的任務(wù)中更傾向于采用二維網(wǎng)絡(luò)。
Ronneberger[7]采用了上卷積層,這對(duì)于恢復(fù)卷積網(wǎng)絡(luò)中池化層的下采樣過程所丟失的信息很有幫助。顯然,這種技術(shù)只能夠恢復(fù)部分丟失的信息。因此,這種圖像識(shí)別技術(shù)的準(zhǔn)確性仍然有限。為了解決這一局限性,Chen等人[15]采用了擴(kuò)張卷積來提取更密集的特征圖,而不使用預(yù)先訓(xùn)練好的網(wǎng)絡(luò)的最后幾層的下采樣操作。Guillaume等人[16]提出了一個(gè)帶有稀釋卷積的全卷積網(wǎng)絡(luò),用于手寫文本行的分割,并取得了比FCN更好的分割結(jié)果。Vo等人[17]研究了擴(kuò)張卷積的級(jí)聯(lián)結(jié)構(gòu)和多分辨率輸入圖像的深度網(wǎng)絡(luò)結(jié)構(gòu)對(duì)語義分割的準(zhǔn)確性的影響。結(jié)果表明,多分辨率輸入圖像的深度網(wǎng)絡(luò)結(jié)構(gòu)通過聚合多尺度的上下文信息提高了語義分割的準(zhǔn)確性。可以看出,在CNN中加入稀釋卷積可以提高網(wǎng)絡(luò)的學(xué)習(xí)能力,獲得更好的分割結(jié)果。
經(jīng)典的U-Net方法在分割腦瘤的任務(wù)中表現(xiàn)良好,但它仍然存在一些問題。一方面,訓(xùn)練數(shù)據(jù)集中存在嚴(yán)重的類不平衡問題,這使得模型對(duì)小目標(biāo)的特征學(xué)習(xí)不足,最終影響了分割的準(zhǔn)確性。另一方面,U-Net模型下采樣路徑中的細(xì)節(jié)信息損失問題也沒有得到解決,尤其是池化操作,嚴(yán)重降低了特征圖的分辨率。針對(duì)U-Net方法在這兩方面存在的問題,我們提出通過對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)處理,在U-Net模型中引入擴(kuò)張卷積,通過擴(kuò)張卷積彌補(bǔ)特征圖的分辨率,建立一個(gè)比U-Net更高的腦腫瘤分割模型。