論文：Neurocomputing 2020
數(shù)據(jù)集：BraTS 2015，BraTS 2017
1. Introduction
隨著影像技術(shù)的發(fā)展，醫(yī)學(xué)影像(如CT、MRI)已成為疾病篩查、早期診斷、治療選擇、預(yù)后評(píng)估等過(guò)程中必不可少的一部分。為了進(jìn)一步識(shí)別出肉眼無(wú)法識(shí)別的潛在特征，放射組學(xué)[1,2]被開(kāi)發(fā)用于從醫(yī)學(xué)圖像中自動(dòng)提取和分析大量定量特征。在放射組學(xué)分析過(guò)程中，圖像分割是最關(guān)鍵的一步，它將異常區(qū)域從整個(gè)圖像中分離出來(lái)。然而，放射科醫(yī)師手工分割既費(fèi)力又主觀，限制了研究病例的數(shù)量和每個(gè)臨床研究的可重復(fù)性。此外，對(duì)于腦腫瘤的分割，不僅需要對(duì)腫瘤本身進(jìn)行分割，還需要在體素水平上將其劃分為幾個(gè)細(xì)粒度的特定類別。圖1為軸位切片MRI圖像腫瘤分割的放大圖，其中壞死/囊性核心由于體素較少而難以與其他組織區(qū)分。
雖然近年來(lái)圖像分割取得了長(zhǎng)足的進(jìn)展，但現(xiàn)有方法對(duì)腦腫瘤的分割結(jié)果仍不令人滿意。與自然圖像分割相比，腦腫瘤分割的主要挑戰(zhàn)是兩個(gè)方面。一方面，由于技術(shù)限制和圖像采集過(guò)程中的不可控因素，在MRI圖像中經(jīng)常觀察到運(yùn)動(dòng)偽影和噪聲。另一方面，正常組織和腫瘤的解剖變異增加了分割的難度。然而，MRI圖像分割也有兩個(gè)優(yōu)勢(shì)。一是MRI圖像的三維成像，保證了相鄰切片之間腦組織信息的連續(xù)性。利用三維卷積，可以同時(shí)整合矢狀面、軸向面和冠狀面信息。另一個(gè)優(yōu)點(diǎn)是MRI圖像的多模態(tài)成像，它為每個(gè)體素提供了不同的信號(hào)模態(tài)。
受靈長(zhǎng)類動(dòng)物腹側(cè)通路和背側(cè)通路[3]這兩種通路視覺(jué)系統(tǒng)的啟發(fā)，我們提出了一種不同尺度的端到端并行通路神經(jīng)網(wǎng)絡(luò)用于腦腫瘤的分割，以應(yīng)對(duì)這兩種挑戰(zhàn)，并充分利用MRI圖像的特點(diǎn)。具體而言，第一種路徑即正常分辨率的注意路徑，與視覺(jué)系統(tǒng)的腹側(cè)路徑相似，側(cè)重于從多模態(tài)圖像中提取細(xì)節(jié)信息。該路徑由3D Center-crop Dense Block構(gòu)建，以增加feature maps的可重用性。三維卷積有效地探測(cè)切片內(nèi)部特征，提取每個(gè)體素的三維上下文。密集結(jié)構(gòu)既可以加強(qiáng)特征從低層向高層的傳播，又可以加強(qiáng)高層監(jiān)督信息向低層的反向傳播。第二種途徑，低分辨率但視野更大的上下文途徑，是對(duì)周圍信息的概述，類似于視覺(jué)系統(tǒng)的背側(cè)途徑。我們使用完全連接的卷積神經(jīng)網(wǎng)絡(luò)來(lái)構(gòu)建這個(gè)路徑。此外，我們還從注意路徑到上下文路徑采用加權(quán)融合結(jié)構(gòu)的交叉路徑連接，以彌補(bǔ)下采樣導(dǎo)致的詳細(xì)信息缺失。兩條路徑的輸出通過(guò)一個(gè)全連接的神經(jīng)網(wǎng)絡(luò)融合在一起。
本工作的主要貢獻(xiàn)總結(jié)如下:
- 我們提出了一個(gè)三維中心裁剪密集塊來(lái)探測(cè)多模態(tài)腦腫瘤圖像的三維特征。與傳統(tǒng)的密集塊相比，該中心裁剪密集塊在不進(jìn)行填充操作的情況下保持了數(shù)據(jù)大小的一致性，有利于細(xì)粒腫瘤的分割。
- 我們提出了一種雙通路神經(jīng)網(wǎng)絡(luò)，采用從注意通路到上下文通路的交叉通路連接。正常分辨率注意路徑提取詳細(xì)信息，以確定體素的類別。較低分辨率的背景路徑具有較大的視場(chǎng)，將更多的注意力集中在周圍的體素上，體素包含了腫瘤的位置和大小等整體信息。提出的交叉路徑是為了補(bǔ)償?shù)头直媛事窂街杏捎谙虏蓸佣鴣G失的詳細(xì)信息。通過(guò)這種信息交互機(jī)制，我們的并行路徑密集神經(jīng)網(wǎng)絡(luò)有效地利用了多模態(tài)三維圖像的細(xì)節(jié)和背景信息。
3.我們引入一種加權(quán)融合結(jié)構(gòu)來(lái)整合跨通路連接過(guò)程中通路間的信息。加權(quán)融合結(jié)構(gòu)對(duì)每個(gè)神經(jīng)元的權(quán)值進(jìn)行學(xué)習(xí)，得到真實(shí)值的有效逼近，有助于模型更好地學(xué)習(xí)。因此，它可以保留比簡(jiǎn)單的特征映射連接更多的信息。 - 對(duì)整個(gè)并行路徑密集神經(jīng)網(wǎng)絡(luò)進(jìn)行端到端的訓(xùn)練，在BraTS 2015和BraTS 2017數(shù)據(jù)集上獲得了較好的分割性能，表明了所提網(wǎng)絡(luò)的有效性。
2. Related work
在本節(jié)中，我們對(duì)醫(yī)學(xué)圖像分割方法進(jìn)行簡(jiǎn)要回顧。
傳統(tǒng)方法。典型的醫(yī)學(xué)圖像分割方法主要是利用局部同質(zhì)性來(lái)保證一個(gè)區(qū)域的分割部分具有相似的像素特征。例如，使用k-means、模糊kmeans和混合聚類的無(wú)監(jiān)督方法已經(jīng)被廣泛地應(yīng)用于醫(yī)學(xué)圖像分割[4-6]。此外，用水平集[7,8]、高斯混合物[9,10]和隱馬爾科夫隨機(jī)場(chǎng)[11,12]的分割方法也被提出用于組織和腫瘤的分割。
二維深度學(xué)習(xí)方法。近年來(lái)，隨著自然圖像中深度神經(jīng)網(wǎng)絡(luò)的發(fā)展，許多研究者開(kāi)始將深度學(xué)習(xí)方法應(yīng)用于醫(yī)學(xué)圖像分割。UNet[13]是全卷積網(wǎng)絡(luò)的一個(gè)優(yōu)雅變體，它的上采樣部分也有大量的特征通道，這使得網(wǎng)絡(luò)可以將上下文信息傳播到更高的分辨率層。但由于計(jì)算時(shí)對(duì)內(nèi)存資源的巨大需求，這項(xiàng)工作不能輕易應(yīng)用于完整的三維圖像。VNet[14]是UNet的一個(gè)變種，它不對(duì)輸入體積進(jìn)行切片處理，而是使用體積卷積。盡管這種方法可以通過(guò)將不同的切片視為不同的通道來(lái)處理切片之間的信息，但它所使用的二維濾波器仍然會(huì)造成第三維信息的損失。H-DenseUNet[15]是一個(gè)用于CT容積的肝臟腫瘤分割的二維密集UNet，它產(chǎn)生了層次化的特征，但也忽略了沿z維的空間信息。InputCascadeCNN[16]是一個(gè)級(jí)聯(lián)完全卷積網(wǎng)絡(luò)，它證明了級(jí)聯(lián)結(jié)構(gòu)對(duì)分割的有效性。最近，多路徑自適應(yīng)融合密集塊被提出用于多模態(tài)腦腫瘤分割[17].受遞歸神經(jīng)網(wǎng)絡(luò)在各種場(chǎng)景中成功應(yīng)用的啟發(fā)[18-20]，遞歸注意被應(yīng)用于來(lái)自k空間的大腦分割[21]。
三維深度學(xué)習(xí)方法。二維深度學(xué)習(xí)方法通常不能在三維醫(yī)學(xué)圖像中取得優(yōu)異的表現(xiàn)，因?yàn)樗鼈兒雎粤饲衅g的上下文信息。為了利用片間信息，人們提出了用于三維醫(yī)學(xué)圖像的三維神經(jīng)網(wǎng)絡(luò)。由于UNet在二維醫(yī)學(xué)圖像分割中的有效性，一些研究人員也將二維UNet工作擴(kuò)展到三維[22]，用于股骨分割。一種基于偽三維補(bǔ)丁的方法，使用軸向、冠狀和矢狀視圖中圖像補(bǔ)丁的三個(gè)卷積路徑，用于CT圖像的頭頸部區(qū)域分割[23]。著名的DeepMedic[24]，以及其改進(jìn)版本DMRes與殘差結(jié)構(gòu)[25]使用多尺度三維CNN與條件隨機(jī)場(chǎng)，在腦腫瘤分割方面取得了最先進(jìn)的性能。三維多尺度全卷積網(wǎng)絡(luò)也被應(yīng)用于椎間盤的定位和分割[26]。最近，全卷積神經(jīng)網(wǎng)絡(luò)和條件隨機(jī)場(chǎng)被結(jié)合在一個(gè)統(tǒng)一的框架中，以獲得具有外觀和空間一致性的分割結(jié)果[27]。HyperDense-Net將密集連接應(yīng)用于三維多模態(tài)全卷積網(wǎng)絡(luò)，用于大腦分割[28]。應(yīng)用人類可理解的分解概念[29]和RBM-隨機(jī)森林[30]來(lái)提高深度方法的可解釋性。
我們的方法將三維多尺度的定義擴(kuò)展到密集網(wǎng)絡(luò)，并在平行路徑之間施加了跨路徑連接。密集連接僅僅發(fā)生在正常分辨率的路徑中，而信息被納入低分辨率的路徑中。因此，信息融合既發(fā)生在卷積層的早期階段，也發(fā)生在全連接層的后期階段。
沒(méi)有預(yù)處理，patch為31x31x31和25x25x25,作者提出有2個(gè)并行路徑— —注意力路徑和上下文路徑。
注意力路徑：包含dense block，沒(méi)有用到注意力機(jī)制，而是單純用的DenseNet-BC
上下文路徑：包含很多3x3x3的卷積。
融合2條路徑
