論文：Computerized Medical Imaging and Graphics 2020

數(shù)據(jù)集：BraTS 2017

1. Introduction

腦腫瘤是世界上最具侵襲性的癌癥之一（is?n和Direkoglu，?S?ah，2016；Menze等人，2014年）。磁共振成像（MRI）是一種廣泛應(yīng)用于評(píng)估腦腫瘤的成像技術(shù)，它是一種非侵入性和良好的軟組織對(duì)比成像方式，在不暴露于高電離輻射的情況下提供關(guān)于腦腫瘤的形狀、大小和定位的寶貴信息（Liang和Lauterbur，2000；Bauer等人，2013年；Drevelegas，2010年）。常用的成像方式有T1加權(quán)（T1）、對(duì)比增強(qiáng)T1加權(quán)（T1c）、T2加權(quán)（T2）和液體衰減反轉(zhuǎn)恢復(fù)（FLAIR）圖像。不同的成像方式可以為分析膠質(zhì)瘤的不同亞區(qū)提供補(bǔ)充信息，例如T2和FLAIR可以突出腫瘤周圍水腫，也可以指定為整個(gè)腫瘤。T1和T1c顯示腫瘤無瘤周水腫，為腫瘤核心。在T1c中還可以觀察到高強(qiáng)度的腫瘤核心增強(qiáng)區(qū)，稱為增強(qiáng)腫瘤核心。因此，應(yīng)用多模態(tài)圖像可以減少信息的不確定性，提高臨床診斷和分割的準(zhǔn)確性。

用于腦瘤分割的各種方法，如概率論（Lapuyade-Lahorgue等，2017）、核特征選擇（Zhang等，2011）、信念函數(shù)（Lian等，2018）、隨機(jī)森林（Zikic等，2012）、條件隨機(jī)場（Yu等，2018）,支持向量機(jī)（Bauer等，2011）和隨機(jī)行走（Onoma等，2014）已經(jīng)開發(fā)成功。然而，由于三個(gè)原因，腦腫瘤分割仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。(1) 腦部解剖結(jié)構(gòu)因病人而異。(2) 膠質(zhì)瘤的大小、形狀和紋理的差異性。(3)定性MR成像模式中強(qiáng)度范圍的可變性和低對(duì)比度。這對(duì)于腦瘤分割來說尤其如此，由于低對(duì)比度，腫瘤輪廓是模糊的圖1。

最近，憑借強(qiáng)大的特征學(xué)習(xí)能力，基于深度學(xué)習(xí)的方法在腦腫瘤分割中的作用越來越突出。Cui等人（2018）提出了一個(gè)由兩個(gè)子網(wǎng)絡(luò)組成的級(jí)聯(lián)式深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)。第一個(gè)網(wǎng)絡(luò)用于從MRI切片中定義腫瘤區(qū)域，第二個(gè)網(wǎng)絡(luò)用于將定義的腫瘤區(qū)域標(biāo)記為多個(gè)子區(qū)域。Mlynarski等人（2019）引入了一個(gè)基于CNN的模型，有效地結(jié)合了短程三維背景和長程二維背景的優(yōu)勢，用于腦腫瘤分割。Wang等人（2019）提出了一種基于金字塔集合模塊的新型二維全卷積分割網(wǎng)絡(luò)WRN-PPNet。Zhao等人（2018）整合了全卷積神經(jīng)網(wǎng)絡(luò)（FCNN）（Long等人，2015）和條件隨機(jī)場來分割腦腫瘤。Havaei等人（2017）實(shí)現(xiàn)了一個(gè)雙路徑架構(gòu)，學(xué)習(xí)腦瘤的局部細(xì)節(jié)以及更大的背景特征。Wang等人（2017）提出將多類分割問題按照子區(qū)域?qū)哟畏纸鉃槿齻€(gè)二進(jìn)制分割問題序列。Kamnitsas等人（2017a）提出了一個(gè)高效的全連接多尺度CNN架構(gòu)，名為deepmedic，該架構(gòu)將高分辨率和低分辨率的路徑重新組合以獲得分割結(jié)果。此外，他們使用三維全連接條件隨機(jī)場來有效地消除假陽性。Isensee等人（2017）將U-Net修改為腦腫瘤分割，并使用數(shù)據(jù)增強(qiáng)來防止過度擬合。Kamnitsas等人（2017b）介紹了EMMA，這是一個(gè)包括DeepMedic、FCN和U-Net在內(nèi)的多種模型和架構(gòu)的集合，并在BraTS 2017比賽中獲得第一名。

然而，以往的方法只能直接應(yīng)用這四種MRI模式來實(shí)現(xiàn)分割。對(duì)于多模態(tài)醫(yī)學(xué)圖像分割任務(wù)，融合策略對(duì)獲得準(zhǔn)確的分割結(jié)果起著重要的作用。一般來說，我們可以將網(wǎng)絡(luò)架構(gòu)分為基于單編碼器的方法和基于多編碼器的方法，如Zhou等人（2019b）所述。基于單個(gè)編碼器的方法（Isensee等人，2017；Kamnitsas等人，2017b）直接將不同的多模態(tài)圖像按通道整合到輸入空間中，而不同模態(tài)之間的相關(guān)性沒有得到很好的利用。然而，基于多編碼器的方法（Tseng et al.，2017）允許通過應(yīng)用多模態(tài)特定編碼器分別提取單個(gè)特征信息，并將其與特定融合策略融合，以強(qiáng)調(diào)用于分割任務(wù)的有用信息。根據(jù)Valada等人（2016），基于多編碼器的方法比基于單個(gè)編碼器的方法具有更好的性能，可以學(xué)習(xí)更多互補(bǔ)和跨模態(tài)相互依賴的特征。然而，并非所有從編碼器中提取的特征都對(duì)分割有用。因此，有必要尋找一種有效的融合特征的方法，重點(diǎn)對(duì)提取出的信息量最大的特征進(jìn)行分割。

為此，我們建議使用注意機(jī)制，它可以被看作是一種工具，能夠考慮到最有信息量的特征表示。通道注意模塊和空間注意模塊是常用的注意機(jī)制。前者使用注意機(jī)制來選擇通道軸上有意義的特征。例如，Hu等人（2018）引入了擠壓和激勵(lì)（SE）模塊來進(jìn)行動(dòng)態(tài)的通道特征再校準(zhǔn)，以提高網(wǎng)絡(luò)的表示能力。Li等人（2018）提出將注意力機(jī)制和空間金字塔結(jié)合起來，在語義分割中為像素標(biāo)簽提取精確的密集特征。Oktay等人（2018）提出了一個(gè)注意力U型網(wǎng)絡(luò)，它使用通道注意力機(jī)制來融合高層和低層的特征，用于CT腹部分割。后者是空間注意模塊，通過加權(quán)求和所有其他位置的特征來計(jì)算每個(gè)位置的特征表示。例如，Roy等人（2018）提出同時(shí)使用空間和通道SE塊（scSE），并證明scSE塊可以對(duì)三種不同的FCN架構(gòu)產(chǎn)生改進(jìn)。最近，Roy等人（2018）將scSE塊納入到少數(shù)照片分割任務(wù)中，以解決沒有預(yù)訓(xùn)練的網(wǎng)絡(luò)和醫(yī)療掃描的體積性問題。Fu等人（2019）提出了一個(gè)使用通道和空間注意機(jī)制的雙注意網(wǎng)絡(luò)，以適應(yīng)性地整合局部語義特征與全局依賴性，用于場景分割。

然而，上述方法僅在單模態(tài)圖像數(shù)據(jù)集上評(píng)估了注意力機(jī)制，沒有考慮多模態(tài)醫(yī)學(xué)圖像的融合問題。在注意力機(jī)制的啟發(fā)下，本文提出了一個(gè)基于注意力機(jī)制和附加約束信息的三階段多模態(tài)融合網(wǎng)絡(luò)，用于腦瘤分割。這項(xiàng)工作的初步成果已經(jīng)在Zhou等人（2020）和Zhou等人（2019a）中提出。這個(gè)期刊版本是一個(gè)實(shí)質(zhì)性的擴(kuò)展。我們的方法的主要貢獻(xiàn)有四個(gè)方面。

(1)提出了一種新型的三階段網(wǎng)絡(luò)，用于多模式腦腫瘤分割，以減少記憶要求并加速訓(xùn)練過程。

(2) 在基于多編碼器的網(wǎng)絡(luò)結(jié)構(gòu)中引入并整合了額外的約束信息，使網(wǎng)絡(luò)使用更少的參數(shù)并提高分割精度。

(3) 提出了一個(gè)新的損失函數(shù)來解決多類分割問題。

(4) 利用注意力機(jī)制融合不同的模式，實(shí)現(xiàn)最重要的特征表示。