數(shù)據(jù)集：BraTS 2015
1. Introduction
MRI (Magnetic Resonance Imaging, MRI)由于其解剖結(jié)構(gòu)可以可視化檢查的特點，成為醫(yī)生在臨床分析大腦結(jié)構(gòu)時的首選[1-3]。MRI有幾種模式，腦腫瘤手術(shù)主要采用四種不同的模式:T1(自旋-晶格弛豫)、T1C (T1對比)、T2(自旋-自旋弛豫)和FLAIR(流體衰減反轉(zhuǎn)恢復(fù))。每種模式代表不同腫瘤組織的不同反應(yīng)。MRI對腦腫瘤的分割在放射外科和放療計劃中具有很高的價值。在臨床中，人工分割方法已被廣泛應(yīng)用于腦腫瘤的分割。經(jīng)驗豐富的臨床醫(yī)生根據(jù)他們的專業(yè)知識手工繪制感興趣的區(qū)域。然而，手工分割不僅繁瑣、耗時，而且要求高、成本高。它在很大程度上依賴于醫(yī)生的專業(yè)技術(shù)和豐富經(jīng)驗。如何對腦腫瘤進行自動、準(zhǔn)確、高效的分割已經(jīng)成為一個迫切的需求。
深度學(xué)習(xí)方法是指從原始輸入圖像中提取層次特征的多層神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)[4]在許多計算機視覺任務(wù)中被采用[5 - 9,47 - 50]，并在語義圖像分割方面取得了重大進展[10,44 - 46]。卷積神經(jīng)網(wǎng)絡(luò)從輸入圖像中自動學(xué)習(xí)低級視覺特征和高級語義特征。此外，它降低了網(wǎng)絡(luò)模型的復(fù)雜性和權(quán)值的數(shù)量，使訓(xùn)練有深度層的網(wǎng)絡(luò)成為可能。此外，CNN可以直接采用原始圖像作為輸入，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取過程。基于這些優(yōu)勢，深度學(xué)習(xí)方法在醫(yī)學(xué)圖像處理領(lǐng)域被廣泛采用[11 - 14,34 - 36,41 - 43]。文獻中引入了全卷積網(wǎng)絡(luò)(FCNs)[15,16]，作為cnn的自然擴展，用于解決圖像語義分割等像素預(yù)測問題。然而，基于FCN的方法通常存在低分辨率預(yù)測[17]的局限性。同時，隨著網(wǎng)絡(luò)深度的增加，深度神經(jīng)網(wǎng)絡(luò)容易出現(xiàn)梯度消失的問題。
殘差網(wǎng)絡(luò)[18]通過引入殘差塊來簡化深度網(wǎng)絡(luò)(通常是數(shù)百層)的訓(xùn)練。該塊采用身份映射和殘差映射來解決訓(xùn)練問題。然而，由于ResNet的參數(shù)過高，很容易造成大量的開銷。此外，Huang[19]引入的DenseNets是由密集的塊構(gòu)建而成的。每個密集的塊都是先前特征映射的迭代連接。這個體系結(jié)構(gòu)可以看作是ResNets的擴展，它執(zhí)行先前特性映射的迭代求和。與resnet相比，DenseNets在參數(shù)較少的情況下取得了較好的性能。在[20]中，作者仔細地將DenseNets體系結(jié)構(gòu)擴展為完全卷積網(wǎng)絡(luò)(FC-DenseNet)進行語義分割，該方法在實驗數(shù)據(jù)上取得了良好的效果。
ResNets和DenseNets解決了“消失梯度”問題。ResNets和DenseNets雖然幫助深度神經(jīng)網(wǎng)絡(luò)提取高級語義特征，但它們不能幫助網(wǎng)絡(luò)有效地結(jié)合低級視覺特征。許多研究證明，低級特征對語義切分是有用的，可以顯著提高切分準(zhǔn)確率。本文將下采樣過程中學(xué)習(xí)到的特征作為低級視覺特征，將上采樣過程中學(xué)習(xí)到的特征作為高級語義特征。在目前最流行的語義分割模型(如FCNs、ResNets)中，采用上采樣的方法，通過“跳過連接[15]”從下采樣層恢復(fù)細粒度信息。高級語義特征通過轉(zhuǎn)置卷積進行上采樣，然后與相同維度和通道的低級視覺特征連接。然后在這些融合特征的基礎(chǔ)上，生成新的高級語義特征。但是隨著網(wǎng)絡(luò)層數(shù)的增加，底層特征向輸出層傳播的難度越來越大。在上采樣過程中，傳統(tǒng)的端到端方法只是將低級特征直接連接到高級特征上，而沒有考慮融合的方式。也就是說，大多數(shù)方法在圖像識別中忽視了對整個層次特征的充分利用。
針對這些缺陷，本文提出了一種多路徑自適應(yīng)融合網(wǎng)絡(luò)。具體來說，在傳統(tǒng)的降采樣過程中，我們將ResNets中的跳躍式連接的思想應(yīng)用到密集的塊中，從而有效地保留和傳播更多的低級視覺特征。所提出的密集塊由密集連通層和局部特征殘差融合(LFRF)組成。此外，該塊實現(xiàn)了連續(xù)存儲機制，這意味著稠密塊的輸出有能力直接訪問下一個稠密塊中的每一層。換句話說，這個塊生成一個連續(xù)的狀態(tài)傳播。稠密塊中的每個卷積層都可以訪問所有后續(xù)層，傳播需要保留的信息。通過將之前所有層的狀態(tài)與當(dāng)前的密集塊連接，可以發(fā)現(xiàn)改進后的密集塊可以有效地傳播低級視覺特征，并有效地保留這些信息用于最終預(yù)測。
此外，該框架的另一個重要改進是在上采樣過程中采用多路徑自適應(yīng)融合密集塊，自適應(yīng)調(diào)整低層次視覺特征，然后融合高級語義特征。該塊體能夠有效地利用多層特征生成高分辨率預(yù)測。具體來說，在多路徑自適應(yīng)融合密集塊中，將代表低級視覺特征的一條輸入路徑依次通過一個緊密連接的卷積網(wǎng)絡(luò)，再通過自適應(yīng)卷積來調(diào)整預(yù)先訓(xùn)練好的特征權(quán)值。另一方面，通過自適應(yīng)卷積，將代表高級語義特征的另一條路徑上采樣到與低級視覺特征相同的維度和通道。最后，將調(diào)整后的低級視覺特征與高級語義特征串聯(lián)，生成新的高級語義特征。綜上所述，通過采用多徑自適應(yīng)融合密集塊(multi-path Adaptive fusion Dense Block)方法，最終將之前降采樣過程中產(chǎn)生的高級語義特征和低級視覺特征融合到高分辨率預(yù)測中，獲得更好的性能。
總的來說，該框架的主要目的是有效傳播低級特征，并自適應(yīng)地結(jié)合低級視覺特征和高級語義特征，從而充分利用所有層次特征進行多模態(tài)腦腫瘤分割。同時，與其他先進的網(wǎng)絡(luò)相比，該框架具有更好的性能和更少的參數(shù)和更快的分割速度。實驗結(jié)果表明，與其他方法相比，該方法在多模態(tài)腦腫瘤分割中取得了較好的分割效果。此外，本工作是將多層次特征融合的思想應(yīng)用于腦腫瘤分割的早期嘗試之一，具有創(chuàng)新性和貢獻性。
2. Related work
目前用于腦腫瘤分割的方法大多基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)[21,22,38 - 40]。Shen等人提出了一種新的、多任務(wù)、全卷積網(wǎng)絡(luò)(FCN)結(jié)構(gòu)，用于腦腫瘤的自動分割。該網(wǎng)絡(luò)通過連接從多模態(tài)磁共振圖像中提取的層次特征表示及其對稱差分圖像來提取多層次的上下文信息。Dong等人[22]提出并開發(fā)了基于U-Net的全卷積網(wǎng)絡(luò)來解決腦腫瘤分割問題。他們采用了一種綜合的數(shù)據(jù)增強方案，不僅包含剛性或仿射的變形，還包括亮度和彈性變形的變換。這已經(jīng)與U-Net結(jié)合，合并了跳過架構(gòu)。網(wǎng)絡(luò)的寬度和深度可以提高網(wǎng)絡(luò)的性能。一般來說，深度網(wǎng)絡(luò)的性能一般要優(yōu)于淺層網(wǎng)絡(luò)。一般來說，深度網(wǎng)絡(luò)的性能一般比淺層網(wǎng)絡(luò)好。事實上，當(dāng)更深層次的網(wǎng)絡(luò)能夠開始收斂時，一個退化問題已經(jīng)暴露出來：隨著網(wǎng)絡(luò)深度的增加，精確度達到飽和（這可能并不奇怪），然后迅速退化[18]。
He等人[18]通過引入一個深度殘差學(xué)習(xí)框架來解決退化問題。殘差網(wǎng)旨在通過引入一個殘差塊來緩解非常深的網(wǎng)絡(luò)（數(shù)百層）的訓(xùn)練，該殘差塊是兩個信號的總和：輸入的非線性變換和它的身份映射。身份映射是通過 "快捷連接[23-25]"來實現(xiàn)的。ResNets在許多具有挑戰(zhàn)性的圖像識別、定位和檢測任務(wù)上取得了令人印象深刻的、破紀(jì)錄的性能，如ImageNet和COCO物體檢測[18]。VoxResNet由[26]提出，將低級別的圖像外觀特征、隱含的形狀信息和高級別的上下文整合在一起，以提高體積分割的性能。在具有挑戰(zhàn)性的磁共振（MR）圖像的大腦分割基準(zhǔn)上進行的大量實驗顯示了良好的性能。但由于每層都有自己的權(quán)重，ResNets的參數(shù)數(shù)量大大增加。RefineNet[17]是一個通用的多路徑細化網(wǎng)絡(luò)，它明確地利用沿下采樣過程的所有信息來實現(xiàn)高分辨率的預(yù)測，它使用長距離的剩余連接。通過這種方式，捕捉高層次語義特征的較深層可以直接使用來自早期卷積的細粒度特征進行細化。RefineNet的各個組成部分采用了遵循身份映射思維的殘差連接，這使得有效的端到端訓(xùn)練成為可能。這種方法可以提高圖像分割的性能，但作者在ResNets上增加的多路徑細化網(wǎng)絡(luò)將進一步提高ResNets的參數(shù)。
DenseNets[19]大大減少了參數(shù)的數(shù)量。DenseNets的一個優(yōu)點是網(wǎng)絡(luò)更窄，參數(shù)更少，這在很大程度上是由于密集塊的設(shè)計。密集塊中每個卷積層的特征圖的數(shù)量很小（小于100）。同時，這種連接方式使得特征和梯度的傳輸更加有效，網(wǎng)絡(luò)更容易訓(xùn)練。每一層都可以直接訪問損失函數(shù)的梯度和原始輸入信號，從而實現(xiàn)隱式深度監(jiān)督[27]。FC-DenseNet[20]將DenseNets架構(gòu)擴展到全卷積網(wǎng)絡(luò)，用于語義分割。到目前為止，還沒有人將DenseNets用于醫(yī)學(xué)圖像分割。
