首頁(yè) 資訊 Review of breast cancer computer

Review of breast cancer computer

來(lái)源:泰然健康網(wǎng) 時(shí)間:2024年12月20日 20:41

摘要: 乳腺癌已超越肺癌,成為全球第一大癌癥,其發(fā)病率和死亡率在女性中均為首位。目前,磁共振成像在乳腺癌診斷和評(píng)估方面已得到廣泛應(yīng)用,是檢測(cè)敏感度最高的成像方法。計(jì)算機(jī)輔助檢測(cè)系統(tǒng)對(duì)輔助醫(yī)生診斷乳腺癌具有重要作用,其中,準(zhǔn)確的乳腺癌檢測(cè)是關(guān)鍵技術(shù)之一。綜述近年來(lái)基于磁共振成像的乳腺癌檢測(cè)方法,旨在為深入開展乳腺癌檢測(cè)研究提供參考。首先,對(duì)乳腺癌計(jì)算機(jī)輔助檢測(cè)的研究意義及檢測(cè)流程進(jìn)行介紹;然后,對(duì)乳腺癌檢測(cè)的傳統(tǒng)方法和深度學(xué)習(xí)方法的優(yōu)缺點(diǎn)進(jìn)行分析;最后,對(duì)乳腺癌檢測(cè)技術(shù)的現(xiàn)有問(wèn)題和未來(lái)發(fā)展方向進(jìn)行總結(jié)與展望。傳統(tǒng)乳腺癌檢測(cè)方法的結(jié)果可解釋性強(qiáng)但泛化能力差,暫時(shí)無(wú)法滿足臨床需求。近年來(lái)深度學(xué)習(xí)檢測(cè)方法飛速發(fā)展,檢測(cè)性能大幅提高,因此著重介紹深度學(xué)習(xí)檢測(cè)方法在乳腺磁共振影像中的最新應(yīng)用?;诖殴舱裼跋竦娜橄侔┯?jì)算機(jī)輔助檢測(cè)方法已取得了較大的成就,但腫塊型和非腫塊型乳腺癌的特征差異給檢測(cè)帶來(lái)了困難,高質(zhì)量數(shù)據(jù)庫(kù)的緊缺仍是深度學(xué)習(xí)方法的瓶頸。因此,多模態(tài)影像的應(yīng)用和弱監(jiān)督深度學(xué)習(xí)方法將會(huì)是未來(lái)研究者重點(diǎn)關(guān)注的方向。

Review of breast cancer computer-aided detection methods based on magnetic resonance imaging

Abstract: Breast cancer has overtaken lung cancer as the world’s most common cancer. Its incidence rate and mortality rate are the highest among women. At present, magnetic resonance imaging has been widely used in breast cancer diagnosis and evaluation, and is the imaging method with the highest detection sensitivity. Computer aided detection system plays an important role in assisting doctors to diagnose breast cancer. Accurate breast cancer detection is one of the key technologies. In order to provide reference for further research on breast cancer detection, the breast cancer detection methods based on magnetic resonance imaging in recent years were reviewed. Firstly, the research significance and detection process of breast cancer computer-aided detection were introduced; then the advantages and disadvantages of traditional and deep learning methods for breast cancer detection were analyzed; finally, the existing problems and future development direction of breast cancer detection technology were summarized and prospected. The results of traditional breast cancer detection methods are interpretable but poorly generalizable, and they temporarily cannot meet clinical needs. In recent years, the deep learning detection method has developed rapidly, and the detection performance has been greatly improved. Therefore, the latest application of deep learning detection method in breast magnetic resonance imaging is emphasized. Breast cancer computer-aided detection methods based on magnetic resonance imaging have made great achievements, but the difference in characteristics between mass and non-mass type breast cancer causes difficulties in detection. The shortage of high-quality databases remains a bottleneck in deep learning methods. Therefore, the application of multimodal images and weakly supervised deep learning will be the focus of future researchers.

Key words:magnetic resonance imaging    computer aided detection    review    breast cancer    target detection    

目前,乳腺癌已超越肺癌,成為全球第一大癌癥,其發(fā)病率和死亡率在女性中均為首位[1]。從八十年代至今,乳腺癌發(fā)病率在中國(guó)持續(xù)快速上升,同時(shí)患病群體表現(xiàn)出年輕化的趨勢(shì)。乳腺癌嚴(yán)重危害女性健康,早診斷、早治療能夠提高乳腺癌患者生存率。動(dòng)態(tài)對(duì)比增強(qiáng)磁共振成像(dynamic contrast enhancement magnetic resonance imaging, DCE-MRI)可生成多序列、高分辨率影像,能夠清晰地分辨乳腺腺體、脂肪、病灶組織,對(duì)乳腺癌的診斷具有較高的準(zhǔn)確性,可以為乳腺癌檢出、分子分型、預(yù)測(cè)和預(yù)后評(píng)估等提供參考依據(jù),因此在乳腺癌影像檢查方面得到了廣泛的應(yīng)用[2]。

在DCE-MRI檢查中,每病例總計(jì)生成圖片近千張,各序列示例見圖1。如此巨量的圖片只靠醫(yī)生的專業(yè)技術(shù)和主觀經(jīng)驗(yàn)進(jìn)行判斷,不僅速度慢,還容易產(chǎn)生誤診和漏診。因此,計(jì)算機(jī)輔助檢測(cè)(computer aided detection, CADe)系統(tǒng)正逐漸應(yīng)用到乳腺癌檢測(cè)任務(wù)中,協(xié)助醫(yī)生進(jìn)行快速診斷。乳腺癌的準(zhǔn)確檢測(cè)是CADe系統(tǒng)中至關(guān)重要的一步,不僅可以標(biāo)記影像中的乳腺癌區(qū)域,有效減輕醫(yī)生的工作負(fù)擔(dān),提升醫(yī)療服務(wù)質(zhì)量,還可以為后續(xù)的乳腺癌分子分型、預(yù)后評(píng)估等提供數(shù)據(jù)基礎(chǔ)。此外,CADe系統(tǒng)還可以對(duì)經(jīng)驗(yàn)不足的醫(yī)生起到提示參考的作用,在一定程度上能解決偏遠(yuǎn)地區(qū)醫(yī)療資源匱乏的問(wèn)題。


圖 1 每病例包含的部分MRIFig. 1 Part of MR images included in each case

為了高效準(zhǔn)確的檢測(cè)乳腺癌,研究者們提出了許多檢測(cè)方法,基本流程如圖2所示:首先對(duì)原始圖像進(jìn)行預(yù)處理,分割出圖像中的乳腺區(qū)域;再利用傳統(tǒng)圖像處理方法或深度學(xué)習(xí)方法檢測(cè)出可疑的乳腺癌區(qū)域;最后得出檢測(cè)結(jié)果。傳統(tǒng)圖像處理及深度學(xué)習(xí)方法均取得了較好的效果,也有研究將兩者組合應(yīng)用[3-4]。Rezaei[5]對(duì)所有乳腺成像方式的乳腺癌檢測(cè)分割、分類方法進(jìn)行概括總結(jié),但是沒有詳細(xì)介紹MRI計(jì)算機(jī)輔助檢測(cè)方法。Chan[2]綜述了基于人工智能的計(jì)算機(jī)輔助診斷(computer-aided diagnosis, CADx)系統(tǒng)在乳腺癌方面的最新成果,但是對(duì)乳腺M(fèi)RI方面的介紹主要集中在良惡性分類及乳腺分割等,依然沒有對(duì)乳腺癌檢測(cè)方法進(jìn)行總結(jié)。因此,本文通過(guò)研讀大量相關(guān)文獻(xiàn),總結(jié)了近年來(lái)國(guó)內(nèi)外基于MRI的乳腺癌計(jì)算機(jī)輔助檢測(cè)方法,分別從傳統(tǒng)方法及深度學(xué)習(xí)方法兩個(gè)方面進(jìn)行綜述;最后對(duì)乳腺癌檢測(cè)技術(shù)的現(xiàn)有問(wèn)題和未來(lái)發(fā)展方向進(jìn)行總結(jié)與展望,為正在探索乳腺癌檢測(cè)領(lǐng)域的研究者們提供一定的參考。


圖 2 乳腺癌檢測(cè)流程Fig. 2 Breast cancer detection process

1 傳統(tǒng)乳腺癌檢測(cè)方法

在磁共振圖像中,乳腺癌常表現(xiàn)為類圓形、分葉狀或不規(guī)則形的區(qū)域,區(qū)域邊緣特點(diǎn)為光滑、不規(guī)則或星芒狀。在磁共振的不同序列中,乳腺癌區(qū)域的信號(hào)特點(diǎn)也不同:在T1WI中多表現(xiàn)為等或低信號(hào)(圖像中相應(yīng)區(qū)域灰度值較低),在T2WI抑脂序列及動(dòng)態(tài)增強(qiáng)序列中則表現(xiàn)為高信號(hào)(圖像中相應(yīng)區(qū)域灰度值較高)。傳統(tǒng)乳腺癌檢測(cè)步驟如圖3所示,通常包含圖像預(yù)處理、乳腺區(qū)域分割、可疑腫瘤區(qū)域提取、特征提取和分類判斷等部分。圖像預(yù)處理的目的是去除噪聲及偽影[6-7]、增強(qiáng)腫瘤特征以及標(biāo)準(zhǔn)化不同數(shù)據(jù)源圖像。乳腺區(qū)域分割的目的是提取乳腺區(qū)域,去除其他區(qū)域的組織、器官等,可以極大提升檢測(cè)結(jié)果的可靠性。傳統(tǒng)乳腺癌檢測(cè)方法應(yīng)用于腫瘤區(qū)域、特征的提取和分類判斷等步驟,主要包括閾值法、活動(dòng)輪廓模型、聚類法、概率圖模型以及其他機(jī)器學(xué)習(xí)方法等,接下來(lái)將逐步進(jìn)行闡述。


圖 3 傳統(tǒng)乳腺癌檢測(cè)方法流程Fig. 3 Detection of breast cancer by traditional method

可疑腫瘤區(qū)域提取最常見方法是閾值法。閾值法主要通過(guò)比較腫瘤與背景像素灰度值的差異來(lái)提取目標(biāo)區(qū)域,為了獲得更好的分割效果,后續(xù)常使用形態(tài)學(xué)處理或區(qū)域生長(zhǎng)法優(yōu)化目標(biāo)區(qū)域的邊緣[8]。早期的研究大多依賴于手動(dòng)設(shè)置閾值大小及種子點(diǎn)位置,效率較低。因此,研究者開始尋求自動(dòng)化閾值選取及種子點(diǎn)確定方法[9]。例如,大津法不受圖像亮度和對(duì)比度的影響,被廣泛應(yīng)用到可疑腫瘤區(qū)域提取任務(wù)中[10]。由于腫瘤形狀通常呈類圓形,血管等組織呈線條形,通過(guò)判斷幾何特征來(lái)刪除線條形區(qū)域,可以減少部分假陽(yáng)性[11]。需要注意的是,形態(tài)學(xué)算子半徑過(guò)大可能導(dǎo)致過(guò)分割。此外,基于數(shù)學(xué)形態(tài)學(xué)的分水嶺算法與自適應(yīng)閾值法相結(jié)合可以有效抑制圖像過(guò)分割現(xiàn)象[12],但是該算法對(duì)噪聲點(diǎn)或者其他干擾因素非常敏感。閾值法的優(yōu)點(diǎn)是分割速度快,計(jì)算效率高,但這些方法僅考慮像素點(diǎn)的灰度特征,很少考慮空間特征。若腫瘤區(qū)域灰度級(jí)與其他組織差異性不大,常會(huì)出現(xiàn)錯(cuò)分割的情況。因此,閾值法常與其他方法組合使用,以獲得更好的可疑腫瘤區(qū)域提取效果。

活動(dòng)輪廓模型作為一種重要的圖像分割方法,也常被應(yīng)用于乳腺癌檢測(cè)任務(wù)中。該方法通過(guò)最小化能量泛函,使圖像中的初始曲線逐步運(yùn)動(dòng)到目標(biāo)對(duì)象的邊界,獲得可疑腫瘤區(qū)域輪廓[13]。相較于閾值法,該方法的優(yōu)勢(shì)是邊緣分割精度更高,還可以結(jié)合先驗(yàn)知識(shí),如形狀、灰度分布,方便的構(gòu)造合適的能量最小化框架,對(duì)后續(xù)的目標(biāo)分析及識(shí)別有重要意義。水平集方法屬于幾何活動(dòng)輪廓模型,可對(duì)3D圖像進(jìn)行分割,根據(jù)腫瘤體積變化在迭代過(guò)程中添加3D形狀加權(quán)值,可以加快收斂速度,還能消除背景噪聲,使分割輪廓更接近實(shí)際腫瘤邊緣[14]。但是當(dāng)圖像的模糊程度和噪聲密度較大時(shí),該方法的特異性顯著降低。

聚類方法也可用于乳腺癌檢測(cè)任務(wù)中。與閾值法不同,基于聚類的方法更多的是針對(duì)每個(gè)像素與其相鄰像素的關(guān)系而運(yùn)行的。在乳腺癌檢測(cè)任務(wù)中,常見的聚類方法有均值漂移[15]、K均值聚類[16]、模糊C均值聚類(fuzzy C-means, FCM)等。均值漂移和K均值聚類方法計(jì)算開銷較大,不能快速地對(duì)整個(gè)MRI序列進(jìn)行檢測(cè)。模糊C均值聚類檢測(cè)速度稍快,但是得到的結(jié)果常常包含多個(gè)假陽(yáng)性區(qū)域。因此,Huang等[17]基于FCM的結(jié)果和形態(tài)學(xué)特征,利用Hessian濾波器進(jìn)一步從可疑區(qū)域中提取腫瘤組織,去除大部分假陽(yáng)性區(qū)域。接下來(lái)Shokouhi等[18]在此基礎(chǔ)上結(jié)合區(qū)域生長(zhǎng),獲得更準(zhǔn)確的腫瘤區(qū)域。Sun等[19]則提出了一種基于簡(jiǎn)單線性迭代聚類和DBSCAN聚類的半監(jiān)督乳腺腫瘤分割方法,對(duì)較大的腫瘤擁有較好的檢測(cè)效果,但是提取微小腫瘤的效果不佳。

此外,還有一些基于概率圖模型及其他方法的研究。如Gubern-Mérida等[6]利用基于概率地圖集提供的空間信息對(duì)乳腺進(jìn)行分割,再根據(jù)體素相對(duì)增強(qiáng)特征對(duì)病變進(jìn)一步區(qū)分。Cetinel等[20]使用馬爾可夫隨機(jī)場(chǎng)(Markov random field, MRF)來(lái)提高大津法的分割效果。此類方法計(jì)算過(guò)程復(fù)雜,且先驗(yàn)知識(shí)的準(zhǔn)確性對(duì)分割結(jié)果有著很大的影響。馮寶等[21]結(jié)合MRF和活動(dòng)輪廓模型方法,綜合考慮灰度區(qū)域、邊緣以及乳腺癌的空間聚類特性,在腫塊型和非腫塊型乳腺癌的檢測(cè)中均得到較好的結(jié)果。

為了去除假陽(yáng)性區(qū)域,需要對(duì)候選區(qū)域的圖像特征進(jìn)行提取和分類。理想的特征組合應(yīng)該可以準(zhǔn)確表現(xiàn)出腫瘤及非腫瘤區(qū)域之間的差異,特征維數(shù)盡可能少。在DCE-MRI中,常見的圖像特征可分為四類:形態(tài)學(xué)特征、紋理特征、血流動(dòng)力學(xué)特征和藥代動(dòng)力學(xué)特征。其中,最為常用的是形態(tài)學(xué)特征和紋理特征,這兩種特征可以較好地表征出腫瘤的形狀、大小、灰度分布等特點(diǎn),對(duì)腫瘤的良惡性判斷具有重大指導(dǎo)作用。動(dòng)力學(xué)特征是DCE-MRI專有的特征,表現(xiàn)的是圖像序列間的變化特性。血流動(dòng)力學(xué)特征一般是從每個(gè)體素的時(shí)間–強(qiáng)度曲線中提取的最大增強(qiáng)(ME)、達(dá)峰時(shí)間(TP)、吸收率(UR)、清除率(WR)和曲線下面積等特征。因?yàn)槟[瘤的血流動(dòng)力學(xué)特征與正常腺體有很大不同,所以此類特征對(duì)腫瘤的分類效果最好。藥代動(dòng)力學(xué)特征與血流動(dòng)力學(xué)類似,更多體現(xiàn)的是造影劑在腫瘤血管中的變化過(guò)程,對(duì)腫瘤分類的效果也很出色。

雖然分類效果主要與特征的選擇和所用數(shù)據(jù)集的質(zhì)量有關(guān),但是也不能忽視分類器的選擇。常用的分類器有支持向量機(jī)、K-最近鄰、Adaboost、人工神經(jīng)網(wǎng)絡(luò)、貝葉斯算法、決策樹、隨機(jī)森林等。通常實(shí)驗(yàn)中都會(huì)對(duì)這一系列分類器的效果進(jìn)行對(duì)比,然后選擇最合適的分類器進(jìn)行特征分類。目前沒有一種特定的分類器在所有數(shù)據(jù)集和特征組合中表現(xiàn)均為最佳。

對(duì)傳統(tǒng)乳腺癌檢測(cè)方法的總結(jié)如表1所示。上述研究表明,傳統(tǒng)乳腺癌檢測(cè)方法側(cè)重點(diǎn)在于人工設(shè)計(jì)與乳腺癌最相關(guān)的特征,其優(yōu)勢(shì)是不需要大量數(shù)據(jù)進(jìn)行訓(xùn)練就能實(shí)現(xiàn)快速準(zhǔn)確的檢測(cè),結(jié)合臨床先驗(yàn)知識(shí),結(jié)果可解釋性強(qiáng),運(yùn)行過(guò)程明確??偨Y(jié)傳統(tǒng)乳腺癌檢測(cè)方法性能,如表2所示。然而,傳統(tǒng)乳腺癌檢測(cè)方法還面臨一些難題:第一,在不同設(shè)備及醫(yī)學(xué)掃描參數(shù)下生成的圖像,其圖像特征也會(huì)有很大的變化,因此傳統(tǒng)檢測(cè)方法在不同數(shù)據(jù)庫(kù)之間會(huì)表現(xiàn)出很大差距,得到的結(jié)果也難以互相比較優(yōu)劣;第二,使用數(shù)據(jù)量過(guò)少,導(dǎo)致模型的魯棒性較差,泛化能力弱;第三,人工設(shè)計(jì)的特征對(duì)邊界清晰、與周圍組織灰度對(duì)比明顯的病灶具有很好的檢測(cè)效果,但是對(duì)邊界模糊不規(guī)則的病灶檢測(cè)效果較差,具有一定的局限性;第四,小體積腫瘤難以被檢測(cè),主要原因是小體積腫瘤攜帶的信息較少,由此導(dǎo)致特征表達(dá)能力偏弱。因此,未來(lái)在研究DCE-MRI的傳統(tǒng)乳腺癌檢測(cè)算法時(shí),要權(quán)衡各部分方法的利弊,尋找更相關(guān)的特征組合,設(shè)計(jì)出檢測(cè)精度更高的方法。



表 1 基于DCE-MRI的傳統(tǒng)乳腺癌檢測(cè)方法優(yōu)缺點(diǎn)總結(jié)Table 1 Advantages and disadvantages of traditional breast cancer detection methods based on DCE-MRI
表 2 傳統(tǒng)乳腺癌檢測(cè)方法評(píng)價(jià)結(jié)果Table 2 Evaluation results of traditional breast cancer detection methods

2 基于深度學(xué)習(xí)的乳腺癌檢測(cè)方法

傳統(tǒng)檢測(cè)算法暫時(shí)無(wú)法滿足臨床需求。近年來(lái),深度學(xué)習(xí)技術(shù)飛速發(fā)展,不僅在圖像分類任務(wù)中表現(xiàn)優(yōu)秀,在目標(biāo)檢測(cè)和語(yǔ)義分割任務(wù)中也發(fā)揮出強(qiáng)大的性能。在基于深度學(xué)習(xí)的乳腺癌檢測(cè)領(lǐng)域,腫瘤檢測(cè)和分割幾乎融為了一體,是近年來(lái)研究的重點(diǎn)之一。與傳統(tǒng)方法不同,深度學(xué)習(xí)使用網(wǎng)絡(luò)模型對(duì)大量數(shù)據(jù)進(jìn)行訓(xùn)練,以實(shí)現(xiàn)自動(dòng)提取腫瘤的特征,從而對(duì)腫瘤的位置及類別進(jìn)行判斷,基本流程如圖4所示:首先是數(shù)據(jù)預(yù)處理階段,包括對(duì)原始乳腺M(fèi)RI的預(yù)處理和相應(yīng)腫瘤區(qū)域的標(biāo)簽勾畫;然后將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,劃分方法主要有留出法、K折交叉驗(yàn)證法等。接下來(lái)是模型的搭建及訓(xùn)練階段,訓(xùn)練集用來(lái)對(duì)模型進(jìn)行訓(xùn)練,驗(yàn)證集用來(lái)調(diào)整超參數(shù)以及選擇更優(yōu)秀的模型,測(cè)試集則是用來(lái)測(cè)試選定的模型對(duì)新樣本的檢測(cè)能力,進(jìn)而評(píng)估模型的泛化能力。根據(jù)檢測(cè)策略的不同,深度學(xué)習(xí)檢測(cè)方法可分為三種:基于候選區(qū)域的乳腺癌檢測(cè)、基于全卷積網(wǎng)絡(luò)的乳腺癌檢測(cè)、基于弱監(jiān)督學(xué)習(xí)的乳腺癌檢測(cè)。


圖 4 基于深度學(xué)習(xí)的乳腺癌檢測(cè)流程Fig. 4 Detection of breast cancer by deep learning

2.1 基于候選區(qū)域的乳腺癌檢測(cè)

基于候選區(qū)域的乳腺癌檢測(cè)方法的步驟一般分為三步:首先,利用選擇性搜索、區(qū)域建議網(wǎng)絡(luò)(region proposal network, RPN)、ROI池化層等方法從輸入圖像中預(yù)測(cè)乳腺腫瘤可能出現(xiàn)的位置,生成若干個(gè)候選區(qū)域;然后利用卷積神經(jīng)網(wǎng)絡(luò)從候選區(qū)域中提取特征;最后利用分類器對(duì)特征進(jìn)行分類。典型代表為R-CNN系列模型,在乳腺鉬靶圖像檢測(cè)任務(wù)中應(yīng)用較多[22-23],在DCE-MRI中較為少見。該模型憑借卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的分類能力對(duì)候選區(qū)域進(jìn)行判斷,從而得出最符合目標(biāo)的邊界框。Jiao等[24]利用Faster R-CNN對(duì)DCE-MRI的單張圖片進(jìn)行腫瘤檢測(cè)與分類,如圖5所示。該實(shí)驗(yàn)檢測(cè)準(zhǔn)確率較高,但不能滿足檢測(cè)實(shí)時(shí)性的需求。其原因是該模型在提取候選區(qū)域的過(guò)程中進(jìn)行大量的重復(fù)迭代計(jì)算,導(dǎo)致檢測(cè)速度較慢。同時(shí),候選區(qū)域通常比原圖像小得多,其尺寸也會(huì)限制感知區(qū)域的大小,導(dǎo)致模型只能提取到局部特征,降低了檢測(cè)性能。此外,算法每個(gè)階段需要分別進(jìn)行訓(xùn)練或者微調(diào),步驟繁瑣,不利于取得最優(yōu)解。


圖 5 文獻(xiàn)[21]所用Faster R-CNN網(wǎng)絡(luò)模型Fig. 5 Faster R-CNN network model used in reference[21]

針對(duì)RCNN普遍存在的缺乏實(shí)時(shí)性的問(wèn)題,YOLO系列模型[25]刪除了區(qū)域建議網(wǎng)絡(luò),轉(zhuǎn)而采用預(yù)定義網(wǎng)格等形式將圖片進(jìn)行區(qū)域劃分,然后輸入到網(wǎng)絡(luò)中。該方法檢測(cè)速度較RCNN算法提升40倍以上,在乳腺鉬靶圖像及MRI中都有較好的表現(xiàn)。如Al-masni等[26]利用基于Darknet的YOLO網(wǎng)絡(luò)對(duì)600張乳腺X光片進(jìn)行良惡性腫瘤位置檢測(cè),在置信概率設(shè)置為0.2的情況下得到的準(zhǔn)確率為96.33%。然而,該模型難以對(duì)小體積腫瘤進(jìn)行檢測(cè),其原因是預(yù)定義網(wǎng)格代替候選區(qū)域生成的方法過(guò)于粗糙,導(dǎo)致前期網(wǎng)絡(luò)訓(xùn)練時(shí)很難收斂,對(duì)小目標(biāo)的檢測(cè)不敏感。馬偉等[27]針對(duì)乳腺M(fèi)RI腫瘤區(qū)域相對(duì)較小、腫塊型和非腫塊型腫瘤之間形態(tài)學(xué)差異大的問(wèn)題,提出了一套粗檢測(cè)細(xì)分割的二階段深度學(xué)習(xí)模型。首先運(yùn)用YOLOv2網(wǎng)絡(luò)進(jìn)行粗檢測(cè),得到可疑的腫瘤區(qū)域;然后對(duì)該區(qū)域運(yùn)用SegNet網(wǎng)絡(luò)進(jìn)行精細(xì)分割,從而實(shí)現(xiàn)算法最優(yōu)的性能。與單一模型相比,這種利用不同網(wǎng)絡(luò)模型的多階段方法能夠更好地發(fā)掘影像中的信息,在檢測(cè)結(jié)果上表現(xiàn)得更加優(yōu)秀。為了增強(qiáng)小體積腫瘤檢測(cè)性能,Adachi等[28]第一次將RetinaNet應(yīng)用到乳腺癌檢測(cè)任務(wù)中,采用特征金字塔結(jié)構(gòu)以及Focal Loss函數(shù)使模型在訓(xùn)練時(shí)更關(guān)注難分類、面積小的腫瘤區(qū)域,極大地提高了檢測(cè)精度。接下來(lái)的研究中,Ayatollahi[29]將RetinaNet應(yīng)用到3D乳腺M(fèi)RI序列上,在考慮了三維形態(tài)和動(dòng)態(tài)信息后,靈敏度和準(zhǔn)確率進(jìn)一步提升。

2.2 基于全卷積網(wǎng)絡(luò)的乳腺癌檢測(cè)

全卷積網(wǎng)絡(luò)(fully convolutional network, FCN)是一種卷積神經(jīng)網(wǎng)絡(luò),可以在無(wú)全連接層的情況下對(duì)圖像中的每個(gè)像素點(diǎn)進(jìn)行分類及預(yù)測(cè),實(shí)現(xiàn)對(duì)圖像的端到端分割[30]。然而,早期的全卷積網(wǎng)絡(luò)只是簡(jiǎn)單地使用最后一個(gè)反卷積層將特征圖上采樣到輸入圖像的大小,損失大量形狀和位置信息,無(wú)法對(duì)腫瘤進(jìn)行準(zhǔn)確的檢測(cè)。U-net是由全卷積網(wǎng)絡(luò)改進(jìn)而來(lái)的一種編碼器–解碼器結(jié)構(gòu)的語(yǔ)義分割網(wǎng)絡(luò)[31],在醫(yī)學(xué)圖像分割領(lǐng)域取得了優(yōu)秀的成績(jī),在樣本較少的情況下依然有較好的表現(xiàn),結(jié)構(gòu)如圖6所示。從結(jié)構(gòu)上看,U-net在全卷積網(wǎng)絡(luò)中添加了跳躍連接結(jié)構(gòu),利用拼接的方法將U型網(wǎng)絡(luò)的上下文信息連接起來(lái),保證最后的特征圖將底層語(yǔ)義信息和高層邊緣位置信息充分融合,因此分割精度較普通全卷積網(wǎng)絡(luò)更高。Zhang等[32]提出了一個(gè)掩膜引導(dǎo)的多階段學(xué)習(xí)框架,利用三個(gè)U-net逐步檢測(cè)并分割乳腺腫瘤。實(shí)驗(yàn)中將乳腺區(qū)域掩膜與對(duì)比后圖像、差分圖像融合成三通道圖像輸入到U-net中,這種軟掩膜策略可以避免因乳腺分割不準(zhǔn)確而引發(fā)的誤檢。此外,作者提出一種基于Dice系數(shù)和靈敏度的損失函數(shù),使網(wǎng)絡(luò)高度關(guān)注腫瘤像素,較好地緩解了像素類別不平衡的問(wèn)題。由于訓(xùn)練U-net模型非常費(fèi)時(shí)費(fèi)力,Lu等[33]將遷移學(xué)習(xí)方法引入到訓(xùn)練過(guò)程中,用預(yù)訓(xùn)練乳腺圖像的分類網(wǎng)絡(luò)來(lái)初始化U-net分割網(wǎng)絡(luò),得到了更準(zhǔn)確的乳腺病灶分割結(jié)果。遷移學(xué)習(xí)的應(yīng)用為分割網(wǎng)絡(luò)參數(shù)初始化提供了便利,使其更容易聚焦于腫瘤區(qū)域,提高分割準(zhǔn)確率。


圖 6 U-net模型結(jié)構(gòu)Fig. 6 U-net model structure

隨著深度學(xué)習(xí)技術(shù)的發(fā)展,研究者們圍繞U-net的改進(jìn)做了大量的工作,包括對(duì)輸入數(shù)據(jù)的形式及數(shù)據(jù)流向的改進(jìn),如2D圖像輸入改為3D圖像、更多的跳躍連接路徑;對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行的改進(jìn),如注意力機(jī)制、殘差模塊、特征融合、空洞卷積層等;對(duì)損失函數(shù)進(jìn)行的改進(jìn),如Dice損失函數(shù)的改進(jìn)等。在乳腺癌檢測(cè)任務(wù)中,研究者可沿著這些方向繼續(xù)進(jìn)行深入的研究。此外,將U-net與傳統(tǒng)圖像處理方法結(jié)合也是當(dāng)前研究的熱門方向。

2.3 基于弱監(jiān)督學(xué)習(xí)的乳腺癌檢測(cè)

前述的深度學(xué)習(xí)算法都屬于監(jiān)督學(xué)習(xí),極其依賴大型、精確標(biāo)注的訓(xùn)練數(shù)據(jù)庫(kù),數(shù)據(jù)庫(kù)樣本越多,檢測(cè)效果越好。然而在醫(yī)學(xué)圖像領(lǐng)域,制作一個(gè)高質(zhì)量數(shù)據(jù)集是比較耗時(shí)費(fèi)力的,需要消耗大量人工成本。為了克服數(shù)據(jù)標(biāo)注成本過(guò)大的難題,研究者們開始嘗試基于弱監(jiān)督學(xué)習(xí)的乳腺癌檢測(cè)方法。此類方法的主要挑戰(zhàn)是如何將弱標(biāo)簽(如圖像級(jí)標(biāo)簽、邊界框標(biāo)簽)與圖像中腫瘤區(qū)域的像素建立起相關(guān)的聯(lián)系。

基于弱監(jiān)督學(xué)習(xí)的檢測(cè)算法仍可以遵循從可疑區(qū)域提取到假陽(yáng)性檢測(cè)的流程,Amit等[34]采用一種無(wú)監(jiān)督的交叉顯著性檢測(cè)方法,結(jié)合乳腺的對(duì)稱性和腫瘤的非對(duì)稱性來(lái)識(shí)別圖像中的顯著性區(qū)域,能夠較好地檢測(cè)出成對(duì)器官中的腫瘤區(qū)域。然而該方法會(huì)產(chǎn)生大量假陽(yáng)性區(qū)域,因此需要再將提取的區(qū)域輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行分類,從而完成腫瘤的自動(dòng)檢測(cè)定位,訓(xùn)練過(guò)程中只需要圖像級(jí)標(biāo)簽。

在深度學(xué)習(xí)分類網(wǎng)絡(luò)模型中,卷積層的輸出已經(jīng)包含了圖片中對(duì)分類影響最明顯特征的位置信息。因此,可以通過(guò)網(wǎng)絡(luò)中間層輸出的特征圖對(duì)腫瘤進(jìn)行檢測(cè)。Zhou等[4]首先搭建了一個(gè)基于DenseNet的3D乳腺癌分類網(wǎng)絡(luò),然后利用類激活圖方法(class activation map, CAM)對(duì)網(wǎng)絡(luò)中間層的特征圖進(jìn)行加權(quán)融合,得到乳腺腫瘤區(qū)域,表現(xiàn)出弱監(jiān)督學(xué)習(xí)方法在圖像中定位病變的可行性。由實(shí)驗(yàn)結(jié)果可知,類激活圖方法只能檢測(cè)出乳腺癌的模糊位置,需要結(jié)合其他方法進(jìn)一步約束乳腺癌區(qū)域的邊緣。Maicas等[35]提出一種單類顯著性檢測(cè)器結(jié)構(gòu)來(lái)提取輸出特征圖的顯著性區(qū)域,該檢測(cè)器在對(duì)比實(shí)驗(yàn)中效果優(yōu)于CAM方法,其相對(duì)優(yōu)勢(shì)在于該檢測(cè)器也參與了反向傳播,能夠捕捉顯著性區(qū)域的細(xì)節(jié)。需要注意的是,該算法對(duì)損失函數(shù)的參數(shù)要求較高,需根據(jù)不同任務(wù)目標(biāo)修改各部分的權(quán)重。Hwang等[36]基于遷移學(xué)習(xí)的思想提出了自遷移學(xué)習(xí)CNN框架,在分類網(wǎng)絡(luò)中添加定位器分支。損失函數(shù)為分類器與定位器損失函數(shù)的加權(quán)和,可以防止定位器得到較差的局部最優(yōu)解。該框架利用分類器分支的訓(xùn)練來(lái)指導(dǎo)定位器分支,動(dòng)態(tài)調(diào)整損失函數(shù)的權(quán)重將訓(xùn)練重心逐步轉(zhuǎn)移到定位器分支,從而不需要任何位置信息及預(yù)訓(xùn)練模型即可完成腫瘤的檢測(cè)。

綜上所述,基于深度學(xué)習(xí)的乳腺癌檢測(cè)方法利用卷積神經(jīng)網(wǎng)絡(luò),對(duì)乳腺M(fèi)RI中的腫瘤與非腫瘤區(qū)域的特征進(jìn)行自動(dòng)分析和提取,既減輕了人工特征設(shè)計(jì)的負(fù)擔(dān),又可以聯(lián)合圖像序列的上下文信息,得到更豐富的低層和高層語(yǔ)義特征。得益于計(jì)算機(jī)的性能提升,深度學(xué)習(xí)方法可以快速有效地檢測(cè)出惡性及良性乳腺腫瘤,較傳統(tǒng)方法具有更強(qiáng)大的魯棒性。部分算法性能對(duì)比如表3所示。然而,深度學(xué)習(xí)方法存在一些問(wèn)題:第一,絕大多數(shù)研究者沒有對(duì)乳腺癌的具體類型進(jìn)行區(qū)分,如腫塊型乳腺癌和非腫塊型乳腺癌,當(dāng)前研究更多研究的是腫塊型乳腺癌。這兩種類型的乳腺癌在圖像中的分布形式、內(nèi)部強(qiáng)化等信號(hào)特點(diǎn)上有很大差別,非腫塊型乳腺癌需要參考功能性成像或增強(qiáng)掃描的強(qiáng)化特征才能進(jìn)行準(zhǔn)確判斷;第二,大部分算法都是基于數(shù)據(jù)驅(qū)動(dòng)的,對(duì)于模型的修改僅限于各類網(wǎng)絡(luò)層的增刪組合,很少將領(lǐng)域知識(shí)結(jié)合到網(wǎng)絡(luò)中,這樣的網(wǎng)絡(luò)對(duì)訓(xùn)練集的質(zhì)量和數(shù)量有更高的要求,更容易出現(xiàn)過(guò)擬合問(wèn)題;第三,由于醫(yī)院設(shè)備、機(jī)器掃描參數(shù)存在較大差異,醫(yī)學(xué)圖像數(shù)據(jù)的共享是非常復(fù)雜且困難的,缺乏統(tǒng)一的標(biāo)準(zhǔn),因此深度學(xué)習(xí)方法仍面臨小樣本數(shù)據(jù)的限制。


表 3 基于深度學(xué)習(xí)的乳腺癌檢測(cè)方法評(píng)價(jià)結(jié)果Table 3 Evaluation results of breast cancer detection methods based on deep learning

根據(jù)已有文獻(xiàn)可知,基于候選區(qū)域的乳腺癌檢測(cè)方法是最早應(yīng)用于乳腺M(fèi)RI腫瘤檢測(cè)的深度學(xué)習(xí)方法,該方法更有針對(duì)性地對(duì)圖像局部進(jìn)行精確分類,檢測(cè)靈敏度較高。缺點(diǎn)是候選框提取數(shù)量過(guò)多,檢測(cè)速度慢,同時(shí)假陽(yáng)性率也較高。對(duì)此,研究者采用YOLO等模型刪除或簡(jiǎn)化候選框提取步驟,以獲得更快的檢測(cè)速度。然而,這些模型難以檢測(cè)體積較小的腫瘤,容易出現(xiàn)漏檢的情況,存在較大局限性。全卷積網(wǎng)絡(luò)的深度學(xué)習(xí)方法對(duì)圖片的全部區(qū)域同時(shí)進(jìn)行檢測(cè),對(duì)較小的腫瘤檢測(cè)效果更好,是目前研究最熱門的乳腺癌檢測(cè)方法,但該方法也存在對(duì)數(shù)據(jù)依賴性較大、計(jì)算效率低、模型可解釋性不強(qiáng)等缺點(diǎn)。弱監(jiān)督學(xué)習(xí)的乳腺癌檢測(cè)方法利用分類網(wǎng)絡(luò)中的卷積層已經(jīng)提取到腫瘤位置信息這一特點(diǎn),為乳腺癌檢測(cè)任務(wù)提供了新的思路,極大減少了人工標(biāo)注成本。但是如何設(shè)計(jì)有效的模型結(jié)構(gòu)成為了研究的難點(diǎn),當(dāng)前應(yīng)用此類算法得到的檢測(cè)準(zhǔn)確率較有監(jiān)督學(xué)習(xí)算法仍有較大差距,未來(lái)還需要進(jìn)行更多的探索,進(jìn)一步提升檢測(cè)性能?;谏疃葘W(xué)習(xí)的乳腺癌檢測(cè)方法優(yōu)缺點(diǎn)總結(jié)如表4。


表 4 深度學(xué)習(xí)乳腺癌檢測(cè)方法優(yōu)缺點(diǎn)總結(jié)Table 4 Advantages and disadvantages of breast cancer detection methods based on deep learning

3 總結(jié)與展望

計(jì)算機(jī)輔助檢測(cè)是醫(yī)學(xué)圖像處理領(lǐng)域的研究熱點(diǎn)之一,在提高放射科醫(yī)生診斷效率、輔助醫(yī)生閱片等方面具有非常重要的意義。因此,本文從傳統(tǒng)圖像處理方法及深度學(xué)習(xí)技術(shù)兩方面綜述了近年來(lái)基于MRI的乳腺癌計(jì)算機(jī)輔助檢測(cè)的相關(guān)研究??偟膩?lái)說(shuō),當(dāng)前檢測(cè)流程每一部分的方法都有一定程度的優(yōu)化,檢測(cè)性能大幅提高,但仍處于探索階段。通過(guò)對(duì)現(xiàn)有MRI乳腺癌檢測(cè)技術(shù)的歸納,提出以下觀點(diǎn)并進(jìn)行展望。

乳腺癌計(jì)算機(jī)輔助檢測(cè)方法存在的問(wèn)題:

a. 高質(zhì)量數(shù)據(jù)集的緊缺仍是提升檢測(cè)性能的瓶頸。使用小樣本數(shù)據(jù)集導(dǎo)致傳統(tǒng)方法的泛化能力較差,難以進(jìn)行臨床應(yīng)用;缺乏大數(shù)量、高質(zhì)量的數(shù)據(jù)集及準(zhǔn)確標(biāo)注的標(biāo)簽,數(shù)據(jù)集分布不平衡導(dǎo)致深度學(xué)習(xí)方法的性能難以發(fā)揮。此外,現(xiàn)有文獻(xiàn)的實(shí)驗(yàn)方法缺少在多中心數(shù)據(jù)庫(kù)間的性能對(duì)比。大部分文獻(xiàn)只針對(duì)某一個(gè)數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn),且這些數(shù)據(jù)庫(kù)大部分為小型、非公開數(shù)據(jù)庫(kù),這導(dǎo)致方法的有效性存疑。

b. 特殊類型的腫瘤檢出率較低。微小腫瘤占圖像的區(qū)域較小,特征與血管等組織相似,噪聲較多,傳統(tǒng)方法無(wú)法提取有效信息,常會(huì)出現(xiàn)漏檢;深度學(xué)習(xí)方法雖采用多尺度特征等技術(shù)對(duì)小腫瘤進(jìn)行檢測(cè),精度依然與常見腫瘤的檢測(cè)精度有顯著差距。此外,非腫塊型乳腺癌通常需要結(jié)合多序列圖像進(jìn)行檢測(cè)且臨床數(shù)據(jù)樣本較少,當(dāng)前研究該類型腫瘤的工作較少。

隨著乳腺癌檢測(cè)技術(shù)越來(lái)越成熟,可根據(jù)以下方向進(jìn)一步研究:

a. 深度學(xué)習(xí)技術(shù)與傳統(tǒng)檢測(cè)方法相結(jié)合。深度學(xué)習(xí)方法高效準(zhǔn)確,具有極強(qiáng)的自動(dòng)尋找特征的能力,但不能很好地結(jié)合人們現(xiàn)有的知識(shí),檢測(cè)過(guò)程比較抽象。而傳統(tǒng)檢測(cè)方法可解釋性強(qiáng),運(yùn)行過(guò)程明確,在邊緣檢測(cè)等特定場(chǎng)景下性能更佳。因此,二者組合應(yīng)用更能發(fā)揮各自的優(yōu)勢(shì),提高檢測(cè)性能。

b. 多模態(tài)影像的應(yīng)用。DCE-MRI的多序列圖像和其他輔助信息可以從多層面提供腫瘤信息,而當(dāng)前檢測(cè)方法大多數(shù)只針對(duì)一張圖片進(jìn)行判斷,損失大量有用信息。因此,未來(lái)可以結(jié)合臨床診斷經(jīng)驗(yàn),利用多模態(tài)數(shù)據(jù)進(jìn)行檢測(cè)。

c. 為了克服數(shù)據(jù)標(biāo)注成本過(guò)大的難題,未來(lái)的研究重點(diǎn)可在弱監(jiān)督目標(biāo)檢測(cè)領(lǐng)域開展。弱監(jiān)督方法可以大大減少人工成本,充分利用醫(yī)院現(xiàn)存的大量粗糙數(shù)據(jù)庫(kù)。同時(shí),未來(lái)可以在弱標(biāo)注樣本的基礎(chǔ)上結(jié)合部分強(qiáng)標(biāo)注的樣本聯(lián)合訓(xùn)練。此外,自然圖像理解領(lǐng)域中存在大量性能優(yōu)秀的檢測(cè)方法,如生成式對(duì)抗網(wǎng)絡(luò)、Transformer模型等,將其遷移到乳腺癌檢測(cè)任務(wù)中可能會(huì)有較好的表現(xiàn)。

綜上,當(dāng)前基于MRI的乳腺癌檢測(cè)方法準(zhǔn)確率較高,但仍有進(jìn)一步發(fā)展的空間。目前,基于深度學(xué)習(xí)的檢測(cè)方法是熱門研究方向,未來(lái)我們應(yīng)繼續(xù)研究人工智能的其他方法在乳腺癌檢測(cè)方面的應(yīng)用,在臨床實(shí)踐中證明其有效性,與放射科醫(yī)生相互配合,持續(xù)改進(jìn)所用方法,進(jìn)一步提高醫(yī)療診治水平,充分利用醫(yī)療資源。

相關(guān)知識(shí)

楊莉
自體脂肪移植在乳腺癌術(shù)后乳房重建中的臨床應(yīng)用及安全評(píng)估
每天一杯茶解暑又健康,抗癌作用多!
曹冰
Advance in components with antitumor effect of Panax ginseng and their mechanisms
無(wú)癥狀人群中體檢篩查的循證醫(yī)學(xué)證據(jù)
The Health Benefits of Dietary Fibre
GitHub
Effects of water management on rice nitrogen utilization: a review
《中華物理醫(yī)學(xué)與康復(fù)雜志》:瑜伽輔助應(yīng)用于臨床康復(fù)治療的國(guó)外研究進(jìn)展(王會(huì)儒).pdf

網(wǎng)址: Review of breast cancer computer http://www.u1s5d6.cn/newsview681414.html

推薦資訊