導(dǎo)讀
在半監(jiān)督醫(yī)學(xué)圖像分割中,標(biāo)記和未標(biāo)記數(shù)據(jù)分布之間存在經(jīng)驗(yàn)不匹配問題。本文提出了一種簡單的方法來緩解這個問題—在一個簡單的 Mean Teacher 架構(gòu)中雙向復(fù)制粘貼標(biāo)記和未標(biāo)記的數(shù)據(jù)。
Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation
論文鏈接:https://arxiv.org/pdf/2305.00673.pdf
源碼鏈接:https://github.com/DeepMed-Lab-ECNU/BCP
簡介
從CT或MRI等醫(yī)療圖像中分割內(nèi)部結(jié)構(gòu)對于許多臨床應(yīng)用至關(guān)重要。已經(jīng)提出了各種基于監(jiān)督學(xué)習(xí)的醫(yī)療圖像分割技術(shù),這通常需要大量標(biāo)注數(shù)據(jù)。然而由于在標(biāo)注醫(yī)療圖像時手動輪廓繪制過程繁瑣且昂貴,近年來,半監(jiān)督分割越來越受到關(guān)注,并在醫(yī)療圖像分析領(lǐng)域變得無處不在。
一般地,在半監(jiān)督醫(yī)療分割領(lǐng)域,標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)從相同分布抽取。但在現(xiàn)實(shí)世界中,很難從標(biāo)記數(shù)據(jù)中估計(jì)準(zhǔn)確的分布,因?yàn)樗鼈償?shù)據(jù)很少。因此,在大量未標(biāo)注數(shù)據(jù)和極少量標(biāo)注數(shù)據(jù)宗師存在經(jīng)驗(yàn)分布不匹配。半監(jiān)督分割方法總是嘗試以一致的方式對稱地訓(xùn)練標(biāo)注和未標(biāo)注數(shù)據(jù)。例如子訓(xùn)練生成為標(biāo)簽,以偽監(jiān)督方式監(jiān)督未標(biāo)注數(shù)據(jù)。基于Mean Teacher的算法采用一致性損失來監(jiān)督具有強(qiáng)增強(qiáng)的未標(biāo)注數(shù)據(jù),類似于監(jiān)督具有GT的標(biāo)注數(shù)據(jù)。ContrastMask在標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)上應(yīng)用密集對比學(xué)習(xí)。但是大部分已有的半監(jiān)督算法在不同學(xué)習(xí)范式下使用標(biāo)注和未標(biāo)注數(shù)據(jù)。
CutMix是一種簡單但強(qiáng)大的數(shù)據(jù)處理方法,也被稱為復(fù)制黏貼(CP),它有可能鼓勵未標(biāo)注的數(shù)據(jù)從標(biāo)注數(shù)據(jù)中學(xué)習(xí)常見的語義,因?yàn)橥粓D中的像素共享的語義更接近。在半監(jiān)督學(xué)習(xí)中,未標(biāo)注數(shù)據(jù)的弱-強(qiáng)增強(qiáng)對之間的強(qiáng)制一致性被廣泛使用,并且CP通常被用作強(qiáng)增強(qiáng)。但現(xiàn)有的CP方法未考慮CP較差未標(biāo)注數(shù)據(jù),或者簡單地將標(biāo)注數(shù)據(jù)中物體復(fù)制為前景并黏貼到另一個數(shù)據(jù)。它們忽略了為標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)設(shè)計(jì)一致的學(xué)習(xí)策略,這阻礙了其在減少分布差距方面使用。同時,CP試圖通過增加未標(biāo)注數(shù)據(jù)的多樣性來增強(qiáng)網(wǎng)絡(luò)泛化能力,但由于CutMix圖像僅由低精度偽標(biāo)簽監(jiān)督,因此很難實(shí)現(xiàn)高性能。
為了緩解標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)之間經(jīng)驗(yàn)不匹配問題,一個成功的設(shè)計(jì)是鼓勵未標(biāo)注數(shù)據(jù)從標(biāo)注數(shù)據(jù)中學(xué)習(xí)全面的公共語義,同時通過對標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)的一致學(xué)習(xí)策略來促進(jìn)分布對齊。本文通過提出一種簡單但非常有效的雙向復(fù)制黏貼(BCP)方法實(shí)現(xiàn)這一點(diǎn)。該方法在Mean Teacher框架中實(shí)例化。具體地,為了訓(xùn)練學(xué)生網(wǎng)絡(luò),本文通過將隨機(jī)裁剪從標(biāo)記圖像(前景)復(fù)制黏貼到未標(biāo)注圖像(背景)來增加輸入。繁殖將隨機(jī)裁剪從五標(biāo)注圖像(前景)復(fù)制黏貼到標(biāo)注圖像(背景)來增加輸入。學(xué)生網(wǎng)絡(luò)由生成的監(jiān)督信息通過來自教師網(wǎng)絡(luò)的未標(biāo)注圖像偽標(biāo)簽和標(biāo)注圖像的標(biāo)簽圖之間的雙向復(fù)制黏貼進(jìn)行監(jiān)督。這兩個混合圖像有助于網(wǎng)絡(luò)雙向?qū)ΨQ地學(xué)習(xí)標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)間通用語義。
本文方法
定義三維醫(yī)療圖像為。醫(yī)療圖像半監(jiān)督語義分割目標(biāo)是預(yù)測每體素標(biāo)簽映射指示中背景和目標(biāo)的位置。訓(xùn)練集包含個標(biāo)注數(shù)據(jù)和個未標(biāo)注數(shù)據(jù)(),即,,。
在本文的Mean Teacher架構(gòu)中,隨機(jī)選擇兩個未標(biāo)注圖像,兩個標(biāo)注圖像。之后從復(fù)制黏貼一個隨機(jī)塊到生成混合圖像,從到生成另一個混合圖像。無標(biāo)注圖像能夠從標(biāo)注圖像中從向內(nèi)(inward)和向外(outward)方向?qū)W習(xí)全面的通用語義。圖像和之后傳入學(xué)生網(wǎng)絡(luò)預(yù)測分割掩碼和。通過雙向復(fù)制黏貼來自教師網(wǎng)絡(luò)的未標(biāo)注圖像預(yù)測和標(biāo)注圖像標(biāo)簽圖來監(jiān)督分割掩碼。
Mean Teacher和訓(xùn)練策略
在本文BCP框架中,有一個教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)。學(xué)生網(wǎng)絡(luò)由SGD優(yōu)化,教師網(wǎng)絡(luò)是學(xué)生網(wǎng)絡(luò)的指數(shù)移動平均。本文的訓(xùn)練策略包括三個步驟:首先使用標(biāo)注數(shù)據(jù)預(yù)訓(xùn)練一個模型,然后使用預(yù)訓(xùn)練模型作為教師模型為未標(biāo)注圖像產(chǎn)生偽標(biāo)簽。在每一個周期,首先使用SGD優(yōu)化學(xué)生網(wǎng)絡(luò)參數(shù)。最后使用學(xué)生參數(shù)的指數(shù)移動平均更新教師網(wǎng)絡(luò)參數(shù)。
通過復(fù)制-黏貼預(yù)訓(xùn)練
本文對標(biāo)注數(shù)據(jù)進(jìn)行了復(fù)制黏貼增廣來訓(xùn)練監(jiān)督模型,監(jiān)督模型在自訓(xùn)練過程中會為未標(biāo)注數(shù)據(jù)生成偽標(biāo)簽。該策略已被證明能有效提高分割性能。
雙向復(fù)制-黏貼
在一堆圖像間執(zhí)行復(fù)制黏貼,首先需要生成零-中心掩碼,指示體素來自前景(0)或背景(1)圖像。零值區(qū)域大小為。雙向復(fù)制黏貼過程可以描述為:
雙向復(fù)制黏貼監(jiān)督信號
為了訓(xùn)練學(xué)生網(wǎng)絡(luò),監(jiān)督信號也是由BCP操作產(chǎn)生。無標(biāo)注的圖像和傳入教師網(wǎng)絡(luò),計(jì)算概率圖:
初始的偽標(biāo)簽由一個通常的二值化分割任務(wù)的閾值0.5決定,或者多標(biāo)簽分割任務(wù)使用argmax操作。最后的偽標(biāo)簽由選擇最大的連接組件,這操作可以有效地移除離群體素。之后提出雙向復(fù)制-黏貼無標(biāo)注圖像偽標(biāo)簽和有標(biāo)注GT標(biāo)簽獲得監(jiān)督信號。
損失函數(shù)
學(xué)生網(wǎng)絡(luò)的每個輸入圖像由來自標(biāo)注圖像和未標(biāo)注圖像分量組成。直觀地,標(biāo)記圖像的GT掩碼通常比未標(biāo)注圖像的偽標(biāo)記更準(zhǔn)確。使用控制無標(biāo)注圖像像素對損失函數(shù)的影響:
教師網(wǎng)絡(luò)參數(shù)更新:
實(shí)驗(yàn)
LA數(shù)據(jù)集
心房分割挑戰(zhàn)[39]數(shù)據(jù)集包括100個帶標(biāo)簽的三維釓增強(qiáng)磁共振圖像掃描(GE MRI)。
這里選擇UA-MT,SASSNet,DTC,URPC,MC-Net,SS-Net作為比較模型。這里給出了不同標(biāo)簽率下的實(shí)驗(yàn)結(jié)果。表1給出了相關(guān)實(shí)驗(yàn)結(jié)果??梢钥闯霰疚姆椒ㄔ?個評價指標(biāo)上都獲得最高的性能,大幅度超過比較模型。
Pancreases-NIT數(shù)據(jù)集
82個人工繪制的腹部CT增強(qiáng)體積。這里選擇V-Net,DAN,ADVNET,UA-MT,SASSNet,DTC和CoraNet作為比較算法。表2給出了相關(guān)實(shí)驗(yàn)結(jié)果。本文方法BCP在Dice、Jaccard和95HD指標(biāo)上實(shí)現(xiàn)了顯著的改進(jìn)(即分別以3.24%、4.28%和1.16的優(yōu)勢超過第二好)。這些結(jié)果沒有進(jìn)行任何后期處理以進(jìn)行公平比較。
ACDC數(shù)據(jù)集
四類(即背景、右心室、左心室和心?。┓指顢?shù)據(jù)集,包含100名患者的掃描。表3給出了相關(guān)實(shí)驗(yàn)結(jié)果。BCP超越了SOTA方法。對于標(biāo)記比率為5%的設(shè)置,我們在Dice指標(biāo)上獲得了高達(dá)21.76%的巨大性能改進(jìn)
審核編輯 :李倩
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
6762瀏覽量
88630 -
架構(gòu)
+關(guān)注
關(guān)注
1文章
505瀏覽量
25425 -
圖像分析
+關(guān)注
關(guān)注
0文章
82瀏覽量
18647
原文標(biāo)題:實(shí)驗(yàn)
文章出處:【微信號:CVer,微信公眾號:CVer】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論