醫(yī)生在醫(yī)學(xué)影像AI研發(fā)中需扮演什么樣的角色？

作為一個很好的伙伴，醫(yī)生要了解研究的框架和思路，跟隨研究的進(jìn)度，能學(xué)習(xí)、有知識和更新，可以對研究產(chǎn)生指導(dǎo)，從到達(dá)到研究成果的雙贏。這是我們放射科醫(yī)生希望參與的事情。

近日，第四屆圖像計算與數(shù)字醫(yī)學(xué)國際研討會（ISICDM 2020）在遼寧省沈陽市召開。

研討會圍繞圖像計算和數(shù)字醫(yī)學(xué)中的一些重要的理論、算法與應(yīng)用問題進(jìn)行學(xué)術(shù)討論，旨在促進(jìn)電子信息（包括計算機、自動化與生物醫(yī)學(xué)工程）、數(shù)學(xué)和醫(yī)學(xué)等領(lǐng)域?qū)W者的交流與合作。

本次研討會由國際數(shù)字醫(yī)學(xué)會主辦，東北大學(xué)和中國醫(yī)科大學(xué)聯(lián)合承辦。

在12月5日下午舉行的“智能輔助診療論壇”專場，北京和睦家醫(yī)院陸菁菁教授向與會者分享了題為《醫(yī)學(xué)影像人工智能研發(fā)之管窺：醫(yī)生的角色》的精彩專題報告。

作為AI技術(shù)的前沿觀察者與參與者，陸菁菁教授畢業(yè)于北京協(xié)和醫(yī)學(xué)院，后進(jìn)入北京協(xié)和醫(yī)院放射科工作，歷經(jīng)住院醫(yī)、住院總、主治醫(yī)、副主任醫(yī)，現(xiàn)為主任醫(yī)師、碩士生導(dǎo)師，2010年5月至2011年5月為哈佛醫(yī)學(xué)院麻省總醫(yī)院訪問學(xué)者。

目前，陸菁菁教授擔(dān)任北京和睦家醫(yī)院放射科主任。

以下為陸菁菁教授的演講內(nèi)容，雷鋒網(wǎng)《醫(yī)健AI掘金志》作了不改變原意的編輯：

陸菁菁：感謝大會的邀請，我今天分享的題目是《醫(yī)學(xué)影像人工智能研發(fā)之管窺：醫(yī)生的角色》。

現(xiàn)在醫(yī)學(xué)影像AI的研發(fā)方興未艾，許多產(chǎn)品逐步被打磨以進(jìn)入臨床。同時，一些新的臨床問題被提出，亟待進(jìn)一步研究。

醫(yī)生在醫(yī)療AI產(chǎn)品研發(fā)中的角色非常多樣，可以做最基礎(chǔ)的的數(shù)據(jù)標(biāo)注，也可以做臨床架構(gòu)的建議，醫(yī)生還可以是使用者、建設(shè)者，甚至是執(zhí)行者，同時也可以做PI（principal investigator，主要研究者）。

那么，醫(yī)生對于目前AI的產(chǎn)品研究有什么樣的評價？

作為醫(yī)生，怎樣才能參與到AI的研究中，如何實現(xiàn)雙贏的長期合作關(guān)系？

醫(yī)生如何看待醫(yī)學(xué)影像的未來？

首先，我想分享一下對于近5、6年AI研發(fā)的進(jìn)展，醫(yī)生秉持著什么樣的態(tài)度。

我覺得醫(yī)生是有一種微妙的情感變化的。其次，對于醫(yī)生扮演的角色，我會通過本人以及團(tuán)隊參與的所有AI項目，分享其中的一些體悟。

最后，我想給大家提出一些建議，理工研發(fā)人員和醫(yī)生合作時，怎么樣才能成為醫(yī)生的好朋友，讓醫(yī)生成為對項目更有建設(shè)性的人。

醫(yī)生態(tài)度的轉(zhuǎn)變

從這張圖，可以很清楚地看到醫(yī)生態(tài)度的轉(zhuǎn)變。

從2016年開始，以AlphaGo為代表的深度學(xué)習(xí)技術(shù)，在一部分領(lǐng)域產(chǎn)生了摧枯拉朽的改變。從機器遠(yuǎn)不及人，到逐漸完全打敗人類的成就來看，一些技術(shù)狂人認(rèn)為深度學(xué)習(xí)將很快取代放射科醫(yī)生的工作。

對于此種言論，醫(yī)生小小不屑的同時，也很好奇正在發(fā)生什么。

2018年，由國家神經(jīng)系統(tǒng)疾病臨床醫(yī)學(xué)研究中心宣布舉行了全球首場神經(jīng)影像人工智能人機大賽舉行。

人類這邊，由25名全球神經(jīng)影像領(lǐng)域頂尖專家、學(xué)者和優(yōu)秀臨床醫(yī)生組成，在兩輪比賽中，BioMind分別以87%、83%的準(zhǔn)確率，戰(zhàn)勝醫(yī)生戰(zhàn)隊66%、63%的準(zhǔn)確率，人類完敗。

聽到這個消息時，我真的感到了一絲恐慌，懷疑醫(yī)生是否真的不如神經(jīng)網(wǎng)絡(luò)。

因為我記不住那么多文獻(xiàn)知識，也沒有看過神經(jīng)網(wǎng)絡(luò)訓(xùn)練那么多的醫(yī)學(xué)圖像，也許神經(jīng)網(wǎng)絡(luò)真的可以取代我的工作。

在我詳細(xì)了解了比賽以及評分規(guī)則后，發(fā)現(xiàn)比賽規(guī)則既不成熟，也不透明，更像是一個商業(yè)廣告的炒作。

在過去的兩年里，我們發(fā)現(xiàn)人工智能確實能做不少事情，比如對骨齡的測試、小結(jié)節(jié)的診斷，對血腫大小的判斷，還有對糖尿病視網(wǎng)膜病變篩查以及前列腺的分割都可以做得很好。

但是，AI往往在單任務(wù)上表現(xiàn)得非常出色，但能做的多任務(wù)范疇的工作非常有限，而且有時候會犯一些很低級的錯誤。

因為人具有抽象和直觀的兩種判斷，看到一個圖像感覺不對勁，就會通過仔細(xì)研判、結(jié)合病史，給出一個有經(jīng)驗的、綜合推理后的分析。

這就是經(jīng)驗良好的醫(yī)生和缺乏經(jīng)驗的醫(yī)生可能存在的一些區(qū)別。我認(rèn)為，人類智能和機器智能目前仍然存在一定的鴻溝。

到現(xiàn)在2020年了，醫(yī)生發(fā)現(xiàn)自己能從AI技術(shù)中受益良多，比如利用影像組學(xué)可以發(fā)表很多文章，將AI軟件應(yīng)用在臨床當(dāng)中，例如肺小結(jié)節(jié)的檢測、前列腺的勾畫，可以幫助我們減少很多的工作量。

我們對于AI秉持著擁抱的態(tài)度。

在去年的RSNA上，大家一致的觀點就是，掌握AI的醫(yī)生比不掌握AI的醫(yī)生更加厲害，這是我們醫(yī)生態(tài)度上的轉(zhuǎn)變。

我和我的團(tuán)隊參與了很多合作項目，從基礎(chǔ)的數(shù)據(jù)標(biāo)注、審核，到解剖病灶的勾畫。

十幾年前，我在麻省總醫(yī)院參加神經(jīng)影像項目，進(jìn)行CT圖像上的腦血腫勾畫，這個項目是想證明血腫擴大速度快的人預(yù)后較差。

我的工作就是沒日沒夜的勾畫邊界。當(dāng)時我就認(rèn)為，這個項目可以通過AI對血腫密度高低的邊界加以區(qū)別。現(xiàn)在，已經(jīng)誕生了這樣的軟件。

此外，我們參與的其他合作還包括對肺葉、肺段的解剖。

第二個，數(shù)字人薄層圖像，比如2019年重慶的數(shù)字人項目。解剖學(xué)的老師就希望，建立一個真正的人體斷層及其CT圖像的關(guān)聯(lián)。

我們要幫助他畫出這個結(jié)構(gòu)，在CT圖上也畫起來，然后做成一個網(wǎng)頁，作為教學(xué)網(wǎng)站或者是科研的基礎(chǔ)。這個事情說起來很有價值，但是做的工作還是相當(dāng)瑣碎。

另外，我們還有一些參與臨床實驗的工作。比如，病人在接受靶向藥或者免疫治療三個月以后，醫(yī)生需要觀察病人身上的腫瘤變化，包括多范圍腫瘤的大小以及淋巴結(jié)的變化。

做這些項目時，CRA公司需要招募具有相應(yīng)資質(zhì)的醫(yī)生。比如看婦科腫瘤的醫(yī)生就只招收婦科腫瘤專業(yè)的，而且還要能證明在這個領(lǐng)域具有相當(dāng)?shù)脑煸劊l(fā)表過相應(yīng)文章或者在學(xué)組擔(dān)任委員。

而醫(yī)生的具體的工作就是找腫瘤、畫大小，然后象征性地得到一定的勞務(wù)費。

稍微高級別的醫(yī)工合作，包含了3D打印、盆腔核磁結(jié)構(gòu)的自動識別，相對基礎(chǔ)的減影圖像比較等等，這也是我們醫(yī)生可以完成的。另外，還有像田捷教授他們所做的影像組學(xué)和影像基因組學(xué)。

而最高層級合作，就是研究者PI（算法PI和臨床PI）的合作。

醫(yī)工結(jié)合的四個小故事

我就以參加的這些項目，跟大家講四個故事。

第一個故事：3D打印

現(xiàn)在CT的圖像能掃得特別薄，再加上3D打印技術(shù)的出現(xiàn)，這使得打印一個顱骨成為一件理論上很容易的事情。

此前，協(xié)和醫(yī)學(xué)院解剖學(xué)系的主任找到我想做一個3D打印的顱骨模型，給每個學(xué)生課余時間進(jìn)行學(xué)習(xí)和熟悉。在以前，這樣的模型是很難獲取的。

當(dāng)然，我們并不想靠非法手段獲取數(shù)據(jù)。解剖學(xué)系主任對自己進(jìn)行了一次CT掃描，圖像處理專家拿到之后進(jìn)行分割。因為骨骼的密度和周圍組織相差很大，所以分割起來比較容易。

但是顱底有很多的血管孔、神經(jīng)走向，需要人來一點點摳細(xì)節(jié)。

這個想法很有創(chuàng)意，產(chǎn)品也有一定實用價值，我們很容易的申請了這個專利。

實際上，這個腦殼里面的腦子的三維模型不是從CT圖像得出來的，而是同一個人的核磁圖像，通過腦分割的方法做了個STL的文件，同時合成起來。

之后，我們就開始做脊柱的3D打印模型，繼續(xù)申請專利。我覺得合作的這個項目非常簡單，且容易上手、有趣。

第二個故事：基于深度學(xué)習(xí)的盆腔結(jié)構(gòu)語義分割。

這是我們源于臨床的問題。在協(xié)和的時候，我們每天會簽100多份CT和核磁的報告，各個專業(yè)（頭部、胸部、盆腔、骨關(guān)節(jié)）的都有。

上面這一張是經(jīng)過雙側(cè)股骨頭層面的盆腔磁共振圖像，里面有膀胱及周圍各種骨骼和肌肉。

如果不是經(jīng)?？醇∪?、關(guān)節(jié)的醫(yī)生，常常會對這些結(jié)構(gòu)搞不清楚，比如哪些是縫匠肌，哪塊是內(nèi)收肌，還是長收肌、短收??；臀大肌、臀中肌、臀小肌區(qū)別還好記，其他肌肉時間一長就糊涂了。

正常的人體解剖都是一樣的，死記硬背就好了。機器學(xué)習(xí)或者深度學(xué)習(xí)應(yīng)該在這些方面發(fā)揮相應(yīng)的作用。

提出這個想法后，我和我的學(xué)生一起去勾畫結(jié)構(gòu)，這很費時。因為，一個病人有20層圖像，每層圖像上有五六十個結(jié)構(gòu)。

如果是手動將結(jié)構(gòu)分割出來，每一套圖像就要花費一星期的時間。當(dāng)時，我們的邏輯是數(shù)據(jù)越多越好，訓(xùn)練出來的神經(jīng)網(wǎng)絡(luò)性能就會更好。

最后，我們完成了16個病例，分成了訓(xùn)練集、驗證集和測試集，再進(jìn)行網(wǎng)絡(luò)訓(xùn)練。

訓(xùn)練采用的是注意力金字塔網(wǎng)絡(luò)，就是數(shù)據(jù)增廣，然后進(jìn)行卷積、上采樣，之后又引入注意力機制。

得到的結(jié)果還是令人滿意的，對比原來的圖像，一個是ground truth，一個是對照的FCN的網(wǎng)絡(luò)，我們所做的APNet網(wǎng)絡(luò)得到的結(jié)構(gòu)分割，包括臀大肌、臀小肌、股中間肌和內(nèi)收肌，都比FCN網(wǎng)絡(luò)要好得多。

在定量的mIoU的參數(shù)上，加入三重的注意力機制的分割會達(dá)到最好的效果。我們還比較了手動分割ground truth和機器分割出來的差異。

最后，負(fù)責(zé)算法的老師投遞了大會摘要，并且得到了發(fā)表。在2018年第二屆ISICDM大會上進(jìn)行了匯報，并且將數(shù)據(jù)集貢獻(xiàn)給第三屆大會作為比賽用數(shù)據(jù)，我們也因此結(jié)識了更多的合作伙伴。

但是對我們醫(yī)生來說，這個研究由于沒有后續(xù)的算法創(chuàng)新，我們在此基礎(chǔ)上做的臨床應(yīng)用的文章比較難發(fā)表，這是我們覺得有點兒遺憾的方面。

第三個故事：與中科院計算所周少華博士的合作。

在拍胸片時，我們會在圖像上看到肋骨和肩胛骨，尤其是肋骨，如果重疊在肺紋理上，將會對病灶進(jìn)行干擾，影響對病灶的觀察。

我們希望在胸片上去掉肋骨，但一般是沒有雙能量的胸片，如果有雙能胸片，通過能量減影將其減掉。

因此，我們用了一個比較巧妙的方法，用非配對的CT結(jié)構(gòu)的prior，算出骨骼的影子，在低分辨率上先做減影，進(jìn)行上采樣以后，在高分辨率上又進(jìn)行減影，達(dá)到一個非常好的效果。

如圖所示，上面一行是胸片圖像，第二行和第三行是U-Net的結(jié)果，最下面是我們算法的結(jié)果:

從傳統(tǒng)的圖像上，可以看見肺紋理和肋骨是重疊在一起的，經(jīng)過去骨以后，我們只看到了肺紋理。

在鈣化的顯示上，我們算法的鈣化顯示就相對清晰，而且骨頭抑制的也非常好，但是其他算法的效果就差強人意。

另外，我們還拿結(jié)核病灶進(jìn)行了演示。當(dāng)胸片有骨頭擋著的時候，結(jié)核灶是什么樣的？經(jīng)過一些不好的減影之后，結(jié)核灶顯示不太清楚，但是在我們的算法上，骨頭被抑制下去，結(jié)核灶顯示更清楚。

醫(yī)生的工作就是比較不同的算法，比較低分辨率和高分辨率圖像，去骨的圖像和不去骨的圖像，以及不同算法效果下呈現(xiàn)的圖像。

當(dāng)時，我們找了有兩年工作經(jīng)驗的研究生和十二年工作經(jīng)驗的進(jìn)修生，分別對這些圖像進(jìn)行了判別。雖然看起來只有99幅圖和300幅圖像，但是通過不同的組合產(chǎn)生了無數(shù)的圖像，每個片子大概要花4~5秒，讓這些醫(yī)生進(jìn)行打分。

文章的結(jié)果最后發(fā)表在IEEE Transactions on Medical Imaging雜志上。

另外一個案例是去偽影的算法。

算法團(tuán)隊請我們比較圖像并進(jìn)行評價，用的是Excel表，雙盲的設(shè)計非常好，對偽影去得好壞與否進(jìn)行打分。

在打分時我們發(fā)現(xiàn)一些問題：有的算法雖然將偽影去得好，但是把重要的結(jié)構(gòu)也去掉了，比如想看小關(guān)節(jié)或者想看脊柱里的脊髓，雖然偽影去得很漂亮，但是其中一些重要結(jié)構(gòu)也看不清楚了，但是在我們反饋意見的時候，沒有很多人注意到我們的想法和需求。

這是未來醫(yī)工合作還需要進(jìn)一步提高的地方。

如果雙方能夠更好、更深入的交流，并且將醫(yī)生的建議放在方法設(shè)計的過程中，相信會對文章將來的高度有所幫助，更貼近臨床的需求。

最后一個故事，是與平安北美研究院呂樂博士進(jìn)行的長期合作。

我們和呂樂博士的團(tuán)隊每周都會花3個小時，在云端會議上討論目前合作進(jìn)程中存在的一些問題。比如我會分享放射科醫(yī)生如何看圖像，為什么放射科醫(yī)生覺得，AI不能像醫(yī)生一樣進(jìn)行疾病的診斷。

這是因為，疾病當(dāng)中有很多同病異影。

不同的病種都可以表現(xiàn)成磨玻璃結(jié)節(jié)，比如COVID-19可以是磨玻璃的病灶，心衰或者肺梗塞時同樣是磨玻璃病灶，所以光看圖像是不夠的。

醫(yī)生要學(xué)習(xí)很多基礎(chǔ)性的東西，包括解剖、生理、藥理、病理等等知識架構(gòu)，這樣才會指導(dǎo)將來的診斷、經(jīng)驗分析以及總結(jié)歸納，然后運用于臨床。

將來，人工智能的開發(fā)更需要人類的邏輯對其進(jìn)行指導(dǎo)。呂樂博士的團(tuán)隊也認(rèn)識到，在神經(jīng)網(wǎng)絡(luò)的構(gòu)建時，簡單加入一些醫(yī)生的邏輯，有時候會達(dá)到非常好的效果。

比如對一個圖像的鑒別，在Deep Lesion數(shù)據(jù)集里有很多期的圖像混在一起，要挖掘里面的病灶是很困難的。

而比如肝癌的特征表現(xiàn)，從動脈期、門脈期到延遲期，是個動脈期會快速增強、門脈期快速廓清的，自有其規(guī)律在其中。

如果完全混在一起，深度神經(jīng)網(wǎng)絡(luò)就很難發(fā)現(xiàn)問題所在。

所以在訓(xùn)練模型的前期，最好能對圖像進(jìn)行分類，例如哪些是動脈期、哪些是門脈期、哪些是延遲期？

我們醫(yī)生提出的一個非常簡單的參考經(jīng)驗就是：看主動脈、門靜脈和腎盂里面對比劑的分布，以區(qū)分是什么時相。

因此，在醫(yī)生的提示簡單總結(jié)一個邏輯，對不同時相的圖像進(jìn)行分類之后，課題的進(jìn)展非常好。醫(yī)工合作中，那種共同成長的感覺非常不錯。

醫(yī)生如何在AI研發(fā)中成為良師諍友

今年的RSNA2020上，一個叫唐有寶的同學(xué)獲得了informatics category的最佳論文獎。

在他提出的算法里，在病灶的周圍點個小點，算法就能夠自動測量病灶的最大徑和最短徑。

他為什么會得到最佳論文獎？

這是因為，搞研發(fā)、藥物研究的人都特別認(rèn)可這件事情。針對藥物是否有用的時候，醫(yī)生經(jīng)常要做大量、枯燥的測量工作，需要一層層翻圖像、一層層測量，以判斷腫瘤對藥物是否有反應(yīng)。

有了這個算法，我們就可以節(jié)省大量的人力。這也是他能拿到最佳論文的原因。

另外，我給大家介紹一個很好的研究——Self-supervised Learning（自監(jiān)督的學(xué)習(xí)）。

之前談到盆腔的時候，我花費了大概好幾個星期，才勾畫了十幾例的圖像，訓(xùn)練網(wǎng)絡(luò)讓它知道肌肉長在什么部位。

但是，自監(jiān)督學(xué)習(xí)的方法，用一張或者是非常少的圖像，就能定位到這個人的肌肉部位。

從理論上來講，人的頭、鼻子這些特征，機器很容易學(xué)出來。如果這個點放在左側(cè)鎖骨的中間，那么下一個人可以同樣點到鎖骨的中間，一些內(nèi)在的、很簡單的邏輯存在其中。

在這個算法里還做了一些驗證，比如在不同的圖像里。在X光里面做，只用到一張標(biāo)記的圖像就達(dá)到了更好的效果。

這是一個效果圖，有template，然后是ground truth。

這是模板，其中有g(shù)round truth，預(yù)測也在相同部位。自監(jiān)督學(xué)習(xí)做到了用非常小的樣本做出解剖學(xué)定位的效果。

我覺得，自監(jiān)督學(xué)習(xí)跟人的學(xué)習(xí)邏輯有點類似。人不用學(xué)很多的東西，這是因為人腦有一個內(nèi)在、全局的觀念。

利用Deep Lesion做一些病灶匹配的測試。第一次檢查、第一次隨診時，AI同樣可以定位到相同的位置，這也很有幫助。

從醫(yī)生的角度而言，在對比老片的時候，我們需要知道病灶原來的位置，現(xiàn)在要找到新的病灶并且進(jìn)行上下匹配，隨后進(jìn)行測量。如果人工智能可以做到，對我們的幫助是非常大的。

分?jǐn)?shù)比較高的就匹配得比較好，相反就是不太好的。比如在最左下角的三幅圖像上，在左邊的腮腺旁邊綠圈就是ground truth，但是算法預(yù)測卻匹配到主動脈弓上了，就得出0.64的分?jǐn)?shù)。

在這篇論文中，呂樂博士團(tuán)隊提出的算法既可以找到病灶，也可以匹配病灶。此外，還能測量病灶，我覺得很有幫助。

我們見證了這篇文章的發(fā)表，也獲得了MICCAI、CVPR、RNSA等頂會的摘要，收獲非常大。

在與呂樂博士團(tuán)隊的合作過程中，我們還有很多反饋建議的機會。他們的服務(wù)器部署到我們醫(yī)院后，我們也會補充進(jìn)更多的數(shù)據(jù)集，把我們的使用感受或者研究建議及時地進(jìn)行交流。

最后，我對今天的分享進(jìn)行一下總結(jié)。

醫(yī)生的角色是多樣性的，可以是使用者和建設(shè)者，也可以是監(jiān)督者和引領(lǐng)者。

醫(yī)生能做的具體幫助也非常多，從基礎(chǔ)工作開始，醫(yī)生可以提供數(shù)據(jù)、對數(shù)據(jù)解剖標(biāo)注，對圖像進(jìn)行真?zhèn)闻袆e，還可以幫助改文章，協(xié)助回答醫(yī)學(xué)審稿專家的問題，對算法的開發(fā)提出建議，共同把握研究的方向，提出臨床問題，將來也可能是臨床驗證的主要實施者。

作為一個很好的伙伴，醫(yī)生要了解研究的框架和思路，跟隨研究的進(jìn)度，能學(xué)習(xí)、有知識和更新，可以對研究產(chǎn)生指導(dǎo)，從到達(dá)到研究成果的雙贏。這是我們放射科醫(yī)生希望參與的事情。

相反，醫(yī)生不希望僅僅只是成為工程人員獲得數(shù)據(jù)的來源，或者是從事重復(fù)性的工作，不了解研究的全貌，我們的想法無法反饋，或者沒有可持續(xù)合作的長期打算。這些是我們放射科醫(yī)生不喜歡的。

最后，如何選擇研究的合作伙伴。理工的PI會選擇醫(yī)生，我們醫(yī)生做PI在選擇對方時也是這樣的，要有一些能夠匹配研究的知識和能力背景，對共同的研究方向有真正的興趣。

而且，我們希望理工團(tuán)隊能夠?qū)Ｗ⒃谶@個領(lǐng)域。有的PI會有很多的AI項目，如果他的精力不能專注，就很難在一個方向上保證投入的時間和精力。

當(dāng)然在選擇partner時，相互尊重、談得來，也都是非常重要的。

用李純明老師的話來結(jié)尾：“‘理工醫(yī)交叉融合，產(chǎn)學(xué)研協(xié)同創(chuàng)新’永遠(yuǎn)是醫(yī)療AI領(lǐng)域發(fā)展的生命線，只要我們圍繞這一根基不斷縱深，它所釋放出來的能量密度是無窮無盡的?！?/p>

原文標(biāo)題：北京和睦家醫(yī)院放射科陸菁菁：醫(yī)生在醫(yī)學(xué)影像AI研發(fā)中，需要扮演什么樣的角色？

文章出處：【微信公眾號：IoT科技評論】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq