AI+5G，第一次成功完成遠(yuǎn)程指導(dǎo)下的心臟病手術(shù)

剛剛，廣東省人民醫(yī)院與廣東高州市人民醫(yī)院完成全國首例AI+5G手術(shù)，成功為心臟病患者“補(bǔ)心”。手術(shù)期間的AI技術(shù)是由曾靠“貪心算法”成功追回被搶車的圣母大學(xué)計(jì)算機(jī)系終身副教授史弋宇團(tuán)隊(duì)提供。這次手術(shù)也是AI在臨床上的一次落地應(yīng)用。

AI+5G，第一次成功完成遠(yuǎn)程指導(dǎo)下的心臟病手術(shù)。

剛剛，廣東省人民醫(yī)院與廣東高州市人民醫(yī)院共同上演一場直播“大片”：

高州市人民醫(yī)院心外手術(shù)室里，醫(yī)生主刀進(jìn)行心臟腔鏡手術(shù)；在相隔近400公里外的廣東省人民醫(yī)院，專家通過觀看大屏幕上5G傳輸?shù)膶?shí)時(shí)超高清手術(shù)畫面，對高州市的手術(shù)進(jìn)行遠(yuǎn)程指導(dǎo)。

在這場手術(shù)前，醫(yī)院使用到了自主研發(fā)的全自動(dòng)AI去噪以及建模軟件，一鍵完成建模，耗費(fèi)時(shí)間從2-6小時(shí)縮短至兩分鐘以內(nèi)，并自動(dòng)生成3D打印機(jī)可識(shí)別的3D數(shù)字心臟模型（STL格式），直接用來打印出實(shí)體1:1心臟模型。

值得注意的是，手術(shù)的AI技術(shù)部分是由廣東省人民醫(yī)院特聘顧問史弋宇教授帶領(lǐng)團(tuán)隊(duì)參與。史弋宇是圣母大學(xué)計(jì)算機(jī)系終身副教授，博士生導(dǎo)師，并兼任電子系終身副教授。

史弋宇

今年1月初，新智元報(bào)道過史弋宇教授被兩名劫匪搶去汽車，在不到24小時(shí)之內(nèi)，靠手機(jī)發(fā)動(dòng)應(yīng)用程序和“貪心算法”成功將車找回，新智元的讀者應(yīng)該有深刻印象。

這次參與全國首個(gè)AI+5G手術(shù)，史弋宇籌備了一年時(shí)間，手術(shù)成功也讓AI在醫(yī)療領(lǐng)域更加落地。

患者情況：先天心臟病，心臟出現(xiàn)孔

接受AI+5G手術(shù)的是一位41歲的女性患者，據(jù)醫(yī)生介紹，這名患者有先天心臟病，近期因“勞力性心悸、氣促10余天”入院。經(jīng)過心臟彩超和右心導(dǎo)管等檢查發(fā)現(xiàn)，患者診斷為繼發(fā)孔型房間隔缺損。

房間隔缺損本來是簡單先心病，如果在小時(shí)候做開胸手術(shù)，操作上是相對容易，而且風(fēng)險(xiǎn)很低的。但是這位患者已經(jīng)41歲，出現(xiàn)了重度肺動(dòng)脈高壓，開始出現(xiàn)心力衰竭，病情已經(jīng)從簡單先心病轉(zhuǎn)變成復(fù)雜的成人先心病，簡而言之心臟沒有正常的發(fā)育，形成了一個(gè)缺損，就是我們所說的心臟里面出現(xiàn)一個(gè)孔。

模型演示患者的心臟中間出現(xiàn)一個(gè)孔（攝影：邱海龍）

這個(gè)孔的存在會(huì)導(dǎo)致病人心臟左心房的血會(huì)持續(xù)往右心房分流，加重右心房的整個(gè)心臟的負(fù)荷，也會(huì)加重肺循環(huán)的負(fù)荷，久而久之，心臟也就會(huì)持續(xù)擴(kuò)大，肺動(dòng)脈的壓力也會(huì)持續(xù)的增高。

通過3D打印出來的1：1心臟模型可以看到，患者的心臟比正常人的偏大，而正常人的心臟大約有一個(gè)拳頭那么大。

通過影像也可以觀察到，患者的心臟占據(jù)了整個(gè)胸腔的2/3以上。

由于房間隔缺損一直伴隨患者41年，錯(cuò)過了治療的最佳時(shí)期，因此無法進(jìn)行常規(guī)的心臟手術(shù)矯治，最嚴(yán)重的結(jié)果可能會(huì)導(dǎo)致心肺聯(lián)合移植甚至是死亡。

同時(shí)，患者的心肺功能衰竭到已經(jīng)出現(xiàn)癥狀，因此術(shù)中的操作必須仔細(xì)，心肌保護(hù)要到位，圍術(shù)期的管理也是挑戰(zhàn)，再加上是胸腔鏡下做手術(shù)，對醫(yī)生的手術(shù)操作是較大的考驗(yàn)。

準(zhǔn)備階段：AI三維建模只需2分鐘

對于這次手術(shù)，廣東省人民醫(yī)院可謂用上了目前最熱門的“黑科技”，其中多項(xiàng)技術(shù)均已申請專利進(jìn)行知識(shí)產(chǎn)權(quán)保護(hù)。史弋宇教授負(fù)責(zé)參與AI部分，主要用于術(shù)前準(zhǔn)備階段。

1、圖像壓縮

醫(yī)院把影像采集下來以后，要進(jìn)行實(shí)時(shí)影像傳輸，史弋宇教授聯(lián)合佛羅里達(dá)國際大學(xué)聞武杰教授先做一個(gè)面向機(jī)器學(xué)習(xí)的影像壓縮，在數(shù)據(jù)接收端會(huì)自動(dòng)對影像進(jìn)行去噪，然后分割、建模。

影像壓縮的出發(fā)點(diǎn)和傳統(tǒng)的壓縮（比如JPEG）不同，JPEG是針對人的視覺的，要保證壓縮后沒什么視覺上的損失。而該工作做的壓縮是為了AI建模，不以人的視覺作為標(biāo)準(zhǔn)，而是針對計(jì)算機(jī)視覺的影像壓縮。

通過壓縮，接收的圖像體積變小了，而且圖像分割的準(zhǔn)確度得到了提升，壓縮率提升3倍，且能提升分割效果。

關(guān)于影像壓縮的成果，論文將會(huì)發(fā)表在今年6月的CVPR上。

論文題目：Machine Vision Guided 3D Medical Image Compression for Efficient Transmission and Accurate Segmentation in the Clouds

2、AI去噪

在上面的圖像壓縮過程中，還包含了一部分去噪技術(shù)。因?yàn)檫@里的圖像是用來建模的，所以在壓縮的過程中，同時(shí)把一部分噪聲也去掉了。在去噪方面，使用了注意力神經(jīng)網(wǎng)絡(luò)，能夠集中注意到圖像里的噪聲。

史教授團(tuán)隊(duì)對每一例影像進(jìn)行自動(dòng)去噪，最后的結(jié)果直接進(jìn)行自動(dòng)建模，不需要人工干預(yù)。這樣就可以把心臟的模型建成一個(gè)可3D打印的模型。

3、機(jī)器學(xué)習(xí)和傳統(tǒng)計(jì)算機(jī)視覺的混合建模

對于結(jié)構(gòu)性心臟病患者來說，他的心臟結(jié)構(gòu)可能跟正常的心臟差別很大，所以史教授團(tuán)隊(duì)用了機(jī)器學(xué)習(xí)加傳統(tǒng)計(jì)算機(jī)視覺的方法。對于心臟結(jié)構(gòu)比較變化大的，用一些傳統(tǒng)計(jì)算機(jī)視覺的方法；關(guān)于心臟的一些精細(xì)結(jié)構(gòu)，使用人工智能與傳統(tǒng)計(jì)算機(jī)視覺方法的混合架構(gòu)。

整個(gè)心臟的三維建模時(shí)間大概是2分鐘，而且準(zhǔn)確度在先天性心臟病上也比傳統(tǒng)方法的70%提升了12%。如果使用傳統(tǒng)3D建模方法，大概需要幾個(gè)小時(shí)時(shí)間。

這個(gè)模型的直接作用有兩個(gè)。第一個(gè)作用是讓醫(yī)生在術(shù)前準(zhǔn)備的時(shí)候，會(huì)把這個(gè)模型用3D打印出來，供醫(yī)生在術(shù)前準(zhǔn)備時(shí)參考，能夠直觀地看看患者心臟到底是什么樣的，有些什么問題。

模型的另外一個(gè)重要作用是，讓術(shù)中進(jìn)行遠(yuǎn)程指導(dǎo)的醫(yī)生，能夠通過VR和MR技術(shù)，利用傳輸過來的實(shí)時(shí)影像以及之前的建模，能夠?qū)崟r(shí)、動(dòng)態(tài)地指導(dǎo)目前的手術(shù)的進(jìn)展。

在本場手術(shù)中，醫(yī)院采用的是3D建模方法，指導(dǎo)心內(nèi)手術(shù)操作非常直觀；但是在某些情況下，比如一些急診重癥病人，來不及進(jìn)行3D打印，就可以實(shí)時(shí)用VR的虛擬心臟來指導(dǎo)，也很直觀。

下圖可以顯示AI在手術(shù)中起到的作用：

手術(shù)過程：VR演示補(bǔ)心術(shù)

準(zhǔn)備工作之后是手術(shù)過程。

今天上午9點(diǎn)35分左右，手術(shù)正式開始。在廣東省人民醫(yī)院現(xiàn)場的大屏幕上（下圖），有四個(gè)播放畫面，從左到右分別是高州市人民醫(yī)院、高州人民醫(yī)院手術(shù)室、廣東省人民醫(yī)院、VR視頻手術(shù)過程演示。

高州市人民醫(yī)院手術(shù)現(xiàn)場

從現(xiàn)場播放的VR演示視頻，我們可以看到整個(gè)手術(shù)過程。

手術(shù)開始前，先將患者右側(cè)胸腔墊高30度。然后確定手術(shù)入路，即主操作孔、鏡孔和輔助操作孔。

患者身上會(huì)插管連接體外循環(huán)機(jī)，就是通常所說的人工心肺機(jī)，后續(xù)進(jìn)行身體降溫之后，醫(yī)生再灌注心機(jī)保護(hù)液，讓心臟停下來，之后再進(jìn)行心臟的探查跟房間隔缺損的修補(bǔ)。

下圖是房間隔缺損修補(bǔ)術(shù)過程：

手術(shù)中最關(guān)鍵的環(huán)節(jié)有兩個(gè)，一個(gè)是在心臟的Koch三角區(qū)，縫合時(shí)需要注意不要靠近這，以免引起心臟心肌損傷，導(dǎo)致心臟跳動(dòng)的節(jié)律傳導(dǎo)受到阻滯。

另一個(gè)是心臟的解剖結(jié)構(gòu)要看得更清楚一些，修補(bǔ)房間隔缺損的“補(bǔ)片”要補(bǔ)得更大一些。

最后確認(rèn)沒有殘余分流，修補(bǔ)完成，心臟復(fù)跳，止血關(guān)胸，手術(shù)完成。

現(xiàn)場經(jīng)過近3個(gè)小時(shí)的手術(shù)后，4月3日12:55分，患者心臟復(fù)跳，手術(shù)成功！

5G比4G提速10倍，時(shí)延低于30微秒

手術(shù)現(xiàn)場的主刀醫(yī)生為高州市人民醫(yī)院的何勇醫(yī)生，指導(dǎo)醫(yī)生是廣東省人民醫(yī)院心外科的郭惠明醫(yī)生。

根據(jù)官網(wǎng)介紹，何勇醫(yī)生是高州人民醫(yī)院副主任醫(yī)師，每年完成心外手術(shù)達(dá)500例左右，手術(shù)量在華南地區(qū)處于領(lǐng)先，其中瓣膜替換術(shù)在400例左右，手術(shù)成功率達(dá)99%以上。

高州市人民醫(yī)院雖然在心外科也有很多經(jīng)驗(yàn)相對比較成熟，常規(guī)心外科手術(shù)都能做，但以前這類手術(shù)主要是采取大切口的開胸手術(shù)來做，微創(chuàng)的腔鏡手術(shù)做得不多。

這場手術(shù)是做微創(chuàng)腔鏡手術(shù)，患者開刀3-4厘米，對醫(yī)生的要求更高，會(huì)有一定的難度，因此需要廣東省人民醫(yī)院的指導(dǎo)支持。

郭惠明是廣東省人民醫(yī)院主任醫(yī)師、心外科副主任，擅長微創(chuàng)胸腔鏡手術(shù)，在手術(shù)治療二尖瓣成形或置換、先天性心臟病、房顫和冠心病的雜交治療方面處于國內(nèi)領(lǐng)先水平。

（圖據(jù)廣州日報(bào)）

地圖顯示，高州市人民醫(yī)院距離廣東省人民醫(yī)院將近400公里，但現(xiàn)場畫面沒有明顯時(shí)延。傳回現(xiàn)場測試結(jié)果，整體網(wǎng)絡(luò)速度與4G相比提速10倍，時(shí)延低于30微秒，幾時(shí)就是同步的。

在現(xiàn)場，高州人民醫(yī)院主刀醫(yī)生還詢問：“心包是否在這里打開？”位于廣州的郭惠明立即回答：“上移3厘米?！?/p>

目前，廣東省人民醫(yī)院已經(jīng)跟廣東移動(dòng)、華為合作，實(shí)現(xiàn)5G全覆蓋，室外網(wǎng)絡(luò)由4G跨越到5G，用戶體驗(yàn)速率由80Mbps提升到800Mbps，達(dá)到與有線光纖網(wǎng)絡(luò)相當(dāng)?shù)捏w驗(yàn)。

對于AI，雖然近年來人工智能在醫(yī)療領(lǐng)域取得了飛速進(jìn)展，但在實(shí)際臨床中的應(yīng)用卻非常有限。其中一個(gè)主要的原因就是人工智能還缺乏足夠的可信度和可解釋度來完全取代醫(yī)生進(jìn)行自動(dòng)診治。

史弋宇說，團(tuán)隊(duì)目前階段主要著眼于人工智能在醫(yī)療系統(tǒng)中的輔助作用來幫助其盡快落地。例如在本次遠(yuǎn)程手術(shù)指導(dǎo)中采用到的面向人工智能的圖像壓縮傳輸，智能影像去噪，以及智能心臟建模，都是以為醫(yī)療專家更方便，更快捷，更準(zhǔn)確的診治為目標(biāo)。