VR/AR/MR+醫(yī)療，助力醫(yī)學(xué)研究更進(jìn)一步

***勤益科技大學(xué)與秀傳醫(yī)院合作形成的研發(fā)團(tuán)隊(duì)發(fā)表成果展示稱，其研發(fā)出的“MR＋VR智能醫(yī)療眼鏡”，在MR混合虛擬現(xiàn)實(shí)眼鏡的基礎(chǔ)上，結(jié)合VR虛擬現(xiàn)實(shí)和data gloves數(shù)據(jù)手套等技術(shù)可讓遠(yuǎn)程端的醫(yī)生實(shí)時指導(dǎo)災(zāi)難現(xiàn)場人員對傷患做手術(shù)或?qū)嵤┘本?。目前已完成兩例臨床實(shí)測，接下來將逐步進(jìn)入應(yīng)用測試和量產(chǎn)階段。

可見，VR/AR/MR技術(shù)不只在娛樂領(lǐng)域有巨大潛力，在醫(yī)療領(lǐng)域同樣有廣闊空間。特別在醫(yī)療培訓(xùn)、臨床診療、醫(yī)學(xué)干預(yù)、遠(yuǎn)程醫(yī)療等方面具有一定的優(yōu)勢，但是目前由于軟硬件平臺限制，VR醫(yī)療解決方案離臨床應(yīng)用還有一段距離。
?

?

與歐美國家有一定差距

歐美國家很早就開始探索VR/AR/MR+醫(yī)療，一方面是因?yàn)闅W美國家用于醫(yī)學(xué)解剖的尸體非常稀少，另一方面他們對動物也有相應(yīng)的法律保護(hù)，醫(yī)生也不能用動物進(jìn)行練習(xí)。曾在歐美高校游學(xué)多年的北京航空航天大學(xué)教授潘俊君說，如果利用傳統(tǒng)手術(shù)觀摩的辦法，周期長，效率很低，所以西方國家醫(yī)療領(lǐng)域?qū)μ摂M現(xiàn)實(shí)技術(shù)有硬需求。而且從歐美國家的大學(xué)、研究機(jī)構(gòu)、企業(yè)的一些案例也可以看出他們對VR/AR/MR+醫(yī)療十分重視。

美國德克薩斯大學(xué)的研究人員用虛擬環(huán)境幫助年輕的自閉癥患者練習(xí)社交技能，比如面試、相親或與新鄰居見面等等。VR練習(xí)可以幫助這些年輕人理解社交暗示，明白人們的弦外之音，并且以符合社交慣例的方式表達(dá)自己的意見。而硅谷初創(chuàng)公司Limbix推出了一項(xiàng)新服務(wù)：利用搭配智能手機(jī)使用的Daydream View提供暴露療法。

美國加州健康科學(xué)西部大學(xué)的虛擬現(xiàn)實(shí)中心有zSpace顯示屏、Anatomage虛擬解剖臺、在Oculus Rift和iPad上的斯坦福大學(xué)解剖模型，旨在幫助學(xué)生利用VR學(xué)習(xí)牙科、骨科、獸醫(yī)、物理治療和護(hù)理等知識。同樣，德國漢堡Eppendorf大學(xué)醫(yī)學(xué)院醫(yī)用數(shù)學(xué)和計算機(jī)研究所建立了一個名為VOXEL—MAN的虛擬人體系統(tǒng)，它包括人體每一種解剖結(jié)構(gòu)的三維模型，肌肉、骨骼、血管及神經(jīng)等任一部分都是三維可視的，使用者戴上頭盔顯示器就可以模擬解剖過程。

紐約市威爾康奈爾醫(yī)學(xué)中心的研究人員已經(jīng)開始使用VR技術(shù)，來更好地理解癌癥基因突變的狀況了。他們?yōu)镺culus頭盔開發(fā)了一個新的程序，讓用戶看到并與微觀蛋白質(zhì)的3D模型進(jìn)行交互。

瑞典各大醫(yī)學(xué)培訓(xùn)中心及醫(yī)院已經(jīng)運(yùn)用“模擬嬰兒”、“模擬孕婦”等一系列的VR產(chǎn)品，讓醫(yī)生在更逼真的虛擬環(huán)境中進(jìn)行學(xué)習(xí)，減少了傳統(tǒng)手術(shù)環(huán)節(jié)中對動物的傷害。

2014年，墨爾本的一家叫Small World的公司進(jìn)行了一場通過給孕婦佩戴Google Glass并使用Google Glass上的攝像頭來遠(yuǎn)程進(jìn)行母乳喂養(yǎng)的指導(dǎo)的實(shí)驗(yàn)；Augmedix利用谷歌眼鏡顯示收集到的病人的數(shù)據(jù)和參考信息，幫助醫(yī)生更好的和患者進(jìn)行交流；3D4Medical的醫(yī)療軟件平臺，提供人體解剖、人體器官模型、血液關(guān)節(jié)等醫(yī)學(xué)信息，以增強(qiáng)現(xiàn)實(shí)的方式提供醫(yī)學(xué)教學(xué)。

而國內(nèi)虛擬現(xiàn)實(shí)技術(shù)在醫(yī)療領(lǐng)域并非不可替代，大部分醫(yī)學(xué)院學(xué)生或者醫(yī)生不缺練手的素材，他們可以用活豬等動物進(jìn)行練習(xí)，所以目前國內(nèi)VR+醫(yī)療與歐美國家有一定的差距。但是隨著虛擬現(xiàn)實(shí)技術(shù)的逐漸成熟，國內(nèi)高校、醫(yī)院和企業(yè)也在積極推動VR+醫(yī)療領(lǐng)域的發(fā)展，其中有些技術(shù)或者應(yīng)用也取得了一定的突破。

北京航空航天大學(xué)成功研發(fā)出我國具有自主知識產(chǎn)權(quán)的虛擬腹腔鏡手術(shù)訓(xùn)練系統(tǒng)Lap-Sim和經(jīng)皮冠狀動脈成形術(shù)模擬器，后者可滿足個性化手術(shù)規(guī)劃、預(yù)演、新手術(shù)實(shí)驗(yàn)等臨床應(yīng)用需求。目前，該P(yáng)CI模擬器中已經(jīng)集成了多套個性化病例數(shù)據(jù)，并在北京協(xié)和醫(yī)院、第三軍醫(yī)大學(xué)進(jìn)行了多輪次的測試驗(yàn)證和應(yīng)用示范。同時，北京航空航天大學(xué)、上海交通大學(xué)、第三軍醫(yī)大學(xué)等還開發(fā)出了具有力反饋的心血管介入虛擬手術(shù)系統(tǒng)。

四川大學(xué)華西基礎(chǔ)醫(yī)學(xué)與法醫(yī)學(xué)院便利用了新新科技虛擬現(xiàn)實(shí)技術(shù)，研發(fā)出一款《人衛(wèi)3D系統(tǒng)解剖學(xué)》VR版，讓學(xué)生帶上VR頭盔就能夠看到全方位立體展示的人體結(jié)構(gòu)。

上海交通大學(xué)計算機(jī)科學(xué)與工程系與嘉奧科技共建“智能醫(yī)療與虛擬現(xiàn)實(shí)聯(lián)合研究中心”，該中心主要研究方向?yàn)樘摂M現(xiàn)實(shí)與深度學(xué)習(xí)，其研究領(lǐng)域包括三維圖像處理與分析、醫(yī)學(xué)影像數(shù)據(jù)數(shù)字化、實(shí)時動態(tài)三維模擬及人工智能應(yīng)用等。

去年11月，中國首個“虛擬現(xiàn)實(shí)醫(yī)院計劃”正式啟動?！疤摂M現(xiàn)實(shí)醫(yī)院計劃”將采用VR/AR/MR、全息投影、人機(jī)接口、神經(jīng)解碼編碼等技術(shù)，促進(jìn)醫(yī)、教、研、產(chǎn)一體化，提出未來新醫(yī)療全套解決方案。截至目前，已經(jīng)有10多家醫(yī)院加入該計劃。

廣州市正骨醫(yī)院已經(jīng)發(fā)布全球第一臺VR+3D外科手術(shù)視頻，并完成了中醫(yī)史上首次正骨手法教學(xué)視頻。

海信研發(fā)出海信精準(zhǔn)數(shù)字化手術(shù)室系統(tǒng)，可以將患者肝臟的CT數(shù)據(jù)變成三維的數(shù)字肝臟，有助于醫(yī)生在術(shù)前更精確全方位評估、規(guī)劃和設(shè)計手術(shù)方案，術(shù)中無需接觸電腦就可以用手勢遙控操作手術(shù)導(dǎo)航，使復(fù)雜的手術(shù)更精準(zhǔn)。目前這套系統(tǒng)已在長庚醫(yī)院、復(fù)旦大學(xué)附屬兒科醫(yī)院等全國30多家三甲醫(yī)院臨床使用，完成手術(shù)已達(dá)1000余例。

IEEE高級會員、上海交通大學(xué)楊小康教授認(rèn)為，目前來看，雖然歐美的VR/AR+醫(yī)療的水平是要強(qiáng)于國內(nèi)的，也有許多的世界領(lǐng)先的成果，但是總的來說，VR/AR+醫(yī)療還處于起步階段，無論是學(xué)術(shù)上的研究或是商業(yè)產(chǎn)業(yè)鏈都有很多欠缺，還有很長的路要走。

VR可解決醫(yī)療四大痛點(diǎn)

從國內(nèi)外的案例可以看出，虛擬現(xiàn)實(shí)技術(shù)在醫(yī)療培訓(xùn)、臨床診療、醫(yī)學(xué)干預(yù)、遠(yuǎn)程醫(yī)療等方面都有一定的應(yīng)用空間。

在醫(yī)療培訓(xùn)方面，虛擬現(xiàn)實(shí)技術(shù)可以突破實(shí)驗(yàn)設(shè)備、實(shí)驗(yàn)場地和經(jīng)費(fèi)等物理方面的局限性，讓更多的醫(yī)學(xué)院學(xué)生或者醫(yī)生可以沉浸在虛擬現(xiàn)實(shí)環(huán)境中進(jìn)行訓(xùn)練并學(xué)習(xí)新技術(shù)，加深對訓(xùn)練內(nèi)容的理解。潘俊君指出，虛擬現(xiàn)實(shí)技術(shù)給醫(yī)生從無到有地制造了一個完全真實(shí)的體驗(yàn)經(jīng)歷，剛剛走出醫(yī)學(xué)院校門的新手，借助虛擬手術(shù)系統(tǒng)可以成為經(jīng)驗(yàn)豐富的外科手術(shù)高手。而且利用虛擬現(xiàn)實(shí)技術(shù)，同樣的病例和場景可被重復(fù)使用，可以節(jié)省資源。國內(nèi)醫(yī)生一般用活豬練手，成本很高，如果用手術(shù)模擬器練習(xí)可以大幅度降低手術(shù)成本。

中國醫(yī)科大學(xué)教授婁巖認(rèn)為，VR能夠避免真實(shí)情境帶來的各種危險，例如麻醉學(xué)、急救醫(yī)學(xué)和戰(zhàn)地醫(yī)學(xué)等相關(guān)學(xué)科臨床技能訓(xùn)練時。

在術(shù)前規(guī)劃及術(shù)中輔助方面，虛擬現(xiàn)實(shí)技術(shù)同樣可以發(fā)揮重要的作用。利用虛擬手術(shù)系統(tǒng)，醫(yī)生對病變?nèi)睋p部位進(jìn)行較精確的前期測量和估算，從而預(yù)見手術(shù)的復(fù)雜性和風(fēng)險點(diǎn)。潘俊君表示，運(yùn)用增強(qiáng)現(xiàn)實(shí)技術(shù)可以使醫(yī)務(wù)工作者沉浸于虛擬的場景內(nèi)，通過視、聽、觸覺感知，學(xué)習(xí)各種手術(shù)實(shí)際操作，體驗(yàn)如何應(yīng)付臨床手術(shù)中的各類突發(fā)情況。

婁巖認(rèn)為，VR技術(shù)可以在醫(yī)患溝通中，讓患者及家屬更直觀、更好地理解手術(shù)方案，獲得充分的知情和選擇的權(quán)利，增進(jìn)醫(yī)患雙方的理解，減少醫(yī)患矛盾。

在醫(yī)學(xué)干預(yù)方面，VR技術(shù)適用于精神疾病干預(yù)和康復(fù)醫(yī)療干預(yù)。亞特蘭大艾墨立大學(xué)醫(yī)學(xué)院（Emory University School of Medicine）芭芭拉·羅特鮑姆（Barbara Rothbaum）幫助開拓了虛擬現(xiàn)實(shí)技術(shù)在心理學(xué)領(lǐng)域的實(shí)踐應(yīng)用。她幫助開展的一項(xiàng)臨床試驗(yàn)顯示，在治療病人對飛行的恐懼時，虛擬現(xiàn)實(shí)技術(shù)讓90%%的病人最終克服了焦慮癥狀。

在遠(yuǎn)程醫(yī)療方面，利用虛擬現(xiàn)實(shí)技術(shù)和互聯(lián)網(wǎng)能夠跨越地域的界限，平衡不同地方醫(yī)生資源不匹配的現(xiàn)狀。***勤益科技大學(xué)與秀傳醫(yī)院合作形成的研發(fā)團(tuán)隊(duì)負(fù)責(zé)人李佩淵指出，他們最新推出的智能醫(yī)療眼鏡不僅能讓手術(shù)更精準(zhǔn)，也能用于醫(yī)療資源不足的重災(zāi)地區(qū)，不論是恐怖攻擊、戰(zhàn)場還是地震重災(zāi)區(qū)，即便現(xiàn)場沒有醫(yī)護(hù)人員，醫(yī)師也能利用眼鏡實(shí)施遠(yuǎn)程指導(dǎo)。

例如在偏遠(yuǎn)的山區(qū)，通過遠(yuǎn)程醫(yī)療虛擬現(xiàn)實(shí)系統(tǒng)，患者不進(jìn)城也能夠接受名醫(yī)的治療。婁巖強(qiáng)調(diào)，對于危急病人，還可以實(shí)施遠(yuǎn)程手術(shù)。這時醫(yī)生只要對病人模型進(jìn)行手術(shù)，他的動作就可以通過衛(wèi)星傳送給遠(yuǎn)處的手術(shù)機(jī)器人。手術(shù)的實(shí)際圖像通過機(jī)器人上的攝像機(jī)還能夠傳回到醫(yī)生的頭盔立體顯示器，并將其和虛擬病人模型進(jìn)行疊加，為醫(yī)生提供有用的信息。

但是由于VR和AR技術(shù)特性不同，在醫(yī)療領(lǐng)域應(yīng)用時又存在差異。IEEE高級會員袁昱博士認(rèn)為，VR致力于提供完全沉浸式的虛擬體驗(yàn)，而AR是在現(xiàn)實(shí)世界中疊加虛擬對象。具體到醫(yī)療行業(yè)的應(yīng)用上，在心理診療和功能康復(fù)診療方面主要用到VR，手術(shù)導(dǎo)航主要用到AR，而遠(yuǎn)程醫(yī)療在現(xiàn)場接受遠(yuǎn)程指導(dǎo)的主要用到AR，在遠(yuǎn)程提供指導(dǎo)或遙控操作的主要用到VR。楊小康也指出，在醫(yī)療教育領(lǐng)域，VR和AR有著異曲同工之妙，唯一的不同可能就是AR可以學(xué)習(xí)的同時，實(shí)時操作，而VR的觀看效果可能更好一些。

如何解開VR+醫(yī)療死結(jié)？

VR+醫(yī)療看似美好，能給醫(yī)療帶來便利，但是虛擬現(xiàn)實(shí)技術(shù)與醫(yī)療領(lǐng)域結(jié)合的過程中會遇到像硬件平臺不成熟、算法不夠準(zhǔn)確、交互不夠精確等難題，而且即使做出產(chǎn)品，在應(yīng)用推廣階段同樣會碰壁，因?yàn)榛ヂ?lián)網(wǎng)公司做出的產(chǎn)品不一定符合醫(yī)生和病人的需求，所以現(xiàn)在VR+醫(yī)療需要技術(shù)人員與醫(yī)生共同研發(fā)，才能做出真正的產(chǎn)品。

VR/AR+醫(yī)療發(fā)展比較滯后，一方面，VR/AR+醫(yī)療目前相關(guān)理論研究和學(xué)術(shù)研究還較少，成熟的成果也較少，使得人們對其認(rèn)可度暫時受到制約。另一方面，VR/AR缺乏核心應(yīng)用，使得VR/AR目前難以進(jìn)入所有人的視野，也少有人知道VR/AR+醫(yī)療的意義，而VR/AR+醫(yī)療技術(shù)的普及的前提是VR/AR的普及。袁昱認(rèn)為，VR/AR的支撐技術(shù)本身還遠(yuǎn)不夠成熟，有待進(jìn)一步發(fā)展和突破，尚未攻克的許多難點(diǎn)自然也會影響到在醫(yī)療行業(yè)的應(yīng)用。例如，在真實(shí)物體的建模與仿真上的技術(shù)局限性就導(dǎo)致AR手術(shù)導(dǎo)航還不能很好地用于肝、腎等軟體器官的手術(shù)。

而且VR+醫(yī)療與心理學(xué)、醫(yī)學(xué)等學(xué)科息息相關(guān)，如何促進(jìn)有效的合作、制作合適的內(nèi)容也是一個難點(diǎn)。海信計算機(jī)輔助手術(shù)系統(tǒng)（Hisense CAS）研發(fā)過程就是一個例子，海信工程師們白天做研發(fā)，晚上和外科醫(yī)生們做動物實(shí)驗(yàn)，并不斷根據(jù)DICOM數(shù)據(jù)不斷設(shè)定相關(guān)參數(shù)并優(yōu)化算法，讓系統(tǒng)可以自動精確地在一系列CT圖像上分割出肝臟、血管、腫瘤、膽囊等肝臟各組織。

潘俊君指出，手術(shù)模擬器的觸感是難點(diǎn)，因?yàn)樗鼛в辛Ψ答?，怎么能讓它的力反饋和真?shí)的手術(shù)反饋盡量一致、逼真十分困難，這需要工程師和醫(yī)生反復(fù)交流、迭代、嘗試才能調(diào)整出來。

在應(yīng)用推廣階段同樣存在硬件平臺不成熟、產(chǎn)品與應(yīng)用場景脫節(jié)、市場待教育等問題。實(shí)際上，醫(yī)院對虛擬現(xiàn)實(shí)醫(yī)療有一定的需求，VR在醫(yī)療培訓(xùn)、人體研究、康復(fù)、心理培訓(xùn)上有優(yōu)勢，但是VR+醫(yī)療產(chǎn)品離臨床還有一段距離。

一方面是因?yàn)閂R+醫(yī)療研發(fā)團(tuán)隊(duì)與應(yīng)用場景脫節(jié)，再加上硬件平臺技術(shù)不是非常成熟，導(dǎo)致產(chǎn)品體驗(yàn)不佳，離臨床還有差距?！疤摂M現(xiàn)實(shí)醫(yī)院計劃”執(zhí)行總監(jiān)、廣州市正骨醫(yī)院萬磊博士后認(rèn)為，現(xiàn)在VR+醫(yī)療團(tuán)隊(duì)大多數(shù)想當(dāng)然，沒有和實(shí)際醫(yī)療場景相結(jié)合，不能滿足醫(yī)生和患者的需求。

另一方面是因?yàn)獒t(yī)療是傳統(tǒng)行業(yè)，老醫(yī)生思想比較保守，在接受新技術(shù)上比較慢，VR+醫(yī)療產(chǎn)品少有人買單。而國外使用比較普遍是因?yàn)樗麄儗⑾嚓P(guān)產(chǎn)品和醫(yī)療培訓(xùn)證書相結(jié)合，有剛需，所以潘俊君認(rèn)為，如果要推廣VR+醫(yī)療應(yīng)用，需要國家相關(guān)政策的支持。

而且在法規(guī)方面，VR/AR本身是迭代很快的新興技術(shù)，但醫(yī)療器械和方案往往需要經(jīng)過漫長的各級認(rèn)證才能大規(guī)模推向市場。袁昱指出，如何在現(xiàn)行法規(guī)內(nèi)，從轉(zhuǎn)化醫(yī)學(xué)等角度予以VR/AR+醫(yī)療產(chǎn)品在審批上最大的靈活性，乃至對現(xiàn)行法規(guī)作出合理的補(bǔ)充和調(diào)整以便在保證安全的前提下使新興技術(shù)能更快地用于臨床，都是值得探討的話題和努力的方向。

現(xiàn)在研發(fā)公司希望國家政策認(rèn)可通過VR+醫(yī)療產(chǎn)品來訓(xùn)練、考核并頒發(fā)證書，但是國家希望民間攻克技術(shù)難點(diǎn)，推廣產(chǎn)品。潘俊君建議，國家可以立項(xiàng)，鼓勵民間企業(yè)投入，這樣才能改變現(xiàn)狀。清華大學(xué)經(jīng)管虛擬現(xiàn)實(shí)及人工智能產(chǎn)業(yè)研究院主任研究員文鈞雷也指出，國家需要出臺鼓勵性政策，促進(jìn)企業(yè)和醫(yī)院聯(lián)合開發(fā)產(chǎn)品，加速VR+醫(yī)療土壤的形成，這樣既可以解決醫(yī)院付費(fèi)和招標(biāo)購買問題，促進(jìn)醫(yī)院和企業(yè)共同研發(fā)創(chuàng)新，同時也可以讓醫(yī)院和醫(yī)療研究機(jī)構(gòu)不斷推進(jìn)VR+醫(yī)療研發(fā)和應(yīng)用。