膠囊機(jī)器人是如何完成深度學(xué)習(xí)與算法訓(xùn)練的？

一顆膠囊大小的胃腸道內(nèi)窺鏡機(jī)器人，被服下后，通過體外磁控的方式實現(xiàn)在消化道中的運(yùn)動，途經(jīng)食道、胃部、腸部，最后被人體排出。這個過程中，電腦可以同步顯示胃腸道的相關(guān)檢測數(shù)據(jù)，從而讓醫(yī)生有依據(jù)地完成診斷。

（圖片來源：2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)）

聽起來好像很簡單，而實際上膠囊機(jī)器人在投入使用前，必須先經(jīng)過深度學(xué)習(xí)和訓(xùn)練。就像游戲玩家出發(fā)去升級打怪需要游戲裝備和地圖一樣，膠囊機(jī)器人需要通過深度學(xué)習(xí)技術(shù)改善密集地形重建和姿態(tài)估計算法，以及通過SLAM（ Simultaneous Localization and Mapping）同步定位與地圖構(gòu)建的機(jī)器視覺技術(shù)實現(xiàn)檢測、識別能力。

通俗一點講，機(jī)器人不是人，它的視覺和決策能力，都需要研制者通過一些方法賦予給它。通過深度學(xué)習(xí)獲得的能力相當(dāng)于膠囊機(jī)器人的大腦，而通過SLAM機(jī)器視覺獲得的就相當(dāng)于膠囊機(jī)器人的“火眼金睛”。

2000年，以色列研制的第一個膠囊內(nèi)鏡獲得FDA批準(zhǔn)進(jìn)入臨床，當(dāng)時的膠囊機(jī)器人是隨消化道的自然蠕動而前進(jìn)的，由于沒有經(jīng)過深度學(xué)習(xí)訓(xùn)練，也沒有SLAM技術(shù)的加持，有點像盲人摸象，對于像胃這樣大的消化道器官，其觀察范圍十分有限，因此會造成相當(dāng)大的漏檢。

土耳其伊斯坦布爾的Bogazici大學(xué)的生物醫(yī)學(xué)工程專業(yè)，有一個專業(yè)的生物醫(yī)學(xué)實驗室，其研究領(lǐng)域包括生物醫(yī)學(xué)儀器、生物電子學(xué)、生物力學(xué)、神經(jīng)信號分析、生物光子學(xué)、醫(yī)學(xué)成像、細(xì)胞成像和電生理學(xué)、機(jī)器人技術(shù)、醫(yī)療設(shè)備設(shè)計和測試，以及心理物理學(xué)等。

2020年，該實驗室的Mehmet Turan博士，通過TUBI TAK2232國際杰出研究人員研究金方案獲得了資金支持，開展了一項名為“磁性驅(qū)動的Al-Powered內(nèi)窺鏡膠囊機(jī)器人用于靶向藥物傳遞和多活檢操作”的研究項目。該項目旨在利用人工智能的最新進(jìn)展，在無線膠囊內(nèi)窺鏡（WCE）機(jī)器人的機(jī)電一體化設(shè)計、遠(yuǎn)程磁控以及定位和映射算法方面進(jìn)行重大的科技創(chuàng)新。

在該項目中，研究人員基于1個膠囊內(nèi)鏡圖像的基礎(chǔ)SLAM數(shù)據(jù)集，1只Panda機(jī)械臂，1臺EinScan Pro 2X（先臨三維品牌的3D掃描儀），2個具有不同相機(jī)特性的商用膠囊機(jī)器人，對體外豬胃腸道的數(shù)據(jù)進(jìn)行了采集，并完成了算法測試和膠囊機(jī)器人的深度學(xué)習(xí)與訓(xùn)練。

研究人員把器官固定在六個支架上，創(chuàng)造出L形、Z形和O形三種胃腸道形態(tài)，以模擬通過升結(jié)腸到橫結(jié)腸的GI-牽引路徑。EinScan Pro 2X的功能就是3D掃描獲取這六個器官形態(tài)的點云數(shù)據(jù)。所收集的數(shù)據(jù)結(jié)果，需要滿足兩點：使SLAM數(shù)據(jù)集適合于遷移學(xué)習(xí)；此外，還可以對同一器官類型的具有不同紋理細(xì)節(jié)的組織進(jìn)行算法性能測試。

由于被掃描的物體本身明暗多變，柔軟易變形，一開始并不順利。先臨三維的技術(shù)人員在了解項目情況后，為研究人員及時提供了3D掃描儀的操作指導(dǎo)，包括如何通過亮度調(diào)整應(yīng)對明暗變化，如何使用標(biāo)志點輔助數(shù)據(jù)高精度拼接，選擇哪一種無毒無害的醫(yī)用顯影劑可以幫助進(jìn)一步改善數(shù)據(jù)細(xì)節(jié)，以及面對不同的情況如何選擇合適的掃描模式。

最終，我們很高興地看到，研究人員如愿以償獲取到了六組高精細(xì)的3D數(shù)據(jù)，如實記錄了器官所有結(jié)構(gòu)、角落和深度。

然后，原始點云數(shù)據(jù)被進(jìn)一步編輯，得到了色譜圖。

這些數(shù)據(jù)都被用于膠囊機(jī)器人的深度學(xué)習(xí)和算法訓(xùn)練。Bogazici大學(xué)的研究人員使用膠囊內(nèi)鏡圖像的基礎(chǔ)SLAM數(shù)據(jù)集作為輸入，然后利用此次3D掃描獲取的三維模型在SLAM數(shù)據(jù)集中確定定位。

研究組的Mehmet Turan博士說：“在以前的一個研究項目中，我使用過另一個品牌的3D掃描儀。那款3D掃描儀也很好，但是與EinScan Pro 2X相比，在分辨率和點精度上存在技術(shù)差異。點精度是我們此次項目實現(xiàn)深度學(xué)習(xí)過程的最重要因素之一，這就是為什么團(tuán)隊最終決定依靠EinScan Pro 2X的能力來完成這個項目的原因?！?/p>