如何打造基于計(jì)算機(jī)視覺(jué)的智能醫(yī)院

每年死于院內(nèi)感染的人數(shù)比車(chē)禍死亡人數(shù)還多，這意味著你被送進(jìn)醫(yī)院的時(shí)候，有三十分之一的概率健康狀況會(huì)變得更加糟糕，這很值得警惕。

好在醫(yī)院可以通過(guò)改善衛(wèi)生條件來(lái)扭轉(zhuǎn)這一局面。無(wú)論在醫(yī)院、機(jī)場(chǎng)還是餐館之類(lèi)的公共場(chǎng)合，手部衛(wèi)生都是預(yù)防傳染病傳播的第一道防線，這是一個(gè)簡(jiǎn)單的常識(shí)。問(wèn)題的關(guān)鍵不在于人們無(wú)知，而在于缺乏警惕心，他們需要自動(dòng)檢測(cè)技術(shù)來(lái)檢查手部清潔情況。實(shí)際上，很多技術(shù)都可以解決這個(gè)問(wèn)題，最簡(jiǎn)單也最常用的就是用計(jì)算機(jī)視覺(jué)技術(shù)來(lái)檢測(cè)人們有沒(méi)有洗手。

斯坦福PAC（The Stanford Partnership in AI-Assisted Care）中心和眾多來(lái)自世界各地的合作伙伴多年來(lái)一直在開(kāi)發(fā)這項(xiàng)技術(shù)，雖然還有很多工作要做，但是我們希望這項(xiàng)技術(shù)能幫助醫(yī)院降低感染率并改善病人的健康。

為什么選擇計(jì)算機(jī)視覺(jué)技術(shù)？

醫(yī)院們會(huì)通過(guò)醫(yī)學(xué)院課程、布告欄海報(bào)和員工周會(huì)等方式來(lái)加強(qiáng)手部衛(wèi)生教育。世界衛(wèi)生組織甚至提出“手部衛(wèi)生五大時(shí)刻”，明確規(guī)定了醫(yī)療衛(wèi)生工作者的洗手時(shí)間。為了核查手部衛(wèi)生落實(shí)情況，醫(yī)院使用RFID卡或員工徽章來(lái)跟蹤手部衛(wèi)生工作。在某種程度上，這些工具真的有用，但是也會(huì)碰到工作流程中斷的情況，比如當(dāng)員工進(jìn)入新房間時(shí)，肥皂盒會(huì)刷到RFID卡。這其實(shí)是技術(shù)問(wèn)題：一般的RFID技術(shù)覆蓋距離短，而較長(zhǎng)距離的“主動(dòng)型”RFID也受到定向天線的限制，而且需要電池。很明顯，需要一種沒(méi)有RFID技術(shù)缺陷的新解決方案。

計(jì)算機(jī)視覺(jué)和醫(yī)院

我們?cè)谒固垢４髮W(xué)與Lucile Packard兒童醫(yī)院合作，開(kāi)發(fā)了一種全新的先進(jìn)方案來(lái)追蹤手部衛(wèi)生工作：它使用前沿的計(jì)算機(jī)視覺(jué)技術(shù)，不需要臨床醫(yī)生來(lái)干預(yù)日常工作。雖然計(jì)算機(jī)視覺(jué)已被用到醫(yī)學(xué)成像領(lǐng)域，但在醫(yī)院的物理空間中還沒(méi)有太多用武之地。幸運(yùn)的是，計(jì)算機(jī)視覺(jué)已經(jīng)用到了物理空間的另一個(gè)問(wèn)題里：自動(dòng)駕駛汽車(chē)，自動(dòng)駕駛汽車(chē)使用大量傳感器來(lái)了解環(huán)境，以此類(lèi)推，我們能在醫(yī)院內(nèi)使用這些傳感器來(lái)更好地了解醫(yī)療環(huán)境嗎？

深度傳感器

深度傳感器（比如Xbox Kinect）類(lèi)似常見(jiàn)的相機(jī)，不過(guò)它不記錄顏色，而是記錄距離。在正常的彩色圖像中，每一個(gè)像素表示一個(gè)顏色；在深度圖像中，每一個(gè)像素表示真實(shí)世界中該像素到傳感器之間的“距離”，它通常是一個(gè)浮點(diǎn)數(shù)，比如1.337米。

（左）醫(yī)院的彩色照片，用手機(jī)拍攝。（右）天花板上傳感器拍攝的深度圖像。顏色越暗，物體越接近深度傳感器。

在上面的深度圖像中，你雖然看不到人們的臉，仍然可以知道他們?cè)谧鍪裁?。這保護(hù)了我們用戶(hù)的隱私，這在醫(yī)院里很重要。為了證明和發(fā)展我們的計(jì)算機(jī)視覺(jué)技術(shù)，我們?cè)趦杉裔t(yī)院的天花板上安裝了深度傳感器，一個(gè)是兒童心血管病房，另一個(gè)是成人重癥監(jiān)護(hù)室（ICU）。

我們的深度傳感器安裝在一家兒童醫(yī)院的天花板上。

通過(guò)兩個(gè)不同的醫(yī)院里安裝的深度傳感器，我們可以使用3D計(jì)算機(jī)視覺(jué)工具自動(dòng)監(jiān)測(cè)手部衛(wèi)生工作。這涉及三個(gè)步驟：

1.監(jiān)測(cè)醫(yī)護(hù)人員。

2.追蹤在病房周?chē)邉?dòng)的員工。

3.分類(lèi)員工的手部衛(wèi)生行為。

行人監(jiān)測(cè)

繼續(xù)自動(dòng)駕駛汽車(chē)的類(lèi)比：為了了解環(huán)境，首先要做的就是檢測(cè)人。現(xiàn)在有很多物體檢測(cè)方法，但是大多數(shù)都是面向彩色RGB圖像開(kāi)發(fā)的。相反，我們選擇使用一個(gè)更古老的方法，該方法可以通過(guò)解決兩個(gè)方面的問(wèn)題而在任何類(lèi)型的圖像上運(yùn)行：通常，人們?cè)诮o定的一個(gè)房間的圖像中只占據(jù)少量的空間；而且，在深度圖像中，人們通?？雌饋?lái)像“水滴”，和地板背景差別明顯。

詞典的條目。每個(gè)詞典條目都包含一個(gè)合成圖像，反應(yīng)一個(gè)人站在某個(gè)位置時(shí)的樣子。

檢測(cè)人的一種方法是確定一個(gè)地面上的占用網(wǎng)格圖，該占用網(wǎng)格圖是二進(jìn)制矩陣，用來(lái)表示一個(gè)人是否占用地面上的某個(gè)特定位置。通過(guò)將地面（比如，房間的地板）轉(zhuǎn)換為離散網(wǎng)格，我們就可以通過(guò)網(wǎng)格內(nèi)的每一個(gè)與人大致等高的水滴“想象”出處于該位置的人。我們可以在地面上的每個(gè)點(diǎn)上都創(chuàng)建一個(gè)包含水滴的詞典（記?。阂?yàn)槲覀內(nèi)斯ず铣闪诉@些水滴，我們知道它們準(zhǔn)確的2D和3D位置）。對(duì)于多人情景，我們可以在場(chǎng)景中渲染出多個(gè)水滴。在測(cè)試期間，我們需要的是一個(gè)“水滴”圖像，這可以用任何前景/背景減法或物體分割算法來(lái)完成?，F(xiàn)在，給出測(cè)試時(shí)的水滴圖像，我們就可以在這個(gè)詞典中執(zhí)行K-nearest搜索來(lái)查找每個(gè)水滴的位置。

跨病房追蹤

為了建立一個(gè)真正的智能醫(yī)院，我們需要使用遍布整個(gè)醫(yī)院病房的傳感器。因?yàn)椴皇撬械氖虑槎及l(fā)生在一個(gè)傳感器前面，所以我們也需要算法來(lái)追蹤不同傳感器前面的人。這不僅可以提供手部衛(wèi)生落實(shí)情況的細(xì)節(jié)，它也可以被用來(lái)改善工作流程和空間分析。一般的，我們希望找到一系列軌跡集合X，其中x∈X中的每條軌跡x都代表一個(gè)檢測(cè)序列集合，L_x=(l_x^{(1)},...,l_x^{(n)})，代表檢測(cè)到的行人坐標(biāo)。該問(wèn)題可以歸為最大后驗(yàn)（MAP）估計(jì)問(wèn)題。

接下來(lái)，我們假設(shè)一個(gè)馬爾可夫鏈模型，它將軌跡X中的每個(gè)中間檢測(cè)l_x^{(i)}與后續(xù)檢測(cè)l_x^{(i+1)}以給出的概率P(l_x^{(i+1)}|l_x^{i})連接。現(xiàn)在我們可以通過(guò)尋找能最小化成本C的流量f來(lái)將MAP任務(wù)作為一個(gè)線性整數(shù)規(guī)劃來(lái)解決：

其中，f_i是表明相應(yīng)檢測(cè)是否為真的流量變量，f_ij表示相應(yīng)檢測(cè)是否鏈接到了一起。變量β_ij表示logP(l_i|l_j)為檢測(cè)l_i,l_j∈L而給出的轉(zhuǎn)移成本。局部成本α_i是一個(gè)中間檢測(cè)為真的對(duì)數(shù)概率。為了簡(jiǎn)單起見(jiàn)，我們假設(shè)所有的檢測(cè)都具有相同的概率。這相當(dāng)于流程優(yōu)化問(wèn)題，可以用k-shortest路徑實(shí)時(shí)求解。

手部衛(wèi)行為分類(lèi)

到現(xiàn)在為止，我們已經(jīng)確定了病房里所有行人的軌跡（比如，在全球醫(yī)院病房地面上的位置）。最后一步是檢測(cè)手部衛(wèi)生行為并將其鏈接到一個(gè)特定的軌道上。當(dāng)一個(gè)人使用洗手液時(shí)，手衛(wèi)生行為被定義為正，然后我們?cè)賹⒚總€(gè)行人的軌跡標(biāo)記為干凈或不干凈。

在實(shí)際環(huán)境中，部署傳感器往往容易受到安裝約束。無(wú)論是有意還是無(wú)意，施工和維護(hù)的技術(shù)人員安裝的傳感器角度和位置都各不相同，這意味著我們的模型必須對(duì)這些變化具有魯棒性，以便它可以與任何傳感器視角一起工作。由于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）一般都不是視角不變的，所以我們使用空間變換網(wǎng)絡(luò)（STN）代替。

（左）一個(gè)人體分割的數(shù)據(jù)增強(qiáng)階段.（右）手部衛(wèi)生行為分類(lèi)：一個(gè)空間變換再加上一個(gè)密集的卷積神經(jīng)網(wǎng)絡(luò)。

STN的輸入是一個(gè)隨機(jī)圖像，輸出是一個(gè)扭曲的圖像。為了幫助我們的模型更快地學(xué)習(xí)，我們還提供了一個(gè)人體分割（即身體掩模）到STN。這個(gè)身體掩?？梢允褂媒?jīng)典的前景-背景技術(shù)或深度學(xué)習(xí)方法來(lái)提取。STN將圖像扭曲成學(xué)習(xí)的“視角不變”形式。從這個(gè)扭曲的圖像看，我們使用一個(gè)標(biāo)準(zhǔn)的CNN（比如，DenseNet）來(lái)執(zhí)行是否有人使用洗手液的二進(jìn)制分類(lèi)。

在這一點(diǎn)上，我們?nèi)匀恍枰獙⑽覀兊能壽E集合和單獨(dú)的手部衛(wèi)生檢測(cè)集合結(jié)合起來(lái)，這就引入了兩個(gè)新變量：空間和時(shí)間。對(duì)于每一個(gè)手部衛(wèi)生分類(lèi)器檢測(cè)（比如，分配器正在被使用），我們就必須匹配它到一個(gè)單一的軌道上。當(dāng)軌道 mathcal{T}T滿(mǎn)足兩個(gè)條件時(shí)，分類(lèi)器和追蹤器之間就會(huì)發(fā)生匹配：

1.在一定的容忍水平里，軌跡T包含了(x,y)，點(diǎn)P和手部衛(wèi)生檢測(cè)事件E同時(shí)發(fā)生。

2.至少有一個(gè)點(diǎn)p∈P物理上接近負(fù)責(zé)檢測(cè)事件E的傳感器，這個(gè)閾值定義在病房門(mén)口附近。

如果存在多條軌跡滿(mǎn)足這些要求，則通過(guò)選擇與門(mén)最近的(x,y)位置來(lái)中斷聯(lián)系。我們模型的最終輸出是一個(gè)軌跡的列表T，其中每一條軌跡由(t,x,y,a)元數(shù)組的一個(gè)有序列表組成，其中t表示時(shí)間標(biāo)記，x，y表示2D地面平面坐標(biāo)，a表示最新的動(dòng)作或事件標(biāo)簽。通過(guò)T，我們可以計(jì)算達(dá)標(biāo)率或用金標(biāo)準(zhǔn)的評(píng)價(jià)指標(biāo)來(lái)進(jìn)行比較。

該技術(shù)與人類(lèi)審計(jì)師和RFID的比較

現(xiàn)在，許多醫(yī)院通過(guò)“神秘訪客”來(lái)衡量手部衛(wèi)生的落實(shí)情況，訓(xùn)練有素的個(gè)人在醫(yī)院病房四處走動(dòng)，觀察工作人員私下是否在洗手。這種“神秘訪客”可以是護(hù)士，醫(yī)生，甚至是一個(gè)參觀者。我們稱(chēng)之為秘密觀察，不同于為審計(jì)而進(jìn)行的公開(kāi)觀察。隱性觀察的目的是最小化Hawthorne效應(yīng)（比如，因?yàn)橛腥嗽诳茨?，你改變了你的行為）。就像上文所討論的一樣，我們將?jì)算機(jī)視覺(jué)，駐留在病房固定位置的多個(gè)審計(jì)員，在病房周?chē)邉?dòng)的單個(gè)審計(jì)員和RFID標(biāo)簽的使用進(jìn)行了比較。

對(duì)比結(jié)果

對(duì)比結(jié)果顯示，RFID產(chǎn)生了大量的誤報(bào)，它只在18%的時(shí)間里正確預(yù)測(cè)了干凈或骯臟軌跡。

人類(lèi)審計(jì)師的效果要好得多，準(zhǔn)確率為63%，三個(gè)人的效果則更好，準(zhǔn)確率可以達(dá)到72%。然而，我們的算法甚至超過(guò)了人類(lèi)審計(jì)員，具有75%的準(zhǔn)確度。這并不讓人吃驚，因?yàn)閷徲?jì)師正在與具有“全球視野”的計(jì)算機(jī)視覺(jué)系統(tǒng)競(jìng)爭(zhēng)。既然真實(shí)標(biāo)簽是人類(lèi)標(biāo)注的，為何人類(lèi)觀察員比算法表現(xiàn)更差呢？原因是我們的真實(shí)標(biāo)簽只是被遠(yuǎn)程標(biāo)記，而不是實(shí)時(shí)標(biāo)記。遠(yuǎn)程標(biāo)注者可以訪問(wèn)所有的傳感器，并且可以及時(shí)向前向后地播放視頻以確保它們的注釋是正確的?，F(xiàn)場(chǎng)的審計(jì)員則無(wú)法“訪問(wèn)”所有傳感器，他們不能及時(shí)地回放事件。

不同時(shí)段的手部衛(wèi)生檢測(cè)圖像。藍(lán)色方塊表示有人在使用手部衛(wèi)生分配器。深藍(lán)色表示有更多同時(shí)發(fā)生的事件。底部顯示了真實(shí)標(biāo)簽。一般來(lái)說(shuō)，空白越多，結(jié)果越差。

除了數(shù)字之外，一個(gè)更有趣的結(jié)果是視覺(jué)效果。上面的圖片顯示了現(xiàn)場(chǎng)審計(jì)員很少檢測(cè)手部衛(wèi)生行為。注意到所有的空白部分了嗎？如果你查看真實(shí)標(biāo)簽?zāi)且恍?，通常是沒(méi)有空白的。這意味著觀察員錯(cuò)過(guò)了大量的手部衛(wèi)生事件。這通常是因?yàn)橛^察員分心了：他們可能在打瞌睡，在病房的其他地方看無(wú)關(guān)的活動(dòng)，或者只是沒(méi)有看到手部衛(wèi)生事件的發(fā)生。

ICU內(nèi)人員走動(dòng)的時(shí)空熱圖，黃色/紅色意味著更多的人在那里站/走。

最后，我們用一個(gè)動(dòng)畫(huà)來(lái)做結(jié)論。上面的動(dòng)畫(huà)展示了醫(yī)院病房的俯視視角。因?yàn)槲覀兛梢宰粉櫾谡麄€(gè)醫(yī)院的人，所以我們一直了解他們的特定的（x,y,z）位置。我們繪制了每個(gè)點(diǎn)并創(chuàng)造了隨時(shí)間變化的熱圖。這種類(lèi)型的空間分析對(duì)識(shí)別交通模式和跟蹤潛在的疾病傳播都很有效。這些總是黃色/紅色的區(qū)域表示擁擠的空間。這些空間通常在走廊的交叉口或者就在病人的病房外。如果你仔細(xì)看，你會(huì)發(fā)現(xiàn)靜止的審計(jì)師被標(biāo)紅了。

未來(lái)方向

我們展示了如何使用計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)來(lái)自動(dòng)監(jiān)控醫(yī)院的手部衛(wèi)生工作。在斯坦福PAC，手部衛(wèi)生僅僅是一個(gè)計(jì)算機(jī)視覺(jué)在醫(yī)療行業(yè)中的應(yīng)用案例。我們還在開(kāi)發(fā)計(jì)算機(jī)視覺(jué)系統(tǒng)來(lái)監(jiān)測(cè)患者的移動(dòng)情況，分析外科手術(shù)的質(zhì)量，以及檢查老年人的異常情況等內(nèi)容。

我們希望這項(xiàng)工作能夠激發(fā)醫(yī)療人工智能的潛力并擴(kuò)大它的影響。