短程雷達(dá)傳感器成功集成到Pixel 4和Pixel 4 XL設(shè)備中

經(jīng)過優(yōu)化后的Pixel 4和Pixel 4 XL易于使用，而實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵功能是Motion Sense，它使用戶能夠無需觸摸設(shè)備即可通過多種方式與Pixel互動。例如，借助Motion Sense，您可以使用特定的手勢來更改音樂曲目或立即使來電靜音。另外，Motion Sense還可以檢測您何時靠近手機(jī)以及何時伸手可及，從而可以通過預(yù)測動作來使Pixel提供更多的幫助，例如通過注視相機(jī)以提供無縫人臉解鎖體驗(yàn)時，有意降低鈴聲時的音量以將其消除，或者在不再靠近設(shè)備時關(guān)閉顯示器以節(jié)省電量。

Motion Sense背后的技術(shù)是Soli，這是消費(fèi)類智能手機(jī)中的第一個集成的短程雷達(dá)傳感器，它可以促進(jìn)與手機(jī)的近距離交互而不接觸。下面，我們討論Soli的核心雷達(dá)傳感原理和基于雷達(dá)數(shù)據(jù)中識別人類活動的信號處理和機(jī)器學(xué)習(xí)（ML）算法的設(shè)計(jì)，以及我們?nèi)绾谓鉀Q一些集成挑戰(zhàn)，以準(zhǔn)備將Soli用于消費(fèi)類設(shè)備。

設(shè)計(jì)用于運(yùn)動感應(yīng)的Soli雷達(dá)系統(tǒng)

雷達(dá)的基本功能是基于遠(yuǎn)程對象與無線電波的相互作用來檢測和測量其特性。一個經(jīng)典的雷達(dá)系統(tǒng)包括一個發(fā)射器，它發(fā)射無線電波，然后被其路徑內(nèi)的物體散射或重定向，其中一部分能量被雷達(dá)接收器反射回并攔截?；诮邮盏降牟ㄐ危走_(dá)系統(tǒng)可以檢測物體的存在，并估計(jì)這些物體的某些屬性，例如距離和大小。

雷達(dá)作為探測和測距技術(shù)一直在積極發(fā)展，并已有近一個世紀(jì)的歷史了。傳統(tǒng)的雷達(dá)方法設(shè)計(jì)用于檢測大型，剛性，遠(yuǎn)距離的物體，例如飛機(jī)和汽車。因此，它們?nèi)狈υ谙M(fèi)者手持設(shè)備的要求內(nèi)感測復(fù)雜運(yùn)動的靈敏度和分辨率。因此，為了啟用運(yùn)動感應(yīng)，Soli團(tuán)隊(duì)從頭開始開發(fā)了一種新的小型雷達(dá)系統(tǒng)，集成了新穎的感應(yīng)范例和算法，使得其可以專門用于對人機(jī)交互的細(xì)粒度感知。

經(jīng)典雷達(dá)設(shè)計(jì)依賴于相對于目標(biāo)尺寸的精細(xì)空間分辨率，以便分辨不同的物體并區(qū)分其空間結(jié)構(gòu)。這樣的空間分辨率通常需要較寬的傳輸帶寬，較窄的天線波束寬度，以及大型天線陣列。

另一方面，Soli采用基于運(yùn)動而非空間結(jié)構(gòu)的，截然不同的傳感范例。由于采用了這種新穎的范例，我們能夠在Pixel 4中Soli的5 mm x 6.5 mm x 0.873 mm芯片封裝中安裝其整個天線陣列，從而能將雷達(dá)集成到手機(jī)的頂部。值得注意的是，例如，與光學(xué)成像傳感器相比，我們開發(fā)了不需要形成目標(biāo)空間結(jié)構(gòu)的清晰圖像的算法。因此，不會生成人的身體或面部的可區(qū)分圖像，也不會將其用于“運(yùn)動感應(yīng)”狀態(tài)或手勢檢測。

Soli依靠處理接收信號中的時間變化來檢測和解決細(xì)微運(yùn)動。Soli雷達(dá)發(fā)送60 GHz 頻率調(diào)制信號，并接收附近物體或人的反射疊加。目標(biāo)位置從一次傳輸?shù)搅硪淮蝹鬏數(shù)膩喓撩准壩灰茣鸾邮招盘栔忻黠@的定時偏移。在多次傳輸?shù)拇翱谏?，這些偏移表現(xiàn)為與物體速度成比例的多普勒頻率。通過解析不同的多普勒頻率，Soli信號處理管道可以區(qū)分以不同運(yùn)動模式運(yùn)動的物體。

下面的動畫演示了不同的動作如何在處理后的Soli信號中展現(xiàn)出獨(dú)特的運(yùn)動特征。每個圖像的垂直軸表示從傳感器到頂部的距離或徑向距離，從上到下增加。水平軸表示朝向或遠(yuǎn)離傳感器的速度，中心為零，左側(cè)對應(yīng)于接近目標(biāo)的速度為負(fù)，右側(cè)對應(yīng)于后退目標(biāo)的速度為正。雷達(dá)接收到的能量被映射到這些范圍速度維度中，并由每個像素的強(qiáng)度表示。因此，與弱反射目標(biāo)相比，強(qiáng)反射目標(biāo)相對于周圍的本底噪聲往往更亮。在這些距離-速度映射中，能量的分布和軌跡顯示出一個人行走時有明顯的差異，

在左圖中，當(dāng)人接近設(shè)備時，我們看到來自多個身體部位的反射出現(xiàn)在速度軸的負(fù)側(cè)，然后當(dāng)人停止靠近設(shè)備時，以零速度會聚在圖像的頂部。在描繪伸手可及的距離的中間圖像中，手從距傳感器20厘米的靜止位置開始，然后以負(fù)速向設(shè)備加速，最后在到達(dá)設(shè)備時減速至停止。與手相對應(yīng)的反射從圖像的中間移動到頂部，這與手在手勢過程中從傳感器到傳感器的遞減范圍相對應(yīng)。最后，第三張圖片顯示了一只手在設(shè)備上滑動，以負(fù)速度向速度軸左半邊的傳感器移動。

每個可分辨反射的3D位置也可以通過處理在Soli的三個接收器中的每個接收器處接收到的信號來估算。除了目標(biāo)識別的范圍和速度之外，還可使用此位置信息。

我們?yōu)镾oli設(shè)計(jì)的信號處理流水線（processing pipeline ）包括定制濾波器和相干積分步驟的組合，這些步驟可提高信噪比，衰減和不必要的干擾，并使人的反射與噪聲和雜波區(qū)分開。這些信號處理功能使Soli可以在消費(fèi)者智能手機(jī)的限制范圍內(nèi)以低功率運(yùn)行。

設(shè)計(jì)雷達(dá)的機(jī)器學(xué)習(xí)算法

在使用Soli的信號處理流水線來過濾和增強(qiáng)原始雷達(dá)信號之后，將得到的信號轉(zhuǎn)換輸入到Soli的ML模型中進(jìn)行手勢分類。這些模型已經(jīng)過訓(xùn)練，可以以低延遲準(zhǔn)確地檢測和識別運(yùn)動感應(yīng)手勢。

對任何運(yùn)動傳感技術(shù)都常見的空中手勢進(jìn)行分類，主要存在兩個主要的研究挑戰(zhàn)。首先是每個用戶都是唯一的，并且以多種方式執(zhí)行甚至簡單的動作，例如滑動。第二，傳感器范圍內(nèi)可能有許多無關(guān)的動作，看起來與目標(biāo)手勢類似。此外，當(dāng)手機(jī)移動時，從手機(jī)中的運(yùn)動傳感器的角度來看，整個世界似乎都在移動。

為了解決這些挑戰(zhàn)，需要設(shè)計(jì)定制的ML算法，該算法針對雷達(dá)信號的空中手勢的低延遲檢測進(jìn)行了優(yōu)化。Soli的ML模型由神經(jīng)網(wǎng)絡(luò)組成，這些神經(jīng)網(wǎng)絡(luò)使用了數(shù)千名Google志愿者記錄的數(shù)百萬個手勢進(jìn)行訓(xùn)練。這些雷達(dá)記錄與來自其他Google志愿者的數(shù)百小時背景雷達(dá)記錄混合在一起，其中包含在設(shè)備附近進(jìn)行的一般動作。Soli的ML模型使用TensorFlow進(jìn)行了訓(xùn)練，并進(jìn)行了優(yōu)化，可以直接在Pixel的低功耗數(shù)字信號處理器（DSP）上運(yùn)行。這使我們即使在主應(yīng)用程序處理器掉電的情況下也能以低功耗運(yùn)行模型。

從概念到產(chǎn)品的Soli

Soli可以集成到Pixel智能手機(jī)中，主要是因?yàn)樗亩说蕉死走_(dá)系統(tǒng)（包括硬件，軟件和算法）經(jīng)過了精心設(shè)計(jì)，所以可以在消費(fèi)類設(shè)備的尺寸和功率限制內(nèi)實(shí)現(xiàn)非接觸式交互。Soli的微型硬件允許整個雷達(dá)系統(tǒng)安裝在Pixel上邊框的有限空間內(nèi)，這是團(tuán)隊(duì)的一項(xiàng)重大成就。

實(shí)際上，2014年的第一個Soli原型就是臺式機(jī)的大小。為了將整個雷達(dá)系統(tǒng)縮小到單個5.0 mm x 6.5 mm RFIC，我們將硬件創(chuàng)新與我們先前介紹的新型時間感測范例相結(jié)合，包括封裝上的天線。Soli團(tuán)隊(duì)還介紹了幾種創(chuàng)新的硬件電源管理方案，并優(yōu)化了Soli的計(jì)算周期，使Motion Sense能夠適應(yīng)智能手機(jī)的功耗預(yù)算。

硬件創(chuàng)新包括將雷達(dá)系統(tǒng)從臺式機(jī)原型迭代縮小到單個5.0 mm x 6.5 mm RFIC，包括封裝天線。

為了將Soli集成到Pixel中，雷達(dá)系統(tǒng)團(tuán)隊(duì)與產(chǎn)品設(shè)計(jì)工程師緊密合作，以保持Soli信號質(zhì)量。手機(jī)中的芯片放置以及芯片上方材料的Z形堆棧經(jīng)過優(yōu)化，可最大程度地提高通過玻璃的信號傳輸，并最大程度地減少來自周圍組件的反射和遮擋。該團(tuán)隊(duì)還發(fā)明了定制信號處理技術(shù)，以使其與周圍的電話組件共存。例如，開發(fā)了一種新穎的濾波器來減少音頻振動對雷達(dá)信號的影響，從而可以在播放音樂時檢測手勢。此類算法創(chuàng)新可在多種常見用戶場景中啟用Motion Sense功能。

未來方向

Soli成功集成到Pixel 4和Pixel 4 XL設(shè)備中，首次證明了在日常移動消費(fèi)設(shè)備中基于雷達(dá)的機(jī)器感知的可行性。像素設(shè)備中的運(yùn)動感顯示了Soli的潛力，它可以為顯式和隱式交互帶來無縫的上下文感知和手勢識別。我們很高興繼續(xù)研究和開發(fā)Soli，以實(shí)現(xiàn)新的基于雷達(dá)的傳感和感知功能。