谷歌3D全息電話亭，顛覆現(xiàn)有視頻通話！宛如真人面對面

電子發(fā)燒友網(wǎng)報道（文/李彎彎）據(jù)報道，在近日召開的Google Cloud Next 2022上，谷歌CEO桑達爾·皮查伊介紹了在全息視頻聊天項目（Project Starline）上取得的一些進展。

Project Starline是谷歌內部高度保密的實驗項目之一，根據(jù)谷歌的研究院透露，項目小組在6年前就已經(jīng)開始相關的技術研究。直到去年5月，桑達爾·皮查伊首次在Google I/O大會上向公眾發(fā)布，在此之后又沉寂了幾乎一整年。

最新進展和體驗效果

在近日的Google Cloud Next 2022上，桑達爾·皮查伊表示，Starline 項目已經(jīng)在谷歌內部進行了數(shù)千小時的測試，并在其美國辦公室每天使用，而100多個橫跨媒體、醫(yī)療和零售的企業(yè)合作伙伴已經(jīng)收到了演示。

谷歌還宣布Project Starline正在進入下一個測試階段，計劃是在選定的合作伙伴辦公室部署設備進行定期測試，谷歌提到的合作伙伴包括Salesforce、WeWork、T-Mobile和Hackensack Meridian Health，這些設備預計將在今年年底前完成安裝，開啟初試。

谷歌為什么花費大量時間開展Project Starline呢？根據(jù)項目組給出的答案，就是讓人在通話的時候，感覺你是和一個真正的人在一起。在如今的社會中，人們通常會相隔千里，尤其是近兩年疫情頻繁發(fā)生，人們不得不通過Zoom等遠程會議軟件，進行聯(lián)系、溝通工作。

然而當下視頻會議給人的感覺并不好，根據(jù)微軟一份關于視頻會議對工作效率的影響的報告，人們在視頻會議中會比顯示溝通更容易分析，這是人們在面對高壓力的視頻會議下的自然應對反應。而谷歌認為，能提供真人對話體驗的Project Starline，似乎能夠消除這種壓力感。

谷歌的研究員做了對比實驗，他們發(fā)現(xiàn)相比傳統(tǒng)視頻溝通，使用Project Starline溝通的參會者會有更多眼神接觸和肢體語言，在溝通結束后能夠回憶的內容也要多出28%。

Project Starline給人的真實體驗效果到底如何呢？在測試階段，Project Starline邀請了包括The Verge在內的媒體和合作伙伴進行了親身體驗。The Verge編輯Jay Peters在體驗后感嘆到，這是他迄今為止體驗過的最真實的一次虛擬現(xiàn)實交互，感覺像是科幻小說照進現(xiàn)實。



Jay Peters表示，Project Starline就像一塊具有魔法的窗戶，將兩間房間連接在一起，坐在他對面的谷歌研究員看起來和真人的高度、長相幾乎一致，當他遞過來一個蘋果時，他甚至能夠通過畫面上的陰影感受到近似真實世界的空間距離感。

這就像是一場發(fā)生在同一張桌子上的兩個人，在面對面進行交流。Project Starline在標準辦公環(huán)境下就可以運行，而且使用者無需佩戴任何設備。

硬件構成和工作原理

Project Starline看上去像是一個精致的梳妝臺，人坐下來之后，前面是一塊65寸的大屏幕。據(jù)介紹，這是一塊8K/60Hz的3D光場顯示器。谷歌的研究員稱，這塊顯示器單眼可觀測的像素密度是Oculus Quest等VR設備的兩倍，可以有更精細的立體顯示效果。

Project Starline的工作原理是，通過傳感器和攝像頭，從不同角度捕捉人像，再利用深度學習進行實時壓縮，將這些數(shù)據(jù)傳輸?shù)綄γ?，在顯示屏上重建實時3D模型。再配合高級的聲音系統(tǒng)，構建了一個 3D全息電話亭。

從分布來看，光場顯示器想要顯示出好的立體效果，需要采集物體的深度信息，谷歌的研究員，在屏幕的上方和底部都安裝了多個雙目立體相機和紅外相機，這樣能夠結合多角度的深度信息，還原出人物的空間距離感。

在屏幕的兩側和上方還安裝了多個單色跟蹤攝像頭，用于對人物兩部五官的實時3D定位，這樣當人物移動的時候，也能夠精準地還原人物模型。


這是在視覺方面，為了營造面對面溝通交流的逼真感，谷歌在聽覺方面也下了很多功夫。

在輸入端，麥克風可以配合臉部追蹤的數(shù)據(jù)形成具有指向性的動態(tài)波束，以實現(xiàn)降噪和抗干擾。在輸出端，追蹤系統(tǒng)能定位觀眾的耳朵，模擬出對話的空間方位感，讓聲音聽起來就像是屏幕中人像的嘴巴說出來的一樣。

是否會成為下一代通信手段

隨著信息技術的發(fā)展，人類的通訊手段也在不斷升級。1844年5月24日，美國薩繆爾·莫爾斯在華盛頓國會大廈，向40英里以外的巴爾的摩，發(fā)出了人類歷史上第一份長途電報。電文內容是《圣經(jīng)·舊約申命記》中的一句話："What hath God wrought!"。

這份電報為人類開啟了信息時代的大門。此后，電報技術迅速在歐美大陸普及，并逐漸傳遞到世界各個角落。然而電報作為早期的通訊手段，使用起來并不方便。

1875年，美國發(fā)明家亞歷山大·貝爾和他的助手發(fā)明了第一臺電話誕生。不同于電報，它是一種通過直接傳送人類聲音的通訊方式。1876年2月14日，貝爾在美國專利局申請電話專利。1878年，貝爾成立了電話公司，并實現(xiàn)了波士頓和紐約之間相距300公里的長途電話試驗。從此，電話很快在北美各大城市盛行起來，并且迅速風靡全球。

1973年，馬丁·庫帕發(fā)明的第一部手機誕生。不過一直到1985年，才誕生出一臺現(xiàn)代意義上的、真正可以移動的電話。1987年，手機進入中國。

從早期的電報文，電話，到手機，人類通訊傳遞的信息內容，從文字，到聲音，到視頻影像，信息傳遞的及時性和內容都在不斷提高。那么未來人類通信手段如何才能更先進呢？除了信息傳遞的及時性外，內容可不可以更豐富。

比如Project Starline所實現(xiàn)的3D影像，如同真人面對面溝通。Project Starline可能就是人類下一代通信應該有的樣子。

不過從目前的情況來看，Project Starline距離實際應用，還有諸多問題。

Wired的編輯Lauren Goode在參與測試體驗過后表示，當人物移動幅度過大時，原本立體的圖像就會短暫變回平面，體驗并不完美。谷歌的研究員也提到，在處理形狀復雜，比如蓬松的毛發(fā)、光學眼鏡等，或者運動物體的時候，時常有錯誤的偽影出現(xiàn)。

另外，谷歌開展Project Starline的研究，目標用戶是B端企業(yè)，可以用于人數(shù)眾多的集體會議。然而因為3D全息視頻通話的時候，計算機時刻需要進行大量計算，谷歌的這臺設備目前僅支持一對一聊天，這在未來的應用場景上就會受限。

更為重要的是，裝配一套Project Starline，成本相當高，光場顯示器和各種光學攝像頭都非常昂貴，這使得Project Starline短期內只能停留在實驗室，而進入消費者市場的可能性很小。Project Starline的產(chǎn)品管理總監(jiān)Andrew Nartker稱，目前它還很難稱得上是一件產(chǎn)品。

整體而言，Project Starline是一個全新技術的探索，谷歌也會繼續(xù)對其進行優(yōu)化改進。未來，它能否成為一個真正的產(chǎn)品還未可知。不過無論怎樣，任何一項新技術的探索都值得被關注。