歡創(chuàng)科技發(fā)布基于視覺與慣性傳感定位技術(shù)的Camsense XR產(chǎn)品

10月16日，深圳市歡創(chuàng)科技有限公司（以下簡稱：歡創(chuàng)科技）發(fā)布了基于視覺與慣性傳感定位技術(shù)的VR手柄套件Camsense XR，能實(shí)現(xiàn)VR/AR單目視覺6DoF追蹤。據(jù)了解該公司在視覺領(lǐng)域深耕多年，套件定位效果絲毫不亞于Oculus等主流產(chǎn)品。

“國內(nèi)的Inside-out技術(shù)迭代，或許在一到兩年內(nèi)都很難趕超Quest。”就在之前Quest2的發(fā)布會結(jié)束不久，陀螺君在和某從業(yè)者閑聊時(shí)得到了這樣的答案。

從頭控到如今的6DoF，VR硬件的迭代發(fā)展正推動著內(nèi)容生態(tài)的急劇進(jìn)化。基于視覺的Inside-out追蹤系統(tǒng)，為PC VR熱門游戲《Beat Saber》、《SuperHot VR》提供了移植的可能性，更是促使涌現(xiàn)出一大批具有極高辨識度和玩法創(chuàng)新的移動游戲佳作。

不得不說，在VR行業(yè)發(fā)展初期，底層技術(shù)的發(fā)展離不開Facebook、微軟、索尼等這些一眾大廠的重金推動。而作為現(xiàn)今移動VR游戲的標(biāo)配，Inside-out追蹤系統(tǒng)也成為了大廠們底層技術(shù)生態(tài)中的最強(qiáng)盾牌。 在國內(nèi)，基于視覺的Inside-out追蹤系統(tǒng)依舊處在萌芽期，各家廠商都在積極探索和落地與視覺搭配使用的，基于電磁和超聲波的其他追蹤方案，而算法層面的薄弱問題幾乎成為了阻礙國內(nèi)Inside-out追蹤系統(tǒng)發(fā)展的最大攔路虎。

那么，國內(nèi)有沒有一家企業(yè)對于Inside-out視覺追蹤算法有著更為深入的探索？ 此次VR陀螺到場體驗(yàn)了該產(chǎn)品，并采訪到歡創(chuàng)科技CEO周琨，了解到該產(chǎn)品背后的淵源與背景。

定位效果媲美Quest？Camsense XR實(shí)現(xiàn)單目視覺6DoF追蹤

雖然國內(nèi)從事VR頭顯研發(fā)的企業(yè)層出不窮，但專注于6DoF手柄方案的企業(yè)卻鳳毛麟角。在手柄方案中，又可分為可見光、紅外、激光、電磁等不同方案的產(chǎn)品。每一種方案都有其不同的優(yōu)缺點(diǎn)，如可見光對光線環(huán)境有要求，且攝像頭范圍外無法捕捉;激光方案需要避免反光鏡面;電磁易被金屬干擾等。

區(qū)別于以上所有定位方案，Camsense XR采用了視覺追蹤+慣性傳感方案，并且是極其少有的支持單目6DoF的追蹤方案。其主要應(yīng)用于VR頭顯的手柄定位追蹤，結(jié)合頭部與手柄兩端實(shí)現(xiàn)精準(zhǔn)定位，可適配不同的頭顯設(shè)備。

整套方案由搭載兩個(gè)攝像頭的視覺定位模組以及兩個(gè)6DoF手柄構(gòu)成，由于該方案核心在于軟件算法所呈現(xiàn)出來的定位效果，所以手柄的工業(yè)設(shè)計(jì)可根據(jù)頭顯廠商進(jìn)行定制，而攝像頭定位模組也可在頭顯設(shè)計(jì)時(shí)完全融入到產(chǎn)品中。

從參數(shù)來看，Camsense XR可實(shí)現(xiàn)距離1米、水平170°&垂直98°的6DoF追蹤，定位精度動態(tài)條件下小于3mm，靜態(tài)條件下約1mm，運(yùn)算延遲低于10ms。

從市場上主流的VR頭顯來看，Inside-out已經(jīng)成為主流的追蹤方案，并且大多采用視覺定位追蹤。如果是純視覺定位的話，其缺點(diǎn)在于對于環(huán)境要求較高，并且當(dāng)手柄移動到捕捉范圍外時(shí)非常容易丟失，所以需要靠算法進(jìn)行補(bǔ)償。

而Camsense XR的優(yōu)勢在于，視覺追蹤+慣性傳感兩者混合，當(dāng)手柄位于攝像頭追蹤范圍外時(shí)，可通過慣性傳感進(jìn)行補(bǔ)償，同時(shí)結(jié)合算法，實(shí)現(xiàn)穩(wěn)定流暢的手柄追蹤效果。視覺追蹤技術(shù)與慣性傳感器一樣都已經(jīng)在其他領(lǐng)域廣泛應(yīng)用，具備較高的成熟度和穩(wěn)定性。

VR陀螺在現(xiàn)場測試了該產(chǎn)品的性能和效果，并對效果進(jìn)行了實(shí)時(shí)錄制拍攝。 在攝像頭追蹤范圍內(nèi)快速移動手柄，幾乎感覺不到任何延時(shí); VR體驗(yàn)的核心在于沉浸感以及更本能的交互方式，所以在一些體驗(yàn)中會有大幅度的手部動作交互，如拉弓射箭、扔手榴彈、跳舞、繪畫等，在這些場景中往往手的動作會跳出攝像頭的捕捉范圍。如果手柄漂移、丟失或者延時(shí)高、反饋慢的話，體驗(yàn)將大打折扣，游戲的話甚至直接影響比分結(jié)果。在Camsense XR實(shí)測過程中，當(dāng)手臂大幅度揮動時(shí)，在回到視角范圍內(nèi)的瞬間，手柄也隨之出現(xiàn)，重定位算法可以在1ms之內(nèi)完成手柄姿態(tài)的初始化定位，非常及時(shí)。

除了測試了以上兩個(gè)部分之外，VR陀螺還現(xiàn)場測試了該套件的另一個(gè)功能——單目6DoF追蹤。一般來說正如人眼一樣，空間定位也需要兩個(gè)攝像頭來檢測深度，在一個(gè)攝像頭的條件下能否進(jìn)行精準(zhǔn)的定位追蹤？答案是可以的。 如視頻中所示，在一個(gè)攝像頭被遮擋的情況下，追蹤的精度以及延時(shí)、響應(yīng)速度絲毫未受影響。

深耕多年，Camsense死磕性能與成本

之所以能夠?qū)崿F(xiàn)如此精準(zhǔn)的定位追蹤，不僅與歡創(chuàng)這家公司自身的積累有關(guān)，同時(shí)也在于產(chǎn)品定義和設(shè)計(jì)細(xì)節(jié)。 歡創(chuàng)科技成立于2014年，專注于高精度定位傳感器研發(fā)，創(chuàng)始人之一周琨是清華大學(xué)本科和碩士，在計(jì)算機(jī)視覺空間定位與人機(jī)交互領(lǐng)域擁有十多年研究經(jīng)驗(yàn)，擁有20多項(xiàng)國際和國家發(fā)明專利。

雖然歡創(chuàng)科技成立時(shí)間并不長，但該公司至今已申請32項(xiàng)發(fā)明專利、4項(xiàng)已經(jīng)得到授權(quán)，其中1項(xiàng)發(fā)明專利剛獲得美國專利局授權(quán)。歡創(chuàng)科技擁有完全自主知識產(chǎn)權(quán)的核心算法以及芯片。在這樣的團(tuán)隊(duì)背景和底氣下，歡創(chuàng)科技運(yùn)用核心算法——單目視覺定位，針對同領(lǐng)域進(jìn)行算法的硬核化，形成了多條業(yè)務(wù)線，覆蓋了包括機(jī)器人、工業(yè)/醫(yī)療和VR/AR等領(lǐng)域。在機(jī)器人領(lǐng)域，其研發(fā)的基于ASIC芯片的單目視覺激光雷達(dá)被應(yīng)用在諸多掃地機(jī)器人品牌上，在9月份單月出貨量超過了10萬臺，從默默無聞縱身一躍成為行業(yè)頭部供應(yīng)商。另一款產(chǎn)品Camsense M Pro則用于工業(yè)、醫(yī)療等領(lǐng)域。如無人機(jī)測試，通過一套由多個(gè)單目相機(jī)組成的定位系統(tǒng)，檢測無人機(jī)飛行的空間坐標(biāo)軌跡以及穩(wěn)定性。

當(dāng)談及歡創(chuàng)科技為何會關(guān)注VR時(shí)，周琨表示非常看好VR/AR的發(fā)展趨勢，其實(shí)早在2015年前后公司就在關(guān)注VR行業(yè)，一直在做技術(shù)儲備。 “我們堅(jiān)持的一個(gè)基本前提是對VR行業(yè)長期看好的，并相信這個(gè)行業(yè)會得到很大的發(fā)展。這一點(diǎn)從Oculus和微軟等廠商對于VR行業(yè)近幾年的布局動作就可以看出來，如果不是朝陽行業(yè)，這些公司是不會在上面投入的?！?/p>

在堅(jiān)定了VR的方向后，歡創(chuàng)科技將目光放在了手柄定位上，周琨提到，目前全球VR硬件企業(yè)中，擁有單目6DoF定位視覺追蹤技術(shù)的企業(yè)屈指可數(shù)。也正是考慮到未來有龐大的市場空間，所以反而在這條賽道上機(jī)會更大。 在這套方案的設(shè)計(jì)中，周琨也提到了諸多細(xì)節(jié)方面，比如選擇了主動光源而非被動光源?！爸鲃庸庠吹暮锰幨遣粫芄饩€明暗的影響，也不會受周圍環(huán)境的本身紋理復(fù)雜程度的影響。即使在一個(gè)純白的環(huán)境，也可以進(jìn)行追蹤?！?/p>

外觀設(shè)計(jì)上，采用了常見的環(huán)形外觀，整體體積相比同類產(chǎn)品縮小不少。手柄上主動發(fā)光點(diǎn)分布于圓環(huán)各處，便于精準(zhǔn)追蹤。 在手柄的參數(shù)中，VR陀螺注意到傳感器的幀率為30幀，在60、70、90幀為主流的背景下，為何偏偏要降到30幀？

“我們盡量降低對硬件的要求，拔高系統(tǒng)的算法能力，而且同時(shí)不能夠犧牲用戶體驗(yàn)，其實(shí)這對于我們來說難度是很大的?！敝茜寡?。Camsense與Oculus和微軟的追蹤方案相似，都有頭部和手部定位、也都采用單目傳感器和主動光源手柄，但最大的不同仍然在于算法處理所依據(jù)的硬件條件

Oculus和微軟能夠大膽地使用高成本技術(shù)，提高硬件和配置要求，因此算法處理就會容易很多，而用戶也能夠體驗(yàn)到微軟90幀率或Oculus產(chǎn)品4個(gè)單目攝像頭的良好定位效果。Camsense面臨的挑戰(zhàn)，就是如何做好硬件成本和優(yōu)秀用戶體驗(yàn)之間的平衡;以及如何應(yīng)對客戶的多樣化需求，并最終達(dá)到追蹤效果的一致性。

Camsense XR的優(yōu)勢，主要體現(xiàn)以下兩個(gè)方面： 首先是定位算法能在低配置硬件上實(shí)現(xiàn)高配置硬件同樣的性能。Camsense XR主要依靠高精度定位算法，但最少可以只使用兩個(gè)30幀幀率的，分辨率為VGA的單目鏡頭，可以達(dá)到 其它廠家60幀幀率的動態(tài)定位精度。這是Camsense面向多種客戶需求還能達(dá)到一致追蹤效果的關(guān)鍵。由于客戶需求多樣，需要適配不同的處理終端，PC端能夠處理高符合運(yùn)算，但基于手機(jī)處理方案的VR一體機(jī)卻不能在定位上消耗過多性能，為了最大化降低門檻，如何在低配硬件基礎(chǔ)上實(shí)現(xiàn)高質(zhì)量的追蹤效果成為了需要攻克的課題。

周琨提到，在設(shè)備中共有三種計(jì)算資源，一種是GPU，主要進(jìn)行圖像處理或者游戲等并行計(jì)算場景;一種是DSP，主要用于運(yùn)行頭部VSLAM等計(jì)算機(jī)視覺算法或者深度學(xué)習(xí)算法;還有一種是ARM計(jì)算資源，僅用于輕量級運(yùn)算，如微信，支付寶等手機(jī)上常見的各種APP程序。而Camsense XR在運(yùn)算中，使用的就是第三種計(jì)算資源--ARM，所以內(nèi)存占用僅50M，1．95GHz的雙核CPU就能運(yùn)行。

降低功耗畢竟只是解決了適配性和成本問題，用戶體驗(yàn)也是一道挑戰(zhàn)。既然硬件的基礎(chǔ)降低了，如何保證體驗(yàn)效果不被影響？周琨表示，只能以高精度的算法彌補(bǔ)硬件的不足。Camsense XR對于復(fù)雜環(huán)境下的追蹤，從頭部端到芯片處理再到終端交互的算法繼承自其工業(yè)級的亞亞像素高精度定位算法，其精度可以達(dá)到5m大空間范圍內(nèi)，0．2mm的絕對平均誤差，此技術(shù)在今年已獲得美國專利局的發(fā)明專利授權(quán)。

結(jié)語

注意到，在訪談過程中，周琨一直在強(qiáng)調(diào)要做“有意義”的產(chǎn)品。他從消費(fèi)者、客戶、企業(yè)開發(fā)人員、產(chǎn)品和整個(gè)市場環(huán)境角度考慮，不斷打磨Camsense XR的產(chǎn)品定義，即使有能力投入更多的資金和時(shí)間達(dá)到更亮眼的功能效果，比如做頭部SLAM定位，但另一方面就會失去歡創(chuàng)科技自身的獨(dú)特性。 隨著Daydream、Gear VR淡出歷史舞臺，3DoF時(shí)代已經(jīng)結(jié)束。而6DoF產(chǎn)品的核心——定位追蹤，也將變得越來越重要。而這，也將為歡創(chuàng)科技帶來更多機(jī)會。

責(zé)任編輯：gt