關(guān)于360全景環(huán)視系統(tǒng)技術(shù)簡(jiǎn)要分析

360全景環(huán)視系統(tǒng)恐怕是中國(guó)最受歡迎的ADAS功能，國(guó)產(chǎn)品牌中高端車一般標(biāo)配360度全景環(huán)視系統(tǒng)，出貨量最大的莫過于傳祺GS8和吉利博越。傳祺GS8主力車型18.28萬(wàn)豪華智聯(lián)版并非頂配車型，但標(biāo)配360全景環(huán)視系統(tǒng)。GS8的車機(jī)由哈曼完成，360度全景環(huán)視系統(tǒng)由德爾福提供。吉利博越則在12.98萬(wàn)的手動(dòng)智慧版就標(biāo)配360全景環(huán)視系統(tǒng)，13萬(wàn)以上的吉利博越車型全部標(biāo)配360全景環(huán)視系統(tǒng)，吉利博越的高配車機(jī)由博泰提供，360全景環(huán)視系統(tǒng)由縱目科技提供算法和方案，由重慶桑德科技提供PCB板和硬件制造，由德賽西威提供攝像頭。2016年吉利博越銷量109080，估計(jì)有30%配備了360全景環(huán)視系統(tǒng)，也就是大約3.8萬(wàn)套。

360全景環(huán)視系統(tǒng)可以簡(jiǎn)單分為與導(dǎo)航CPU共享運(yùn)算資源型（吉利博越）和單獨(dú)CPU型（傳祺GS8）。國(guó)際上一般叫AVM（AroundView Monitor），最早的AVM由歌樂（日立汽車子公司）與日產(chǎn)聯(lián)合開發(fā)，在2003年推出。

在國(guó)際專利數(shù)據(jù)庫(kù)中查詢相關(guān)專利，關(guān)鍵詞如下

1990-2013年全景環(huán)視系統(tǒng)AVM的專利數(shù)

AVM專利數(shù)自2013年開始下降，這就意味著AVM已經(jīng)成熟，已經(jīng)不是研發(fā)重點(diǎn)了。

AVM專利公司分布

豐田旗下的電裝專利數(shù)量最多，其次是日產(chǎn)、本田、愛信精機(jī)、富士通天、住友電氣、日本電裝、阿爾派、日產(chǎn)、豐田、愛信AW、歌樂、松下、住友線束、博世、Matsushita Electric、Toyota Jidosha、阿爾派等。

1.LUT技術(shù)

對(duì)于共用導(dǎo)航CPU的360全景環(huán)視系統(tǒng)，一般采用以LUT為核心的技術(shù)方式。

典型360全景環(huán)視系統(tǒng)流程

脫機(jī)前置作業(yè)程序包含了相機(jī)校正、 扭曲校正、 估測(cè)暗角參數(shù)、 鳥瞰轉(zhuǎn)換與影像對(duì)位。 經(jīng)過脫機(jī)前置作業(yè)程序后會(huì)生成一張全周鳥瞰影像與各相機(jī)影像間的幾何關(guān)系對(duì)應(yīng)表LUT (Look Up Table)， 之后因相機(jī)參數(shù)固定， 相機(jī)間幾何關(guān)系也不變， 可用查表方式連續(xù)生成全周影像。 在線實(shí)時(shí)作業(yè)程序包含影像點(diǎn)內(nèi)插、暗角效應(yīng)補(bǔ)償、 亮度一致化與色彩混合處理， 最終生成環(huán)景鳥瞰圖像。LUT是最重要的，LUT的生成需要CMOS傳感器廠家和鏡頭廠家配合提供。

利用上面這兩個(gè)方程設(shè)計(jì)人員能夠?qū)⑿Ｕ龍D像上的每一像素點(diǎn)映射到輸入圖像的每一像素點(diǎn)。校正后的魚眼圖像在水平方向沒有全景失真。

拼接圖像時(shí)，需要對(duì)圖像進(jìn)行配準(zhǔn)，以確定重疊區(qū)。圖像必須來(lái)自兩個(gè)以上相同的鏡頭，其主軸都位于同一水平面。而且，鏡頭必須分開一點(diǎn)距離，彼此有些轉(zhuǎn)動(dòng)。假設(shè)景象中的所有目標(biāo)都足夠遠(yuǎn)，這種情況可以建模為一個(gè)鏡頭沿垂直軸旋轉(zhuǎn)得到不同的圖像。在這些假設(shè)下，方程表示的校正功能將圖像變換為彼此水平平移。校正后，只需要指出圖像之間對(duì)準(zhǔn)時(shí)的水平移位就能夠解決圖像配準(zhǔn)問題。但是，由于鏡頭對(duì)準(zhǔn)誤差，實(shí)際中，只有水平方向?qū)?zhǔn)還不能完全配準(zhǔn)圖像。因此，除了水平平移，還需要進(jìn)行垂直平移才能完全對(duì)準(zhǔn)。

確定了經(jīng)過校正的魚眼圖像的配準(zhǔn)參數(shù)后，方程采用水平和垂直平移常數(shù)，適當(dāng)?shù)钠揭?(xq,yq)，將輸出拼接圖像的每一像素映射到多幅輸入圖像的一幅中。很明顯，這種映射方法與圖像內(nèi)容無(wú)關(guān)，而取決于鏡頭的特性（包括 FOV 和輸入圖像分辨率）、顯示（包括分辨率），以及配準(zhǔn)參數(shù)等。因此，可以通過在啟動(dòng)時(shí)進(jìn)行一次計(jì)算，結(jié)果存儲(chǔ)為查找表 (LUT)，實(shí)現(xiàn)映射。

還有一個(gè)失真校正LUT，有些小企業(yè)得不到鏡頭廠家的支持或者節(jié)約成本干脆省掉了這個(gè)環(huán)節(jié)。

很明顯這個(gè)LUT得由鏡頭廠家提供，所以鏡頭廠家的地位可是很高滴。從上面的流程中我們可以看出，這種360度全景環(huán)視系統(tǒng)技術(shù)含量并不高。

這種技術(shù)方案的缺點(diǎn)是算法簡(jiǎn)單，所占運(yùn)算資源很少，成本很低，缺點(diǎn)是圖像缺乏立體感，魯棒性差，畢竟是靜態(tài)標(biāo)定的，再有是4個(gè)魚眼鏡頭拼接導(dǎo)致視距很短，完全依賴360全景系統(tǒng)仍然不算太安全。有些廠家會(huì)增加一級(jí)透視變換，就是增加立體感。

使用3D圖像引擎（SGX544）生成3D Mesh Table，GPU做Rendering。

2.Wrap Around View

富士通提出另一種做法，這就是富士通引以為傲的Wrap Around View，此技術(shù)于2009年推出。

富士通采用虛擬曲線半球面投影，而非平面投影，這種投影3D立體感強(qiáng)，視距擴(kuò)展，失真小，畫面更加自然，成本也增加不少。從2009年推出的第一代MB86R01，到2013年推出MB86R24。歷經(jīng)數(shù)代，性能越來(lái)越強(qiáng)。MB86R24內(nèi)含兩個(gè)ARM Cortex-9內(nèi)核，采用55納米工藝，運(yùn)算能力大約為4000DMIPS ，采用PowerVR SGX543 3D圖像引擎，富士通2D圖像引擎，支持6個(gè)全HD攝像頭輸入。攝像頭的FOV不必要求太高，120度也可，這樣就可以探測(cè)到比較遠(yuǎn)的物體。 物體靠近偵測(cè)ApproachingObject Detection功能，一旦有一側(cè)的攝像頭偵測(cè)到有移動(dòng)物體變自動(dòng)切換到那個(gè)攝像頭覆蓋的畫面，這個(gè)原理很簡(jiǎn)單，移動(dòng)物體會(huì)讓碼率增加，簡(jiǎn)單對(duì)比碼率即可得知。

富士通運(yùn)用靈活的時(shí)間幀來(lái)采集兩個(gè)不同的圖形，能夠檢測(cè)大約40-60米遠(yuǎn)的目標(biāo)，傳統(tǒng)的圖形識(shí)別只能做到5-10米。 MB86R24典型應(yīng)用是在英菲尼迪的高端車上。

上圖為MB86R24的內(nèi)部框架圖，當(dāng)然這款芯片除了360全景也可以做Infotainment、儀表和AR HUD。

3.視覺里程計(jì)技術(shù)

英偉達(dá)則使用更高大上的技術(shù)，用視覺里程計(jì)來(lái)打造360度環(huán)視系統(tǒng)。英偉達(dá)認(rèn)為傳統(tǒng)的環(huán)視系統(tǒng)都太LOW，特別動(dòng)態(tài)情況下有拖影或者疊影。英偉達(dá)使用無(wú)人駕駛領(lǐng)域中的視覺里程計(jì)技術(shù)，使用視頻流6DOF來(lái)獲得高精度的校準(zhǔn)參數(shù)，使視覺里程計(jì)達(dá)到實(shí)用地步，遠(yuǎn)超傳統(tǒng)的方向盤轉(zhuǎn)角與車輛速度的2DOF校準(zhǔn)。

這當(dāng)然需要強(qiáng)大的GPU來(lái)支持，至少是Tk1的級(jí)別，這種技術(shù)再前進(jìn)一步就是全自動(dòng)泊車了。

360全景技術(shù)難度不高，關(guān)鍵在于怎么控制成本。360環(huán)視系統(tǒng)的成本控制點(diǎn)不在處理器而在連接器和連接線。如果采用數(shù)字視頻傳輸，那么一般需要采用LVDS接口，這就需要車規(guī)級(jí)的LVDS連接器和連接線，每條的價(jià)格在6-10美元之間，最頂級(jí)的LVDS連接器和連接線據(jù)說價(jià)格逼近1000元人民幣，幾乎和低端車機(jī)價(jià)格相同。為解決這個(gè)高成本問題，美信推出MAX9286，MAX9286配合MAX96709，能夠用普通同軸電纜代替LVDS，同時(shí)實(shí)現(xiàn)1.5Gbps的帶寬。再有就是采用以太網(wǎng)（EAVB）傳輸視頻，NXP的MPC5604E做MCU，博通的BroadRReach做物理層連接，可以將以太網(wǎng)輸入轉(zhuǎn)化為FlexCAN或LINFlex，這是寶馬奔馳喜歡用的總線。對(duì)高清的支持，EAVB顯然性能最佳。當(dāng)然成本也不低。

低端廠家當(dāng)然不會(huì)有這個(gè)麻煩，他們不用數(shù)字視頻傳輸，他們是模擬視頻接口。當(dāng)然ADC不可或缺，ADI和Insteril（已被瑞薩收購(gòu)）有不少低價(jià)ADC，如ADV7184，ISL79985，ISL79986，TW6865，TW9966。

360全景系統(tǒng)的標(biāo)定也是很關(guān)鍵的一環(huán)，大家最常見的就是黑白棋盤式校準(zhǔn)，高端車則采用框線式。實(shí)際還有很多種。

360環(huán)視系統(tǒng)發(fā)展空間巨大，目前都采用180度FOV的魚眼鏡頭，雖然經(jīng)過了失真矯正，但不可能達(dá)到傳統(tǒng)攝像頭的效果，圖像周邊仍然桶形失真明顯，3D感也很差。同時(shí)魚眼鏡頭的有效距離也太短了。未來(lái)可能用6到8個(gè)90度FOV攝像頭取代魚眼鏡頭，配合視覺里程計(jì)最終發(fā)展為全自動(dòng)泊車。