視頻拼接的實時性要求

輸入輸出接口 Input： （1）4個攝像頭采集的圖像視頻分辨率 （整型int） （2）4個攝像頭采集的圖像視頻格式 （RGB，YUV，MP4等） （3）攝像頭標定參數(shù)（中心位置（x,y）和5個畸變 系數(shù)（2徑向，2切向，1棱向），浮點型float） （4）攝像頭初始化參數(shù)（攝像頭初始位置和三個坐標方向 的旋轉(zhuǎn)角度，車輛寬度高度車速等等，浮點型float） Output： （1）圖像融合和拼接的image/video的坐標位置（浮點型float） （2）圖像融合和拼接的圖像視頻分辨率（整型int） （3）圖像融合和拼接的圖像視頻格式 （RGB，YUV，MP4等） （4）車輛周圍障礙物報警 （字符型char）22.1功能定義 1）計算圖像融合和拼接的image/video的坐標位置。 2）算出圖像融合和拼接的圖像視頻分辨率。 3）確定圖像融合和拼接的圖像視頻格式。 4）檢測車輛周圍障礙物并報警。22.2技術(shù)路線方案 在360°全景視圖泊車輔助系統(tǒng)中，通過安裝在車輛前、后、左、右 4 個方位的廣角攝像頭采集車輛四周的視頻影像，利用圖像融合和拼接技術(shù)合成一幅車身周圍的全景視圖，最后在中控臺的屏幕上顯示，以擴大駕駛員視野。借助360°全景視圖泊車輔助系統(tǒng)，駕駛員坐在車中即可直觀地看到車輛周圍是否存在障礙物以及障礙物的相對方位與距離，以便在狹窄擁堵的停車場從容操控車輛泊車入位或通過復(fù)雜的路面，可有效防止刮蹭、碰撞、陷落等事故的發(fā)生。同時，全景視圖也可以為自動駕駛系統(tǒng)中識別、檢測、跟蹤等算法提供支持。 富士通(Fujitsu)開發(fā)的視頻成像技術(shù)， 可實時實現(xiàn)車輛的完整360°環(huán)繞視圖。四個相機安裝在車輛前后左右周邊，車輛周圍環(huán)境的視頻圖像通過富士通的3D虛擬投影/視點轉(zhuǎn)換技術(shù)進行合成。先進的三維算法可以比較流暢地結(jié)合四個獨立相機的圖像，提供一個無縫和清晰的360°視圖。具體來說，四個攝像頭的圖像被發(fā)送到視頻處理LSI，包括視頻捕捉和3D功能，然后相機圖像合成為單個實時3D圖像并投影到三維碗形網(wǎng)格，生成虛擬3D環(huán)繞視頻，可以任意轉(zhuǎn)換車輛周圍環(huán)境視圖視角。 圖1. 富士通環(huán)視方案流程圖 為了滿足視頻拼接的實時性要求，同時考慮到攝像頭安裝的位置、角度以及不同攝像頭之間相互位置相對固定，在本項目中可以使用基于特定圖像拼接與查表法相結(jié)合的多視點視頻拼接方法。在初始化階段，首先采集預(yù)先放置于車輛前、后、左、右 4個方位的帶有棋盤格的標定圖像，利用標定圖像分別對4個攝像頭進行參數(shù)標定，求出并保存每個攝像頭圖像畸變矯正參數(shù)，對標定圖像進行畸變矯正，消除攝像頭成像失真；然后對畸變矯正后的標定圖像進行射影變換，求出并保存射影變換參數(shù)；接著采集預(yù)先放置于車輛前、后、左、右4個方位的帶有豐富特征點的特定圖像，并通過查找攝像頭圖像畸變矯正參數(shù)進行畸變矯正，通過查找射影變換參數(shù)將矯正后的特定圖像變換成俯瞰圖；最后對4個俯瞰圖提取 ORB( Oriented FAST and Rotated BRIEF) 特征并進行粗匹配，利用 RANSAC( Random Sample Consensus，隨機抽樣一致) 算法剔除誤匹配點，并擬合出單應(yīng)性矩陣的初始值，再使用 Levenberg-Marquardt 非線性迭代最小逼近法進行求精，經(jīng)圖像配準、融合和拼接后，生成360°俯瞰全景視圖。在泊車輔助系統(tǒng)啟用期間，通過查找已保存的攝像頭圖像畸變矯正參數(shù)、射影變換參數(shù)以及單應(yīng)性矩陣參數(shù)，將4個攝像頭的視頻圖像進行拼接，生成虛擬的俯瞰全景視圖。 由于攝像頭內(nèi)外參數(shù)校正準確性對圖像投影效果影響大；需要結(jié)合攝像頭安裝具體情況進行算法的調(diào)整；為滿足嵌入式系統(tǒng)實時性需求，需要不斷優(yōu)化算法；盡量進行流程簡化或者流程自動化。 圖2. 算法流程 圖3. 攝像頭成像及其坐標系 主要數(shù)學(xué)原理，世界坐標系中某點投影到圖像平面上的像素點( u，v).該過程要經(jīng)過齊次坐標轉(zhuǎn)換： 其中，s為任意的非零比例因子；αu=f/dx，f是攝像頭的焦距，dx代表x軸方向一個像素的寬度是圖像在 u 軸上的尺度因子，或稱為u軸上的歸一化焦距； ?，其中dy代表y軸方向一個像素的高度，αv是圖像在v軸上的尺度因子，或稱為v軸上的歸一化焦距；，它們是攝像頭坐標系相對于世界坐標系的旋轉(zhuǎn)向量；?是攝像頭坐標系相對于世界坐標系的平移向量；M1 由決定，只與攝像頭內(nèi)部參數(shù)有關(guān)，稱為攝像頭內(nèi)部參數(shù)矩陣；M2 由攝像頭相對于世界坐標系的方位決定，稱為攝像頭外部參數(shù)矩陣；M 是一個3×4矩陣，稱作投影矩陣，用于計算從世界坐標系到圖像坐標系的轉(zhuǎn)換?？梢姡粢阎獢z像頭的內(nèi)、外參數(shù)，就能夠知道投影矩陣 M，對空間內(nèi)任何一點，如果已知它的空間坐標，就可以求出對應(yīng)的像素點坐標(u，v) 。 ? ? ?張正友標定法，采用棋盤格平面靶標作為標定物，可以把世界坐標系構(gòu)造在 Zw = 0的平面上。 ? ? ?其中，和是徑向畸變系數(shù)。將式（3）化成矩陣形式為 ? ? ?以上是畸變矯正公式。 ? ?以上是射影變換。 ? ? ?以上是畸變矯正及射影變換所對應(yīng)的坐標像素計算公式。 ? ? ?以上是圖像拼接單應(yīng)性矩陣求解公式。 ? ? ?以上是平均值法對拼接重疊區(qū)域進行融合。 ? ? ?以上是3-D ship模型視角轉(zhuǎn)換矩陣。 ?

圖4. alpha fusion22.3關(guān)鍵技術(shù)參數(shù)和性能指標 一種基于自適應(yīng)特征點配準的環(huán)視系統(tǒng)拼接效果評估和自動微調(diào)方法，其特征在于：包括以下步驟： 步驟A、獲得拼接前圖像，并截取根據(jù)拼接參數(shù)算出的拍攝的相同位置的圖像； 步驟B、采用自適應(yīng)特征點配準算法來獲得拼接前相同位置的圖像的旋轉(zhuǎn)平移矩陣； 步驟C、將旋轉(zhuǎn)平移矩陣或者對其進行計算得到的角度信息和位移信息作為環(huán)視系統(tǒng)拼接效果的評估指標，并用此矩陣對拼接效果進行微調(diào)。