網(wǎng)絡(luò)通信模塊 - 基于Zynq-7000的圖像拼接技術(shù)的系統(tǒng)設(shè)計(jì)構(gòu)架與實(shí)現(xiàn)效果

選用Marvell公司具有自適應(yīng)10/100/1 000 Mb/s傳輸速率的以太網(wǎng)物理層芯片88E1518，配合片內(nèi)吉比特MAC（Media Access Control，介質(zhì)訪問(wèn)控制）層控制器提供千兆以太網(wǎng)接入能力。

3 軟件系統(tǒng)架構(gòu)及核心算法的實(shí)現(xiàn)

本文使用Vivado2015.2設(shè)計(jì)套件完整的工具鏈協(xié)同完成軟件系統(tǒng)的構(gòu)建。圖像處理系統(tǒng)運(yùn)行流程如圖3所示，通過(guò)橫向的時(shí)域和縱向的空間域來(lái)說(shuō)明軟件與硬件協(xié)同實(shí)現(xiàn)圖像處理的工作流程。橫向的時(shí)間域即體現(xiàn)運(yùn)行于PS端的程序協(xié)調(diào)硬件系統(tǒng)推進(jìn)事務(wù)處理，組織整個(gè)系統(tǒng)的運(yùn)行流程；縱向的空間域是PL端圖像處理子系統(tǒng)在總線控制下，并行完成各自任務(wù)所經(jīng)歷數(shù)據(jù)遷移和操作。

?

按照模塊化軟硬件設(shè)計(jì)思路，將整個(gè)系統(tǒng)運(yùn)行劃分為五個(gè)運(yùn)行階段：系統(tǒng)初始化配置、視頻采集與預(yù)處理、柱面投影硬件加速、圖像接縫融合和多通道傳輸，其中視頻采集與預(yù)處理、柱面投影兩個(gè)階段以FPGA系統(tǒng)并行處理為核心，其他則以軟件調(diào)度執(zhí)行為主。

3.1 系統(tǒng)初始化配置

系統(tǒng)初始化配置階段是以硬核系統(tǒng)啟動(dòng)為主導(dǎo)，從外部存儲(chǔ)器中讀取FPGA配置文件并部署到PL中，構(gòu)建起3個(gè)圖像處理子系統(tǒng)，之后進(jìn)入操作系統(tǒng)引導(dǎo)和片內(nèi)外設(shè)備初始化過(guò)程。

3.2 視頻采集與預(yù)處理

采集預(yù)處理階段分為采集、預(yù)處理和存儲(chǔ)三個(gè)環(huán)節(jié)。視頻輸入端口捕獲的圖像數(shù)據(jù)流同步信息冗余且低效，不適合在片內(nèi)系統(tǒng)傳輸中使用，Xilinx公司提出了基于AXI標(biāo)準(zhǔn)協(xié)議框架的精簡(jiǎn)流傳輸AXI-Stream協(xié)議，使用Video In To AXI-Stream IP（Intellectual Property，知識(shí)產(chǎn)權(quán)）核將DVP數(shù)據(jù)格式轉(zhuǎn)換為AXI-Stream協(xié)議數(shù)據(jù)流，實(shí)現(xiàn)片內(nèi)數(shù)據(jù)傳輸標(biāo)準(zhǔn)化。

本設(shè)計(jì)所使用的攝像頭輸出圖像格式是Bayer色彩空間，為了獲得RGB色彩空間圖像，需要插值以獲取像素丟失的顏色信息。綜合考慮算法復(fù)雜度和圖像還原質(zhì)量，采用3×3鄰域雙線性插值法對(duì)圖像進(jìn)行色彩空間還原[4]。基于AXI-Stream協(xié)議接口的Color Filter Array IP核，進(jìn)行簡(jiǎn)單參數(shù)配置便能夠?qū)崿F(xiàn)Bayer向RGB色彩空間轉(zhuǎn)換，從而實(shí)現(xiàn)與視頻采集IP子系統(tǒng)無(wú)縫對(duì)接。

3個(gè)圖像采集與預(yù)處理通道工作均在FPGA內(nèi)異步完成，受限于FPGA存儲(chǔ)容量，需要將視頻幀緩存在DDR內(nèi)存中。PS端提供了四路高速AXI總線訪存接口，借助Video DMA IP核能夠?qū)崿F(xiàn)AXI-Stream協(xié)議數(shù)據(jù)流轉(zhuǎn)換為基于地址訪問(wèn)的標(biāo)準(zhǔn)AXI協(xié)議，從而實(shí)現(xiàn)訪存操作，PS端通過(guò)AXI-Lite控制總線實(shí)現(xiàn)IP核配置。

3.3 柱面投影硬件加速

如圖4所示的柱面投影透視模型，按照單視點(diǎn)模型擺放的攝像頭陣列位于O點(diǎn)，待投影圖像ABCD在投影圓柱面上形成的映像為閉合曲面A′B′C′D′。在圖4(a)中觀測(cè)點(diǎn)O處所在的水平和豎直面投影，得到了截面圖4(b)和圖4(c)，其中待投影圖像上P、Q兩點(diǎn)在投影柱面上形成P′和Q′兩投影點(diǎn)，假設(shè)柱面的半徑為r，高度為H，單個(gè)攝像頭水平視野角度為θ，待投影圖像寬度為W，高度為H，則能夠得出像素P(x，y)向P′(x′，y′)的投影關(guān)系如式(1)所示，反投影變換如式(2)所示[5]。

?

?

其中：

投影柱面的半徑r就是攝像頭的焦距，焦距無(wú)法精確測(cè)量，但可以通過(guò)計(jì)算公式進(jìn)行估算：

在實(shí)際柱面投影過(guò)程中，通過(guò)計(jì)算柱面投影圖像指定像素點(diǎn)所對(duì)應(yīng)的原始像素坐標(biāo)，將坐標(biāo)轉(zhuǎn)換成存儲(chǔ)器的地址，取出該像素并存入到所對(duì)應(yīng)的柱面投影圖像中，最終形成了完整的柱面投影圖像。

基于緩存策略的連續(xù)地址存儲(chǔ)器訪問(wèn)，相對(duì)字節(jié)隨機(jī)訪問(wèn)具有更好的帶寬效能。在柱面圖像目標(biāo)存儲(chǔ)區(qū)，按行、列依次將若干連續(xù)的像素組進(jìn)行反柱面投影求其所在原圖像坐標(biāo)，逐個(gè)從原圖像坐標(biāo)取出其像素值存入緩沖區(qū)，緩沖區(qū)滿后采用總線突發(fā)方式，一次放入目標(biāo)柱面位置，即概括為零取整存，功能框圖如圖5所示。

?