FPGA VR攝像機(jī)第二版本介紹

本文介紹的是 FPGA VR 相機(jī)的第二個(gè)版本，第一個(gè)版本是下面這樣：

第一版地址：

本文主要介紹第二版本，第二版本的 VR 攝像機(jī)，能夠以 30fps 的速度拍攝 4k（3840 x 1920）立體 360 度視頻，同時(shí)在攝像機(jī)上實(shí)時(shí)拼接和編碼。除了最終的 H.264 編碼將在 Nvidia Jetson TX2 上執(zhí)行之外，所有圖像處理功能都將在 FPGA 上執(zhí)行。

硬件組成

友晶DE10-Nano

8×Aptina AR0330 攝像頭模塊，帶 12 毫米鏡頭卡口

2×四攝像頭接口PCB

1×NVIDIA Jetson TX2

下面顯示的是相機(jī)的主數(shù)據(jù)流和硬件連接圖。

以下是迄今為止已成功實(shí)現(xiàn)的功能：

相機(jī)I2C控制

去馬賽克模塊

相機(jī)圖像變形矯正模塊

攝像頭接口PCB

灰度圖像到單位像素

3D 圖像拼接/塊匹配/光流

將灰度圖像分成 3 個(gè)垂直部分：左、中、右。這三分之一都是完整 360 度水平圖像的 45 度切片。因?yàn)槲覀冇?8 個(gè)均勻分布的攝像機(jī)，這意味著我們的攝像機(jī)彼此之間的角度為 360/8 = 45 度。由此，我們知道，如果我們將攝像機(jī) A、B、C 排列如下：

那么攝像機(jī) A 的右三分之一、攝像機(jī) B 的中心和攝像機(jī) C 的左三分之一必須都指向同一方向。如果他們都在看無限遠(yuǎn)的東西，那么所有三個(gè)切片都應(yīng)該是完全相同的圖像。然而，我們希望在輸出圖像中顯示深度。因此，我們將使用攝像機(jī) C 的左三分之一和攝像機(jī) A 的右三分之一來分別提供當(dāng)觀看者面向該方向時(shí)的右眼和左眼的圖像。當(dāng)觀看者將頭轉(zhuǎn)向左側(cè)時(shí)，他們的右眼將從看到攝像機(jī) C 的左側(cè)三分之一轉(zhuǎn)向攝像機(jī) B 的左側(cè)三分之一。

開源地址

https://github.com/colinpate

https://github.com/colinpate/fpga-vr-remap

CAD外形：