詳解真4K內(nèi)窺ISP硬件架構(gòu)的實(shí)現(xiàn)方式

易靈思官宣發(fā)布了萬眾矚目的Tj375.

TJ375 FPGA采用優(yōu)化的”XLR”基礎(chǔ)單元，基于16nm標(biāo)準(zhǔn)工藝，充分實(shí)現(xiàn)“高性能+低功耗+高密度“的優(yōu)勢特點(diǎn)，助力終端應(yīng)用降低散熱成本，節(jié)省PCB空間，使得高端設(shè)備節(jié)能化、小型化變成可能。

簡單總結(jié)一下，Tj375主要有如下特性：

支持性能可達(dá)1GHz的4核32位RISC-V處理器，，全速僅500mW

支持2x 32bit LPDDR4硬核，帶寬高達(dá)240Gbps

提供16路16G Serdes，支持x1/x2/x4的配置模式

支持PCIE Gen4x4，向下兼容Gen3/Gen2/Gen1

支持硬核MIPI 2.5G DPHY，

支持1.5G LVDS接口以及軟1.5G MIPI DPHY

提供19x19至35x35mm的多種封裝形

那么Tj375用來做4K ISP行不行，在面積和功耗上有一定的優(yōu)勢，我們權(quán)且畫一個(gè)4K硬件實(shí)現(xiàn)方案的框圖，如下所示：

（1）4K60傳感器：

我們采用思特微4K60相機(jī)SC850SL，靶面=1/1.8，特性參數(shù)如下：

（2）MIPI轉(zhuǎn)SDI:

采用Xilinx XC7A35T，自帶6.6G收發(fā)器，用來傳輸4K60 12bit的圖像，帶寬≈3840*2160*12*60/0.9/10^9=6.6Gbps，剛好滿足GTX特性，完美。

（3）4K60 ISP處理 FPGA

采用易靈思16nm 合封裝LPDDR4的Tj375作為我們的主控，375K的lut用來做4K60的流水線ISP綽綽有余，用戶可以擴(kuò)展更多的算法及應(yīng)用，簡直無敵，并且還低功耗！

（4）RK3588協(xié)處理器

FPGA沒法做H.265以及一些復(fù)雜的應(yīng)用，那么交給強(qiáng)大的RK3588來吧，無所不能，處理4K60視頻不在話下。

那么，最后，問題來了：FPGA處理完的4K60 RGB888怎么傳給RK呢？這就很尷尬了。

4K60 RGB888的帶寬=3840*2160*24*60=13.3Gbps

采用MIPI 2.5G，只能達(dá)到10Gbps帶寬

采用PCIE3.0x4，只能達(dá)到4Gbps的帶寬

采用PCIE4.0x4，有8Gbps帶寬，不夠且RK也沒有g(shù)en4

如果把RGB888轉(zhuǎn)RAW傳輸，可以用MIPI，但是質(zhì)量會(huì)下降多少呢？？同時(shí)RK能不能單獨(dú)在做Demosaic呢？？

審核編輯：黃飛