化腐朽為神奇！揭開(kāi)ISP圖像處理的神秘面紗，基于瑞芯微RK3568J工業(yè)平臺(tái)！

ISP圖像處理前后圖像對(duì)比

化腐朽為神奇！經(jīng)過(guò)ISP圖像處理的圖片前后對(duì)比是如此驚人！從下圖中可以觀察到，未經(jīng)處理的原始圖像偏綠且暗淡，而經(jīng)ISP圖像處理的圖像能夠清晰地還原現(xiàn)場(chǎng)真實(shí)的顏色細(xì)節(jié)！

圖1原始圖像顯示效果

圖2經(jīng)ISP圖像處理后顯示效果

ISP說(shuō)明

ISP簡(jiǎn)介

ISP(Image Signal Processor)，即圖像信號(hào)處理，主要作用是處理前端圖像傳感器輸出的信號(hào)，主要功能有線性糾正、噪聲消除、自動(dòng)白平衡、自動(dòng)曝光控制等，能在不同的光學(xué)條件下很好地還原現(xiàn)場(chǎng)細(xì)節(jié)。

ISP優(yōu)勢(shì)

由于不同傳感器的差異以及拍攝環(huán)境的多樣性，傳感器輸出的原始數(shù)據(jù)和人們預(yù)期的圖像有一定差距，因此ISP就起到了相當(dāng)重要的作用。例如：夜間光照不足、大霧、沙塵等，均會(huì)使采集的圖像造成影響，存在成像模糊、噪聲污染及曝光不均等問(wèn)題，而經(jīng)ISP圖像處理的圖像會(huì)有明顯的優(yōu)化。

RK3568J ISP功能介紹

RK3568J的ISP21模塊支持標(biāo)準(zhǔn)的Sensor圖像數(shù)據(jù)處理，包括自動(dòng)白平衡，自動(dòng)曝光，Demosaic，壞點(diǎn)矯正及鏡頭陰影矯正等基本功能，也支持HDR、去霧、降噪等高級(jí)處理功能。ISP21功能框圖如下圖所示。

圖3ISP21功能框圖

RK3568J的ISP圖像處理基于RKISP2.x Tuner工具對(duì)攝像頭采集的圖像進(jìn)行標(biāo)定得到IQ參數(shù)文件，通過(guò)IQ參數(shù)文件將攝像頭采集的圖像進(jìn)行優(yōu)化處理后發(fā)送至顯示設(shè)備。

RKISP2.x Tuner提供了一套便于用戶(hù)調(diào)試ISP參數(shù)的工具，用戶(hù)可以在RKISP2.x Tuner中對(duì)所有ISP模塊開(kāi)展標(biāo)定(Calibration)、調(diào)試(Tuning)等工作。

圖4RKISP2.x Tuner工具界面

用戶(hù)可以使用RKISP2.x Tuner提供的抓圖工具(Capture Tool)來(lái)拍攝RAW圖，在標(biāo)定工具(Calibration Tool)中完成基礎(chǔ)模塊的標(biāo)定工作，在RKISP2.x Tuner中連接設(shè)備，在線進(jìn)行ISP參數(shù)調(diào)試。

圖5RKISP2.x Tuner調(diào)試流程圖

ISP圖像處理開(kāi)發(fā)案例

本章節(jié)主要介紹瑞芯微RK3568J的ISP圖像處理開(kāi)發(fā)案例，使用的硬件平臺(tái)為：創(chuàng)龍科技TL3568-EVM工業(yè)評(píng)估板。

為了簡(jiǎn)化描述，正文僅摘錄方案功能描述與測(cè)試結(jié)果，詳細(xì)產(chǎn)品資料請(qǐng)掃描文末二維碼下載。

功能說(shuō)明

本案例基于RKISP2.x Tuner工具對(duì)攝像頭采集的圖像進(jìn)行標(biāo)定得到IQ參數(shù)文件，通過(guò)IQ參數(shù)文件將攝像頭采集的圖像進(jìn)行優(yōu)化處理后發(fā)送至顯示設(shè)備。

硬件連接

評(píng)估板默認(rèn)已支持HDMI OUT顯示，請(qǐng)將評(píng)估板HDMI OUT接口連接至HDMI顯示屏，使用FFC軟排線將MIPI攝像頭模塊（型號(hào)為MCAM400）連接至評(píng)估板CAMERA接口，通過(guò)網(wǎng)線將評(píng)估板千兆網(wǎng)口ETH0 RGMII連接至路由器。硬件連接如下圖所示。

圖7

原始圖像顯示演示

評(píng)估板上電啟動(dòng)，執(zhí)行如下命令將攝像頭采集的圖像實(shí)時(shí)顯示至HDMI顯示屏，該畫(huà)面是未經(jīng)過(guò)ISP圖像處理的原始畫(huà)面，如下圖所示。按"Ctrl + C"可退出程序。

Target#/rockchip-test/camera/camera_rkisp_test.sh

圖8

圖9原始圖像顯示效果

可以觀察到，HDMI顯示屏實(shí)時(shí)顯示攝像頭采集的原始圖像偏綠色且暗淡。

RKISP2.x Tuner工具調(diào)試演示

以下主要介紹使用RKISP2.x Tuner工具進(jìn)行標(biāo)定處理。

打開(kāi)RKISP2.x Tuner工具，導(dǎo)入原始圖像后，進(jìn)入CCM標(biāo)定界面，然后設(shè)置飽和度，點(diǎn)擊"Calibrate"開(kāi)始標(biāo)定。

圖10

標(biāo)定完成后，點(diǎn)擊"Result"頁(yè)面，可查看結(jié)果。

圖11

可點(diǎn)擊"Save"將新標(biāo)定數(shù)據(jù)保存至IQ參數(shù)文件ov4689_RK-CMK-8M-2-v1_CK8401.json中。

備注：如需了解通過(guò)RKISP2.x Tuner工具創(chuàng)建及配置IQ參數(shù)文件的詳細(xì)步驟，請(qǐng)參考我司提供的用戶(hù)手冊(cè)。

ISP圖像處理效果演示

評(píng)估板上電啟動(dòng)，請(qǐng)將IQ參數(shù)文件ov4689_RK-CMK-8M-2-v1_CK8401.json拷貝至評(píng)估板文件系統(tǒng)"/etc/iqfiles/"目錄下，然后重新啟動(dòng)評(píng)估板。

圖12

進(jìn)入評(píng)估板文件系統(tǒng)，執(zhí)行如下命令，將攝像頭采集的圖像實(shí)時(shí)顯示至HDMI顯示屏，該畫(huà)面是經(jīng)ISP圖像處理的顯示效果，如下圖所示。按"Ctrl + C"可退出程序。

Target#/rockchip-test/camera/camera_rkisp_test.sh

圖13

圖14經(jīng)ISP圖像處理后顯示效果

可以觀察到，攝像頭實(shí)時(shí)采集的圖像經(jīng)過(guò)ISP圖像處理后，顯示效果相比原始圖像有明顯的優(yōu)化。顯示效果跟實(shí)際測(cè)試環(huán)境以及IQ參數(shù)文件配置有關(guān)，測(cè)試結(jié)果僅供參考。