化腐朽為神奇！揭開ISP圖像處理的神秘面紗，基于瑞芯微RK3568J工業平臺！

Tronlong--

ISP圖像處理前后圖像對比

[color=rgba(0, 0, 0, 0.9)]化腐朽為神奇！經過ISP圖像處理的圖片前后對比是如此驚人！從下圖中可以觀察到，未經處理的原始圖像偏綠且暗淡，而經ISP圖像處理的圖像能夠清晰地還原現場真實的顏色細節！

[color=rgba(0, 0, 0, 0.9)]

圖1 原始圖像顯示效果

[color=rgba(0, 0, 0, 0.9)]

圖2 經ISP圖像處理后顯示效果

[color=rgba(0, 0, 0, 0.9)]ISP簡介

[color=rgba(0, 0, 0, 0.9)]ISP(Image Signal Processor)，即圖像信號處理，主要作用是處理前端圖像傳感器輸出的信號，主要功能有線性糾正、噪聲消除、自動白平衡、自動曝光控制等，能在不同的光學條件下很好地還原現場細節。

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]ISP優勢

[color=rgba(0, 0, 0, 0.9)]由于不同傳感器的差異以及拍攝環境的多樣性，傳感器輸出的原始數據和人們預期的圖像有一定差距，因此ISP就起到了相當重要的作用。例如：夜間光照不足、大霧、沙塵等，均會使采集的圖像造成影響，存在成像模糊、噪聲污染及曝光不均等問題，而經ISP圖像處理的圖像會有明顯的優化。

[color=rgba(0, 0, 0, 0.9)]

RK3568J ISP功能介紹

[color=rgba(0, 0, 0, 0.9)]RK3568J的ISP21模塊支持標準的Sensor圖像數據處理，包括自動白平衡，自動曝光，Demosaic，壞點矯正及鏡頭陰影矯正等基本功能，也支持HDR、去霧、降噪等高級處理功能。ISP21功能框圖如下圖所示。

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]圖3 ISP21功能框圖

[color=rgba(0, 0, 0, 0.9)]RK3568J的ISP圖像處理基于RKISP2.x Tuner工具對攝像頭采集的圖像進行標定得到IQ參數文件，通過IQ參數文件將攝像頭采集的圖像進行優化處理后發送至顯示設備。

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]RKISP2.x Tuner提供了一套便于用戶調試ISP參數的工具，用戶可以在RKISP2.x Tuner中對所有ISP模塊開展標定(Calibration)、調試(Tuning)等工作。

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]圖4 RKISP2.x Tuner工具界面

[color=rgba(0, 0, 0, 0.9)]用戶可以使用RKISP2.x Tuner提供的抓圖工具(Capture Tool)來拍攝RAW圖，在標定工具(Calibration Tool)中完成基礎模塊的標定工作，在RKISP2.x Tuner中連接設備，在線進行ISP參數調試。

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]

圖5 RKISP2.x Tuner調試流程圖

RK3568J工業平臺典型應用領域

[color=rgba(0, 0, 0, 0.9)]

圖6 RK3568J工業平臺典型應用領域

ISP圖像處理開發案例

[color=rgba(0, 0, 0, 0.9)]功能說明

[color=rgba(0, 0, 0, 0.9)]本案例基于RKISP2.x Tuner工具對攝像頭采集的圖像進行標定得到IQ參數文件，通過IQ參數文件將攝像頭采集的圖像進行優化處理后發送至顯示設備。

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]硬件連接

[color=rgba(0, 0, 0, 0.9)]評估板默認已支持HDMI OUT顯示，請將評估板HDMI OUT接口連接至HDMI顯示屏，使用FFC軟排線將MIPI攝像頭模塊（型號為MCAM400）連接至評估板CAMERA接口，通過網線將評估板千兆網口ETH0 RGMII連接至路由器。硬件連接如下圖所示。

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]圖7

[color=rgba(0, 0, 0, 0.9)]原始圖像顯示演示

[color=rgba(0, 0, 0, 0.9)]

圖8

[color=rgba(0, 0, 0, 0.9)]

圖9 原始圖像顯示效果

[color=rgba(0, 0, 0, 0.9)]可以觀察到，HDMI顯示屏實時顯示攝像頭采集的原始圖像偏綠色且暗淡。

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]RKISP2.x Tuner工具調試演示

[color=rgba(0, 0, 0, 0.9)]以下主要介紹使用RKISP2.x Tuner工具進行標定處理。

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]打開RKISP2.x Tuner工具，導入原始圖像后，進入CCM標定界面，然后設置飽和度，點擊"Calibrate"開始標定。

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]圖10

[color=rgba(0, 0, 0, 0.9)]標定完成后，點擊"Result"頁面，可查看結果。

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]圖11

[color=rgba(0, 0, 0, 0.9)]可點擊"Save"將新標定數據保存至IQ參數文件ov4689_RK-CMK-8M-2-v1_CK8401.json中。

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]備注：如需了解通過RKISP2.x Tuner工具創建及配置IQ參數文件的詳細步驟，請參考我司提供的用戶手冊。

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]ISP圖像處理效果演示

[color=rgba(0, 0, 0, 0.9)]評估板上電啟動，請將IQ參數文件ov4689_RK-CMK-8M-2-v1_CK8401.json拷貝至評估板文件系統"/etc/iqfiles/"目錄下，然后重新啟動評估板。

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]圖12

[color=rgba(0, 0, 0, 0.9)]進入評估板文件系統，執行如下命令，將攝像頭采集的圖像實時顯示至HDMI顯示屏，該畫面是經ISP圖像處理的顯示效果，如下圖所示。按"Ctrl + C"可退出程序。

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]Target#/rockchip-test/camera/camera_rkisp_test.sh

[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)]圖13

[color=rgba(0, 0, 0, 0.9)]

圖14 經ISP圖像處理后顯示效果

[color=rgba(0, 0, 0, 0.9)]可以觀察到，攝像頭實時采集的圖像經過ISP圖像處理后，顯示效果相比原始圖像有明顯的優化。顯示效果跟實際測試環境以及IQ參數文件配置有關，測試結果僅供參考。