雙目測(cè)距系列（二）：魚(yú)眼鏡頭雙目標(biāo)定及測(cè)距

轉(zhuǎn)載自：雙目測(cè)距系列（二）魚(yú)眼鏡頭雙目標(biāo)定及測(cè)距
作者：ltshan139

前言

這幾天把基于opencv C++ api將魚(yú)眼鏡頭的雙目標(biāo)定以及測(cè)距功能實(shí)現(xiàn)完畢，效果還可以，至少對(duì)齊得非常棒。 這里把其流程及其關(guān)鍵函數(shù)在這里總結(jié)一下。
對(duì)于雙目標(biāo)定而言，opencv一共支持兩種模型：普通針孔相機(jī)模型和魚(yú)眼相機(jī)模型fisheye。后者是opencv3.0后才開(kāi)始支持的。從使用角度講，它倆主要差別就在于畸變系數(shù)不一樣。
雙目測(cè)距流程一共分為四大步：標(biāo)定，對(duì)齊，匹配以及測(cè)距。這點(diǎn)對(duì)于普通攝像頭模型和魚(yú)眼模型都適用。下面就基于魚(yú)眼攝像頭模型來(lái)講解各個(gè)步驟具體內(nèi)容。

標(biāo)定

標(biāo)定Calibration包括單目標(biāo)定和雙目標(biāo)定，前者的輸出結(jié)果主要是內(nèi)參(3x3矩陣，包括fx,fy以及cx和cy)和畸變系數(shù)（1x4矩陣 K1,K2,K3,K4）；后者輸出的主要是是外參，即右攝像頭基于左攝像頭的姿態(tài)，包括R和T兩個(gè)矩陣。
標(biāo)定一個(gè)主要工作就是對(duì)著標(biāo)定板拍圖，標(biāo)定板最好遍布整個(gè)圖像區(qū)域，一般20~30張就足夠了。 opencv目前可以對(duì)三種pattern的標(biāo)定板：棋盤(pán)格，圓以及非對(duì)稱(chēng)圓來(lái)找角點(diǎn)，其API如下所示：

    case Settings::CHESSBOARD:
        found = findChessboardCorners( view, s.boardSize, pointBuf, chessBoardFlags);
        break;
    case Settings::CIRCLES_GRID:
        found = findCirclesGrid( view, s.boardSize, pointBuf );
        break;
    case Settings::ASYMMETRIC_CIRCLES_GRID:
        found = findCirclesGrid( view, s.boardSize, pointBuf, CALIB_CB_ASYMMETRIC_GRID );

角點(diǎn)正確找到后，就可以開(kāi)始單目標(biāo)定，其對(duì)應(yīng)API為：

CV_EXPORTS_W double calibrate(InputArrayOfArrays objectPoints, InputArrayOfArrays imagePoints, const Size& image_size,
    InputOutputArray K, InputOutputArray D, OutputArrayOfArrays rvecs, OutputArrayOfArrays tvecs, int flags = 0,
        TermCriteria criteria = TermCriteria(TermCriteria::COUNT + TermCriteria::EPS, 100, DBL_EPSILON));

單目標(biāo)定結(jié)束后，接下來(lái)就是雙目標(biāo)定：

CV_EXPORTS_W double stereoCalibrate(InputArrayOfArrays objectPoints, InputArrayOfArrays imagePoints1, InputArrayOfArrays imagePoints2,
                              InputOutputArray K1, InputOutputArray D1, InputOutputArray K2, InputOutputArray D2, Size imageSize,
                              OutputArray R, OutputArray T, int flags = fisheye::CALIB_FIX_INTRINSIC,
                              TermCriteria criteria = TermCriteria(TermCriteria::COUNT + TermCriteria::EPS, 100, DBL_EPSILON));

這里需要注意的是，雙目標(biāo)定可以基于前面單目標(biāo)定出來(lái)的內(nèi)參來(lái)直接算R和T，也可以將單目?jī)?nèi)參作為一個(gè)初始值來(lái)重新迭代計(jì)算出新的內(nèi)參和R以及T。

對(duì)齊

攝像頭內(nèi)參和外參都有了之后，就可以開(kāi)始調(diào)用下面的API來(lái)分別獲得左、右攝像頭新的旋轉(zhuǎn)矩陣R和內(nèi)參投影矩陣P。

CV_EXPORTS_W void stereoRectify(InputArray K1, InputArray D1, InputArray K2, InputArray D2, const Size &imageSize, InputArray R, InputArray tvec,
    OutputArray R1, OutputArray R2, OutputArray P1, OutputArray P2, OutputArray Q, int flags, const Size &newImageSize = Size(),
    double balance = 0.0, double fov_scale = 1.0);

緊接著是基于新的矩陣來(lái)生成左右攝像頭的映射表left_mapx, left_mapy, right_mapx以及right_mapy。

CV_EXPORTS_W void initUndistortRectifyMap(InputArray K, InputArray D, InputArray R, InputArray P,
    const cv::Size& size, int m1type, OutputArray map1, OutputArray map2);

有了映射表mapx和mapy，在后面測(cè)距的時(shí)候就可以調(diào)用remap()來(lái)對(duì)新的測(cè)試圖片進(jìn)行校正。

匹配

匹配是相對(duì)最耗時(shí)的步驟，即使前面左右圖像對(duì)齊后，只需要在行上來(lái)匹配。常用的匹配算法有SGBM，BM等等。相對(duì)來(lái)講，SGBM兼顧了速度和準(zhǔn)確度，因而用的比較多。

Ptr sgbm = StereoSGBM::create(0, 16, 3);
sgbm->setPreFilterCap(63);
sgbm->setBlockSize(pParas->sgbmWindowSize);
int channel_cnt = left_rectify_img.channels();
sgbm->setP1(8 * channel_cnt * pParas->sgbmWindowSize * pParas->sgbmWindowSize);
sgbm->setP2(32 * channel_cnt * pParas->sgbmWindowSize * pParas->sgbmWindowSize);
sgbm->setMinDisparity(0);
sgbm->setNumDisparities(pParas->NumDisparities);
sgbm->setUniquenessRatio(pParas->UniquenessRatio);
sgbm->setSpeckleWindowSize(101);
sgbm->setSpeckleRange(10);
sgbm->setDisp12MaxDiff(-1);
sgbm->setMode(StereoSGBM::MODE_SGBM);

opencv已經(jīng)將匹配算法 封裝的很好了，唯一需要注意的就是參數(shù)值得調(diào)節(jié)會(huì)帶來(lái)不一樣得匹配效果。常見(jiàn)的需要調(diào)節(jié)的參數(shù)有：

    paras.sgbmWindowSize = 7;
    paras.NumDisparities = 16 * 20;
    paras.UniquenessRatio = 12;

測(cè)距

匹配完成就能得到視差圖disparity map。 有了視差圖，每個(gè)點(diǎn)的Z方向上深度值獲取就變得簡(jiǎn)單了。通過(guò)下面公式：
Z = B * fx / d
B是兩個(gè)攝像頭之間的距離，其值等于外參平移矩陣X方向上的絕對(duì)值，即abs(T.at(0,0))。
fx則為左攝像頭內(nèi)參矩陣的第一個(gè)值m_fisheye_intrinsicsL.val[0]
d則為每個(gè)像素在左右攝像頭像素坐標(biāo)系上X方向的差，由前面匹配步驟所得。

推薦閱讀

• 雙目測(cè)距系列（一）標(biāo)定工具的開(kāi)發(fā)
• 《SSD和MobilenetSSD模型的訓(xùn)練，量化以及在海思芯片上的部署》視頻課程的介紹
• 《華為海思35xx開(kāi)發(fā)板的SDK環(huán)境搭建》視頻課程的介紹
• 《基于海思35xx nnie引擎進(jìn)行經(jīng)典目標(biāo)檢測(cè)算法模型推理》視頻課程介紹

更多海思AI芯片方案學(xué)習(xí)筆記歡迎關(guān)注海思AI芯片方案學(xué)習(xí)。

審核編輯：符乾江