Opencv計數(shù)程序詳解

在機(jī)器視覺中，有時需要對產(chǎn)品進(jìn)行檢測和計數(shù)。其難點(diǎn)無非是對于產(chǎn)品的圖像分割。

由于之前網(wǎng)購的維生素片，有時候忘了今天有沒有吃過，就想對瓶子里的藥片計數(shù)...在學(xué)習(xí)opencv以后，希望實(shí)現(xiàn)對于維生素片分割計數(shù)算法。本次實(shí)戰(zhàn)在基于形態(tài)學(xué)的基礎(chǔ)上又衍生出基于距離變換的分水嶺算法，使其實(shí)現(xiàn)的效果更具普遍性。

基于形態(tài)學(xué)的維生素片檢測和計數(shù)

整體思路：

讀取圖片

形態(tài)學(xué)處理（在二值化前進(jìn)行適度形態(tài)學(xué)處理，效果俱佳）

二值化

提取輪廓（進(jìn)行藥片分割）

獲取輪廓索引，并篩選所需要的輪廓

畫出輪廓，顯示計數(shù)

opencv實(shí)現(xiàn)：

int main(int argc, char** argv)
{
    Mat src, src_binary,dst,src_distance;
    src = imread("D:/opencv練習(xí)圖片/維生素片機(jī)器視覺檢測和計數(shù).png");
    imshow("原圖片", src);
    Mat kernel = getStructuringElement(MORPH_RECT, Size(16, 16), Point(-1, -1));
    morphologyEx(src, dst, MORPH_OPEN, kernel);
    imshow("形態(tài)學(xué)",dst);
    cvtColor(dst, dst, COLOR_RGB2GRAY);
    threshold(dst, src_binary, 100, 255, THRESH_OTSU);
    imshow("二值化", src_binary);
    vector> contours;
    findContours(src_binary, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE, Point(0, 0));
    RNG rng(12345);
    double area;
    Point2i PL;
    for (size_t i = 0; i < contours.size(); i++)
    {
        area = contourArea(contours[i]);
        if (area < 500)continue;
        PL = contours[i].front();
        Scalar color = Scalar(rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255));
        drawContours(src, contours, i, color, 2, 8);
        putText(src, to_string(i), PL, FONT_HERSHEY_COMPLEX, 1, color, 2);            
    }
    imshow("計數(shù)結(jié)果", src);
    waitKey(0);
    return 0;
}

效果展示：

由上圖可以看的，原圖在經(jīng)過形態(tài)學(xué)處理后，可以去除很多細(xì)節(jié)，簡化后續(xù)的藥片分割操作。

但是在計數(shù)結(jié)果圖上發(fā)現(xiàn)，索引17號藥片并沒有完全分割（實(shí)際上修改形態(tài)學(xué)的結(jié)構(gòu)元素尺寸（改為20*20）也可以完全分離這兩個藥片）。

這不由得讓我們思考，如果簡單的形態(tài)學(xué)處理分割不了藥片呢？

對于復(fù)雜的產(chǎn)品圖片，我們可以使用基于距離變換的分水嶺算法對其分割。

基于距離變換的分水嶺算法檢測和計數(shù)

OpenCV 采用了基于標(biāo)記點(diǎn)的分水嶺算法，在這種算法中我們要設(shè)置哪些山谷點(diǎn)會匯合，哪些不會。這是一種交互式的圖像分割。我們要做的就是給我們已知的對象打上不同的標(biāo)簽（即添加注水點(diǎn)）。然后實(shí)施分水嶺算法。每一次灌水，我們的標(biāo)簽就會被更新，當(dāng)兩個不同顏色的標(biāo)簽相遇時就構(gòu)建堤壩，直到將所有山峰淹沒，最后我們得到的邊界對象（堤壩）的值為 -1。

對于如何打上標(biāo)簽（即添加注水點(diǎn)）有兩種辦法：

opencv中，對于一張二值化的圖像，后續(xù)處理方式有兩種。第一種方式就是利用findContours、drawContours等函數(shù)進(jìn)行輪廓分析（opencv以對輪廓的處理為主）。第二種方式就是計算連通域進(jìn)行區(qū)域分析。

第一種（基于輪廓）：在二值化后，對圖像尋找輪廓findContours，篩選出注水區(qū)域輪廓，然后通過drawContours對輪廓標(biāo)記。

第二種（基于區(qū)域）：在二值化后，先對尋找圖像中的前景圖（即注水點(diǎn)），再尋找到背景圖（進(jìn)行膨脹），最后找到未知區(qū)域（背景減去前景，得到邊緣圖），通過connectedComponents()獲取標(biāo)記點(diǎn)。

相關(guān)API:

分水嶺函數(shù)watershed函數(shù)原型

void watershed( InputArray image, InputOutputArray markers );

第一個輸入參數(shù) image，必須是CV_8UC3類型圖像。

第二個輸入/輸出參數(shù)markers必須是32位單通道圖像。和image尺寸一樣。包含不同區(qū)域的輪廓，每個輪廓有一個自己唯一的編號。

在執(zhí)行watershed函數(shù)后，算法會根據(jù)markers傳入的輪廓作為種子，對圖像上其他的像素點(diǎn)根據(jù)分水嶺算法規(guī)則進(jìn)行判斷，并對每個像素點(diǎn)的區(qū)域歸屬進(jìn)行劃定，直到處理完圖像上所有像素點(diǎn)。而區(qū)域與區(qū)域之間的分界處的值被置為“-1”，以做區(qū)分。

距離變換函數(shù)distanceTransform函數(shù)原型

距離變換運(yùn)算用于計算二值化圖像中的每一個非零點(diǎn)距自己最近的零點(diǎn)的距離，距離變換圖像上越亮的點(diǎn)，代表了這一點(diǎn)距離零點(diǎn)的距離越遠(yuǎn)。

距離變換通常用于求解圖像的骨骼和查找物體的質(zhì)心（即獲取距離變換的極大值）和計算非零像素到最近零像素點(diǎn)的最短距離。

distanceTransform( InputArray src, OutputArray dst, int distanceType, int maskSize，
int dstType = CV_32F
);

第一個輸入?yún)?shù)src，必須是CV_8UC1類型的二值圖像（只有0或1）

第二個輸出參數(shù)dst，表示的是計算距離的輸出圖像，輸出類型是CV_32F/CV_8U的單通道圖像，大小與輸入圖片相同。

第三個參數(shù)distanceType，表示的是選取距離的類型，可以設(shè)置為DIST_L1,DIST_L2,DIST_C

第四個參數(shù)maskSize，表示的是距離變換的掩膜模板，可以設(shè)置為3，5（常用3）

第四個參數(shù)dstType，表示輸出類型,可選擇CV_32F/CV_8U

注：若輸出類型為CV_32F，想要顯示距離變換后的骨架圖像，需要對其歸一化。（normalize）

先來看看第一種標(biāo)記mark（基于輪廓）的方法：

（一）讀入圖像，形態(tài)學(xué)，二值化（消除噪聲）

Mat src, src_binary, dst, src_distance;
    src = imread("D:/opencv練習(xí)圖片/維生素片機(jī)器視覺檢測和計數(shù).png");
    imshow("原圖片", src);
    Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
    morphologyEx(src, dst, MORPH_OPEN, kernel);
    imshow("形態(tài)學(xué)", dst);
    cvtColor(dst, dst, COLOR_RGB2GRAY);
    threshold(dst, src_binary, 100, 255, THRESH_OTSU);
    imshow("二值化", src_binary);

（二）距離變換（歸一化顯示），再二值化

 distanceTransform(src_binary, src_distance, DIST_L2, 3, 5);
    normalize(src_distance, src_distance, 0, 1, NORM_MINMAX);
    imshow("距離變換", src_distance);
    threshold(src_distance, src_distance, 0.4,1, THRESH_BINARY);
    imshow("再二值化", src_distance);

經(jīng)過距離變換后的二值化，可以清晰看到，藥片以及完全分割開來。

（三）打上標(biāo)簽（添加注水點(diǎn)）,基于輪廓

//尋找標(biāo)記點(diǎn)marsk的輪廓信息 也就是分水嶺的水壩
    src_distance.convertTo(src_distance, CV_8UC1);
    vector> contours;    
    findContours(src_distance, contours, RETR_TREE, CHAIN_APPROX_SIMPLE);
    //創(chuàng)建maker
    Mat markers = Mat::zeros(src.size(), CV_32S);//  //因為分水嶺后的邊緣存儲是-1，所以必須使用有符號的CV_32S
    for (size_t t = 0; t < contours.size(); t++) 
    {
        drawContours(markers, contours, static_cast(t), Scalar(static_cast(t) + 1), -1);//輪廓數(shù)字編號
    }
    circle(markers, Point(5, 5), 30, Scalar(255), -1);//關(guān)鍵代碼（mark做一個小標(biāo)記）
    int index1 = 0;
    //打印輪廓數(shù)據(jù) 有值的均為輪廓線
    for (int row = 0; row < markers.rows; row++)
        for (int col = 0; col < markers.cols; col++)
        {
            index1 = markers.at(row, col);
            cout << index1 << ",";
        }

部分標(biāo)簽markers輪廓數(shù)據(jù)截圖，可以看到0代表背景，輪廓線用正數(shù)索引標(biāo)識。

（四）進(jìn)行分水嶺操作，并給分水嶺后的區(qū)域隨機(jī)上色，并打印出檢測的藥片個數(shù)。

// 生成隨機(jī)顏色
    vector colors;
    for (size_t i = 0; i < contours.size(); i++) {
        int r = theRNG().uniform(0, 255);
        int g = theRNG().uniform(0, 255);
        int b = theRNG().uniform(0, 255);
        colors.push_back(Vec3b((uchar)b, (uchar)g, (uchar)r));
    }


    // 顏色填充與最終顯示
    Mat dst1 = Mat::zeros(markers.size(), CV_8UC3);
    int index = 0;
    for (int row = 0; row < markers.rows; row++) {
        for (int col = 0; col < markers.cols; col++) {
            index = markers.at(row, col);
            
            if (index > 0 && index <= contours.size()) {
                dst1.at(row, col) = colors[index - 1];


            }
            else {
                dst1.at(row, col) = Vec3b(0, 0, 0);
            }


        }
    }
    imshow("結(jié)果顯示", dst1);
    printf("藥片檢測個數(shù): %d
", contours.size());

再來看看第二種標(biāo)記mark（基于區(qū)域）的方法：

（一）讀入圖像，形態(tài)學(xué)，二值化（消除噪聲）

 Mat foreground, background, unkonwn;//創(chuàng)建前景，背景,未知區(qū)域
    Mat src, src_binary, dst, src_distance;
    src = imread("D:/opencv練習(xí)圖片/維生素片機(jī)器視覺檢測和計數(shù).png");
    imshow("原圖片", src);
    Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
    morphologyEx(src, dst, MORPH_OPEN, kernel);
    imshow("形態(tài)學(xué)", dst);
    cvtColor(dst, dst, COLOR_RGB2GRAY);
    threshold(dst, src_binary, 100, 255, THRESH_OTSU);
    imshow("二值化", src_binary);

（二）對二值化圖像進(jìn)行膨脹操作，得到大部分是背景的圖片

//得到背景圖片
    dilate(src_binary, background, kernel, Point(-1, -1), 3);
imshow("背景圖片",background);

（三）通過對二值圖像距離變換得到前景圖片（即注水點(diǎn)）

//距離變換
    distanceTransform(src_binary, src_distance, DIST_L2, 3, 5);
    imshow("距離變換", src_distance);
    normalize(src_distance, src_distance, 0, 255, NORM_MINMAX);
    double my_minv = 0.0, my_maxv = 0.0;
    minMaxIdx(src_binary, &my_minv, &my_maxv);
    threshold(src_distance, foreground, 0.4 * my_maxv, 255, THRESH_BINARY);
    foreground.convertTo(foreground, CV_8U);
    imshow("前景圖片", foreground);

（四）通過背景與前景的差值，得到未知區(qū)域（即邊緣所在區(qū)域）

//得到未知區(qū)域
    unkonwn = background - foreground;
imshow("未知區(qū)域",unkonwn);

（五）得到這些區(qū)域以后，我們可以獲取注水點(diǎn)的標(biāo)簽，通過connectedComponents實(shí)現(xiàn)（即獲取markers標(biāo)簽）

//創(chuàng)建標(biāo)記點(diǎn)markers
    Mat markers = Mat(src.size(), CV_32S);
    int num = connectedComponents(foreground, markers, 8);
    cout << num << endl;
    markers = markers + 1;
    for (int i = 0; i < unkonwn.rows; i++)
    {
        for (int j = 0; j < unkonwn.cols; j++)
        {
            if (((int)unkonwn.at(i, j)) == 255)
            {
                markers.at(i, j) = 0;
            }
        }
    }

詳細(xì)理解該步驟：

現(xiàn)在我們已經(jīng)知道哪些是背景，哪些是藥片（前景區(qū)域）。

因此我們可以創(chuàng)建一個標(biāo)簽（和原圖大小，類型為CV_32S)，通過connectedComponents函數(shù)對前景區(qū)域進(jìn)行標(biāo)記

連通域相關(guān)博文：opencv——連通域標(biāo)記與分析 - 唯有自己強(qiáng)大 - 博客園 (cnblogs.com)

該函數(shù)會對前景區(qū)域連通域分析，并將背景設(shè)定為0，其他區(qū)域從1開始正整數(shù)標(biāo)記（這就是我們的種子，水漫時會從這里漫出），結(jié)果返回給markers。

但是對于分水嶺算法，會將為0的區(qū)域認(rèn)為是未知區(qū)域，因此要markers整體加一。

（六）進(jìn)行分水嶺操作，并顯示邊緣

watershed(src, markers);
    for (int row = 0; row < markers.rows; row++)
    {
        for (int col = 0; col < markers.cols; col++)
        {


            if (markers.at< int>(row, col) == -1)
            {
                src.at(row, col) = Vec3b(0, 0, 255);
            }
        }
    }


    imshow("結(jié)果", src);

由于分水嶺算法會將找到的邊緣在markers置為-1,因此我們對原圖操作，將索引為-1的位置的像素值改為紅色（即顯示邊緣）。

審核編輯：劉清