OpenCV处理工业相机Bayer格式数据

创作时间:

作者:

@小白创作中心

OpenCV处理工业相机Bayer格式数据

引用

CSDN

https://blog.csdn.net/winyio8/article/details/136471510

工业相机为了传输效率和数据的真实性，很多都是用Raw格式，比如从某宝购买的这台JHEM203GC的相机，就只支持Bayer RG8， Bayer RG10数据。本文将详细介绍如何使用OpenCV处理这种Bayer格式数据，包括图像转换、Mat格式转换以及一步转换等方法。

1 Bayer图像

Bayer图像是彩色Bayer传感器产生的图像数据，这种传感器每个像素只记录了红，绿，蓝一个分量的数据，如下图所示，按照排列方式分为RGGB，BGGR, GRBG, GBRG四种排列。

对相机返回的这种Bayer数据，如果需要显示为正常的彩色图像，需要将每个像素丢失的信息插补回来，一般是利用相邻和附近的像素信息进行插值，有许多不同的算法得到的效果也不尽相同。

2 图像转RGB或者BGR

如调用MVS SDK，可以通过MV_CC_ConvertPixelType实现，代码如下，转换的格式通常为PixelType_Gvsp_BGR8_Packed，就是BGR排列，如果是RGB排列，使用PixelType_Gvsp_RGB8_Packed，这种格式保存为图片或者显示时可能会出现红蓝对调的情况。

int Bayer2BGR(void *handle, unsigned char* pData, MV_FRAME_OUT_INFO_EX* pstImageInfo, unsigned char **pBgrData)
{
    *pBgrData = 0;
    if (NULL == pData)
    {
        return MV_E_PARAMETER;
    }
    unsigned int nDataSizeForBGR = pstImageInfo->nWidth * pstImageInfo->nHeight * 3;
    unsigned char* pDataForBGR = (unsigned char*)malloc(nDataSizeForBGR);
    if (NULL == pDataForBGR)
    {
        return MV_E_BUFOVER;
    }
    // ch:像素格式转换 | en:Convert pixel format 
    MV_CC_PIXEL_CONVERT_PARAM stConvertParam = { 0 };
    memset(&stConvertParam, 0, sizeof(MV_CC_PIXEL_CONVERT_PARAM));
    stConvertParam.nWidth = pstImageInfo->nWidth;                 //ch:图像宽 | en:image width
    stConvertParam.nHeight = pstImageInfo->nHeight;               //ch:图像高 | en:image height
    stConvertParam.pSrcData = pData;                            //ch:输入数据缓存 | en:input data buffer
    stConvertParam.nSrcDataLen = pstImageInfo->nFrameLen;         //ch:输入数据大小 | en:input data size
    stConvertParam.enSrcPixelType = pstImageInfo->enPixelType;    //ch:输入像素格式 | en:input pixel format
    stConvertParam.enDstPixelType = PixelType_Gvsp_BGR8_Packed; //ch:输出像素格式 | en:output pixel format
    stConvertParam.pDstBuffer = pDataForBGR;                    //ch:输出数据缓存 | en:output data buffer
    stConvertParam.nDstBufferSize = nDataSizeForBGR;            //ch:输出缓存大小 | en:output buffer size
    int nRet = MV_CC_ConvertPixelType(handle, &stConvertParam);
    if (MV_OK != nRet)
    {
        free(pDataForBGR);
        return MV_E_UNKNOW;
    }
    *pBgrData = pDataForBGR;
    return MV_OK;
}

3 将buffer转成Mat格式

采集的图像为直接数组，需要转换成Mat格式来调用OpenCV做进一步的处理。

bool Convert2Mat(void* handle, MV_FRAME_OUT_INFO_EX* pstImageInfo, unsigned char **pData)
{
    cv::Mat srcImage;
    if ( pstImageInfo->enPixelType == PixelType_Gvsp_Mono8 )
    {
        srcImage = cv::Mat(pstImageInfo->nHeight, pstImageInfo->nWidth, CV_8UC1, *pData);
    }
    else if ( pstImageInfo->enPixelType == PixelType_Gvsp_RGB8_Packed )
    {
        RGB2BGR(*pData, pstImageInfo->nWidth, pstImageInfo->nHeight);
        srcImage = cv::Mat(pstImageInfo->nHeight, pstImageInfo->nWidth, CV_8UC3, *pData);
    }
    else
    {
        unsigned char *pBgrData = 0;
        Bayer2BGR(handle, *pData, pstImageInfo, &pBgrData);
        if (pBgrData)
        {
            srcImage = cv::Mat(pstImageInfo->nHeight, pstImageInfo->nWidth, CV_8UC3, pBgrData);
            free(*pData);
            *pData = pBgrData;
        }
    }
    if ( NULL == srcImage.data )
    {
        return false;
    }
#ifdef SAVE
    //save converted image in a local file
    try {
#if defined (VC9_COMPILE)
        cvSaveImage("MatImage.bmp", &(IplImage(srcImage)));
#else
        cv::imwrite("MatImage.bmp", srcImage);
#endif
    }
    catch (cv::Exception& ex) {
        fprintf(stderr, "Exception saving image to bmp format: %s\n", ex.what());
    }
#endif
    //show converted image
    try {
#if !defined (VC9_COMPILE)
        cvShowImage("CAM",  &(IplImage(srcImage)));
        cvWaitKey(20);
#else
        cv::imshow("CAM", srcImage);
        cv::waitKey(20);
#endif
    }
    catch (cv::Exception& ex) {
        fprintf(stderr, "Exception saving image to bmp format: %s\n", ex.what());
    }
    srcImage.release();
    return true;
}

4 cvtColor一步转换

使用相机SDK的好处是集成简单，但对于本身需要使用Opencv的工程来说也可以直接使用Opencv的cvtColor，按照原有的bayer格式选择参数，即可一步把RAW图像转为RGB图像。

cv::Mat bayerImg = cv::Mat(stImageInfo.nHeight, stImageInfo.nWidth, CV_8UC1, pData);
cv::Mat bgrImg;
if(stImageInfo.enPixelType == PixelType_Gvsp_BayerBG8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerBG2RGB);
else if(stImageInfo.enPixelType == PixelType_Gvsp_BayerRG8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerRG2RGB);
else if (stImageInfo.enPixelType == PixelType_Gvsp_BayerGB8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerGB2RGB);
else if (stImageInfo.enPixelType == PixelType_Gvsp_BayerGR8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerGR2RGB);
cv::imshow("CAM", bgrImg);
cv::waitKey(20);