首页> 中国专利> 一种用于全景相机的颜色阴影校正方法及系统

一种用于全景相机的颜色阴影校正方法及系统

摘要

一种用于全景相机的颜色阴影校正方法及系统,该方法包括:采集全景相机中各镜头的YUV422格式的raw图像,并转换为Bayer格式的raw图像;根据Bayer格式的raw图像统计各镜头在不同环内的R、B通道增益值;根据R、B通道增益值计算单个镜头的R、B增益值的多项式拟合函数和单个镜头的整体R、B增益值,以及计算所有镜头的整体平均R、B增益值;根据各镜头的R、B增益值的多项式拟合函数进行拟合,计算各对应镜头的密集R、B增益值拟合值;根据整体平均R、B增益值与密集R、B增益值拟合值,分别计算单个镜头的颜色阴影校正系数,本发明可使全景图像中单个镜头的色彩均匀以及所有镜头的色彩一致。

著录项

  • 公开/公告号CN107592516A

    专利类型发明专利

  • 公开/公告日2018-01-16

    原文格式PDF

  • 申请/专利权人 长沙全度影像科技有限公司;

    申请/专利号CN201710829220.9

  • 发明设计人 刘娟;余思洋;张智福;

    申请日2017-09-14

  • 分类号H04N9/64(20060101);

  • 代理机构

  • 代理人

  • 地址 410205 湖南省长沙市高新开发区尖山路39号中电软件园一期9栋厂房4层402房

  • 入库时间 2023-06-19 04:20:33

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-01-17

    授权

    授权

  • 2018-02-09

    实质审查的生效 IPC(主分类):H04N9/64 申请日:20170914

    实质审查的生效

  • 2018-01-16

    公开

    公开

说明书

技术领域

本发明属于图像处理技术领域,具体涉及一种用于全景相机的颜色阴影校正方法及系统。

背景技术

镜头阴影(lens shading)是由于镜头的光学特性导致的图像亮度和色彩不均匀的现象。镜头阴影校正(lens shading correction)是通过一定的校正算法将成像过程中由镜头等光学特性所产生的阴影去除。

镜头阴影分为两部分:亮度阴影(luma shading),颜色阴影(color shading)。亮度阴影,是指镜头的通光量从中心到边角减小,造成sensor的亮度响应从中心到边角的变小,图像中心亮,四周逐渐变暗。颜色阴影,是指由于入射光中不同波长的光的折射率不同,导致入射光中不同波长的光落在感光器件的不同位置,表现为RGB平面不能重合,从而引起图像色彩的偏差。

随着用户对数字摄像设备的图像品质要求越来越高,全景摄像机中由于不同镜头模组之间光学特性存在的差异,以及存在镜头的颜色阴影问题,引起全景相机的色偏问题,导致降低了全景相机的图像画质,影响用户的体验度。

发明内容

现有技术中,全景摄像机中由于不同镜头模组之间光学特性存在差异,以及存在镜头的颜色阴影问题,引起全景相机的色偏问题,为了解决这种问题,本发明提供一种用于全景相机的颜色阴影校正方法及系统,具体方案如下:

一种用于全景相机的颜色阴影校正方法,包括如下步骤:

S1,采集全景相机中各镜头的YUV422格式的raw图像,并转换为Bayer格式的raw图像;

S2,根据Bayer格式的raw图像,统计各镜头在不同环内的R、B通道增益值;

S3,根据所述各镜头不同环内的R、B通道增益值,计算单个镜头关于像素距离参数的R、B增益值的多项式拟合函数和计算单个镜头的整体R、B增益值,以及计算所有镜头的整体平均R、B增益值;

S4,根据各镜头的R、B增益值的多项式拟合函数进行拟合,并计算各对应镜头关于像素距离的密集R、B增益值拟合值;

S5,根据所述整体平均R、B增益值与所述密集R、B增益值拟合值,分别计算单个镜头的颜色阴影校正系数,并利用颜色阴影校正系数校正原图像,以使得全景图像中单个镜头的色彩均匀以及所有镜头的色彩一致。

其中,在所述采集全景相机中各镜头的YUV422格式的raw图像的步骤中,每一个镜头均采集1帧图像。

其中,所述统计各镜头在不同环内的R、B通道增益值的具体步骤如下:

在Bayer格式的raw图像上以中心像素点为圆心每隔90个像素距离取圆环,并将所述图像分为10个不同的环形区域1≤ri≤10(1≤i≤10),从中心到四周,ri的取值依次为从1到10,设图像中心像素点的坐标为p0(y0,x0),图像任意点p(y,x)的ri值计算公式如下:

其中,ceil(.)表示向上取整,表示像素点p(y,x)距离中心像素点p0(y0,x0)的像素距离;

选取所述图像的左半区域,遍历所述图像的左半区域,分别统计每一个环内的Gr、R、B、Gb通道的像素平均值,其计算公式如下:

其中,R通道的像素平均值计算公式如下:

其中,num_r(ri)表示不同环内的R通道像素点的总个数,sum_r(ri)表示不同环内的R通道像素点的像素值总和,I(y,x)表示像素点p(y,x)的像素值,avg_r(ri)表示不同环内的R通道的像素平均值,N表示左半图像区域不同环内像素点的总个数;

采用与上述R通道的相同公式分别计算出每一个环内Gr、B、Gb通道的像素均值,avg_gr(ri)、avg_b(ri)、avg_gb(ri);

通过上述每一个环内的Gr、R、B、Gb通道的像素平均值分别计算不同环内的R通道增益值和B通道增益值,

计算公式如下:

其中,avg_g(ri)=(avg_gr(ri)+avg_gb(ri))/2,avg_gr(ri)为不同环内Gr通道的像素平均值,avg_gb(ri)为不同环内Gb通道的像素平均值。

其中,所述计算单个镜头关于像素距离参数的R、B通道增益值的多项式拟合函数的具体步骤如下:

所述多项式拟合函数的通式为:

y=a0x2+a1x+a2

将S2步骤中每个环的中心点距离图像中心点p0(y0,x0)的像素距离,作为拟合函数的x变量抽样值;

通过S2步骤计算得到的不同环内的gainr(ri),计算R增益值的多项式拟合函数的系数值pr={a0,a1,a2};

通过S2步骤计算得到的不同环内的gainb(ri),计算B增益值的多项式拟合函数的系数值pb={b0,b1,b2}。

其中,所述计算单个镜头的整体R、B增益值的具体计算公式如下:

其中,所述计算所有镜头的整体平均R、B增益值的具体计算公式如下:

其中,cmos_gainr(i)表示第i个镜头的整体R增益值,cmos_gainb(i)表示第i个镜头的整体B增益值,N表示全景相机的镜头总个数,total_gainr为全景相机全部镜头的整体平均R增益值,total_gainb为全景相机全部镜头的整体平均B增益值。

其中,所述计算各对应镜头关于像素距离的密集R、B增益值拟合值的具体步骤如下:

采用基于S2步骤求出各镜头的R、B增益值拟合函数系数值pr={a0,a1,a2}和pb={b0,b1,b2},以每隔1个像素距离为抽样半径,计算各镜头密集抽样的R、B通道增益值拟合值,其中,计算公式如下:

fit_gain_r(dis)=a0dis2+a1dis+a2

fit_gain_b(dis)=b0dis2+b1dis+b2

其中,dis的取值范围是1≤dis≤rmax,rmax为Bayer格式raw图像的最大半径,且dis为整数值,fit_gain_r(dis)表示在像素距离dis处的R通道的拟合增益值,fit_gain_b(dis)表示在像素距离dis处的B通道的拟合增益值。

其中,所述分别计算单个镜头的颜色阴影校正系数的具体步骤如下:

coe_r(dis,i)=fit_gain_r(dis,i)/total_gainr

coe_b(dis,i)=fit_gain_b(dis,i)/total_gainb

其中coe_r(dis,i)表示第i个镜头在dis像素距离处,R通道的颜色阴影校正系数,coe_b(dis,i)表示第i个镜头在dis像素距离处,B通道的颜色阴影校正系数,fit_gain_r(dis,i)表示第i个镜头在dis像素距离处,R通道的拟合增益值,fit_gain_b(dis,i)表示第i个镜头在dis像素距离处,B通道的拟合增益值,total_gainr是全景相机的整体R增益值,total_gainb是全景相机的整体B增益值。

其中,所述利用颜色阴影校正系数校正原图像的具体步骤如下:

采用各摄像头的阴影校正系数,分别对全景相机的每一幅Bayer格式的raw图像进行阴影校正;

遍历Bayer格式raw图像的各像素点,每个镜头的Bayer格式的raw图像校正公式如下:

其中,I(yx)表示像素点(y,x)的初始像素值,I′(y,x)表示像素点(y,x)处颜色阴影校正后的像素值,dis的值根据进行计算,floor(.)表示向下取整。

本发明的用于全景相机的颜色阴影校正方法,通过包括步骤:S1,采集全景相机中各镜头的YUV422格式的raw图像,并转换为Bayer格式的raw图像;S2,根据Bayer格式的raw图像,统计各镜头在不同环内的R、B通道增益值;S3,根据所述各镜头不同环内的R、B通道增益值,计算单个镜头关于像素距离参数的R、B增益值的多项式拟合函数和计算单个镜头的整体R、B增益值,以及计算所有镜头的整体平均R、B增益值;S4,根据各镜头的R、B增益值的多项式拟合函数进行拟合,并计算各对应镜头关于像素距离的密集R、B增益值拟合值;S5,根据所述整体平均R、B增益值与所述密集R、B增益值拟合值,分别计算单个镜头的颜色阴影校正系数,并利用颜色阴影校正系数校正原图像,可使得全景图像中单个镜头的色彩均匀以及所有镜头的色彩一致,而且,本发明方法简单有效,很大程度地消除了全景相机的色偏问题,且大大提高了全景摄像机的图像质量,进而提升了用户体验。

根据本发明的另一个方面,本发明还提供了一种用于全景相机的颜色阴影校正系统,包括:

格式转换模块,用于采集全景相机中各镜头的YUV422格式的raw图像,并转换为Bayer格式的raw图像;

统计模块,用于根据Bayer格式的raw图像,统计各镜头在不同环内的R、B通道增益值;

计算模块,用于根据所述各镜头不同环内的R、B通道增益值,计算单个镜头关于像素距离参数的R、B增益值的多项式拟合函数和计算单个镜头的整体R、B增益值,以及计算所有镜头的整体平均R、B增益值;

拟合模块,用于根据各镜头的R、B增益值的多项式拟合函数进行拟合,并计算各对应镜头关于像素距离的密集R、B增益值拟合值;

校正模块,用于根据所述整体平均R、B增益值与所述密集R、B增益值拟合值,分别计算单个镜头的颜色阴影校正系数,并利用颜色阴影校正系数校正原图像,以使得全景图像中单个镜头的色彩均匀以及所有镜头的色彩一致。

本发明的用于全景相机的颜色阴影校正系统,通过包括:格式转换模块,用于采集全景相机中各镜头的YUV422格式的raw图像,并转换为Bayer格式的raw图像;统计模块,用于根据Bayer格式的raw图像,统计各镜头在不同环内的R、B通道增益值;计算模块,用于根据所述各镜头不同环内的R、B通道增益值,计算单个镜头关于像素距离参数的R、B增益值的多项式拟合函数和计算单个镜头的整体R、B增益值,以及计算所有镜头的整体平均R、B增益值;拟合模块,用于根据各镜头的R、B增益值的多项式拟合函数进行拟合,并计算各对应镜头关于像素距离的密集R、B增益值拟合值;校正模块,用于根据所述整体平均R、B增益值与所述密集R、B增益值拟合值,分别计算单个镜头的颜色阴影校正系数,并利用颜色阴影校正系数校正原图像,可使得全景图像中单个镜头的色彩均匀以及所有镜头的色彩一致,而且,本发明系统简单有效,很大程度地消除了全景相机的色偏问题,且大大提高了全景摄像机的图像质量,进而提升了用户体验。

附图说明

图1是本发明第一实施方式提供的用于全景相机的颜色阴影校正方法的方法流程图;

图2是本发明实施例中GRBG模式的Bayer格式的raw图像的示意图;

图3为本发明实施例中基于像素中心对称的统计模型的示意图;

图4是本发明第二实施方式提供的用于全景相机的颜色阴影校正系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。

镜头阴影(lens shading)是由于镜头的光学特性导致的图像亮度和色彩不均匀的现象。镜头阴影校正(lens shading correction)是通过一定的校正算法将成像过程中由镜头等光学特性所产生的阴影去除。

镜头阴影分为两部分:亮度阴影(luma shading),颜色阴影(color shading)。亮度阴影,是指镜头的通光量从中心到边角减小,造成sensor的亮度响应从中心到边角的变小,图像中心亮,四周逐渐变暗。颜色阴影,是指由于入射光中不同波长的光的折射率不同,导致入射光中不同波长的光落在感光器件的不同位置,表现为RGB平面不能重合,从而引起图像色彩的偏差。

随着用户对数字摄像设备中的图像品质要求越来越高,全景摄像机中由于不同镜头模组之间光学特性存在的差异,以及存在镜头的颜色阴影问题,引起全景相机的色偏问题,导致降低了全景相机的图像画质,影响用户的体验度。

本发明的用于全景相机的颜色阴影校正方法,该方法可有效地消除镜头的色彩偏差问题,以达到图像色彩均一的效果,该方法流程如图1所示,具体包括如下步骤:

步骤S1,采集全景相机中各镜头的YUV422格式的raw图像,并转换为Bayer格式的raw图像;

步骤S2,根据Bayer格式的raw图像,统计各镜头在不同环内的R、B通道增益值;

步骤S3,根据所述各镜头不同环内的R、B通道增益值,计算单个镜头关于像素距离参数的R、B增益值的多项式拟合函数和计算单个镜头的整体R、B增益值,以及计算所有镜头的整体平均R、B增益值;

步骤S4,根据各镜头的R、B增益值的多项式拟合函数进行拟合,并计算各对应镜头关于像素距离的密集R、B增益值拟合值;

步骤S5,根据所述整体平均R、B增益值与所述密集R、B增益值拟合值,分别计算单个镜头的颜色阴影校正系数,并利用颜色阴影校正系数校正原图像,以使得全景图像中单个镜头的色彩均匀以及所有镜头的色彩一致。

上述实施例的用于全景相机的颜色阴影校正方法,通过包括步骤:S1,采集全景相机中各镜头的YUV422格式的raw图像,并转换为Bayer格式的raw图像;S2,根据Bayer格式的raw图像,统计各镜头在不同环内的R、B通道增益值;S3,根据所述各镜头不同环内的R、B通道增益值,计算单个镜头关于像素距离参数的R、B增益值的多项式拟合函数和计算单个镜头的整体R、B增益值,以及计算所有镜头的整体平均R、B增益值;S4,根据各镜头的R、B增益值的多项式拟合函数进行拟合,并计算各对应镜头关于像素距离的密集R、B增益值拟合值;S5,根据所述整体平均R、B增益值与所述密集R、B增益值拟合值,分别计算单个镜头的颜色阴影校正系数,并利用颜色阴影校正系数校正原图像,可使得全景图像中单个镜头的色彩均匀以及所有镜头的色彩一致,而且,本发明方法简单有效,很大程度地消除了全景相机的色偏问题,且大大提高了全景摄像机的图像质量,进而提升了用户体验。

具体地,上述步骤S1中,采集格式为YUV422的raw图像时,每一个镜头均采集1帧图像。

在此需说明的是,本发明用于颜色阴影校正的格式采集对象(各镜头)要求必须是亮度分布平坦且为均匀的光源,同时采集对象必须保持平滑无纹理。

优选地,本发明标定图像的采集环境设置如下:采用色温箱,在色温箱内部铺满白纸,采用D50光源(色温5000K),镜头对准光源中心处,尽量保证镜头捕获区域光源分布均匀。在采集过程中,通过相机设置ISO为100,调节shutter值控制曝光,其中图像不宜过曝,也不宜曝光不足。

在此需说明的是,上述步骤S1中,将YUV422格式的raw图像转换为Bayer格式的raw图像,是为了方便统计raw图像的不同颜色通道均值和增益值,其中,Bayer格式为GRBG模式。

图2是本发明实施例中GRBG模式的格式为Bayer的raw图像的示意图,如图2所示,设置上述Bayer的raw图像的像素点的坐标为p(y,x),可以根据如下公式来区分颜色通道:

其中mod(y,2)表示像素横坐标y除以2的余数,mod(x,2)表示图像纵坐标x除以2的余数。

在此需说明的是,由于镜头的色彩偏差问题呈现出径向对称特性,图像中心的色彩偏差很小,越往四周,色彩偏差越大。

具体地,在上述步骤S2中,采用基于步骤S1中的Bayer格式的raw图像,统计各镜头在不同环内的R、B通道增益值的具体步骤如下:

图3为本发明实施例中基于像素中心对称的统计模型的示意图,如图3所示,在Bayer格式raw图像上以中心像素点为圆心每隔90个像素距离取圆环,并将所述图像分为10个不同的环形区域1≤ri≤10(1≤i≤10),从中心到四周,ri的取值依次为从1到10,设图像中心像素点的坐标为p0(y0,x0),图像任意点p(y,x)的ri值计算公式如下:

其中,ceil(.)表示向上取整,表示像素点p(y,x)距离中心像素点p0(y0,x0)的像素距离;

选取所述图像的左半区域,遍历所述图像的左半区域,分别统计每一个环内的Gr、R、B、Gb通道的像素平均值,其计算公式如下:

以R通道为例,R通道的像素平均值计算公式如下:

其中,num_r(ri)表示不同环内的R通道像素点的总个数,sum_r(ri)表示不同环内的R通道像素点的像素值总和,I(y,x)表示像素点p(y,x)的像素值,avg_r(ri)表示不同环内的R通道的像素平均值,N表示左半图像区域不同环内像素点的总个数;

可以理解的是,上述所选取的图像当然也可为图像的其他半边区域,由于图像具体中心对称性,选取图像的左半区域,仅仅为统计和计算方便。

采用与上述R通道的相同公式分别计算出每一个环内Gr、B、Gb通道的像素均值,avg_gr(ri)、avg_b(ri)、avg_gb(ri);

然后,通过上述每一个环内的Gr、R、B、Gb通道的像素平均值分别计算不同环内的R通道增益值和B通道增益值,

计算公式如下:

其中,avg_g(ri)=(avg_gr(ri)+avg_gb(ri))/2,avg_gr(ri)为不同环内Gr通道的像素平均值,avg_gb(ri)为不同环内Gb通道的像素平均值。

具体地,在上述步骤S3中,采用基于各镜头不同环内的R、B通道增益值,计算单个镜头关于像素距离参数的R、B通道增益值的多项式拟合函数的具体步骤如下:

所述多项式拟合函数的通式为:

y=a0x2+a1x+a2

将上述S2步骤中每个环的中心点距离图像中心点p0(y0,x0)的像素距离,作为拟合函数的x变量抽样值,分别计算R、B增益值的多项式拟合函数的系数值:

通过上述S2步骤计算得到的不同环内的gainr(ri),计算R增益值的多项式拟合函数的系数值pr={a0,a1,a2};

通过上述S2步骤计算得到的不同环内的gainb(ri),计算B增益值的多项式拟合函数的系数值pb={b0,b1,b2}。

具体地,该步骤S3中,采用基于各镜头不同环内的R、B通道增益值,计算单个镜头的整体R、B增益值的具体计算公式如下:

具体地,该步骤S3中,需要理解的是,对于单个镜头的色彩偏差,可以通过单个镜头的整体增益值来校正颜色阴影。而对于全景相机,还需保持不同镜头的色彩均匀一致。

因此通过求解多个镜头的整体平均R、B增益值可进一步校正不同镜头的颜色阴影,计算所有镜头的整体平均R、B增益值的具体计算公式如下:

其中,cmos_gainr(i)表示第i个镜头的整体R增益值,cmos_gainb(i)表示第i个镜头的整体B增益值,N表示全景相机的镜头总个数,total_gainr为全景相机全部镜头的整体平均R增益值,total_gainb为全景相机全部镜头的整体平均B增益值。

具体地,在上述步骤S4中,计算各镜头关于像素距离的密集R、B增益值拟合值的具体步骤如下:

采用基于S2步骤求出各镜头的R、B增益值拟合函数系数值pr={a0,a1,a2}和pb={b0,b1,b2},以每隔1个像素距离为抽样半径,计算各镜头密集抽样的R、B通道增益值拟合值,其中,计算公式如下:

fit_gain_r(dis)=a0dis2+a1dis+a2

fit_gain_b(dis)=b0dis2+b1dis+b2

其中,dis的取值范围是1≤dis≤rmax,rmax为Bayer格式raw图像的最大半径,且dis为整数值,fit_gain_r(dis)表示在像素距离dis处的R通道的拟合增益值,fit_gain_b(dis)表示在像素距离dis处的B通道的拟合增益值。

具体地,该步骤S4中,分别计算单个镜头的颜色阴影校正系数的具体步骤如下:

coe_r(dis,i)=fit_gain_r(dis,i)/total_gainr

coe_b(dis,i)=fit_gain_b(dis,i)/total_gainb

其中,coe_r(dis,i)表示第i个镜头在dis像素距离处,R通道的颜色阴影校正系数,coe_b(dis,i)表示第i个镜头在dis像素距离处,B通道的颜色阴影校正系数,fit_gain_r(dis,i)表示第i个镜头在dis像素距离处,R通道的拟合增益值,fit_gain_b(dis,i)表示第i个镜头在dis像素距离处,B通道的拟合增益值,total_gainr是全景相机的整体R增益值,total_gainb是全景相机的整体B增益值。

具体地,在上述步骤S5中,分别计算单个镜头的颜色阴影校正系数的具体步骤如下:

coe_r(dis,i)=fit_gain_r(dis,i)/total_gainr

coe_b(dis,i)=fit_gain_b(dis,i)/total_gainb

其中coe_r(dis,i)表示第i个镜头在dis像素距离处,R通道的颜色阴影校正系数,coe_b(dis,i)表示第i个镜头在dis像素距离处,B通道的颜色阴影校正系数,fit_gain_r(dis,i)表示第i个镜头在dis像素距离处,R通道的拟合增益值,fit_gain_b(dis,i)表示第i个镜头在dis像素距离处,B通道的拟合增益值,total_gainr是全景相机的整体R增益值,total_gainb是全景相机的整体B增益值。

具体地,该步骤S5中,利用颜色阴影校正系数校正原图像的具体步骤如下:

采用各摄像头的阴影校正系数,分别对全景相机的每一幅Bayer格式raw图像进行阴影校正;

遍历Bayer格式raw图像的各像素点,每个镜头的Bayer格式raw图像校正公式如下:

其中,I(y,x)表示像素点(y,x)的初始像素值,I′(y,x)表示像素点(y,x)处颜色阴影校正后的像素值,dis的值根据进行计算,floor(.)表示向下取整。

作为本发明的另一方案,还提供了一种用于全景相机的颜色阴影校正系统。该系统结构如图4所示,包括:

格式转换模块41,用于采集全景相机中各镜头的YUV422格式的raw图像,并转换为Bayer格式的raw图像;

统计模块42,用于根据Bayer格式的raw图像,统计各镜头在不同环内的R、B通道增益值;

计算模块43,用于根据所述各镜头不同环内的R、B通道增益值,计算单个镜头关于像素距离参数的R、B增益值的多项式拟合函数和计算单个镜头的整体R、B增益值,以及计算所有镜头的整体平均R、B增益值;

拟合模块44,用于根据各镜头的R、B增益值的多项式拟合函数进行拟合,并计算各对应镜头关于像素距离的密集R、B增益值拟合值;

校正模块45,用于根据所述整体平均R、B增益值与所述密集R、B增益值拟合值,分别计算单个镜头的颜色阴影校正系数,并利用颜色阴影校正系数校正原图像,以使得全景图像中单个镜头的色彩均匀以及所有镜头的色彩一致。

上述实施例的用于全景相机的颜色阴影校正系统,通过包括:格式转换模块,用于采集全景相机中各镜头的YUV422格式的raw图像,并转换为Bayer格式的raw图像;统计模块,用于根据Bayer格式的raw图像,统计各镜头在不同环内的R、B通道增益值;计算模块,用于根据所述各镜头不同环内的R、B通道增益值,计算单个镜头关于像素距离参数的R、B增益值的多项式拟合函数和计算单个镜头的整体R、B增益值,以及计算所有镜头的整体平均R、B增益值;拟合模块,用于根据各镜头的R、B增益值的多项式拟合函数进行拟合,并计算各对应镜头关于像素距离的密集R、B增益值拟合值;校正模块,用于根据所述整体平均R、B增益值与所述密集R、B增益值拟合值,分别计算单个镜头的颜色阴影校正系数,并利用颜色阴影校正系数校正原图像,以使得全景图像中单个镜头的色彩均匀以及所有镜头的色彩一致,该系统简单有效,很大程度地消除了全景相机的色偏问题,大大提高了全景摄像机的图像质量,提升了用户体验。

具体地,上述格式转换模块41中,采集格式为YUV422的raw图像时,每一个镜头均采集1帧图像。

在此需说明的是,本发明用于颜色阴影校正的格式采集对象(各镜头)要求必须是亮度分布平坦且为均匀的光源,同时采集对象必须保持平滑无纹理。

优选地,本发明标定图像的采集环境的设置如下:采用色温箱,在色温箱内部铺满白纸,采用D50光源(色温5000K),镜头对准光源中心处,尽量保证镜头捕获区域光源分布均匀。在采集过程中,通过相机设置ISO为100,调节shutter值控制曝光,其中图像不宜过曝,也不宜曝光不足。

在此需说明的是,上述格式转换模块41中,将YUV422格式的raw图像转换为Bayer格式的raw图像,是为了方便统计raw图像的不同颜色通道均值和增益值,其中,Bayer格式为GRBG模式。

如图2所示,设置上述Bayer的raw图像的像素点的坐标为p(y,x),可以根据如下公式来区分颜色通道:

其中mod(y,2)表示像素横坐标y除以2的余数,mod(x,2)表示图像纵坐标x除以2的余数。

在此需说明的是,由于镜头的色彩偏差问题呈现出径向对称特性,图像中心的色彩偏差很小,越往四周,色彩偏差越大。

具体地,在上述统计模块42中,采用基于格式转换模块41中的格式为Bayer的raw图像,统计各镜头在不同环内的R、B通道增益值的具体步骤如下:

如图3所示,在格式为Bayer的raw图像上以中心像素点为圆心每隔90个像素距离取圆环,并将所述图像分为10个不同的环形区域1≤ri≤10(1≤i≤10),从中心到四周,ri的取值依次为从1到10,设图像中心像素点的坐标为p0(y0,x0),图像任意点p(y,x)的ri值计算公式如下:

其中,ceil(.)表示向上取整,表示像素点p(y,x)距离中心像素点p0(y0,x0)的像素距离;

选取所述图像的左半区域,遍历所述图像的左半区域,分别统计每一个环内的Gr、R、B、Gb通道的像素平均值,其计算公式如下:

以R通道为例,R通道的像素平均值计算公式如下:

其中,num_r(ri)表示不同环内的R通道像素点的总个数,sum_r(ri)表示不同环内的R通道像素点的像素值总和,I(y,x)表示像素点p(y,x)的像素值,avg_r(ri)表示不同环内的R通道的像素平均值,N表示左半图像区域不同环内像素点的总个数;

可以理解的是,上述所选取的图像当然也可为图像的其他半边区域,由于图像具体中心对称性,选取图像的左半区域,仅仅为统计和计算方便。

采用与上述R通道的相同公式分别计算出每一个环内Gr、B、Gb通道的像素均值,avg_gr(ri)、avg_b(ri)、avg_gb(ri);

然后,通过上述每一个环内的Gr、R、B、Gb通道的像素平均值分别计算不同环内的R通道增益值和B通道增益值,

计算公式如下:

其中,avg_g(ri)=(avg_gr(ri)+avg_gb(ri))/2,avg_gr(ri)为不同环内Gr通道的像素平均值,avg_gb(ri)为不同环内Gb通道的像素平均值。

具体地,在上述计算模块43中,采用基于各镜头不同环内的R、B通道增益值,计算单个镜头关于像素距离参数的R、B通道增益值的多项式拟合函数的具体步骤如下:

所述多项式拟合函数的通式为:

y=a0x2+a1x+a2

将上述计算模块43中每个环的中心点距离图像中心点p0(y0,x0)的像素距离,作为拟合函数的x变量抽样值,分别计算R、B增益值的多项式拟合函数的系数值:

通过上述统计模块42中计算得到的不同环内的gainr(ri),计算R增益值的多项式拟合函数的系数值pr={a0,a1,a2};

通过上述统计模块42计算得到的不同环内的gainb(ri),计算B增益值的多项式拟合函数的系数值pb={b0,b1,b2}。

具体地,该计算模块43中,采用基于各镜头不同环内的R、B通道增益值,计算单个镜头的整体R、B增益值的具体计算公式如下:

具体地,该计算模块43中,需要理解的是,对于单个镜头的色彩偏差,可以通过单个镜头的整体增益值来校正颜色阴影。而对于全景相机,还需保持不同镜头的色彩均匀一致。

因此通过求解多个镜头的整体平均R、B增益值可进一步校正不同镜头的颜色阴影,计算所有镜头的整体平均R、B增益值的具体计算公式如下:

其中,cmos_gainr(i)表示第i个镜头的整体R增益值,cmos_gainb(i)表示第i个镜头的整体B增益值,N表示全景相机的镜头总个数,total_gainr为全景相机全部镜头的整体平均R增益值,total_gainb为全景相机全部镜头的整体平均B增益值。

具体地,在上述拟合模块44中,计算各镜头关于像素距离的密集R、B增益值拟合值的具体步骤如下:

采用基于统计模块42求出各镜头的R、B增益值拟合函数系数值pr={a0,a1,a2}和pb={b0,b1,b2},以每隔1个像素距离为抽样半径,计算各镜头密集抽样的R、B通道增益值拟合值,其中,计算公式如下:

fit_gain_r(dis)=a0dis2+a1dis+a2

fit_gain_b(dis)=b0dis2+b1dis+b2

其中,dis的取值范围是1≤dis≤rmax,rmax为格式为Bayer的raw图像的最大半径,且dis为整数值,fit_gain_r(dis)表示在像素距离dis处的R通道的拟合增益值,fit_gain_b(dis)表示在像素距离dis处的B通道的拟合增益值。

具体地,该步骤S4中,分别计算单个镜头的颜色阴影校正系数的具体步骤如下:

coe_r(dis,i)=fit_gain_r(dis,i)/total_gainr

coe_b(dis,i)=fit_gain_b(dis,i)/total_gainb

其中,coe_r(dis,i)表示第i个镜头在dis像素距离处,R通道的颜色阴影校正系数,coe_b(dis,i)表示第i个镜头在dis像素距离处,B通道的颜色阴影校正系数,fit_gain_r(dis,i)表示第i个镜头在dis像素距离处,R通道的拟合增益值,fit_gain_b(dis,i)表示第i个镜头在dis像素距离处,B通道的拟合增益值,total_gainr是全景相机的整体R增益值,total_gainb是全景相机的整体B增益值。

具体地,在上述校正模块45中,分别计算单个镜头的颜色阴影校正系数的具体步骤如下:

coe_r(dis,i)=fit_gain_r(dis,i)/total_gainr

coe_b(dis,i)=fit_gain_b(dis,i)/total_gainb

其中coe_r(dis,i)表示第i个镜头在dis像素距离处,R通道的颜色阴影校正系数,coe_b(dis,i)表示第i个镜头在dis像素距离处,B通道的颜色阴影校正系数,fit_gain_r(dis,i)表示第i个镜头在dis像素距离处,R通道的拟合增益值,fit_gain_b(dis,i)表示第i个镜头在dis像素距离处,B通道的拟合增益值,total_gainr是全景相机的整体R增益值,total_gainb是全景相机的整体B增益值。

具体地,该校正模块45中,利用颜色阴影校正系数校正原图像的具体步骤如下:

采用各摄像头的阴影校正系数,分别对全景相机的每一幅Bayer格式的raw图像进行阴影校正;

遍历Bayer格式的raw图像的各像素点,每个镜头的Bayer格式raw图像校正公式如下:

其中,I(y,x)表示像素点(y,x)的初始像素值,I′(y,x)表示像素点(y,x)处颜色阴影校正后的像素值,dis的值根据进行计算,floor(.)表示向下取整。

应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的全景相机的理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号