首页> 中国专利> 一种基于视网膜视觉机制的彩色图像颜色恒常方法

一种基于视网膜视觉机制的彩色图像颜色恒常方法

摘要

一种基于视网膜视觉机制的彩色图像颜色恒常方法,属于图像处理技术领域,涉及彩色图像颜色恒常技术,尤其是一种基于视网膜视觉机制的彩色图像颜色恒常方法。本发明基于目前最新的视觉神经电生理研究成果,模拟人眼的视网膜视觉机制,建立近似感受野单拮抗模型实现色偏彩色图像的颜色恒常。本发明通过国际通用的颜色恒常测试数据库三百多幅不同场景和光照的图像验证,确认提出的算法比现有的颜色恒常算法更为有效;另外,本发明不仅能够实现色偏彩色图像颜色恒常,而且还具有图像颜色的增强功能,更符合人眼视觉特性。

著录项

  • 公开/公告号CN101674490A

    专利类型发明专利

  • 公开/公告日2010-03-17

    原文格式PDF

  • 申请/专利权人 电子科技大学;

    申请/专利号CN200910167730.X

  • 发明设计人 杜馨瑜;李永杰;尧德中;李朝义;

    申请日2009-09-23

  • 分类号H04N9/73(20060101);

  • 代理机构51203 电子科技大学专利中心;

  • 代理人葛启函

  • 地址 611731 四川省成都市高新区(西区)西源大道2006号

  • 入库时间 2023-12-17 23:44:22

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2016-11-16

    未缴年费专利权终止 IPC(主分类):H04N9/73 授权公告日:20110601 终止日期:20150923 申请日:20090923

    专利权的终止

  • 2011-06-01

    授权

    授权

  • 2010-04-28

    实质审查的生效 IPC(主分类):H04N9/73 申请日:20090923

    实质审查的生效

  • 2010-03-17

    公开

    公开

说明书

技术领域

本发明属于图像处理技术领域,涉及彩色图像颜色恒常技术,尤其是一种基于视网膜视觉机制的彩色图像颜色恒常方法。

背景技术

摄像机等传感器采集到的物体颜色由入射光、物体表面材料的反射性质以及传感器自身的传输性质决定。比如当黄色光照到白色墙壁上,传感器采集到的是从墙上反射的黄色光,其结果与人类感知到墙可能仍是白色的不同。这是因为人眼对物体颜色的感知,在外界光照一定范围的变化下,可以保持相对不变,这种人眼对物体表面颜色的知觉趋于稳定的心理倾向被称为颜色恒常性(Color Constancy)。更进一步说,物体同一表面在不同光照条件下会产生不同的反射光谱,尽管人类视觉的颜色机制确实能分辨出这种由于光照变化导致的物体表面反射光谱的变化,但是人类对该物体表面颜色的认知在一定范围内却保持恒定,也就是认为物体表面的颜色未发生变化。

在摄像或数码相机中,颜色恒常又称为“白平衡”,目的是使在非标准光照条件下拍摄到的图像经白平衡后达到在标准光照下拍摄的效果。但是,广泛的颜色恒常不仅仅包括白平衡,还泛指一切可以克服光源变化的方法和机制,并不一定要把颜色转变为标准光源下的效果,以便应用在机器视觉中。有实验表明,对于同一物体表面,色调变化不超过18%,饱和度变化不超过30%,人眼会把变化前后的颜色认为是同一颜色,即实现了颜色恒常。

目前实现颜色恒常的方法有两类,一是从色偏图像中依据某种假设估计出光源,然后对色偏图像进行颜色矫正得到无色偏图像,这也是目前机器视觉中颜色恒常的主流方法。如灰度世界算法假设无色偏图像所有像素红、绿、蓝三色的能量总和是相等的,该算法虽然计算简单,但当灰度世界的假设不符合待处理的场景时就会失败,而这种情况是比较常见的。如夕阳照射下一片绿色的草地这些单一色彩占主要成份的场景就不符合灰度世界的假设。再如白板算法假设色偏光源可以根据色偏图像红、绿、蓝三通道各自的最大值所确定,但当存在镜面反射时,用该方法所估计的色偏光源显示不准确。另一类是对不受光源影响的彩色图像特征(如颜色不变性等)进行处理,不用估计偏色图像的光源。

视觉系统中,一个神经元的感受野,指的是光照能增强或压抑该细胞产生信号的一块有限的视网膜表面区域。感受野是视觉感知的基本单元。“给光”型(on型)神经节细胞由只照射中心的光电(周围黑暗)引起动作电位的发放(如图1所示);“撤光”型(off型)神经节细胞则由中心暗,周围亮的光照引起动作电位的发放(如图2所示)。每一个视觉神经元只对视野中某特定区域内的刺激产生反应,这个区域称为该神经元的感受野。

由于对颜色的感知是由L,M,S三种类型的视锥细胞开始的,可以大致认为分别对应于接受红、绿、蓝三基色。在此模型中,感受野是由一个小的兴奋区(中心区)和一个大范围的外周抑制区两部分构成,外周抑制区又是由多个抑制亚区构成(如图3所示),大范围的外周抑制区是由远离中心区的双极细胞通过无长突细胞与神经节细胞间接连接的,这些双极细胞的感受野分别形成神经节细胞感受野外周抑制区的许多抑制亚区。由于用到拮抗原理,黄色光分量可从红绿两种光分量的均值得到。中心区C对红、绿、蓝、黄四色光兴奋反应大小TRc,、TGc、TBc、TYc可用式(1)表示:

TRc=Σ(x0,y0)CIR(x0,y0)AR1G1

TGc=Σ(x0,y0)CIG(x0,y0)AG1G1---(1)

TBc=Σ(x0,y0)CIB(x0,y0)AB1G1

TYc=Σ(x0,y0)CIY(x0,y0)AY1G1

其中为落到中心区内(x0,y0)点上的红光分量,C表示中心区,AR1为中心区的红光敏感度,是参数为σ1的高斯核函数,参数σ1的三倍等于感受野中心区的半径。绿、蓝、黄光类似。

感受野外周抑制区内某一抑制亚区(x,y)受到周围另一抑制亚区(x+m,y+n)的抑制性作用可表示成:

IIR[(x,y)-(x+m,y+n)]=IR(x+m,y+n)AR3G3

IIG[(x,y)-(x+m,y+n)]=IG(x+m,y+n)AG3G3                                    (2)

IIB[(x,y)-(x+m,y+n)]=IB(x+m,y+n)AB3G3

IIY[(x,y)-(x+m,y+n)]=IY(x+m,y+n)AY3G3

其中,IR(x+m,y+n)为另一抑制亚区(x+m,y+n)的红光分量,AR3为另一抑制亚区(x+m,y+n)的红光抑制性作用的敏感度,m表示某一抑制亚区(x,y)与另一抑制亚区在x方向的距离,n表示某一抑制亚区(x,y)与另一抑制亚区在y方向的距离,是参数为σ3的高斯核函数,参数σ3的三倍等于抑制亚区之间存在去抑制性作用的最大距离。绿、蓝、黄光类似。因此某一抑制亚区(x,y)受到周围其它所有抑制亚区的抑制性作用的线性总和值即为:

IIR(x,y)=Σ(x+m,y+n)N\(x,y)IR(x+m,y+n)AR3G3

IIG(x,y)=Σ(x+m,y+n)N\(x,y)IG(x+m,y+n)AG3G3---(3)

IIB(x,y)=Σ(x+m,y+n)N\(x,y)IB(x+m,y+n)AB3G3

IIY(x,y)=Σ(x+m,y+n)N\(x,y)IY(x+m,y+n)AY3G3

其中N\(x,y)表示感受野模型外周抑制区中除去(x,y)抑制亚区的其他所有抑制亚区。

然后,再用高斯分布核函数来表示外周抑制区内各个抑制亚区对感受野中心区拮抗反应的大小(式(5)),离中心越近,则对中心区的拮抗作用越大。对外周各抑制亚区进行空间总和得到外周抑制区对中心区总的抑制作用大小为:

TRN=Σ(x,y)Nmax{AR2G2(IR(x,y)-IIR(x,y)),0}

TGN=Σ(x,y)Nmax{AG2G2(IG(x,y)-IIG(x,y)),0}---(4)

TBN=Σ(x,y)Nmax{AB2G2(IB(x,y)-IIB(x,y)),0}

TYN=Σ(x,y)Nmax{AY2G2(IY(x,y)-IIY(x,y)),0}

其中,AR2为抑制亚区(x,y)对中心区的红光抑制性作用的敏感度,是参数为σ2的高斯分布函数,σ2的三倍代表外周抑制区的半径。

根据视网膜神经节细胞的颜色单拮抗原理,即红-绿互为拮抗,蓝-黄互为拮抗(如图4所示)。中心区的反应减去外周区的反应就得到了神经节细胞的输出(神经节细胞输出的脉冲放电频率不可能是负值):

TR=max(TRc-TGN,0)

TG=max(TGc-TRN,0)                                        (5)

TB=max(TBc-TYN,0)

TY=max(TYc-TGN,0)

对于模型中的敏感度参数AR1、AR2、AR3、AG1、AG2、AG3、AB1、AB2、AB3、AY1、AY2和AY3,采用一种基于图像边缘的参数确定方法,具体如下:

AR1=AR2=AR3=(IR(n))2+(IG(n))2+(IB(n))2+(IY(n))2/IR(n)

AG1=AG2=AG3=(IR(n))2+(IG(n))2+(IB(n))2+(IY(n))2/IG(n)---(6)

AB1=AB2=AB3=(IR(n))2+(IG(n))2+(IB(n))2+(IY(n))2/IB(n)

AY1=AY2=AY3=(IR(n))2+(IG(n))2+(IB(n))2+(IY(n))2/IY(n)

其中,IR(n),IG(n),IB(n),IY(n)分别表示对红、绿、蓝和黄光通量求n阶导数,这是基于Koenderink,JJ等对视觉系统的局部几何特性表示的研究成果。通常可以依据图像的场景特征采用0阶(即不求导)、1阶或2阶导数。

本发明基于人类视觉的颜色认知机制,建立出模拟视觉机制的颜色恒常方法,也属于后一大类。

发明内容

本发明提供一种基于视网膜视觉机制的彩色图像颜色恒常方法,通过皮层下带抑制亚区非经典感受野单拮抗模型算法,对带有色偏的彩色自然图像进行处理,实现色偏图像颜色的自动校正,即颜色恒常。

本发明的详细技术方案为:

一种基于视网膜视觉机制的彩色图像颜色恒常方法,如图4所示,包括以下步骤:

步骤1:设定近似感受野模板大小及确定相应的模型参数。

设定3×3像素的近似感受野模板,其中感受野中心区为近似感受野模板的中心像素点,其半径近似为0.5;感受野外周抑制区由近似感受野模板的周围8个像素点构成,即由周围8个抑制亚区构成,感受野外周抑制区的半径近似为;设定高斯核函数和的参数

步骤2:对原始彩色色偏图像的每一个像素点分别提取红色R、绿色G、蓝色B和黄色Y颜色分量IR、IG、IB和IY,并计算各分量的n阶导数IR(n),IG(n),IB(n),IY(n),n=0、1或2。

步骤3:利用公式

AR1=AR2=AR3=(IR(n))2+(IG(n))2+(IB(n))2+(IY(n))2/IR(n)

AG1=AG2=AG3=(IR(n))2+(IG(n))2+(IB(n))2+(IY(n))2/IG(n)

AB1=AB2=AB3=(IR(n))2+(IG(n))2+(IB(n))2+(IY(n))2/IB(n)

AY1=AY2=AY3=(IR(n))2+(IG(n))2+(IB(n))2+(IY(n))2/IY(n)

计算出近似感受野模版的各个敏感度参数AR1、AR2、AR3、AG1、AG2、AG3、AB1、AB2、AB3、AY1、AY2和AY3;其中:AR1表示近似感受野模版中心区的红光敏感度,AR2表示近似感受野模版中某一抑制亚区对中心区的红光抑制性作用的敏感度,AR3表示近似感受野模版中另一抑制亚区对某一抑制亚区的红光抑制性作用的敏感度,AG1表示近似感受野模版中心区的绿光敏感度,AG2表示近似感受野模版中某一抑制亚区对中心区的绿光抑制性作用的敏感度,AG3表示近似感受野模版中另一抑制亚区对某一抑制亚区的绿光抑制性作用的敏感度,AB1表示近似感受野模版中心区的蓝光敏感度,AB2表示近似感受野模版中某一抑制亚区对中心区的蓝光抑制性作用的敏感度,AB3表示近似感受野模版中另一抑制亚区对某一抑制亚区的蓝光抑制性作用的敏感度,AY1表示近似感受野模版中心区的黄光敏感度,AY2表示近似感受野模版中某一抑制亚区对中心区的黄光抑制性作用的敏感度,AY3表示近似感受野模版中另一抑制亚区对某一抑制亚区的黄光抑制性作用的敏感度。

依据步骤1所确定的近似感受野模板,将原始彩色色偏图像的每一个像素点作为一个近似感受野模型的中心区,与该像素点相邻的周围8个像素点作为近似感受野外周区的8个抑制亚区,按照从左至右、从上到下的顺序依次对每一个近似感受野模型进行下述步骤4至步骤9的操作:

步骤4:根据公式

TRc=IR(x0,y0)AR1G1

TGc=IG(x0,y0)AG1G1

TBc=IB(x0,y0)AB1G1

TYc=IY(x0,y0)AY1G1

计算出每个近似感受野模型中心区(x0,y0)像素点对红、绿、蓝、黄四色光兴奋反应大小TRc、TGc、TBc、TYc;其中为中心区(x0,y0)像素点上的红光分量,为中心区(x0,y0)像素点上的绿光分量,为中心区(x0,y0)像素点上的蓝光分量,为中心区(x0,y0)像素点上的黄光分量。

步骤5:根据公式

IIR[(x,y)-(x+m,y+n)]=IR(x+m,y+n)AR3G3

IIG[(x,y)-(x+m,y+n)]=IG(x+m,y+n)AG3G3

IIB[(x,y)-(x+m,y+n)]=IB(x+m,y+n)AB3G3

IIY[(x,y)-(x+m,y+n)]=IY(x+m,y+n)AY3G3

计算出每个近似感受野模型外周抑制区内某一抑制亚区(x,y)受到周围另一抑制亚区(x+m,y+n)的红、绿、蓝、黄四色光的抑制性作用强度IIR[(x,y)-(x+m,y+n)]、IIG[(x,y)-(x+m,y+n)]、IIB[(x,y)-(x+m,y+n)]、IIY[(x,y)-(x+m,y+n)];其中IR(x+m,y+n)为另一抑制亚区(x+m,y+n)的红光分量,IG(x+m,y+n)为另一抑制亚区(x+m,y+n)的绿光分量,IB(x+m,y+n)为另一抑制亚区(x+m,y+n)的蓝光分量,IY(x+m,y+n)为另一抑制亚区(x+m,y+n)的黄光分量;m表示另一抑制亚区(x+m,y+n)在x方向上距某一抑制亚区(x,y)的距离,n表示另一抑制亚区(x+m,y+n)在y方向上距某一抑制亚区(x,y)的距离。

步骤6:根据公式

IIR(x,y)=Σ(x+m,y+n)N\(x,y)IR(x+m,y+n)AR3G3

IIG(x,y)=Σ(x+m,y+n)N\(x,y)IG(x+m,y+n)AG3G3

IIB(x,y)=Σ(x+m,y+n)N\(x,y)IB(x+m,y+n)AB3G3

IIY(x,y)=Σ(x+m,y+n)N\(x,y)IY(x+m,y+n)AY3G3

计算出每个近似感受野模型外周抑制区内某一抑制亚区(x,y)受到周围其它所有抑制亚区的红、绿、蓝、黄四色光的抑制性作用强度的线性总和IIR(x,y)、IIG(x,y)、IIB(x,y)、IIY(x,y);其中N\(x,y)表示感受野模型外周区中除去(x,y)抑制亚区的其他所有抑制亚区。

步骤7:根据公式

TRN=Σ(x,y)Nmax{AR2G2(IR(x,y)-IIR(x,y)),0}

TGN=Σ(x,y)Nmax{AG2G2(IG(x,y)-IIG(x,y)),0}

TBN=Σ(x,y)Nmax{AB2G2(IB(x,y)-IIB(x,y)),0}

TYN=Σ(x,y)Nmax{AY2G2(IY(x,y)-IIY(x,y)),0}

计算出每个近似感受野模型外周抑制区内各抑制亚区对中心区总的红、绿、蓝、黄四色光的抑制性作用强度TRN、TGN、TBN、TYN;其中N表示感受野模型外周区中所有抑制亚区,max表示二者之中取较大者。

步骤8:根据公式

TR=max(TRc-TGN,0)

TG=max(TGc-TRN,0)

TB=max(TBc-TYN,0)

TY=max(TYc-TGN,0)

计算出每一个感受野模型的红-绿互拮抗输出TR和TG,以及蓝-黄互拮抗的输出TB和TY,取TR、TG和TB三个输出作为每个感受野模型中心区(x0,y0)像素点的新的红色R、绿色G和蓝色B的分量。

步骤9:将步骤8所得的所有中心区像素点的新的红色R、绿色G和蓝色B的分量按像素点一一合成,就得到一幅校正了色偏(即颜色恒常)的彩色图像。

本发明的有益效益是:

本发明基于目前最新的视觉神经电生理研究成果,模拟人眼的视网膜视觉机制,建立近似感受野单拮抗模型实现色偏彩色图像的颜色恒常。本发明通过国际通用的颜色恒常测试数据库三百多幅不同场景和光照的图像验证,确认提出的算法比现有的颜色恒常算法更为有效;另外,本发明不仅能够实现色偏彩色图像颜色恒常,而且还具有图像颜色的增强功能,更符合人眼视觉特性。

附图说明

图1是视网膜神经节细胞‘On’型感受野示意图。中心为兴奋区,用‘+’表示;外周为抑制区,用‘-’表示。

图2是视网膜神经节细胞‘Off’型感受野示意图。中心为兴奋区,用‘-’表示;外周为抑制区,用‘+’表示。

图3是带抑制亚区的视网膜非经典感受野模型示意图。中心为兴奋区,用‘+’表示;外周抑制区由许多抑制亚区组成,各抑制亚区之间又有相互抑制作用。

图5是本发明流程示意图。

具体实施方式

以下的两个具体实施方式中,均采用3*3的感受野模板,其中中心区为1个像素,外周区为8个像素,外周区8个像素中的每个像素作为抑制亚区;同时设定:σ1=160.1,σ2=230.5,σ3=2231.0.

具体实施方式一——采用国际通用颜色恒常性算法测试数据库测试结果

方法:采用国际上通用的颜色恒常性图像数据库(http://www.cs.sfu.ca/~colour/data)对本发明所述的基于视网膜视觉机制的彩色图像颜色恒常方法进行测试评估。使用该数据库提供的30个不同的色偏场景,每个色偏场景包括10张不同光源照射下的色偏图像和一张无色偏的标准图像。对每一幅色偏图像用模型方法,按照详细技术方案步骤1到步骤9进行处理,得到处理后的无色偏图像与标准图像进行如下式的偏离度比较,值越小就说明颜色恢复的越好。

D=(rT-rC)2+(gT-gC)2

rT=RT/(RT+GT+BT)

rC=RC/(RC+GC+BC)                                     (7)

gT=GT/(RT+GT+BT)

gC=GC/(RC+GC+BC)

其中RT,GT,BT是处理后图像的红、绿、蓝分量,RC,GC,BC是标准无色偏图像的红、绿、蓝分量。

对选取数据库中的三百多张色偏图像分别采用通行的灰度世界(Grey World)算法和白板(White Pitch)算法,以及本发明提出的视网膜非经典感受野单拮抗(the Single AntagonismNonclassical Receptive Field(SANRF))模型三种方法进行处理,并且按(7)式进行比较平均,得到表1。

表1.对颜色恒常数据库不同方法的恢复量化结果

  方法  结果  原始图像  0.1206  灰度世界  0.1014  白板算法  0.0750  本发明(n=0)  0.1010  本发明(n=1)  0.0651  本发明(n=2)  0.0593

从表1可以看出本发明的方法要好于目前通行的颜色恒常算法。从上述国际通行颜色恒常性算法测试数据库测试结果来看,本发明的SANRF模型的结果好于通行的颜色恒常算法。

具体实施方式二——SANRF模型的彩色图像颜色增强效果测试

方法:下面通过实验验证本发明的SANRF模型不但能实现颜色恒常,还能同时实现图像增强。对相同过度曝光和欠曝光图像分别采用灰度世界、白板算法和本发明的SANRF模型进行处理,并采用国际通行的sRGB空间量化指标CEF对增强效果进行量化(CEF>1表明对彩色图像增强,越大效果越好;CEF<1表示图像颜色质量下降),得到表2。从表2可以看出,本发明的SANRF模型不但实现了颜色恒常,还实现了颜色增强,改善了彩色图像质量。

表2.对过度曝光和欠曝光图像颜色增强结果

  方法  过度曝光  欠曝光  灰度世界  0.7272  0.877  白板算法  1  0.954  本发明  1.1318  1.7459

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号