非线性色调映射设备和方法以及其上存储有用于执行该方法的计算机可执行指令的计算机可读介质

摘要

本发明提供了非线性色调映射设备和方法以及其上存储有用于执行该方法的计算机可执行指令的计算机可读介质。根据本发明的非线性色调映射设备包括：亮度值计算单元，用于使用每个像素的图像信息计算目标图像的每个像素的亮度值；计算单元，用于使用每个像素的图像信息和亮度值计算每个像素的光适应值，光适应值表示每个像素的响应于图像信息中的图像的明亮度的程度；以及转换单元，用于使用每个像素的图像信息与光适应值的比率，转换目标图像的每个像素的图像信息。

说明书

要求优先权

本申请根据35USC§119(a)要求2007年6月27日向韩国知识产权局提交的韩国专利申请No.10-2007-0063503的优先权，其全部内容在此通过引用而并入。

技术领域

本发明涉及用于校正输入图像的低发光强度区域的设备和方法，并且特别地涉及用于根据人类视觉感知系统而提供具有更高视觉感知的转换后图像的设备和方法。

背景技术

随着对数字图像处理的兴趣的增加，提出了各种图像处理科技、设备或技术。图像处理被应用于各种工业以改善人类视觉感知。

图像处理包括特征提取、图像增强、图像复原、图像重建、图像分析、图像识别或图像压缩。图像处理采用适合于其上述目的的技术。

在诸如图像拾取装置的物理限制的有限条件下获取目标的图像的情况中，目标或目标所处的各种外部环境的特征、有限条件的影响都反映在最终图像上。

一种用于校正图像区域的发光强度的方法被用来解决上述图像增强问题。为了反映目标的实际外观以增加人类对目标的最终图像的感知，提出了各种方法，例如柱状图拉伸、伽马校正、代数转换或亮度系数值的强制调整。

在常规的方法中，图像处理中的拉伸由下面的方程1表示。

方程1

$g(x,y)=\left(\frac{f(x,y)-g_{\min }}{g_{\max }-g_{\min }}\right)\times 255$

在方程1中，g(x，y)是拉伸后的图像信息，f(x，y)是原始的图像信息，g_max是像素的最大值，且g_min是像素的最小值。拉伸是用于通过上述方程处理图像的技术，并适应于将具有低对比度的图像的像素值分布拉伸得更加宽广。

另外，伽马校正或代数转换使用诸如指数函数或对数函数的特别函数，其中原始图像信息是自变量而函数的函数值是因变量，并且函数值对应于最终图像。

然而，上述技术没有基于人类对图像亮度的感知考虑整个图像的特征，并使用通过转换用于一律地改变图像的亮度信息的方法，来增加低发光强度区域的发光强度。

在此情况下，暗区域可能表现为明亮区域，然而，整个图像的亮度和颜色改变了，或者原始图像的亮度和颜色由于诸如特别区域的颜色扭曲的图像信息失真而受到显著影响。

发明内容

本发明被设计成用以解决上述问题。本发明的一个目的是提供这样的设备和方法，其通过使低发光强度区域的亮度匹配成与明亮图像的图像信息值相等或类似水平，而校正低发光强度区域，从而克服颜色信息中的误差并使得整个图像的明亮等级(gradation)自然。

本发明的另一目的是提供其上存储有用于执行上述方法的计算机可执行指令的计算机可读介质。

本发明的这些和其它特征、方面和优点将在本发明的优选实施例中更加全面地描述。并且，本发明的目的和优点能够通过单个的或相结合的权利要求中所叙述的构造实现。

为了实现上述目的，根据本发明的非线性色调映射设备包括：亮度值计算单元，用于使用每个像素的图像信息计算目标图像的每个像素的亮度值；计算单元，用于使用每个像素的图像信息和亮度值计算每个像素的光适应值，光适应值表示每个像素的响应于图像信息中的图像的明亮度的程度；以及转换单元，用于使用用于每个像素的图像信息与光适应值的比率，转换目标图像的每个像素的图像信息。

并且，计算单元可包括：亮度适应值计算单元，用于使用每个像素的图像信息和每个像素的亮度值计算每个像素的亮度适应值；整体亮度适应值计算单元，用于使用图像信息的统计计算值和亮度值的统计计算值计算目标图像的整体亮度适应值；以及光适应值计算单元，用于使用每个像素的亮度适应值和整体亮度适应值计算对应于每个像素的图像信息的光适应值。

另外，非线性色调映射设备还包括：标准化单元，用于标准化目标图像的每个像素的图像信息；以及去标准化单元，用于使由转换单元转换的每个像素的图像信息去标准化，并且计算单元可配置成使用由标准化单元标准化的每个像素的图像信息而计算亮度值。

同时，为了实现上述目的，非线性色调映射方法包括：使用每个像素的图像信息，计算目标图像的每个像素的亮度值的亮度值计算步骤；使用每个像素的图像信息和亮度值，计算每个像素的光适应值的光适应值计算步骤，光适应值表示每个像素的响应于图像信息中的图像的亮度的程度；以及使用对于每个像素而言的图像信息与光适应值的比率，转换目标图像的每个像素的图像信息的转换步骤。

附图说明

在下文中，将参考附图详细描述本发明的优选实施例。在描述之前，应理解说明书和所附的权利要求书中所使用的术语不应该解释成受限于通常的和词典的含义，而应该以允许发明者为了最好地解释而合适地定义术语的原则为基础，基于对应于本发明的技术观点的含义和概念进行解释。

图1是示出根据本发明优选实施例的非线性色调映射设备的方框图。

图2是示出根据本发明另一实施例的非线性色调映射设备的方框图。

图3是示出根据本发明优选实施例的非线性色调映射方法的流程图。

图4是示出通过本发明转换的图像信息的结果的视图。

具体实施方式

虽然该说明书包括了许多细节，但是这些不应该解释为对任何发明的范围或可要求的范围的限制，而是应该作为对特征的说明，这些特征对于特别发明的特别实施例而言是特别的。在分开的实施例的上下文中在该说明书中描述的一些特征也能够结合在单个实施例中实施。相反地，在单个实施例的上下文中描述的各种特征也能够在多个实施例中分开地或以任何合适的子结合形式实施。

另外，尽管特征可如上描述为在一些结合甚至最初同样地要求的结合中起作用，但是来自要求的结合中的一个或更多特征在一些情况下能够从结合中删除，并且要求的结合可指向子结合或子结合的变型。

通常地，根据观看(例如朝向混色或类似于人类视觉系统的观看)的点，对于图像处理而言不可缺少的图像的色彩空间可以进行不同地表达，例如RGB(红、绿、蓝)、CMYK(青色、洋红色、黄色、黑色)、HS族、CIE(国际照明委员会)或Y族，并且可通过简单的数学转换公式转换成另外类型的色彩空间。

并且，输入图像包括多个像素，而每个像素具有其独特的图像信息(亮度、色调、饱和度等)。通常地，图像信息具有0至255的值，并且表示为8比特的信息。然而，在替换实施例中，取决于应用条件，图像信息可表示为10比特或12比特的信息。

因此，应该理解，在本发明中作为例子使用的色彩空间坐标系统可同样地或类似地应用于其它色彩空间坐标，并且输入图像中像素的图像信息的比特大小仅仅是用于描述本发明的例子。

图1是示出根据本发明优选实施例的非线性色调映射设备的方框图。图2是示出根据本发明另一实施例的非线性色调映射设备的方框图。图3是示出根据本发明优选实施例的非线性色调映射方法的流程图。参考图1至3，根据本发明的非线性色调映射设备100包括输入单元110、标准化单元120、亮度值计算单元130、计算单元135、转换单元170和去标准化单元180。

输入单元110接收输入目标图像用于转换(S200)，并用作用于将输入目标图像传输到本发明另一构造的接口。

在详细描述本发明的构造之前，简要地描述用于校正低发光强度区域的图像信息的人类视觉系统。

术语“适应”意味着调整人类视觉系统的状态以增加对目标的视觉感知度，根据入射到人眼上的光的量以及光的功率谱分布而可变。

亮度(明亮度)适应包括明亮适应和黑暗适应。明亮适应意味着在突然运动到高亮度的情况下，眼睛通过减小敏感度而变得暗适应。黑暗适应意味着在突然运动到低亮度的情况下，眼睛通过增加敏感度而变得亮适应。

另外，色彩适应或色度适应意味着三种视锥的敏感度根据照明光和目标上的光的光谱成分而改变，并且人类视觉系统的光谱敏感度相应地改变。因此，人眼看色彩均匀。通过色彩适应，人眼控制由于光源的改变导致的色彩改变，以感知色彩跟原来一样。

本发明基于光和人类视觉感知的机理，校正低发光强度区域，以允许更自然的图像校正而没有使图像信息失真。

根据本发明的标准化单元120标准化通过输入单元110输入的目标图像的每个像素的图像信息(S210)。在替换实施例中，可不执行标准化，并且在此情况下，通过输入单元110输入的目标图像被输入到亮度值计算单元130。该实施例使用标准化后的图像信息，然而，替换实施例可使用没有经过标准化处理的图像信息。

标准化映射统计采样值，该统计采样值可具有0和1之间的各种值。典型地，标准化值表达为(函数值-最小值)/(最大值-最小值)。

所有的统计值通过上述数学表达式被标准化在0和1之间。标准化将待计算的所有输入变量调整到预定范围内，从而增加计算效率。

为了描述的方便，采用下面的表1所示的3×3目标图像作为例子。

表1

  (R₁₁，G₁₁，B₁₁)  (R₁₂，G₁₂，B₁₂)  (R₁₃，G₁₃，B₁₃)  (R₂₁，G₂₁，B₂₁)  (R₂₂，G₂₂，B₂₂)  (R₂₃，G₂₃，B₂₃)  (R₃₁，G₃₁，B₃₁)  (R₃₂，G₃₂，B₃₂)  (R₃₃，G₃₃，B₃₃)

对于每个像素，目标图像具有用RGB表达的图像信息。然而，如上面提到的那样，显然地图像信息可以表达为各种色彩空间。

标准化单元120使用诸如(图像信息值-最小值)/(最大值-最小值)的数学公式，标准化上述表1中所示的目标图像的每个像素的图像信息。下面的表2示出了用“I”表达的标准化后的图像信息。

表2

  (I_r11，I_g11，I_b11)  (I_r12，I_g12，I_b12)  (I_r13，I_g13，I_b13)  (I_r21，I_g21，I_b21)  (I_r22，I_g22，I_b22)  (I_r23，I_g23，I_b23)  (I_r31，I_g31，I_b31)  (I_r32，I_g32，I_b32)  (I_r33，I_g33，I_b33)

标准化后的图像信息被输入到亮度值计算单元130。亮度值计算单元130使用目标图像的每个像素的标准化后的图像信息，计算每个像素的亮度值(S220)。

优选地，使用标准化后的图像信息用于计算亮度值的方法使用下面的方程2。

方程2

L＝A×Ir+B×Ig+C×Ib

在方程2中，L是每个像素的亮度值，Ir、Ig和Ib是用于每个像素的每个R、G和B的标准化后的图像信息，并且具有在0和1之间的值。A、B和C是图像信息的权重常数，A是在0.15和0.20之间设置的使用者输入常数，B是在0.65和0.75之间设置的使用者输入常数，并且C是在0.05和0.15之间设置的使用者输入常数。

即，对于标准化后的图像信息中的绿色的图像信息，优选的权重值表现为最大，例如大约70％。绿色的亮度值分配为最大权重，绿色是人眼感觉最舒适的颜色。通过实验例子获得的优选亮度计算方程是：

L＝0.2125 Ir+0.7154 Ig+0.0721 Ib。

亮度值可设置为RGB图像信息的平均值，然而，通过上述方程，亮度值优选地使用以人类视觉感受器实际接收的形式的系数值。

并且，使用者输入常数可由设备中另外的模块提供，或可由诸如使用者的操作者通过外部接口直接输入。

对于每个像素计算的亮度值在下面的表3中示出。

表3

  L₁₁  L₁₂  L₁₃  L₂₁  L₂₂  L₂₃  L₃₁  L₃₂  L₃₃

计算单元135使用亮度值计算单元130所计算的每个像素的亮度值和每个像素的图像信息计算光适应值，该光适应值表示响应于每个像素的图像信息中的图像的亮度的程度(S225)。

如上面提到的那样，为了消除通过采用具有线性特性的函数进行的一对一的像素转换，表现出人类视觉系统对于图像的明亮度的响应程度的光适应值被作为因子计算。随后所计算的光适应值被输入到转换单元170，并用作用于像素转换的标准。

上述方法允许适合于人类视觉感知机理的图像转换。在使用用于每个像素的不同光适应值而执行图像转换的情况下，能够计算对于诸如每个像素亮度的明亮度的具体校正值。

通过上述方法计算的光适应值使用对于目标图像的整个明亮度的亮度统计值，以便计算与目标图像的所有像素协调一致的精确光校正值。为此目的，根据本发明优选实施例的计算单元135可包括整体亮度适应值计算单元140、亮度适应值计算单元150和光适应值计算单元160。

亮度适应值计算单元150使用每个像素的图像信息和每个像素的亮度值，计算每个像素的亮度适应值(S230)。

亮度适应值表明每个像素的图像信息和每个像素的亮度值之间的关联程度，以及反映色度适应性。使用通过使每个像素的标准化的图像信息和每个像素的亮度值采用权重值而获得的值，计算亮度适应值，其中权重值的总和是1。

特别地，通过亮度适应值计算单元150计算的亮度适应值由下面的方程3表示。

方程3

$I_a^{\mathrm{local}}={\mathrm{bI}}_{r/g/b}+(1-b)L$

在方程3中，I_a^local是每个像素的亮度适应值，b是0和1之间的使用者输入常数，L是亮度值，并且I_r/g/b是每个像素的标准化后的R、G、B图像信息。

在b是0的情况下，相应像素的亮度适应值是像素自身的亮度值。在b是1的情况下，相应像素的亮度适应值是像素的通道图像信息值。常数‘b’是反映上述范围中色度适应性的程度的使用者输入值。

通过方程3计算的亮度适应值在下面的表4中示出。

表4

  I_a^local(R₁₁)，I_a^local(G₁₁)，I_a^local(B₁₁)  I_a^local(R₁₂)，I_a^local(G₁₂)，I_a^local(B₁₂)  I_a^local(R₁₃)，I_a^local(G₁₃)，I_a^local(B₁₃)  I_a^local(R₂₁)，I_a^local(G₂₁)，I_a^local(B₂₁)  I_a^local(R₂₂)，I_a^local(G₂₂)，I_a^local(B₂₂)  I_a^local(R₂₃)，I_a^local(G₂₃)，I_a^local(B₂₃)  I_a^local(R₃₁)，I_a^local(G₃₁)，I_a^local(B₃₁)  I_a^local(R₃₂)，I_a^local(G₃₂)，I_a^local(B₃₂)  I_a^local(R₃₃)，I_a^local(G₃₃)，I_a^local(B₃₃)

如表4所示，对于每个像素的每个通道(RGB)计算亮度适应值。即，在3×3矩阵的情况下，存在9个像素，并且每个像素具有3个(RGB)图像信息，因而计算27个局部亮度适应值。

并且，本发明的整体亮度适应值计算单元140使用图像信息的统计计算值和亮度值的统计计算值，或使用通过将权重值应用于每个像素的标准化后的图像信息的统计计算值和每个像素的亮度值的统计计算值而获得的值，计算目标图像的整体亮度适应值，其中权重值的总和是1(S230)。

如上面提到的那样，亮度适应值表明用于每个像素的每个通道的图像信息和每个亮度值之间的关联程度，并且反映色度适应性。整体亮度适应值意味着所有像素的统计值，并且不通过像素的单元计算。整体亮度适应值反映所有像素的统计和一般的色度适应性。

因此，整体亮度适应值使用图像信息的统计计算值和亮度值的统计计算值，并且被优选地通过下面的方程4计算。

方程4

$I_a^{\mathrm{global}}={\mathrm{cI}}_{r\left|g\right|b}^{\mathrm{av}}+(1-c)L^{\mathrm{av}}$

在方程4中，I_a^global是整体亮度适应值，I_r|g|b^av是每个像素的标准化后的R、G、B图像信息的统计计算值，L^av是亮度值的统计计算值，并且c是0和1之间的使用者输入常数。

统计计算值可以是表示图像信息和亮度值的统计特性的各种统计计算值中的一个。然而，优选地使用统计平均值，即每个像素的图像信息的平均值和每个像素的亮度值的平均值，从而反映代数上的一般值。

由整体亮度适应值计算单元140计算的整体亮度适应值在下面的表5中示出

表5

 亮度的平均值，L_av  (L₁₁+L₁₂+L₁₃+......+L₃₂+L₃₃)/9  I_r^av  (I_r11+I_r12+I_r13+I_r21+I_r22+I_r23+I_r31+I_r32+I_r33)/9  I_g^av  (I_g11+I_g12+I_g13+......+I_g31+I_g32+I_g33)/9  I_b^av  (I_b11+I_b12+I_b13+......+I_b31+I_b32+I_b33)/9  整体亮度适应值  I_a^global(_r)，I_a^global(_g)，I_a^global(_b)

如表5所示，对于每个通道信息计算整体亮度适应值，因而计算3个整体亮度适应值。

在每个像素的亮度适应值和整体亮度适应值被计算之后，光适应值计算单元160使用每个像素的亮度适应值和整体亮度适应值，计算相应于每个像素的图像信息的光适应值(S240)。

光适应值表明每个像素的亮度适应值和目标像素的整体亮度适应值之间的关系，并因此在图像信息改变的情况下与图像的整体特性一起改变。

即，使用通过将权重值应用于每个像素的亮度适应值和整体亮度适应值而获得的值来计算光适应值，其中权重值为1。特别地，光适应值通过下面的方程5计算。

方程5

$I_a={\mathrm{dI}}_a^{\mathrm{local}}+(1-d)I_a^{\mathrm{global}}$

在方程5中，I_a是光适应值，I_a^local是每个像素的亮度适应值，I_a^global是整体亮度适应值，并且d是0和1之间的使用者输入常数。

如表4所示，所有像素的亮度适应值I_a^local的数量是27(R：9，G：9，B：9)，并且如表5所示，整体亮度适应值I_a^global的数量是3(R，G，B)。

因此，光适应值的数量是27，并且计算的光适应值在下面的表6中示出。

表6

  Ia_r11，Ia_g11，Ia_b11  Ia_r12，Ia_g12，Ia_b12  Ia_r13，Ia_g13，Ia_b13  Ia_r21，Ia_g21，Ia_b21  Ia_r22，Ia_g22，Ia_b22  Ia_r23，Ia_g23，Ia_b23  Ia_r31，Ia_g31，Ia_b31  Ia_r32，Ia_g32，Ia_b32  Ia_r33，Ia_g33，Ia_g33

在计算光适应值之后，根据本发明的转换单元170使用每个像素的图像信息与每个像素的光适应值的比率，转换每个像素的图像信息(S250)。

如上面提到的那样，使用亮度值、整体亮度适应值和亮度适应值所计算的光适应值对应于与每个像素的亮度相关的值，即反映人类视觉机理响应于明亮度的值。因而，使用每个像素的图像信息与光适应值的比值，转换每个像素的图像信息，使得适合于人类视觉机理地生成图像信息。

并且，为了微妙地反映人类视觉机理，每个像素的图像信息的转换值可通过下面的方程6计算。

方程6

${\left(\frac{I_{r/g/b}}{a+I_{r/g/b}+{\left(f\left(I_a\right)\right)}^m}\right)}^{\frac{1}{\mathrm{gam}}}$

在方程6中，a是等于或大于0的常数，I_r/g/b是每个像素的图像信息，gam是伽马输入常数，I_a是光适应值，f是光适应值转换函数，并且m是色彩失真校正输入常数。在根据本发明实施例使用标准化后的图像信息的情况下，I_r/g/b可意味着每个像素的标准化后的图像信息。

上述方程6涉及模拟人眼的感觉类型，特别是HVS(人类视觉系统)中用于辨识色彩的视锥，并且对应于用于功能上概述感光器的适应现象的方程。

上述方程6得到的结果对应于每个像素的转换值。在方程6中，常数‘a’++是常数值，用于防止分母变为0的情况。在对应于方程6的分母的另一项的值等于或大于0的情况下，该常数可以是0。并且，可能设置该常数为接近于0的小数字。

常数‘gam’通常用于校正物理设备中的唯一值，因而根据应用实施例或使用环境而确定。在不需要伽马校正的情况下，常数‘gam’可以被设置为1。

函数f是转换函数，并且可以表达为各种函数，例如函数(f(x)＝x)，其中光适应值是自变量，并且该自变量转换为现在样子，以调整光适应值的转换程度。优选地，该函数被结合到指数函数中，即f(x)＝exp(-x)，以便增加图像改变率的宽度。

并且，在方程6中，m是用于校正色彩失真的校正常数，并且可以由使用者输入或存储在内部系统中以及根据实施例使用。该常数使用0和1之间的值，用于补充图像信息中色彩信息的失真，以减少部分色彩失真现象。

即，在m被设置为1且转换函数为f(x)＝exp(-x)的情况下，方程6如下表示。

方程7

${\left(\frac{I_{r/g/b}}{a+I_{r/g/b}+{\left(e^{-I_a}\right)}^1}\right)}^{\frac{1}{\mathrm{gam}}}$

在计算出转换值之后，去标准化单元180对标准化后的图像信息进行去标准化(S260)。因而，完成非线性色调映射方法的一系列处理。

如上面提到的那样，在省略标准化的情况下，不需要去标准化。

图4是示出通过本发明转换的最终图像(b)和原始目标图像(a)的视图。如图4所示，保留了目标图像的整个色彩的自然性，并且低发光强度区域得以校正。

同样地，详细地描述了根据本发明的非线性色调映射设备。然而，应理解，根据本发明的非线性色调映射设备的每个部件不是实体上划分，而是逻辑上划分。即，每个部件对应于用于实现本发明的技术精神的逻辑部件，因而应该认为尽管部件整体地或分开地操作，但如果由本发明的逻辑结构执行的功能得以实现，那么就应在本发明的范围内。

根据本发明的非线性色调映射方法可合并为计算机可读介质中的计算机可读代码。计算机可读介质包括用于存储计算机系统可读的数据的各种类型存储装置。例如，计算机可读介质是ROM(只读存储器)、RAM(随机存储存储器)、CD-ROM(光盘只读存储器)、磁带、软盘或光学数据存储装置，并可以载波(例如，经由因特网传输)的形式结合。并且，计算机可读介质可存储和执行在经由网络连接到彼此的计算机系统中分散的代码，并通过分散的方法可由计算机读取。另外，用于执行非线性色调映射方法的功能程序、代码和代码段可由现有技术中的程序员容易地推断出。

仅描述了一些实施和例子，并且基于本说明书中描述的和示出的可以得到其它实施、增强和变型。

根据本发明的非线性色调映射设备和方法关于图像处理反映了人类视觉系统，从而校正低发光强度区域而不改变整个色彩。

并且，本发明允许从低发光强度到高发光强度的自然等级，从而克服人为的和强制的图像处理。

即，本发明克服了在目标由黑暗位置中的图像获取装置捕获，或定位于阴影区域的目标甚至由明亮区域中的图像获取装置捕获的情况下，难于辨别目标的状况，并且另外地应用于通常的AE(自动曝光)，从而提供更容易的图像获得方法。