使用范围信息的数字图像亮度调节

摘要

一种用于使用范围信息调节数字图像中的目标的亮度的方法，该范围信息包括场景中的像素与参考位置的距离，该方法包括：至少基于对所述范围信息和所述数字图像的分析来产生聚类图，所述聚类图按照所述数字图像的像素与所述参考位置的距离来对所述数字图像的像素进行分组；至少基于对所述聚类图和所述数字图像的分析，检测所述数字图像中的多个目标；确定每个目标的亮度调节量；以及将亮度调节量应用于所检测目标，以形成具有所调节的亮度的修改后的数字图像。

说明书

技术领域

本发明涉及数字图像增强，并且更具体地涉及一种用于使用范围(range)信息来调节数字图像中目标亮度的方法。

背景技术

在许多成像系统中，期望使曝光和亮度最优化。然而，所捕获的图像常常因为曝光和亮度而不令人满意。

在许多数字成像系统中出现的常见问题是图像太暗或者太亮。这些问题通常是由数字图像捕获设备中的曝光控制系统引入的误差而导致。已经开发了多种方法来提高数字图像的亮度。这样的技术通常被称为“场景平衡算法”。场景平衡算法在其复杂性以及其结果的精确性上变化极大。它们通常包括分析图像中总的曝光水平和相对颜色信号水平的分布，以确定所需的亮度和颜色平衡补偿的适当水平。

在美国专利4101217、美国专利4707119、美国专利4984013、美国专利4945406、美国专利5016043、美国专利6636646、美国专利6845181、美国专利7129980以及美国专利7289154中描述了现有技术的亮度调节方法的示例。

传统的场景平衡算法对整个图像应用全局亮度和颜色平衡调节。很多次仅部分图像会出现太暗或者太亮。例如，在阴影中的目标或在动画(flash)图像的背景中的目标会太暗，或者在动画图像的前景中的图像会太亮。美国专利6275605和7043090描述了用于调节图像的色调比例以使得不同的亮度调节能够应用于图像的不同部分的方法。该色调比例调节是基于对二维数字图像的分析。有时，这些算法遭遇到色调比例调节的量在目标内并非恒定的假象(artifact)。

大多数现有技术的亮度调节方法基于对传统二维数字图像的分析来确定亮度校正值。美国专利申请公开No.2007/0126921描述了使用用于图像的范围信息来调节曝光和色调比例的方法。采用该方法，范围信息被用于确定加权函数，该加权函数对于有可能包含重要目标的图像区域设置附加的重要性上。随后，使用加权函数以确定对于该图像的总的曝光调节量。尽管该方法更可能使得图像的主要对象被合适地曝光，但是它无法解决图像中的不同目标需要不同曝光调节的问题。

发明内容

本发明提出一种用于调节数字图像中的目标的亮度的方法，所述方法至少部分由数据处理系统实施，并且该方法包括：

接收表示场景的所述数字图像；

识别与所述数字图像相关联的范围信息，所述范围信息包括所述场景中的像素与参考位置的距离；

至少基于对所述范围信息和所述数字图像的分析来产生聚类图，所述聚类图按照所述数字图像的像素与所述参考位置的距离来对所述数字图像的像素进行分组；

至少基于对所述聚类图和所述数字图像的分析，检测所述数字图像中的多个目标；

确定每个目标的亮度调节量；以及

将所述亮度调节量存储在处理器可访问的存储器系统中。

本发明的优点在于，通过使用范围信息，可以以提高的精度来检测和分割多个目标。而且，可以单独调节每个目标的亮度。

另外的优点在于可以调节目标亮度以应对例如由于与闪光照明相关联的失光(fall off)所造成的场景的非均匀照明。

另外的优点在于用户界面可以被提供用户输入以独立地指定每个目标的亮度调节量。

除了上述实施例外，通过参照附图以及对以下详细描述的研究，进一步的实施例将变得明显。

附图说明

根据结合以下附图所提供的示例性实施例的详细描述，本发明将更容易理解，其中：

图1是示出根据本发明实施例的用于调节数字图像中目标亮度的系统的组件的上级框图；

图2是示出根据本发明实施例的用于调节数字图像中目标亮度的方法的流程图；

图3是示出在图2中所示的检测目标步骤的附加细节的流程图；以及

图4是示出在图3中所示的产生聚类图步骤的附加细节的流程图。

具体实施方式

本发明包含在此描述的实施例的组合。所提及的“一个具体实施例”等涉及在本发明的至少一个实施例中出现的特征。所提及的“一个实施例”或“多个具体实施例”等并不必然涉及相同的一个或多个实施例；然而这样的实施例并非相互排斥，除非已这样表示出或对于本领域技术人员是显见的。在所提及的“一个方法”或“多个方法”等中使用的单数或复数并不在于限制。

作为在此使用的短语“数字内容记录”表示任何诸如数字静止图像、数字音频文件、数字视频文件等的数字内容记录。

应该理解，除非明确注明或由上下文要求，在该公开中使用的单词“或”并非是排他性的含义。

图1是示出根据本发明实施例的用于调节数字图像中的目标亮度的系统的组件的上级框图。该系统包括数据处理系统10、外围系统20、用户界面系统30以及数据存储系统40。外围系统20、用户界面系统30以及数据存储系统40通信地连接到数据处理系统10。

数据处理系统10包括一个或多个数据处理设备，该数据处理设备实施本发明的各种实施例的处理，包括在此描述的图2、图3和图4的示例处理。短语“数据处理设备”或“数据处理器”旨在包括无论采用电、磁、光、生物组件等均可以实现的诸如中央处理单元(“CPU”)、台式计算机、膝上型计算机、大型计算机、个人数字助理、Blackberry^TM、数字相机、蜂窝式电话的任何数据处理设备，或用于处理数据、管理数据或操作数据的任何其他设备。

数据存储系统40包括一个或多个配置成存储信息的处理器可访问的存储器，该信息包括需要执行包括在此描述的图2、图3和图4的示例处理的本发明各种实施例的处理的信息。该数据存储系统40可以是分布式处理器可访问的存储器系统，该分布式处理器可访问的存储器系统包括经由多个计算机和/或设备通信地连接到数据处理系统10的多个处理器可访问的存储器。在另一方面，数据存储系统40并不需要是分布式处理器可访问的存储器，并且由此，可以包括位于单个数据处理器或设备中的一个或多个处理器可访问的存储器。

短语“处理器可访问的存储器”旨在包括任何处理器可访问的数据存储设备，无论是易失性还是非易失性，无论是电、磁、光还是其他方式，其包括但不限于寄存器、软盘、硬盘、密致盘、DVD、闪存、ROM以及RAM。

短语“通信地连接”旨在包括设备、数据处理器或程序之间数据可以被传输的任何类型的连接，无论是有线还是无线。而且，短语“通信地连接”旨在包括：单个数据处理器中的设备或程序之间的连接；位于不同数据处理器中的设备或程序之间的连接；以及根本没有位于数据处理器中的设备之间的连接。在此，尽管数据存储系统40所示为与数据处理系统10分开，然而本领域技术人员应当理解，数据存储系统40可以完全或部分地包含在数据处理系统10中。并且在此，尽管外围系统20、用户界面系统30所示为与数据处理系统10分开，然而本领域技术人员应当理解，这样的系统中的一个或两者可以完全或部分地存储在数据处理系统10中。

外围系统20可以包括配置为将数字内容记录提供给数据处理系统10的一个或多个设备。例如，外围系统20可以包括数码相机、数字视频相机、蜂窝电话或其他数据处理器。数据处理系统10在从外围系统20中的设备接收到数字内容记录时，可以将这样的数字内容记录存储在数据存储系统40中。

用户界面系统30可以包括鼠标、键盘、另一计算机或将数据从其输入到数据处理系统10的任何设备或设备的组合。在这方面，尽管外围系统20所示为与用户界面系统30分开，然而外围系统20可以被包含作为用户界面系统30的一部分。

用户界面系统30还可以包括显示设备、处理器可访问的存储器或由数据处理系统10向其输出数据的任何设备和设备的组合。在这方面，如果用户界面系统30包括处理器可访问的存储器，这样的存储器可以是数据存储系统40的一部分，尽管在图1中分开示出了用户界面系统30和数据存储系统40。

图2是示出根据本发明实施例的用于最优化数字图像中亮度的方法的流程图。在接收数字图像步骤102中接收表示场景的数字图像103。数字图像103可以由数字相机或扫描仪来捕获。可替换地，它可以是由摄像机捕获的一帧视频序列。

在识别范围信息步骤104中识别与数字图像103相关联的范围信息105。范围信息105包括场景中的像素与已知参考位置的距离。需要识别相对于给定范围信息的视点位置。通常，视点位置是参考位置。范围信息105优选以由测距相机提供的范围图的形式提供，该测距相机使用可见光、红外光、激光或超声波以确定至场景中像素的距离。可替换地，可以使用包括从多个视点捕获场景的图像并且通过评价场景中的目标的相对位置来确定范围信息的立体图像处理技术，来提供范围图。对于范围图具有与数字图像103不同的维数(即，行数和列数)的情况，范围图优选被插值以使得其具有相同的维数。

在检测目标步骤106中，至少基于对范围信息105的分析来检测数字图像中的多个目标107。在确定亮度调节步骤108中，使用考虑每个目标与视点的距离的分析，来确定每个目标的亮度调节量，该视点是相机的位置。数字图像中的每个像素基于其与视点的相应距离，接收亮度参数α，如由插值范围图所表示的：

α(x，y)＝f(dis(x，y))

其中α(x，y)是数字图像中位于位置(x，y)的像素的亮度参数，dis(x，y)是该像素与视点的距离，以及f()是诸如幂函数、多项式函数或指数函数的线性函数或非线性函数。例如，为了校正由于动画场景中非均匀照明造成的亮度差异，可以将f()函数设计为补偿以下事实：曝光将根据已知的“平方反比定律”关系下降，使得远处的目标变亮，而近处的目标变暗。

通过对该目标中每个像素的亮度参数值α(x，y)取平均，来确定在检测目标步骤106中检测的每个目标的亮度调节量γ，如：

其中γ_j是第j个目标的亮度调节量，并且m是第j个目标中的像素的数量。

除了基于范围值的亮度参数α(x，y)之外，还可以使用附加亮度参数。例如，附加亮度参数可以基于图像中的像素的位置(例如，可以增加数字图像边缘附近的像素的亮度以解决图像中镜头边角失光的问题)。类似地，附加亮度参数可以基于局部图像结构(例如，可以增加位于具有高边缘梯度的图像位置处或在该图像位置附近的像素的亮度)。

在本发明的另一变型中，所检测的目标107的亮度调节量可以由用户使用具有用户界面的数字图像编辑应用程序来指定。用户界面将允许用户通过选择所检测的目标107中的一个来提供用户输入，并且例如使用滑动条来指定期望的亮度调节量。亮度调节量可应用于目标107中，并且能够将显示新的亮度水平的预览图像呈现给用户。用户指定的亮度调节量可以对自动确定的亮度调节量的补充，或可替换地，用户指定的亮度调节量可以相对于原始数字图像103中未调节的目标亮度来指定。

在可选的修改亮度调节步骤109中，响应于其他因素来修改每个目标的亮度调节(图2中的虚线表示可选的特征。)。例如，可以使用图像分析算法以识别哪些目标107与人相对应，并且可以由此来修改亮度调节。利用存储亮度调节步骤111，将所得到的亮度调节110存储在处理器可访问的存储器系统中。

可以通过应用每个目标的亮度调节110来调节数字图像103中的每个目标的亮度。在本领域中用于修改图像亮度的方法是已知的。在本发明的优选实施例中，当数字图像103的像素值表示曝光的记录(log)时，可以通过将补偿量线性地增加到像素值来应用亮度调节110。类似地，当数字图像103的像素值与曝光成比例时，可以通过由常数乘数非线性地缩放像素值来应用亮度调节110。在任一个情况下，亮度调节110对缩放场景中光量的物理过程(例如，源照明的变暗或变亮)进行建模。也可以以其他方式来应用亮度调节。例如，当数字图像103位于CIELAB颜色空间或YC_rC_b非线性亮度-色度颜色空间中时，可以分别平移或非线性修改目标的L*(明度)或Y(非线性亮度)。

图3是示出根据本发明实施例的图2中所示的检测目标步骤106的附加细节的流程图。提供数字图像103和范围信息105作为输入。在产生聚类图步骤202中，基于对范围信息105以及数字图像103的分析来产生聚类图203。以下将参照图4更加详细地描述产生聚类图步骤202的附加细节。在检测目标步骤204中，通过将聚类图203和数字图像103结合为：

目标＝f(聚类图，I)

来检测数字图像103中的目标107和背景，其中函数f()是使用聚类图203应用于数字图像I的目标分割操作。数字图像I将是数字图像103。函数f()的作用在于识别聚类图203中具有相同距离的像素，随后将数字图像103中对应的像素分配给对应的目标107。

图4是示出根据本发明实施例的图3中所示的产生聚类图步骤202的附加细节的流程图。如前面所讨论的提供数字图像103和包含范围图的范围信息105。在聚类像素步骤304中，通过使用诸如在(IEEETransactions on Pattern Analysis&Machine Intelligence，2007年1月，第29卷，第1期，第167-172页的)“Dominant Sets and Pairwise Clustering”中所描述方法的聚类算法来聚类范围图中的像素。以这一方式产生的聚类组通常具有许多噪声。减少聚类噪声步骤306用于使用形态学(morphological)方法来填充小孔并且去除小的聚类区域，从而减小聚类噪声。

使用识别边缘步骤308来检测数字图像中的边缘。在本发明的优选实施例中，使用梯度操作来识别边缘。将图像的梯度定义为：

$>▿I=[G_x,G_y]=[\frac{\partial I}{\partial x},\frac{\partial I}{\partial y}]$>

其中I(x，y)是位置(x，y)处的像素的强度。梯度向量的大小为：

$>G={[G_x^2+G_y^2]}^{1/2}.$>

基于每个像素中梯度的大小来检测数字图像中的边缘。

接下来，使用滤波器边缘步骤310以对所检测的边缘进行滤波，从而去除不显著的边缘并保留显著的边缘。数学上，滤波操作可以表示为：

E＝f×e，

其中e是所检测的边缘之一，S(e)是该边缘e中每个像素的梯度大小之和，f是滤波器掩模以及T是阈值。

因为范围图中的噪声，由减少聚类噪声步骤306产生的像素聚类在边界区域中通常仍然会具有误差。使用细化聚类步骤312以细化聚类组并且产生聚类图203。通过使用在滤波器边缘步骤310中计算的显著边缘来细化聚类组的边界。如果像素位于每个聚类组中所检测的显著边缘的外部，将把它们去除。这将使得聚类组的边界更加精确。接下来，将每个所细化的聚类组中的平均距离n计算为：

其中m是聚类组w中像素的数量，dis(i)是第i个像素到视点位置的距离。通过将平均距离赋予聚类组中的每个像素，来产生聚类图。

应当理解，示例性实施例对于本发明仅是说明性的，并且本领域技术人员在未偏离本发明的范围的情况下能够设计出上述实施例的多种变型。因此，所有这样的变型均包含在所附权利要求或其等同物的范围内。

部件列表

10、数据处理系统

20、外围系统

30、用户界面系统

40、数据存储系统

102、接收数字图像步骤

103、数字图像

104、识别范围信息步骤

105、范围信息

106、检测目标步骤

107、目标

108、确定亮度调节步骤

109、修改亮度调节步骤

110、亮度调节

111、存储亮度调节步骤

202、产生聚类图步骤

203、聚类图

204、检测目标步骤

304、聚类像素步骤

306、减少聚类噪声步骤

308、识别边缘步骤

310、滤波器边缘步骤

312、细化聚类步骤