彩色图像处理方法,彩色图像处理设备和记录介质

摘要

本发明提供了彩色图像处理方法和设备，能通过控制特定对象中的镜面反射分量的量，提高由彩色成像设备摄取的彩色图像中的特定对象的质感。彩色图像处理设备(100)包括：图像信息获取单元(110)，基于输入图像，检测对象区，以及获得对象区的色信息和3D信息；反射信息复原单元(120)，基于色信息和3D信息，复原对象区的镜面反射分量和包含阴暗部的体反射分量；镜面反射分量校正单元(130)，校正镜面反射分量；以及再现色计算单元(140)，通过使用体反射分量中的阴暗部和校正的镜面反射分量，计算对象区的再现色，以及生成输出图像。

说明书

技术领域

本发明涉及彩色图像的图像处理，更具体地说，涉及实现实际上 由彩色成像设备摄取的彩色图像中的对象的所期望色再现，由此提高 质感的彩色图像处理方法、彩色图像处理设备和彩色图像处理程序。

背景技术

作为改进由彩色成像设备摄像的彩色图像的图像质量的技术，已 经提出了使彩色图像中的特定对象的色(例如肤色、植物的绿色以及 蓝色天空)更接近那一对象的记录色，由此再现所期望色的技术。

例如，专利文献1公开了与彩色图像的色校正相关的技术。在专 利文献1中，从图像中的对象区提取代表色，以及通过将那一代表色 与用于校正的预定中心色进行比较，确定RGB校正参数。然后，通过 根据与中心色的距离控制适用这些校正参数的强度，校正每一参数。 具体地，已经提出了通过将彩色图像中的每一像素的色信息即RGB值 转换成色调、饱和度和亮度，计算那一色与色空间中用于校正的中心 色间的距离，以及根据那一距离，调整校正强度的技术。

在该技术中，基于RGB色空间中的校正参数的加/减，执行色校 正。例如，在人脸的肤色的情况下，根据与用于校正的中心色的距离， 对每一像素计算RGB校正量。如果打算整体变亮面部区域，则根据与 用于校正的中心色的上述距离，从基本上位于整个面部区域中的每一 像素的RGB值加或减校正参数。此外，专利文献2公开了与检测输入 图像中的面部区域相关的技术。

专利文献3公开了色校正设备和方法，其中，当对光谱色图像数 据进行色校正时，将光谱色转换成具有低于原始维数的维数的色空间； 在较低维数色空间中进行色校正，以及由较低维数生成适当维数的光 谱色。

此外，专利文献4公开了在具有不同基准白色的色系统之间，将 原始色空间转换成目标色空间，同时保持色看起来与在原始色空间中 未改变的方式的技术。具体地，由原始基准白色，即原始色空间的基 准白色的色温复原原始基准白色的光谱功率分布特性。此外，由目标 基准白色，即目标色空间的基准白色的色温复原目标基准白色的光谱 功率分布特性。然后，通过使用指定色的三色刺激值、原始基准白色 的光谱功率分布特性，以及人的色匹配功能，复原原始色空间中的指 定色的表面反射率。此外，基于所复原的表面反射率、所复原的目标 基准白色的光谱功率分布特性，以及人的色匹配功能，获得三色刺激 值，其是目标色空间中的色。

专利文献5公开了对在各种照明环境下所拍摄的自然图像中的重 要对象自动地进行良好白色校正的技术。具体地，提取指定对象的体 表色，以及对所提取的体表色，设置最佳色校正参数。用这种方式， 可以对在各种照明环境下拍摄的自然图像中的重要对象，自动地进行 色校正。注意，在专利文献3，4和5中公开的发明具有与下述本发明 完全不同的结构。

专利文献6提出将用于人的皮肤反射的建模技术应用于面部图像 的再现。在该方法中，通过用3D扫描仪扫描面部，获得面部的3D(三 维)形状。然后，通过从不同方向中的不同视点照射面部，获得多个 面部图像。通过使用表面扫描数据和图像数据，估计全反射率和法线 矢量图。然后，通过使用光纤分光仪扫描表面下反射率，获得透射率 图。将全反射率分成表面下散射和(镜面)表面反射率的两个分量。

专利文献7提出了一种图像处理设备，其中，构成图像的每一像 素的像素值分成通过3D(三维)对象上的表面反射的镜面反射光分量 和通过漫反射的漫反射光分量，以及修改镜面光分量和漫反射光分量 的至少一个。在该技术中，Klinker et al.的反射模型分成镜面光分量和 漫反射光分量，以及通过使用Phong照明模型、Lambertian反射模型等 等，修改每一分量，而不复原对象的3D形状。

引用列表

专利文献

专利文献1：日本专利No.3264273(段落0036至0045)

专利文献2：日本未审专利申请公开号No.2003-317084(段落0019 至0021)

专利文献3：日本未审专利申请公开号No.2004-45189

专利文献4：日本未审专利申请公开号No.10-229499

专利文献5：日本未审专利申请公开号No.2001-92956

专利文献6：日本未审专利申请公开号No.2006-277748

专利文献7：日本未审专利申请公开号No.2001-052144

非专利文献

非专利文献1：“Face detection based on Generalized LVQ”， Toshinori Hosoi，Tetsuaki Suzuki，Atushi Satoh，FIT2002，I-30(2002年9 月)

非专利文献2：“Image engineering series 10，Color image  reproduction theory，Fundamentals of color management”，Joji Tajima， MARUZEN Co.，Ltd.1996年9月30日，第33-39页

发明内容

上述专利文献1和2，以及非专利文献1和2的公开内容在此引入 以供参考。在下文中，描述根据本发明的现有技术的分析。

在彩色图像处理技术中，其中，色的三个属性，诸如RGB和/或 色调、饱和度和亮度用于彩色图像中的对象区，如在专利文献1的情 况下，存在对象的原始质感会恶化的问题。

这是因为在专利文献1中，执行色校正，诸如使色更亮、增加饱 和度以及改变色调，同时整体上处理图像中的特定对象区的色。当校 正图像中的特定对象的色以便使图像更亮时，这些色校正导致使初始 具有高像素值(例如红色)的色分量饱和，而向或从其他色分量(绿 色和蓝色)加或减校正参数的现象。如果对对象的整个区域执行该处 理，那么对象区中的色信息或像素值的分散变得更窄，由此降低对象 区中的视在质感。

在专利文献6中，尽管对面部图像的再现提出了人类皮肤反射建 模，但要求特殊测量设备，即光纤分光仪。因此，非常难以将该技术 应用到色校正以便于普通彩色图像处理。

专利文献7提出了改变2D(二维)图像中的(3D)对象的色的方 法。然而，未复原图像中的对象的3D信息。相反，应用与照明和/或 反射相关的模型，诸如Klinker et al.的反射模型、Phong照明模型、 Lambertian反射模型来实现色改变方法。当对象与假定的反射模型良好 匹配时，诸如在塑料、涂料、纸、陶器等等的情况下，该方法有效。 然而，当对象具有复杂的反射特性，如在人类皮肤的情况下，该方法 遇到伪像出现等等的问题。此外，在该技术中，未示出用于将输入图 像中的对象校正成所期望图像质量的任何方法。

如上所述，相关领域中的技术通过将彩色图像中的对象的色改变 成更预期的色，实现高质量图像。这些技术具有质感降低的问题。因 此，期望开发能仅使用输入图像通过更简单技术实现的并且能抑制彩 色图像中的对象区中的质感的降低的彩色图像处理。

本发明的目的是提供一种彩色图像处理方法、彩色图像处理设备 和彩色图像处理程序，能通过将注意力集中在彩色图像中的对象的镜 面反射分量(高亮分量)上以及将该镜面反射分量的量调整到所期望 的量，提高彩色图像中的对象的质感，由此提高彩色图像的图像质量。

问题的解决方案

根据本发明的彩色图像处理方法的方面是包括下述的彩色图像处 理方法：基于输入图像，检测对象区；获得对象区的色信息和3D信息； 基于色信息和3D信息，复原对象区的镜面反射分量和包含在体反射分 量(或漫射分量)中的阴暗部(shade)；校正镜面反射分量；以及通过 使用体反射分量中的阴暗部和校正的镜面反射分量，计算对象区的再 现色，由此生成输出图像。

此外，根据本发明的彩色图像处理设备的方面是包括下述的彩色 图像处理设备：图像信息获取单元，基于输入图像，检测对象区，以 及获得对象区的色信息和3D信息；反射信息复原单元，基于色信息和 3D信息，复原对象区的镜面反射分量和包含在体反射分量中的阴暗部； 镜面反射分量校正单元，校正镜面反射分量；以及再现色计算单元， 通过使用体反射分量中的阴暗部和校正的镜面反射分量，计算对象区 的再现色，由此生成输出图像。

此外，根据本发明，存储彩色图像处理程序的计算机可读介质的 方面是存储使计算机执行下述的彩色图像处理程序的计算机可读介 质：图像信息获取过程，用于基于输入图像，检测对象区，以及获得 对象区的色信息和3D信息；反射信息复原过程，用于基于色信息和 3D信息，复原对象区的镜面反射分量和包含在体反射分量中的阴暗部； 镜面反射分量校正过程，用于校正镜面反射分量；以及再现色计算过 程，用于通过使用体反射分量中的阴暗部和校正的镜面反射分量，计 算对象区的再现色，由此生成输出图像。

本发明的优点

根据本发明，可以实现由彩色成像设备摄取的彩色图像中的某一 对象的期望色再现，由此保持或提高质感。

附图说明

图1是表示根据本发明的示例性实施例的一方面的彩色图像处理 方法的过程流的示意图；

图2表示根据本发明的示例性实施例的彩色图像处理设备的配置 实例的框图；

图3是用于说明根据本发明的彩色图像处理方法的第一示例性实 施例的过程的流程图；

图4是用于说明自动地检测输入图像中的对象区的过程的图；

图5是表示根据第一示例性实施例的彩色图像处理设备的配置实 例的框图；

图6是表示根据第二示例性实施例的彩色图像处理设备的配置实 例的框图；

图7A是表示用于调整输入图像中的特定对象区的镜面反射分量 的用户交互方式的实例的图(当减小镜面反射分量的量时)；以及

图7B是表示用于调整输入图像中的特定对象区的镜面反射分量 的用户交互方式的实例的图(当增加镜面反射分量的量时)。

具体实施方式

在下文中，将参考图，描述本发明的示例性实施例。为使说明清 楚起见，将适当地部分省略和简化下述描述和附图。在整个图中，用 相同的符号表示具有相同配置或功能的元件和等效部件，以及省略它 们的重复说明。

说明根据本发明的示例性实施例的方面。在本发明中，当打算提 高输入图像中的特定对象的质感时，由该输入图像，复原特定对象的 3D(三维)形状(也称为“3D信息”)和摄像时照明的几何条件(也称 为“几何信息”)。接着，由所复原的3D形状，计算在特定对象上出现 的镜面反射分量(高亮)和包含于体反射分量中的阴暗部。然后，使 那一特定对象的镜面反射分量的计算量校正到所期望量，以及通过使 用校正的镜面反射分量和包含在体反射分量中的阴暗部，计算特定对 象的再现色。用这种方式，特定对象的校正视在质感看起来更自然， 以及通过更期望的质感来表示特定对象。

图1表示根据本发明的示例性实施例的彩色图像处理方法的过程 流。

I.首先，获得输入图像和与输入图像相关的信息(图像信息获取过 程)。具体地，将输入图像提供给彩色图像处理设备，以及从输入图像 指定特定对象。通过指定特定对象，检测其中镜面反射分量待校正的 区(对象区)。此外，获得特定对象的3D形状和色信息(对象区的色)。

Ⅱ.其次，复原特定对象的反射信息(反射信息复原过程)。具体地， 基于特定对象的3D形状，复原照明的几何条件。接着，通过使用色信 息、3D形状和照明几何条件，复原镜面反射分量和包含阴暗部的体反 射分量。在该过程中，镜面反射分量从输入图像的每一像素的像素值 移除并且与包含在体反射分量中的阴暗部分离。

Ⅲ.校正镜面反射分量(镜面反射分量校正过程)。通过使用镜面反 射分量和基准镜面反射分量的平均值，校正镜面反射分量。

Ⅳ.通过使用包含在体反射分量中的阴暗部和校正的镜面反射分 量，计算特定对象的再现色(再现色计算过程)。

在本说明书中，假定从特定对象检测的对象区由多个像素组成。 此外，每一像素具有色信息，以及色信息也可以称为“像素值”。还假定 色信息至少包含阴暗部信息、镜面反射分量和包含阴暗部的体反射分 量，以及还可以包含其他色信息。

此外，在下述说明中，未区分特定对象和对象区，除非具体说明。

包含阴暗部的体反射分量是通过从对象区的原始色信息移除镜面 反射分量(闪光)获得的色信息。

基准镜面反射分量是根据特定对象预先定义的表面反射率。

此外，图2表示根据本发明的示例性实施例的彩色图像处理设备 的配置实例。彩色图像处理设备100包括图像信息获取单元110、反射 信息复原单元120、镜面反射分量校正单元130和再现色计算单元140。

图像信息获取单元110从外部接收输入图像，基于该输入图像， 指定特定对象，以及检测特定对象的对象区。此外，图像信息获取单 元110获得对象区的色信息和3D(三维)形状。

反射信息复原单元120基于色信息和3D形状，复原对象区的镜面 反射分量和包含阴暗部的体反射分量。具体地，反射信息复原单元120 通过使用3D信息，复原照明的几何信息(照明的辐照度(irradiance of  the lighting))，以及通过使用色信息、3D形状和照明几何信息，复原 镜面反射分量和包含阴暗部的体反射分量。

在下文中，将说明这些过程的详情。

镜面反射分量校正单元130校正所复原的镜面反射分量。例如， 通过改变镜面反射分量的(面积的)大小和/或镜面反射分量的形状， 改变镜面反射分量的量。关于校正方法，计算对象区的镜面反射分量 的平均值，然后，通过使用所计算的平均值进行校正。例如，通过将 平均值与预先定义的任意值进行比较来进行校正。例如，可以通过将 基准镜面反射分量用作任意值来校正镜面反射分量。此外，可以由用 户输入校正值以及通过使用所输入的校正值来进行校正。

再现色计算单元140通过使用包含阴暗部的体反射分量和校正的 镜面反射分量来计算对象区的再现色，以及通过使用计算的再现色来 生成输出图像。

如上所述，彩色图像处理设备100能够通过使用特定对象的3D信 息来校正准确复原的镜面反射分量。具体地，图像信息获取单元110 首先获得特定对象的3D信息。接着，反射信息复原单元120通过使用 所获得的特定对象的3D信息，复原特定对象的镜面反射分量和包含阴 暗部的体反射分量。然后，镜面反射分量校正单元130校正准确复原 的镜面反射分量。

反射信息复原单元120能通过使用从图像获得的色信息和复原的 照明几何信息，准确地复原特定对象的镜面反射分量和包含阴暗部的 体反射分量。用这种方式，可以抑制出现不自然的伪像。与此相反， 如果不使用3D信息，非常难以准确地复原镜面反射分量和包含阴暗部 的体反射分量。因此，通过校正在未使用3D信息的情况下复原的镜面 反射分量和包含阴暗部的体反射分量生成的输出图像更易于导致不自 然的伪像。

在下文中，将参考具体的示例性实施例，继续该说明。

[第一示例性实施例]

首先，将参考附图，说明根据本发明的方面的彩色图像处理方法 的过程流。通过使用图2中所示的彩色图像处理设备100的配置实例， 进行下述说明。

图3是用于说明根据本发明的第一示例性实施例的彩色图像处理 方法的流程图。为便于说明，假定图像的色系统是RGB色系统。即， 用R(红色)、G(绿色)和B(蓝色)的组合表示图像的色，并且表 示为“色信息RGB”。注意，不必说，本发明适用于除RGB色系统以外 的色系统。

就图像质量而言，为提高任意指定的彩色图像中的特定对象的质 感，重新计算彩色图像中的对象区中的每一像素的再现色。

注意，特定对象不限于任何特别对象，假定即使当个体彼此不同 时，即，即使时存在个体差异时，因为大致的色信息和质感的普遍性， 能基于从彩色图像获得的特性，将对象确定为假定对象。

首先，图像信息获取单元110从输入图像自动地检测特定对象(步 骤S1)。在该过程中，图像信息获取单元110获得用于该检测到的特定 对象的对象区的色信息。

如图4所示，通过使用色信息、质感等等，从输入彩色图像检测 特定对象。假定特定对象是人面部，进行下述说明。当特定对象是人 面部时，通过使用诸如眼睛、鼻子和嘴巴这样的特征，检测面部区域。

作为用于检测面部区域的技术，能使用例如在非专利文献2中公 开的面部检测方法。该技术是使用广义学习矢量量化，通过将基于图 像的技术与用于检测眼睛的基于特征的技术结合，获得的面部检测方 法。

此外，作为用于检测输入图像中的面部区域的技术，能使用在专 利文献2中公开的用于检测图像中的眼睛的方法。即，如果从输入图 像检测到眼睛的位置，那么能简单地估计面部区域。

注意，通常，上述两种技术通过使用单色信息检测面部。然而， 通过包含所检测的面部区域是否是肉色(或肤色)的附加确定，可以 提高面部区域检测的准确性。

关于肉色确定方法，能使用在专利文献1中公开的、使用图像直 方图的技术。面部检测方法不限于上述两种技术，并且还可以使用其 他技术。

尽管在上述说明中，描述了从任意指定的输入图像自动地检测面 部作为待检测的对象的情形，但待检测的对象能是除面部以外的任何 对象。注意，为自动地检测除面部以外的对象，例如，能使用用于通 过将图像数据的可视特性信息与预先记录的对象区的可视特性信息进 行比较，而自动地检测对象的方法。

接着，图像信息获取单元110复原图像中的特定对象的3D形状(步 骤S2)。假定特定对象是人面部，进行说明。因此，能使用在下述文献 (在下文中，称为“非专利文献3”)中公开的技术。在该技术中，通过 使用具有与预先准备的人面部的形状有关的平均3D信息的面部模型， 由2D(二维)图像估算人面部的3D形状。

非专利文献3：“Recognition of Non-Frontal Facial Images by Pose  Conversion using Generic 3D Face Model”，Rui Ishiyama，IEICE， General Conference 2007，D-12-085，2007，第201页

上述技术是在其中特定对象是人面部的情形下限定的3D形状复 原方法。然而，该技术也能通过将在非专利文献3中公开的技术扩展 到其他特定对象，由输入图像复原那些其他特定对象的粗略3D形状， 假定即使当存在个体差异时，特定对象具有粗略的普遍形状。

注意复原输入图像中的特定对象的3D形状的事实是指获得图像 中的每一像素位置的法线矢量

输入图像中的特定对象的视在色受相对于该对象的场景中的照明 及其几何条件影响。即，当照明的几何条件和对象区改变时，也改变 对象区的视在色。

因此，接着，复原相对于输入图像中的特定对象的照明的几何条 件(步骤S3)。在本发明中，应用简单的物理反射模型来表示实际视在 色。下述三个文献表示与这种物理模型相关的技术(在下文中，分别 称为非专利文献4，5和6)。

非专利文献4：R.Basri and D.Jacobs，″Lambertian Reflectance and  Linear Subspaces″，Proc.IEEE Intl.Conf.Computer Vision 01，第 383-389页，2001

非专利文献5：R.Ramamoorthi and P.Hanrahan，″An efficient  representation for irradiance environment maps″，[online]，Proc.ACM  SIGGRAPH 01，pp.497-500，2001.2009年1月26日搜索的互联网 <URL：http://www1.cs.columbia.edu/～ravir/papers/envmap/envmap.pdf>

非专利文献6：Ravi Ramamoorthi and Pat Hanrahan：″On the  relationship between radiance and irradiance：determining the illumination  from images of a convex Lambertian object″，J.Opt.Soc.Am.A/Vol.18， No.10/2001年10月

根据非专利文献4和5，当忽略投射影(cast shadow)和邻近照明时，仅 通过法线矢量的函数表示对象区的视在辐照度E，以及能通过使用 球面谐波函数良好地近似。当与方向矢量的距离照明表示为时，良好漫射的半球对象的辐照度表示如下：

$E\left(\overrightarrow{n}\right)={\int }_{\Omega \left(\overrightarrow{n}\right)}L\left(\overrightarrow{\omega }\right)(\overrightarrow{n}·\overrightarrow{\omega })d\overrightarrow{\omega }---\left(1\right)$

其中，和是单位方向矢量。

通过位置矢量中的表面反照率(surface albedo)在辐照度上 执行缩放。对应于亮度的辐射度(Radiosity)B表示如下：

$B(\overrightarrow{p},\overrightarrow{n})=\rho \left(\overrightarrow{p}\right)E\left(\overrightarrow{n}\right)---\left(2\right)$

假定由Lambertian表面上的观察值(辐照度)估计照明条件。如 上所述，将照明表示为凸形对象的表面上的非负函数，假定能忽略投 射影和邻近照明的影响。在非专利文献4和5中，通过使用球面谐波 函数，表示该函数。

球面谐波函数Y_lm(l≥0，-1≤m≤1)在球面上具有与用于直线或圆的 Fourier基的相似形。九个球面谐波函数(l≤2)变为笛卡尔坐标(x，y，z) 中的常数(l＝0)、线性表示(l＝1)，或二次多项式表示(l＝2)，并且表示如 下。

(x，y，z)＝(sinθcosφ、sinθsinφ、cosθ)

$Y_{00}=\frac{1}{\sqrt{4\pi }}B(\overrightarrow{p},\overrightarrow{n})=\rho \left(\overrightarrow{p}\right)E\left(\overrightarrow{n}\right)---\left(3\right)$

$(Y_{1-1},Y_{10},Y_{11})=\sqrt{\frac{3}{4\pi }}(y,z,x)---\left(4\right)$

$(Y_{2-2},Y_{2-1},Y_{21})=3\sqrt{\frac{5}{12\pi }}(\mathrm{xy},\mathrm{yz},\mathrm{xz})---\left(5\right)$

$Y_{20}=\frac{1}{2}\sqrt{\frac{5}{4\pi }}(3z^2-1)---\left(6\right)$

$Y_{22}=\frac{3}{2}\sqrt{\frac{5}{12\pi }}(x^2-y^2)---\left(7\right)$

在球面谐波函数展开中通过系数L_lm和E_lm，表示和

$L\left(\overrightarrow{n}\right)=\underset{l=0}{\overset{\infty }{\Sigma }}\underset{m=-l}{\overset{l}{\Sigma }}{L}_{\mathrm{lm}}{Y}_{\mathrm{lm}}\left(\overrightarrow{n}\right)$

(8)

$E\left(\overrightarrow{n}\right)=\underset{l=0}{\overset{\infty }{\Sigma }}\underset{m=-l}{\overset{l}{\Sigma }}{E}_{\mathrm{lm}}{Y}_{\mathrm{lm}}\left(\overrightarrow{n}\right)$

(9)

用A_l表示由于A不由方位角而定，所以仅使用m＝0 和下标l。

$A\left(\overrightarrow{n}\right)=\max [\cos \theta ,0]=\underset{l=0}{\overset{\infty }{\Sigma }}{A}_l{Y}_{l0}\left(\overrightarrow{n}\right)---\left(10\right)$

因此，从这些定义，如在非专利文献6中所示，将表示E_lm如下。

$E_{\mathrm{lm}}=\sqrt{\frac{4\pi }{2l+1}}{A}_l{L}_{\mathrm{lm}}---\left(11\right)$

其中，使用变量如下。

${\hat{A}}_l=\sqrt{\frac{4\pi }{2l+1}}{A}_l---\left(12\right)$

为了描述，辐照度E表示如下。

$E(\theta ,\phi )=\underset{l=0}{\overset{\infty }{\Sigma }}\underset{m=-l}{\overset{l}{\Sigma }}{\hat{A}}_l{L}_{\mathrm{lm}}{Y}_{\mathrm{lm}}\left(\overrightarrow{n}\right)---\left(13\right)$

注意，从非专利文献6能导出用于的分析式。当l是大于1 的奇数时(l＞1)，消失，以及当l是偶数时，急剧地下降为 当l＝1时，

${\hat{A}}_1=\frac{2\pi }{3}---\left(14\right)$

当l是大于1的奇数时(l＞1)

${\hat{A}}_l=0---\left(15\right)$

当l是偶数时，

${\hat{A}}_l=2\pi \frac{{(-1)}^{\frac{l}{2}-1}}{(l+2)(l-1)}\left[\frac{l!}{2^l{(\frac{l}{2}!)}^2}\right]---\left(16\right)$

当由数值表示时，它们具有下述值。

${\hat{A}}_0=3.141593,$${\hat{A}}_1=2.094395,$${\hat{A}}_2=0.785398,$${\hat{A}}_3=0$

${\hat{A}}_4=-0.130900,$${\hat{A}}_5=0,$${\hat{A}}_6=0.049087$

如上所述，获得由表达式(13)表示的特定对象的每一像素中的 辐照度E。即，意味着，能复原相对于输入图像中的特定对象的照明几 何条件。注意，辐照度E被视为几何条件。

接着，反射信息复原单元120复原(计算)输入图像的特定对象中 的镜面反射分量和包含阴暗部的体反射分量(步骤S4)。

通常，对象区的反射率由入射光和出射光的几何条件而定。通常， 该反射特性表示为BRDF(双向反射率分布函数)。BRDF通常由两个 分量，即镜面反射分量和包含阴暗部的体反射分量组成。在图1中，在 (a)图像信息获取过程和(b)反射信息复原过程中，示出了将输入 图像中的对象区分成镜面反射分量和体反射分量的情形。

当特定对象是活的生物诸如人时，如下所述定义镜面反射分量和 体反射分量。

镜面反射分量是在皮肤表面上反射的分量。

反射体分量是当光一度进入皮肤中并且在皮肤中散射并且再次通 过皮肤分散时生成的光的分量。

通过假定特定对象的表面反射特性是Lambertian，即良好漫射，通 过使用球面谐波函数，计算特定对象的每一像素中的辐照度，如步骤 S4中所示。由于假定良好漫射，因此，能将该辐照度E视作特定对象的 漫反射分量(或体反射分量)DR(漫反射)。假定对每一色通道(例 如R，G和B)，计算辐照度E。因此，表示为“Ei”。字母“i”表示每一色 通道。类似地，将漫反射分量(或体反射分量)表示为“DRi”。

Ei＝DRi  (17)

假定特定对象为Lambertian，计算漫反射分量(或体反射分量)。 然而，实际上，它包含镜面反射分量，而不是漫反射分量(或体反射 分量)。换句话说，输入图像中的每一色通道的像素值表示包含漫反 射分量(或体反射分量)和镜面反射分量的色通道中的视在亮度。通 过在对象区中使用最小平方方法等等，计算漫反射分量(或体反射分 量)，因此，辐照度不一定与像素值匹配。能确实地说，在该差异中 出现的差值是镜面反射分量。因此，通过使用下述表达式，计算用于 特定对象区中的某一像素的每一色通道的镜面反射分量SPi。

当SPi＝Ii-Dri时，Ii-DRi＞0

当SPi＝0时，除上述外                (18)

注意“Ii”表示输入图像的特定对象区中的某一像素的像素值，以及“i” 表示色通道(例如R，G，B等)。

通过从图像的像素值Ii减去镜面反射分量SPi，获得在输入图像中 的特定对象区中的某一像素的体反射分量BRi：

BRi＝Ii-Spi＝Min(Ii，DRi)  (19)

其中，Min(x，y)是输出x和y之间的最小值的函数。

通过上述过程，通过使用输入对象中的特定对象的3D信息，更高 准确度地计算镜面反射分量和体反射分量。

接着，校正镜面反射分量(步骤S5)。当获得在输入图像中的特 定对象区中出现的镜面反射分量时，通过控制该镜面反射分量的量(面 积和强度)，提高特定对象的质感。即，通过控制/调整在输入彩色图 像中的特定对象中的原始镜面反射分量的量，诸如镜面反射分量的面 积和强度的大小，生成所期望镜面反射分量。

将对象区中的镜面反射分量的预定期望量(强度)表示为 注意，i表示色通道，诸如R、G和B。用下述方式，能计算 该首先，预先准备其中特定对象的质感良好的基准图像。 通过应用上述步骤S1至S4，计算用于具有良好质量的特定对象的通过 表达式(18)获得的镜面反射分量SPi。镜面反射分量SPi是特定对象区 中的每一像素的像素值。因此，计算在那一对象区中的镜面反射分量 SPi的平均值，以及所获得的平均值表示为类似地，计算在 输入图像中的特定对象区中的镜面反射分量SPi的平均值，以及所获得 的平均值表示为

$\mathrm{\alpha i}={\overline{\mathrm{SPref}}}_i/{\overline{\mathrm{SP}}}_i---\left(20\right)$

然后，通过使在输入图像中的对象区中的镜面反射分量Spi乘以 通过表达式(20)获得的校正系数αi，将镜面反射分量的量(强度) 校正成期望量。

SPi′＝αi×SPi  (21)

关于镜面反射分量的量(面积)的校正，通过使用对象区的镜面 反射分量的预定期望量(面积)，如在强度的调整的情况下，调整在 输入图像中的特定对象的镜面反射分量的量(面积)。注意，可以将 镜面反射分量的像素数与特定对象区的像素数的比率用作镜面反射分 量的面积。

当将减少面积时，调整表达式(21)中αi的值以便像素数，即在 输入图像中的特定对象区中的镜面反射分量的面积变得更接近对象区 的镜面反射分量的期望量(面积)。具体地，抑制镜面反射分量的强 度，并且当像素值SPi变得小于某一阈值时，它可以被设置成零。

另一方面，当将增加面积时，有必要采用某一措施。这是因为， 根据表达式(18)，并非初始是镜面反射分量的像素永不会变成镜面 反射分量。当打算增加面积时，以随机方式选择并非初始为镜面反射 分量并且位于初始为镜面反射分量的像素附近的像素，以及将正实数 加到那一像素的像素值SPi，同时调整表达式(21)中的αi。重复如下 的过程：以随机方式选择位于初始为镜面反射分量的像素附近的像素 以及将正实数加到那一像素的像素值，同时调整表达式(21)中的αi， 直到实现期望面积为止。

接着，通过使用所校正的镜面反射分量和体反射分量，计算在输 入图像中的对象中的每一像素的校正色(步骤S6)。

通过将在步骤S5中获得的校正的镜面反射分量SPi′加到体反射分 量BRi，计算色校正的像素值Ii′。

Ii′＝Bri+Spi′(22)

将通过校正在输入图像中的对象区的色获得的图像输出为输出图 像。

尽管在上述说明中，说明了其中输入和输出图像的设备相关色为 RGB的情形，但本发明也能应用于除RGB外的设备相关色的图像，诸 如CMY和CMYK，假定能获得在那些设备相关色和设备相关色的三色 刺激值XYZ之间的相应关系。注意，“设备相关色”是指由图像被输 出到的设备而定的色空间。

接着，说明应用根据本发明的第一示例性实施例的彩色图像处理 方法的彩色图像处理设备(色校正设备)。图5表示根据本发明的第一 示例性实施例的彩色图像处理设备的配置实例。

彩色图像处理设备101是校正在输入图像1中的对象区的镜面反射 分量的设备，由此输出一输出图像2。彩色图像处理设备101包括对象 区检测单元3、3D信息复原单元(对象区3D信息复原单元)4、反射信 息复原单元(用于复原对象区的镜面反射分量和体反射分量的单元)、 镜面反射分量校正单元6、基准镜面反射分量存储器7以及再现色计算 单元(对象区再现色计算单元)8。

当提供输入图像1时，对象区检测单元3分析输入图像1，检测到预 先假定的特定对象，以及输出表示检测到的特定对象的对象区的信息。 表示对象区的信息包含对象区的色信息。

注意，将从输入图像1检测到的对象是能将其对象区的色和形状特 征限制到如人面部的程度的对象，如上所述。关于检测方法，可以使 用上述技术。注意，如果未从输入图像1检测到待处理的对象，那么将 输入图像1本身输出为输出图像2。

3D信息复原单元4复原由对象区检测单元3检测到的对象区的3D 形状。3D信息复原单元4执行对应于图3中的步骤S2的过程。

根据图3中的步骤S3，反射信息复原单元5通过使用对象区的3D形 状(即法线矢量)，复原(计算)对象区中的辐照度E。通过3D信息复 原单元4，计算对象区的3D形状。

此外，根据图3的步骤S4中所述的过程方法，复原(计算)对象区 中的镜面反射分量和体反射分量。

通过使用基准镜面反射分量，镜面反射分量校正单元6将所计算的 对象区中的镜面反射分量校正成期望量。基准镜面反射分量是实现对 象区的期望图像的镜面反射分量，并且根据对象区预先定义。镜面反 射分量校正单元6执行对应于图3的上述步骤S5的过程。镜面反射分量 校正单元6高精度地实现再现具有复杂反射特性的诸如人的皮肤这样 的对象的色。此外，能防止伪像出现。

基准镜面反射分量存储器7存储基准镜面反射分量。

再现色计算单元8通过使用校正的镜面反射分量和包含阴暗部的 体反射分量，计算对象区中的每一像素的校正色，以及将色校正图像 输出为输出图像。校正的镜面反射分量是由镜面反射分量校正单元6校 正的分量，以及表示对象区中的每一像素的期望镜面反射分量。包含 阴暗部的体反射分量是由反射信息复原单元5计算的分量。再现色计算 单元8执行对应于图3的步骤S6的过程。

如上所述，彩色图像处理设备101将用于通过调整令人不快的镜面 反射分量(镜面反射分量，即闪光)而提高图像质量的方法，提供作 为用于实现人面部的期望图像质量的方法。具体地，镜面反射分量校 正单元6校正镜面反射分量，以及再现色计算单元8通过使用校正的镜 面反射分量，生成输出图像。即，彩色图像处理设备101通过使用镜面 反射分量校正单元6和再现色计算单元8，将对象的图像质量校正到期 望图像质量。与此相反，在现有技术中，已经提供将人造对象诸如具 有二色性反射模型的塑料的色从红改变到蓝的方法。对如此的人造对 象，非常难以提高图像质量，由此通过校正色，实现期望图像质量。

此外，根据第一示例性实施例的彩色图像处理设备101和图2中所 示的彩色图像处理设备100以下述方式彼此相关。

图像信息获取单元110由对象区检测单元2和3D信息复原单元4组 成。

反射信息复原单元120对应于反射信息复原单元5。

镜面反射分量校正单元130由镜面反射分量校正单元6和基准镜面 反射分量存储器7组成。

再现色计算单元140对应于再现色计算单元8。

注意，图2或5中所示的彩色图像处理设备的配置仅是实例，并且 还可以使用能实现类似功能的任何其他设备配置。

此外，通过使用计算机，能实现彩色图像处理设备101，以及构成 彩色图像处理设备的组件的每一个，即对象区检测单元3、3D信息复原 单元4、反射信息复原单元5、镜面反射分量校正单元6、基准镜面反射 分量存储器7、和再现色计算单元8能被实现为使计算机的中央处理单 元(CPU)实现上述功能的程序。组成彩色图像处理设备的每一组件能 由计算机实现并且能实现为程序的事实不限于第一示例性实施例，以 及在其他示例性实施例中也成立。

[第二示例性实施例]

接着，说明根据本发明的第二示例性实施例的彩色图像处理设备。 图6表示根据本发明的第二示例性实施例的彩色图像处理设备的配置 实例。彩色图像处理设备102是校正输入图像1中的对象区的镜面反射 分量，并且由此将输出图像2输出的设备。

彩色图像处理设备102包括对象区检测单元3、3D信息复原单元4、 反射信息复原单元5、镜面反射分量校正单元6、用户交互单元9、和再 现色计算单元8。

通过利用用户交互单元9替换彩色图像处理设备101的基准镜面反 射分量存储器7，获得彩色图像处理设备102。因此，仅说明用户交互 单元9。

用户交互单元9提供使用户调整在输入图像中的特定对象区中的 镜面反射分量的量的交互方式。图7A和7B表示用户交互方式的实例。 在反射信息复原单元5中，提供能以交互方式调整在输入图像中的特定 对象区的镜面反射分量的计算量的图形用户界面(GUI)。能使用该 GUI的滑动条来调整例如表达式(21)中的α的值。图7A表示其中减弱 镜面反射分量的实例，而图7B表示其中增强它的实例。用户交互单元9 显示实时反映在输入图像中的镜面反射分量的调整结果的校正图像。

用户交互单元9接收由用户输入的镜面反射分量的量(校正值)， 以及将所接收的量告知镜面反射分量校正单元6。校正值可以是表示镜 面反射分量的总量的值，或表示当前镜面反射分量改变的量的值。

镜面反射分量校正单元6通过使用镜面反射分量的告知量，校正每 一像素的镜面反射分量。

用这种方式，能生成由用户所期望的输出图像。

此外，尽管参考图6，说明了其中由用户交互单元9替换基准镜面 反射分量存储器7的配置实例，可以同时提供两个组件。

例如，为用户显示其中通过使用基准镜面反射分量存储器7校正镜 面反射分量的图像。当用户期望进一步改变用于校正图像的镜面反射 分量时，他/她能输入校正值。用这种方式，能生成用户所期望的输出 图像。此外，用户能根据特定用途，改变镜面反射分量。

[其他示例性实施例]

通过使用计算机，能实现上述示例性实施例的每一个中的彩色图 像处理方法和设备。也能通过将软件、硬件和固件的两个或多个结合， 实现彩色图像处理方法的每一过程和设备。

例如，当通过使用程序，实现图2中所示的彩色图像处理设备100， 程序(一组命令)使计算机执行至少下述过程。将程序加载到计算机 的存储器中，并且在CPU的控制下，执行每一命令。

(a)图像信息获取过程，用于接收输入图像，基于输入图像，检 测对象区，以及获得对象区的色信息和3D信息。该过程对应于图2中的 图像信息获取单元110。(b)反射信息复原过程，用于基于色信息和 3D信息，复原对象区的镜面反射分量和包含阴暗部的体反射分量。该 过程对应于图2中的反射信息复原单元120。(c)镜面反射分量校正过 程，用于校正镜面反射分量。该过程对应于图2中的镜面反射分量校正 单元130。(d)再现色计算过程，用于通过使用包含阴暗部的体反射 分量和校正的镜面反射分量，计算对象区的再现色，并且由此生成输 出图像。该过程对应于图2中的再现色计算单元140。

具体地，在镜面反射分量校正过程中，可以计算对象区的镜面反 射分量的平均值，以及可以通过使用所计算的平均值，复原照明的光 谱功率分布。此外，可以通过使用为对象区预先定义的基准镜面反射 分量信息，校正镜面反射分量的平均值。

此外，镜面反射分量校正过程可以包括用户交互过程，用于从用 户接收用于镜面反射分量的校正值，以及可以通过使用所接收的校正 值，校正镜面反射分量的平均值。

该程序能通过将其记录在记录介质中而被提供，或通过互联网或 其他通信介质传送来被提供。注意，存储介质的实例包括软盘、硬盘、 磁盘、磁光盘、CD-ROM、DVD、ROM磁带、具有备用电池的RAM存 储器磁带、闪存磁带和非易失性RAM磁带。此外，通信介质的实例包 括有线通信介质，诸如电话线，无线通信介质、诸如微波线。

如迄今所述，根据本发明的示例性实施例的方面，对由彩色成像 设备摄取的彩色图像中的特定对象，可以通过控制特定对象中的镜面 反射分量的量而提高质感。

根据本发明的示例性实施例的方面，可以解决在现有技术色校正 方法中对象的质感会降低的问题，以及通过控制特定对象的镜面反射 分量，实现在由彩色成像设备摄取的彩色图像中的特定对象的对象区 的期望质感。此外，由于本发明不要求使用特定测量设备，诸如光纤 分光仪，因此，可以实现仅利用输入图像的更简单技术。

尽管在上述说明中参考示例性实施例说明了本发明，但本发明不 限于上述示例性实施例。在不背离本发明的范围的情况下，对本发明 的结构和细节，能做出易于由本领域技术人员理解的各种改进。

本申请基于并要求2009年1月29日提交的日本专利申请 No.2009-017940的优先权，其全部内容在此引入以供参考。

工业适用性

本发明适用于提高彩色图像输入/输出设备的图像质量的功能。此 外，本发明还能通过以在计算机系统上运行的程序的形式应用本发明， 而用作用于指定彩色图像的图像校正软件或应用程序。

附图标记列表

1 输入图像

2 输出图像

3 对象区检测单元

4 3D信息复原单元

5 反射信息复原单元

6 镜面反射分量校正单元

7 基准镜面反射分量存储器

8 再现色计算单元

100，101，102 彩色图像处理设备

110 图像信息获取单元

120 反射信息复原单元

130 镜面反射分量校正单元

140 再现色计算单元