图像处理设备和使用该图像处理设备的图像拾取设备

摘要

一个目的是提供一种校正像差不对称性并获得高清晰度图像的图像处理设备。根据本发明的图像处理设备包括：图像获取部件，用于获得输入图像；以及图像恢复部件，用于使用基于捕获系统的传递函数而产生或选择的图像恢复滤波器来恢复所述输入图像以产生恢复图像，所述捕获系统用于形成物体图像作为所述输入图像，其特征在于，所述图像恢复滤波器使在从物体图像获得恢复图像时两个方位角方向之间的传递函数的绝对值之间的差值小于该图像捕获系统的所述两个方位角方向的传递函数的绝对值之间的差值。

说明书

技术领域

本发明涉及执行图像处理的图像处理设备，并且尤其涉及一种执 行图像恢复（复原）的图像处理设备。

背景技术

通过诸如数字静态照相机的图像拾取设备获得的图像由于图像模 糊而劣化。图像模糊由球面像差、彗形像差、像场弯曲、像散等引起。 这些像差可用PSF（点扩散函数）表示。通过对点扩散函数（以下称 为“PSF”）执行傅里叶变换而获得的OTF（光学传递函数）是频率 空间中的像差的信息，并且用复数表示。光学传递函数（以下称为 “OTF”）的绝对值（即，振幅分量）被称为MTF（调制传递函数）， 相位分量被称为PTF（相位传递函数）。图像拾取光学系统的OTF 影响图像的振幅分量和相位分量（使图像的振幅分量和相位分量劣 化）。因此，在由于OTF的影响而劣化的图像（以下称为“劣化图像”） 中，物体的点像彗形像差那样以不对称的方式变模糊。

将参照图23来描述这种情况。图23A至图23C是示意性地示出 点扩散函数（PSF）在与主光束（其通过光学系统的光瞳）正交相交 的平面中的扩散的示图。在图23中所示的平面中，通过光轴并且彼此 正交相交的线被确定为轴x1和x2，并且由通过光轴的任意线和轴x1 限定的角度θ被限定为方位角。此外，当图23的坐标轴的原点被确定 为主光束的图像形成位置时，方位角θ所表示的方向被确定为方位角方 向。方位角方向包括弧矢方向和子午方向，并且是包括角度θ方向的所 有方向的包容性术语。

如上所述，相位分量（PTF）的劣化在PSF中引起不对称。此外， 振幅分量（MTF）的劣化影响PSF对于每个方位角方向的扩散程度。 图23A是示意性地示出其中产生彗形像差的PSF的示图。当光学系统 包括不倾斜的光轴和具有旋转对称形状的透镜时，除了光轴之外的视 场角中的PSF相对于通过光轴和主光束的线对称，因此，PSF具有线 对称形状。在图23A中，PSF相对于轴x2线对称。

图23B显示处于未发生相移的状态的PSF。PSF具有相对于各个 方位角对称的形状。然而，因为振幅（MTF）彼此不同，所以PSF在 轴x1和x2方向上的扩散彼此不同，也就是说，获得不对称的PSF。 应注意，光轴上的PSF在不考虑制造误差时不具有相移，并且不具有 振幅劣化的方位角依赖性，因此，如图23C所示获得旋转对称形状。 具体地讲，如图23A和图23B所示，由于各个方位角方向上的相移 （PTF）以及方位角方向的振幅（MTF）之间的差值，PSF形成不对 称形状，并且该不对称形状导致阻止以高精度产生图像的图像模糊。

作为校正图像模糊的技术，在专利文献1中，用于设计图像恢复 滤波器的参数α如表达式1中所示那样被确定。通过调整该调整参数α， 不发挥作用（α=0）的图像恢复滤波器变为逆滤波器（α=1）。因此， 可仅使用单个参数在从原始捕获图像到已被最大恢复的图像的范围内 调整图像恢复程度。

【数学式1】

表达式1

$F(u,v)=\frac{\mathrm{\alpha H}(u,v)*+1-\alpha }{\alpha {\left|H(u,v)\right|}^2+1-\alpha }\times G(u,v)$

这里，F(u,v)和G(u,v)分别表示经过傅里叶变换的恢复图像和劣化 图像。

此外，作为校正图像模糊以便提高锐度的滤波器，维纳滤波器是 已知的。维纳滤波器的频率特性M(u,v)用表达式2表示。

【数学式2】

（表达式2）

$M(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+{\mathrm{SNR}}^2}$

这里，H(u,v)表示光学传递函数（OTF）。|H(u,v)|表示OTF的绝对 值（MTF）。SNR表示噪声信号的强度比。以下，使用维纳滤波器或 者如专利文献1中所公开的基于光学传递函数（OTF）的图像恢复滤 波器来恢复图像的处理被称为图像恢复处理。

引文列表

专利文献

PTL 1：日本专利公开No.2007-183842

发明内容

技术问题

然而，当使用维纳滤波器或者专利文献1中所公开的图像恢复滤 波器时，图像拾取光学系统中的振幅分量和相位分量的劣化可被校正， 但是方位角方向上的振幅分量之间的差值可能不能被校正。当使用维 纳滤波器时，以及当恢复之前获得的MTF根据方位角方向而彼此不 同时，方位角方向上的在恢复之前获得的MTF之间的差值变大。将 参照图20来描述这种情况。

图20是示出在执行图像恢复处理之前获得的MTF和在使用维纳 滤波器执行图像恢复处理之后获得的MTF的示图。虚线（a）和实线 （b）分别表示恢复之前的第一方位角方向的MTF和第二方位角方向 的MTF。虚线（c）和实线（d）分别表示恢复之后的第一方位角方向 的MTF和第二方位角方向的MTF。第一方位角方向和第二方位角方 向分别对应于例如弧矢方向和子午方向。在维纳滤波器中，当MTF 高时，实现低的恢复增益（低恢复程度），而当MTF低时，实现高 的恢复增益（高恢复程度）。因此，在方位角方向上延伸并且对应于 低MTF的虚线（a）的恢复增益低于在方位角方向上延伸并且对应于 高MTF的实线（b）的恢复增益。因此，恢复之后获得的第一方位角 方向上的MTF（c）与恢复之后获得的第二方位角方向上的MTF（d） 之间的差值大于恢复之前获得的第一方位角上的MTF（a）与恢复之 前获得的第二方位角方向上的MTF（b）之间的差值。也就是说，即 使当执行图像恢复处理时，图像中也包括不对称像差。当使用专利文 献1中所公开的图像恢复滤波器时，此情况类似地发生。

本发明是鉴于以上问题而提出的，并且本发明的目的是提供一种 图像处理设备，该图像处理设备减小由于图像恢复处理而可能发生的 不对称像差，以便获得高精度图像。

问题的解决方案

为了解决上述问题，根据本发明，提供一种图像处理设备，其包 括：

图像获取部件，其被配置为获得输入图像；和

图像恢复部件，其被配置为使用根据用于从物体图像形成所述输 入图像的图像拾取系统的传递函数产生或选择的图像恢复滤波器来恢 复所述输入图像；

其中，所述图像恢复滤波器使当从物体获得恢复图像时所获得的 两个方位角方向上的传递函数的绝对值之间的差值小于所述图像拾取 系统的所述两个方位角方向的传递函数的绝对值之间的差值。

本发明的有效效益

本发明的效果是产生其中不对称像差减小的高精度恢复图像。

附图说明

图1是示出根据本发明的实施例的整个图像处理的流程图。

图2A是示出图像恢复滤波器的示图。

图2B是示出图像恢复滤波器的示图。

图3是示出方位角方向上的MTF的校正量的第一示图。

图4是示出方位角方向上的MTF的校正量的第二示图。

图5是示出图像拾取设备的基本配置的框图。

图6是示出根据第一实施例的图像恢复滤波器的选择和校正的示 图。

图7是示出根据第一实施例的图像处理过程的流程图。

图8是示出图像处理之前和之后的MTF的变化的示图。

图9是示出边缘强调滤波器的示图。

图10A是当利用边缘强调滤波器时的边缘的截面图。

图10B是当利用边缘强调滤波器时的边缘的另一截面图。

图10C是当利用边缘强调滤波器时的边缘的又一截面图。

图11A是示出根据第二实施例的图像处理系统的示图。

图11B是示出根据第二实施例的另一图像处理系统的示图。

图12是示出根据第二实施例的校正信息的示图。

图13是示出根据第三实施例的图像处理过程的示图。

图14是示出第一图像恢复处理的流程图。

图15是示出调整参数的设置的流程图。

图16是示出根据第三实施例的图像处理的流程图。

图17是示出根据第四实施例的图像恢复处理过程的示图。

图18A是示出点扩散函数（PSF）的示图。

图18B是示出点扩散函数（PSF）的另一示图。

图18C是示出点扩散函数（PSF）的又一示图。

图19包括示出图像的振幅分量（MTF）和相位分量（PTF）的示 图。

图20是示出相关技术中的图像恢复处理之前和之后的MTF的变 化的示图。

图21是示出常规的图像处理方法的流程图。

图22是示出伪色的示图。

图23A是示出方位角方向的示图。

图23B是示出方位角方向的另一示图。

图23C是示出方位角方向的又一示图。

具体实施方式

首先，将参照图1来描述根据本发明的图像处理流程。图1显示 从图像的输入到图像的输出的处理操作的操作。首先，在步骤S11中 的图像获得操作中，获得由图像拾取系统产生的图像。以下，在图像 获得操作中获得的图像被称为输入图像。

接着，在步骤S12中，产生与捕获在步骤S11中获得的输入图像 的条件对应的图像恢复滤波器。指出，在步骤S12中，可从预先提供 的多个图像恢复滤波器中选择合适的滤波器，或者可选择某一滤波器， 其后，在适当情况下，可对所选的滤波器进行校正。在步骤S13中的 图像恢复处理操作的步骤中，使用在步骤S12中根据图像拾取系统的 传递函数（图像拾取光学系统的光学传递函数）产生的或者选择的图 像恢复滤波器来执行图像恢复处理（校正处理）。更具体地讲，通过 使用零作为目标值来校正输入图像的相位分量（PTF），并且校正两 个方位角方向上的振幅分量（MTF），以使得振幅分量之间的差值减 小。然后，在步骤S14中，将已在步骤S13中校正的校正图像作为输 出图像输出。

指出，在执行图1中的操作之后，或者在这些操作的过程中，可 插入用于另一图像处理的操作。另一图像处理的例子包括电子像差校 正（诸如畸变像差校正和外围亮度校正）、去马赛克、伽马转换和图 像压缩。接下来，将详细描述图1中所示的操作。

指出，虽然MTF表示图像拾取系统的传递函数（图像拾取光学 系统的光学传递函数）的振幅分量（绝对值），但是当物体（物场中 所包括的物体）是白色点光源时，MTF可用作图像的谱。

（图像获得操作）

在图像获得操作中获得的图像（以下称为输入图像）是经图像拾 取光学系统通过使用图像拾取元件进行图像捕获而获得的数字图像。 由于基于图像拾取光学系统（透镜）和包括各种滤光器的图像拾取光 学系统的像差等的光学传递函数（OTF），这里获得的数字图像在与 物场中所包括的物体比较时劣化。光学传递函数（OTF）优选地是基 于图像拾取光学系统的光学元件的像差或者其它图像拾取设备的特性 的传递函数。作为图像拾取光学系统，除了透镜之外，还可使用具有 曲率的反射镜（反射表面）。

此外，输入图像用颜色空间表示。除了LCH所表示的明度、色 调和饱和度以及YCbCr所表示的照度和色差信号之外，颜色空间还 用例如RGB表示。其它颜色空间的例子包括XYZ、Lab、Yuv、JCh 和色温。通常使用的这些颜色空间之一所表示的值可用作本发明中的 颜色分量。

此外，输入图像可以是马赛克图像（mosaic image）或去马赛克 图像（demosaic image），马赛克图像包括其中每个均具有单个颜色 分量的信号值的像素，去马赛克图像包括其中每个均具有多个颜色分 量的信号值的像素，这些信号值通过对马赛克图像执行颜色插值处理 （去马赛克处理）来获得。马赛克图像也被称为RAW图像，该RAW 图像为没有经过图像处理的图像，所述图像处理诸如颜色插值处理（去 马赛克处理）、伽马转换和使用例如JPEG的图像压缩。例如，当在 例如单面板图像拾取元件中获得关于多个颜色分量的信息时，具有不 同光谱透射率的滤光器设置在各个像素中，并且获得马赛克图像，该 马赛克图像具有其中每个均具有单个颜色分量的信号值的像素。当对 马赛克图像执行颜色插值处理时，可获得下述图像，该图像具有其中 每个均具有多个颜色分量的信号值的像素。此外，当使用多板图像拾 取元件（即，具有三个板的图像拾取元件）时，对于各个图像拾取元 件设置具有不同光谱透射率的滤色器，并且获得马赛克图像，该马赛 克图像具有在图像拾取元件之间不同的颜色分量的图像信号值。在这 种情况下，因为在图像拾取元件之间彼此对应的像素具有不同颜色分 量的信号值，所以可在不特别地执行颜色插值处理的情况下获得下述 图像，该图像包括其中每个均具有多个颜色分量的信号值的像素。

此外，用于校正输入图像的各种校正信息可被附加到输入图像。 校正信息包括关于图像拾取状态的信息（图像拾取状态信息），所述 图像拾取状态诸如透镜的焦距（变焦位置）、光圈值、物距（聚焦距 离）、曝光时间和ISO灵敏度。在包括捕获图像的处理到输出图像的 处理的一系列处理由单个图像拾取设备执行的情况下，图像拾取状态 信息和校正信息不需要被附加到输入图像，而是可在该设备内获得。 然而，在从图像拾取设备获得RAW图像并且在与该图像拾取设备分 离地提供的图像处理设备中执行图像恢复处理、显影处理等的情况下， 图像拾取状态信息和校正信息优选地如上所述那样被附加到图像。然 而，当构成下述系统时，校正信息不需要被附加到图像，在该系统中， 校正信息预先被存储在图像处理设备中，并且校正信息可从附加到输 入图像的图像拾取状态信息中选择。

指出，虽然在前面的描述中描述了输入图像是经图像拾取光学系 统通过使用图像拾取元件执行图像捕获而获得的数字图像，但是输入 图像可以是通过不包括图像拾取光学系统的图像拾取系统获得的数字 图像。例如，图像可通过下述图像拾取设备获得：不包括包含透镜的 图像拾取光学系统的图像拾取设备，诸如扫描仪（读取设备），或者， 通过将图像拾取元件紧密地附连到物体表面上来执行图像捕获的射线 图像拾取设备。通过不包括图像拾取光学系统的图像拾取设备产生的 以及通过使用图像拾取元件进行图像采样产生的这样的图像或多或少 劣化。在这种情况下，劣化特性不取决于图像拾取光学系统的OTF（狭 义定义的OTF），而是取决于图像拾取系统的系统传递函数，并且该 系统传递函数对应于光学传递函数。因此，本发明的本实施例中的“光 学传递函数”对应于更宽泛意义的光学传递函数，包括不包括这样的 图像拾取光学系统的图像拾取系统的系统传递函数。

（产生图像恢复滤波器的操作）

接下来，将参照图2A和图2B来描述图像恢复滤波器的产生。图 2A是示意性地示出在实空间中对输入图像的像素执行卷积处理的图 像恢复滤波器的示图。图像恢复滤波器的抽头（单元）的数量可根据 图像拾取系统的像差特性或者所需的恢复精度来确定。对于二维图像， 通常使用具有与图像中所包括的像素对应的抽头数量的二维图像恢复 滤波器。在图2A中，显示了具有按11×11矩阵排列的抽头的二维图 像恢复滤波器。此外，因为通常随着图像恢复滤波器的抽头数量增加， 恢复精度提高，所以抽头数量根据所需的图像质量、图像处理能力、 像差特性等来设置。

在图2A中，省略了抽头中所包括的值。在图2B中显示了该图像 恢复滤波器的截面图。图像恢复滤波器的抽头的值（系数值）的分布 用于当执行卷积处理时理想地使由于像差而在空间上扩散的信号值返 回到原点。也就是说，图像恢复滤波器的获得在本说明书中是指图像 恢复滤波器的抽头值（系数）的获得。

为了产生图像恢复滤波器，首先，计算或测量图像拾取光学系统 的光学传递函数（OTF）。在原始图像（劣化图像）通过不包括图像 拾取光学系统的系统获得的情况下，该图像的劣化特性可用图像拾取 系统传递函数来表示，因此，图像恢复滤波器可通过使用图像拾取系 统传递函数作为光学传递函数（OTF）来产生。以下所使用的术语“光 学传递函数（OTF）”包括不包括图像拾取光学系统的图像拾取系统 的传递函数。

本发明中所使用的图像恢复滤波器不同于常规的图像恢复滤波 器，并且具有校正方位角方向的MTF之间的差值的功能。在描述产 生根据本发明的图像恢复滤波器的操作之前，将参照图18和图19来 描述常规的维纳滤波器。

图18A中显示了图像在子午方向上的某一位置处的某一颜色分量 的点扩散函数（PSF）的截面图，图19中显示了其频率特性。图19 （M）显示了作为振幅分量的MTF，图19（P）显示了作为相位分量 的PTF。此外，与图18A至图18C的PSF（点扩散函数）对应的频率 特性分别对应于图19中所示的虚线（a）、双点划线（b）和点划线（c）。

图18A中所示的没有被校正的PSF由于彗形像差等而具有不对称 形状，具有如图19（M）的虚线（A）所表示的随着频率变高而变低 的MTF特性，并且具有如图19（P）的虚线（a）所表示的相移。当 图18A中所示的PSF使用通过对光学传递函数（OTF）的逆数 （1/OTF(u,v)）执行逆傅里叶变换而产生的图像恢复滤波器来进行校 正时，理想地，获得如图18B所示的δ函数，在该δ函数中，PSF不 扩散。

指出，OTF的逆数被称为逆滤波器，并且使用该逆滤波器（图像 恢复滤波器）的恢复的程度在本说明书中被定义为最大恢复程度。

与图18B对应的MTF如图19（M）的双点划线（b）所表示的 那样在所有频率中保持为1，并且PTF如图19（P）的双点划线（b） 所表示的那样在所有频率中保持为0。

然而，如上所述，当要产生图像恢复滤波器时，应该调整噪声放 大的影响。当图18A中所示的PSF使用表达式1所表示的维纳滤波器 来恢复时，获得图18C中所示的PSF，该PSF因为相位被校正而具有 对称形状，并且因为振幅被改进而具有PSF的小扩散，即，尖点形状。 与图18C对应的MTF用图19（M）中所示的点划线（c）表示，在该 点划线（c）中，恢复增益被抑制，与图18C对应的PTF用图19（P） 中所示的点划线（c）表示，该点划线（c）在所有频率中保持为0。 将参照表达式3来描述即使当恢复增益被抑制时也将PTF校正为0的 原因。

假设白色点光源用作物体，则相移不作为该物体的频率特性而产 生，并且振幅特性在所有频率中都保持为1。因此，通过图像拾取光 学系统获得的图像的频率特性对应于光学传递函数（OTF）本身，并 且图像具有PSF形状的像素值分布。也就是说，假设输入图像的频率 特性对应于OTF，该OTF被乘以图像恢复滤波器的频率特性，从而 获得恢复图像的频率特性。当这用表达式表示时，与OTF对应的H(u, v)被取消，并且恢复图像的频率特性用如表达式3所示的右侧项表示。

【数学式3】

（表达式3）

$H(u,v)M(u,v)=\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+{\mathrm{SNR}}^2}$

因为右侧项|H(u,v)|是OTF的绝对值（MTF），所以无论确定恢复程 度的参数SNR的值如何，相位分量都消失。因此，当相位劣化分量被 校正时，PSF被校正为具有对称形状。

然而，因为相位劣化分量在各个方位角方向上被校正，所以PSF 被校正为在各个方位角方向上具有对称形状，但是PSF没有被校正为 具有旋转对称形状，因为各个方位角方向上的振幅分量彼此不同。例 如，当引起图23A中所示的线对称形状的彗形像差被校正为使得获得 点对称形状时，通过该校正获得图23B中所示的与像散对应的PSF。 具体地讲，其中各个方位角方向的相位被校正并且方位角方向的振幅 彼此不同的PSF仅被校正为点对称状态。在常规的图像恢复方法中， 方位角方向上的MTF之间的差值没有被校正，而是如参照图20所述 的那样增大。因此，使用常规的图像恢复方法没有实现不对称像差的 有效校正。

接下来，将描述根据本发明的图像恢复滤波器，其具有本发明的 校正不对称像差的功能。从表达式1和3显然可见，表达式4中的部 分“rOTF”表示在通过捕获白色点光源而获得的图像被恢复之后获得 的频率特性。

【数学式4】

（表达式4）

$M(u,v)=\frac{1}{H(u,v)}\left[\mathrm{rOTF}\right]$

这里，“rOTF”是任意函数。因为恢复图像的相位劣化分量优选为零， 所以“rOTF”不包括相位分量，而是仅包括实数部分，因此，“rOTF” 基本上等于“rMTF”。虽然，“rOTF”优选地仅包括实数部分，但 是显而易见的是，值被分配给可允许范围内的虚数部分的情况也包括 在本发明的修改形式的范围内。也就是说，当使用表达式4所表示的 图像恢复滤波器时，任何物体可被捕获为被下述图像拾取光学系统捕 获的图像，在该图像拾取光学系统中，无论点光源如何，光学传递函 数（OTF）都具有rOTF特性。

因此，当使用表达式5（其使用在方位角方向上公共的OTF（rH(u, v)））时，可获得如同使用下述图像拾取光学系统捕获的图像，在该 图像拾取光学系统中，不产生方位角方向上的MTF之间的差值。也 就是说，本实施例中所使用的图像恢复滤波器减小了图像拾取系统的 两个方位角方向上的MTF之间的差值。

【数学式5】

（表达式5）

$M(u,v)=\frac{1}{H(u,v)}\frac{{\left|\mathrm{rH}(u,v)\right|}^2}{{\left|\mathrm{rH}(u,v)\right|}^2+{\mathrm{SNR}}^2}$

将参照图3来描述这种情况。图3是示出当使用根据本发明的图 像恢复滤波器执行处理时以及当物体是点光源时两个方位角方向（即， 恢复之前的方位角方向和恢复之后的方位角方向）上的MTF的变化 的示图。虚线（a）和实线（b）表示第一方位角方向和第二方位角方 向上的恢复之前的MTF。虚线（c）和实线（d）表示第一方位角方向 和第二方位角方向上的恢复之后的MTF。如线（a）和（b）所表示的， 恢复之前的MTF根据方位角方向而彼此不同。然而，如线（c）和（d） 所表示的，无论方位角方向如何，恢复之后的MTF都基本上彼此相 同。图3中所示的线（a）和（b）分别对应于例如子午方向和弧矢方 向上的MTF。如上所述，使用图像恢复滤波器使得能够校正不同方位 角方向上的MTF之间的差值来进行恢复。

此外，虽然在表达式5中使用在方位角方向上公共的OTF(rH(u, v))，但是rH(u,v)可被校正为使得方位角方向上的OTF之间的差值减 小到小于恢复之前的OTF之间的差值，由此可调整旋转对称性。图4 显示其例子。如图4中所示的线（c）和（d）所表示的，即使当两个 方位角方向上的恢复之后的MTF彼此不一致时，方位角方向上的 MTF之间的差值在与图20中的线（c）和（d）比较时也是减小的， 并且PSF的不对称性减小。为了获得不对称性校正的效果，优选地至 少使用下述滤波器，该滤波器使得方位角方向上的恢复之后的MTF 之间的差值能够小于恢复之前的MTF之间的差值。

本实施例的图像恢复滤波器被配置为使得当从物体获得恢复图像 时所获得的两个方位角方向上的MTF（传递函数的绝对值）之间的差 值变得小于图像拾取系统的两个方位角方向上的MTF之间的差值。

换句话讲，当物体是白色点光源时，本实施例的图像恢复滤波器 执行恢复，以使得恢复图像的两个方位角方向上的谱之间的差小于输 入图像的两个方位角方向上的谱之间的差。

也就是说，本实施例的图像恢复滤波器基于下述传递函数来产生： 在两个方位角方向上具有不同频率特性的传递函数、以及用于将两个 方位角方向的传递函数的绝对值之间的差校正为小的校正传递函数。

如上所述，通过使用根据本发明的图像恢复滤波器来执行图像恢 复处理，可校正引起像差的各个方位角方向的相位分量之间的差值和 方位角方向的振幅分量之间的差值，并且可通过减小像差的不对称性 来获得精度更高的图像。

指出，在图像恢复滤波器中，因为表达式5中所包括的H(u,v) 的部分根据方位角方向而变化，所以无论rH(u,v)是否在方位角方向 上是公共的，都获得不对称的系数阵列。也就是说，图2中所示的截 面图根据方位角方向而变化。

指出，光学传递函数（OTF）不仅可包括引起图像拾取光学系统 劣化的因素，而且还可包括在图像捕获过程中引起光学传递函数 （OTF）劣化的因素。例如，具有双折射的低通滤光器抑制光学传递 函数（OTF）的频率特性的高频分量。此外，图像拾取元件的像素开 口的形状和像素开口率也影响频率特性。另外，包括光源的光谱特性 和各种波长滤波器的光谱特性。图像恢复滤波器优选地基于更宽泛意 义的包括这些特性的光学传递函数（OTF）来产生。

（图像恢复处理操作（校正操作））

接下来，将描述使用所产生的图像恢复滤波器来获得校正图像的 方法。如上所述，校正图像（恢复图像）可通过在校正操作中通过图 像恢复滤波器对于劣化图像进行卷积来获得。这里，对图像恢复滤波 器的抽头中所包括的像素执行卷积（卷积积分或卷积乘积和）处理。 执行卷积，以使得为了改进某一像素的信号值，使该像素与图像恢复 滤波器的中心一致。然后，对于与图像恢复滤波器对应的各个像素， 获得像素的信号值与图像恢复滤波器的系数值的乘积，并且使用这些 乘积的总和作为中心像素的信号值。

对于输入图像操作图像恢复滤波器并且执行卷积处理的优点是在 图像恢复处理中在不对于图像执行傅里叶变换或逆傅里叶变换的情况 下恢复图像。通常，卷积处理的负荷小于傅里叶变换的负荷。因此， 当执行图像恢复处理时，可减小处理负荷。

指出，虽然描述了在图像恢复滤波器中垂直和水平地布置的抽头 的数量，但是垂直抽头的数量不必等于水平抽头的数量，并且当执行 卷积处理时，任意地改变和确定这些数量。

此外，在本发明的图像恢复处理中，当图像的劣化处理是线性形 状时，以更高的精度执行将图像恢复为没有劣化的原始图像的逆处理。 因此，优选地，不对输入图像进行任何适应性非线性处理。具体地讲， 优选地，对马赛克图像（RAW）图像执行图像恢复处理。然而，即使 当输入图像是马赛克图像或去马赛克图像时，也可利用本发明的图像 恢复处理。这是因为，当颜色插值处理中的劣化处理具有线性形状时， 当产生图像恢复滤波器时，可考虑劣化函数来执行图像恢复处理。此 外，当所需的恢复精度低时，或者当仅可获得已经过各种图像处理的 图像时，即使当对去马赛克图像执行图像恢复处理时，模糊的不对称 性也减小。

（图像输出处理）

通过上述处理获得的校正图像（恢复图像）被输出到所希望的设 备。当使用图像拾取设备时，图像被输出到显示单元、记录介质等。 如果要对已经过图像恢复处理的图像执行另一图像处理，则该图像应 该被输出到执行后续操作的设备。

以上顺序地描述了本发明的图像处理中所包括的操作。在这些操 作之中，如果可能的话，一些操作可同时执行。此外，在每个操作之 前或之后，在适当情况下，可添加所需的处理操作。而且，表达式、 等号和符号不限制根据本发明的图像处理的具体算法，并且在适当情 况下，可在实现目标的范围内进行修改。

以下，将参照附图来描述利用上述图像处理的实施例。

第一实施例

图5是示意性地示出根据第一实施例的图像拾取设备的配置的示 图。通过使用图像拾取光学系统101在图像拾取元件102上形成未示 出的物体图像。图像拾取元件102将所形成的光转换为电信号（光电 转换），并且A/D转换器103将该电信号转换为数字信号。然后，除 了预定处理之外，图像处理单元104还对数字信号（输入图像）执行 图像处理。这里，所述预定处理包括电像差校正（诸如倍率色差的校 正、畸变像差的矫正和外围亮度的校正）、去马赛克、伽马转换和图 像压缩。

首先，从状态检测单元107获得图像拾取设备的图像拾取状态信 息。状态检测单元107可直接从系统控制器110获得图像拾取状态信 息，或者可从图像拾取系统控制器106获得关于图像拾取光学系统101 的图像拾取状态信息。接着，根据图像拾取状态从存储单元108选择 图像恢复滤波器，并且对输入到图像处理单元104的图像执行图像恢 复处理。可照原样使用考虑图像拾取状态而从存储单元108选择的图 像恢复滤波器，或者可使用预先提供的并且被校正为更适合于图像拾 取状态的图像恢复滤波器。

然后，按预定格式将被图像处理单元104处理的输出图像存储在 图像记录介质109中。输出图像被获得作为其中由像差引起的不对称 性被校正、因此锐度被改进的图像。此外，在显示单元105中，可显 示通过对已经过图像恢复处理的图像执行预定处理而获得的图像，或 者可显示为了高速显示而没有经过校正处理或者经过简单的校正处理 的图像。

上述一系列控制操作由系统控制器110执行，并且图像拾取系统 的机械驱动由图像拾取系统控制器106响应于由系统控制器110发出 的指令来执行。开口101a的大小被作为关于F数的图像拾取状态的 设置进行调整。聚焦透镜101b的位置通过自动聚焦（AF）机构或手 动聚焦机构（未显示）来调整，以根据物距来执行聚焦控制。

图像拾取系统可包括光学元件，诸如低通滤波器或红外截止滤波 器。当使用影响低通滤波器等的光学传递函数（OTF）的特性的元件 时，当产生图像恢复滤波器时，应该考虑由该元件引起的影响，以使 得以更高的精度执行恢复处理。类似地，因为红外截止滤波器影响 RGB通道的PSF（这些PSF是光谱波长的点扩散函数（PSF）的积分 值），尤其是，影响R通道的PSF，所以当产生图像恢复滤波器时， 更优选的是，考虑这样的影响。

此外，虽然图像拾取光学系统101被配置为图像拾取设备的一部 分，但是单镜头反光照相机中所使用的可互换图像拾取光学系统可用 作图像拾取光学系统101。根据图像拾取设备的目的，开口大小的控 制和手动聚焦功能不必须被使用。

此外，因为即使在一种图像拾取状态下，光学传递函数（OTF） 也根据图像拾取系统的图像的高度（图像的位置）而变化，所以本发 明的图像恢复处理优选地根据图像的高度而变化。

而且，图像处理单元104至少包括计算单元和临时存储单元（缓 冲器）。对于上述图像处理中所包括的每个操作，在适当的情况下， 临时对存储单元执行图像写入（存储）和图像读取。而且，用于临时 存储的存储单元不限于临时存储单元（缓冲器），并且可对应于存储 单元108。合适的存储单元可根据数据容量或者存储单元的通信速度 适当地从具有存储功能的存储单元中选择。另外，存储单元108包括 图像恢复滤波器和诸如校正信息的数据。

将参照图6来描述图像恢复滤波器的选择和校正。图6示意性地 显示图像拾取状态信息和根据图像拾取状态信息存储在存储单元108 中的多个图像恢复滤波器（黑色圆圈）。存储在存储单元108中的图 像恢复滤波器离散地设置在具有与三种图像拾取状态对应的轴的图像 拾取状态空间中，所述三种图像拾取状态包括聚焦位置（状态A）、 光圈值（状态B）和物距（聚焦距离）（状态C）。图像拾取状态空 间中所包括的点（黑色圆圈）的坐标表示存储在存储单元108中的图 像恢复滤波器。指出，在图6中，图像恢复滤波器设置在与图像拾取 状态正交延伸的线上的网格点处。然而，图像恢复滤波器可设置在除 了网格点之外的位置。此外，图像拾取状态的类型不限于焦距、光圈 值和物距，并且图像拾取状态的类型的数量不限于三种。可配置包括 四种或更多种图像拾取状态的四维或更多维图像拾取状态空间，并且 图像恢复滤波器可离散地设置在图像拾取状态空间中。

在图6中，假设大的白色圆圈所表示的图像拾取状态是状态检测 单元107检测到的实际图像拾取状态。当图像恢复滤波器预先设置在 与实际图像拾取状态对应的位置或者与实际图像拾取状态对应的位置 附近时，选择在图像恢复处理中使用该图像恢复滤波器。在这种情况 下，作为用于选择设置在与实际图像拾取状态对应的位置附近的图像 恢复滤波器的方法，计算实际图像拾取状态与图像恢复滤波器被存储 在图像拾取状态空间中的多种图像拾取状态之间的距离（图像拾取状 态的差量）。然后，在这种方法中选择图像恢复滤波器中的与最小距 离对应地定位的一个。通过使用该方法，选择图6中所示的定位在小 的白色圆圈处的图像恢复滤波器。

此外，作为另一方法，为了选择图像恢复滤波器，执行关于图像 拾取状态空间中的方向的加权。具体地讲，图像拾取状态空间中的距 离和加权方向的乘积用作评估函数，并且选择图像恢复滤波器中的具 有最大评估函数值的一个。

接下来，将描述通过校正所选的图像恢复滤波器来新产生图像恢 复滤波器的方法。当要校正图像恢复滤波器时，计算实际图像拾取状 态与图像恢复滤波器被存储在图像拾取状态空间中的图像拾取状态之 间的距离（状态差量），并且选择图像恢复滤波器中的位于与最短距 离（最小状态差量）对应的位置的一个。当选择与最小状态差量对应 的图像恢复滤波器时，获得图像恢复滤波器的小校正量，并且可产生 接近适合于图像拾取状态的图像恢复滤波器的图像恢复滤波器。

在图6中，位于与小的白色圆圈对应的位置的图像恢复滤波器被 选择。计算实际图像拾取状态和与所选的图像恢复滤波器对应的图像 拾取状态之间的状态差量ΔA、ΔB和ΔC。状态校正系数根据状态差量 来计算，并且使用状态校正系数来校正所选的图像恢复滤波器。通过 这样，可产生与实际图像拾取状态对应的图像恢复滤波器。

此外，作为另一方法，选择位于实际图像拾取状态附近的多个图 像恢复滤波器，并且根据实际图像拾取状态与所述多个图像恢复滤波 器之间的状态差量来执行插值处理，以使得可产生适合于图像拾取状 态的图像恢复滤波器。在插值处理中，对二维图像恢复滤波器的对应 抽头的系数值进行线性插值、多项式插值、样条插值等。

此外，用于产生图像恢复滤波器的光学传递函数（OTF）可通过 使用光学设计工具或光学分析工具进行计算来获得。此外，可通过测 量来获得图像拾取光学系统的单体或图像拾取设备的实际状态下的光 学传递函数（OTF）。

图7显示详细地示出由图像处理单元104执行的本实施例的图像 恢复处理的流程图。图7中所包括的点表示至少临时存储图像的像素 数据等的步骤。

图像处理单元104在图像获得操作中获得输入图像。接着，图像 处理单元104从状态检测单元107获得图像状态信息（在步骤S72中）。 然后，从存储单元108选择与图像拾取状态对应的图像恢复滤波器（在 步骤S73中），并且在图像恢复处理操作（校正操作）中使用图像恢 复滤波器对输入图像执行恢复处理（在步骤S74）。

接着，执行图像形成所需的其它处理，并且输出恢复图像（在步 骤S76中）。当校正图像是马赛克图像时，所述其它处理的例子包括 颜色插值处理（去马赛克处理）、明暗校正（外围亮度校正）、畸变 像差校正等。此外，包括此处所述的其它处理的图像处理可被插入在 所述流程之前或之后、或者所述流程的过程中。

这里，将参照图8来描述图像恢复处理流程的更优选的例子。图 8显示了执行恢复处理之前和之后的MTF的变化。虚线（a）和实线 （b）分别对应于执行图像恢复处理之前的第一方位角方向和第二方 位角方向上的MTF，虚线（c）和实线（d）分别是执行恢复处理之后 的第一方位角方向和第二方位角方向上的MTF。如图8所示，对恢复 之前的、两个方位角方向上的MTF（a）和（b）以低恢复程度执行图 像恢复处理。通过这样，如线（c）和（d）所表示的，在MTF处于 低状态时，方位角方向之间的差被校正。在这种状态下，虽然像差的 相位分量和像差的不对称性被校正，但是锐度低。换句话讲，假设当 逆滤波器用作图像恢复滤波器时恢复图像的恢复程度被确定为最大恢 复程度，则获得恢复程度低于该最大恢复程度的恢复图像。在奈奎斯 特（Nyquist）频率内，恢复之后的、两个方位角方向上的MTF的频 率均值优选地等于或小于恢复之前的最大MTF的频率均值的1.5倍。 更优选地，频率均值等于或小于恢复之前的最大MTF的频率均值的 1.2倍。此外，更优选地，在两个方位角方向之间，在与高MTF对应 的第一方位角方向上，仅相位被恢复，MTF基本上没有变化。然后， 在与较低MTF对应的第二方位角方向上，相位被恢复，并且第二方 位角方向上的MTF优选地与第一方位角方向上的MTF一致。对通过 恢复处理获得的恢复图像，执行边缘强调处理。

通过这样，因为可仅改进边缘部分的锐度，所以当与对整个图像 执行恢复处理的情况相比时，可抑制噪声放大。

将参照图9来描述边缘强调处理。图9显示了边缘强调滤波器的 例子。执行边缘强调的滤波器可如图9所示根据输出没有变化的输入 图像的滤波器与差分滤波器之间的差来产生。作为差分滤波器，执行 一阶求导的索贝尔（Sobel）滤波器和执行二阶求导的拉普拉斯 （Laplacian）滤波器是公知的。图9中所示的差分滤波器是拉普拉斯 滤波器。具有大约3行和大约三列矩阵的抽头的边缘强调滤波器经常 如图9所示那样用于执行使用相邻像素的像素值之间的关系的处理。

图10显示当使用图9中所示的边缘强调滤波器时边缘部分的强调 效果。图10A至图10C是当从某一截面观看图像中所包括的边缘部分 的照度时所获得的截面图。横轴表示坐标，纵轴表示振幅。图10A是 图像的边缘部分的照度的截面图。当该照度截面图经过差分滤波器以 使得边缘部分被提取并且执行变符时，获得图10B。当图10B被添加 到图10A中所示的原始图像上时，边缘的倾斜可如图10C所示那样被 显著强调。因为仅对边缘的陡峭部分执行边缘强调处理以使得实现锐 化，所以噪声放大对整个图像的影响较小，并且因为滤波器的抽头数 量相对少，所以可以高速执行该处理，这些是优点。因此，更优选的 是，在以低恢复程度执行图像恢复处理之后，执行边缘强调处理。当 额外执行边缘强调处理时，边缘强调处理应该包括在图7中的其它所 需处理中。可强调图像的边缘部分的处理的例子包括锐度处理。

虽然以上已描述了处理操作的优选前后关系和值得考虑的处理， 但是当从不同角度限制处理操作的次序时，处理操作的次序不限于此， 并且可根据处理的限制条件或者所需的图像质量来进行修改。此外， 虽然已描述了关于图像拾取设备的实施例，但是可在本发明的范围内 进行各种修改和改动。

第二实施例

图11A是示出根据本发明的第二实施例的图像处理系统的配置的 示图。图像处理设备111由信息处理装置构成，并且包括使信息处理 设备执行第一实施例中所述的图像处理方法的图像处理软件（图像处 理程序）112。

图像拾取设备113包括照相机、显微镜、内窥镜、扫描仪等。与 半导体存储器、硬盘、网络上的服务器等对应的存储介质114存储通 过图像捕获产生的图像（捕获的图像数据）。

图像处理设备111从图像拾取设备113或存储介质114获得图像 数据，并且将通过预定图像处理获得的图像（校正图像）数据输出到 输出设备116、图像拾取设备113和存储介质114中的至少一个。此 外，合并在图像处理设备111中的存储单元可用作输出的目的地，以 便存储输出的图像数据。输出设备116的例子包括打印机。作为监视 器的显示设备115连接至图像处理设备111。用户可使用显示设备115 来执行图像处理操作，并且可评估调整后的恢复图像（输出图像）。 除了图像恢复处理功能和恢复程度调整功能之外，在适当情况下，图 像处理软件112还具有显影功能和其它图像处理功能。

此外，图11B显示另一图像处理系统的配置。与第一实施例一样， 当仅使用图像拾取设备118执行第一实施例的图像处理时，可将调整 后的恢复图像从图像拾取设备118直接输出到输出设备119。

此外，当输出设备119包括执行第一实施例的图像处理方法的图 像处理设备时，输出设备119可根据图像的特征值来设置调整系数， 并且调整恢复程度。而且，因为恢复程度根据输出设备119的输出图 像的劣化特性来调整，所以可提供质量更高的图像。

这里，将描述用于执行下述图像处理的校正信息的内容，该图像 处理包括图像恢复处理以及恢复程度的调整和校正信息的发送。图12 显示校正信息的例子，并且多个校正信息被称为校正信息集合。以下 将描述校正信息。

【校正调整信息】

校正调整信息包括设置信息和选择信息，该设置信息表示恢复处 理和恢复程度调整处理是由图像拾取设备113、图像处理设备111、还 是由输出设备116执行，该选择信息用于根据设置信息来选择将被发 送到另一设备的数据。例如，图像拾取设备113仅执行恢复处理，图 像处理设备111执行恢复程度的调整，图像恢复滤波器不必被发送到 图像处理设备111，但是至少捕获图像和恢复图像或者恢复分量信息 （差值信息）应该被发送。

【图像拾取设备信息】

图像拾取设备信息是图像拾取设备113的标识信息，对应于产品 名称。当使用可互换透镜和可互换照相机机身时，标识信息包括它们 的组合。

【图像拾取状态信息】

图像拾取状态信息表示图像拾取设备113在图像捕获时的状态。 例如，图像拾取状态信息包括焦距（变焦位置）、光圈值、物距（聚 焦距离）、ISO灵敏度、白平衡设置等。

【图像拾取设备独有信息】

图像拾取设备独有信息是各个图像拾取设备的与图像拾取设备信 息不同的标识信息。因为图像拾取设备的光学传递函数（OTF）由于 制造误差变化而变化，所以图像拾取设备独有信息对于设置适合于各 个图像拾取设备的恢复程度调整参数是有效的。恢复程度调整参数对 应于恢复强度调整系数μ和颜色合成比调整系数ω，将在下面的第三实 施例中描述这两个参数。

【图像恢复滤波器组】

图像恢复滤波器组是图像恢复处理中所使用的图像恢复滤波器的 集合。当执行图像恢复处理的设备不包括图像恢复滤波器时，应该从 另一设备（装置）发送图像恢复滤波器。

【用户设置信息】

用户设置信息是用于调整恢复程度以使得可获得用户所希望的恢 复程度的调整参数或调整参数校正函数。用户可设置可变调整参数。 然而，当使用用户设置信息时，通常可获得所希望的输出图像作为初 始值。此外，优选地，参照由用户执行的调整参数确定的历史，使用 学习函数来更新用户设置信息，使得获得最希望的锐度。

此外，与一些锐度模式对应的预设值可由图像拾取设备的提供商 （制造商）通过网络提供。

上述校正信息集合优选地被附加到每个图像数据。当所需的校正 信息被附加到图像数据时，图像恢复处理可由结合根据第二实施例的 图像处理设备的任何装置执行。此外，校正信息集合的内容在适当的 情况下可自动地或手动地获得或者被丢弃。

本发明不限于前述实施例，并且在不脱离本发明的精神和范围的 情况下，可进行各种改动和修改。因此，为了公布本发明的范围，附 上了以下的权利要求。

第三实施例

在第三实施例中，将描述使用根据第一实施例和第二实施例的图 像恢复滤波器来产生更合适的图像的处理的例子。通过执行本实施例 的处理，可产生具有高自由度的图像质量的恢复图像。将参照附图来 描述第三实施例。

图13显示在本实施例中执行的图像处理方法的流程。在以下描述 中，附图标记m表示图像的颜色分量（例如，R、G或B）。具体地 讲，“A_m”表示分别与A的R分量、A的G分量和A的B分量对应 的A_R、A_G和A_B。“A”对应于图13中所示的g、f、fd、S、Sd等。

使用对于各个颜色分量选择或产生的图像恢复滤波器来对具有颜 色分量R、G和B的输入图像g_m执行第一恢复处理，以使得产生第 一图像fd1_m（第一恢复图像）（第一恢复图像产生部件）。

因为OTF（光学传递函数）的相位分量被校正，所以改进了第一 图像fd1_m（第一恢复图像）的锐度。此外，因为执行校正以使得方位 角方向上的MTF的特性对于各个颜色分量相对地彼此一致（以使得 方位角方向上的特性之间的差减小），所以可减小像差不对称性。 MTF是图像拾取系统的传递函数（图像拾取光学系统的光学传递函 数）的振幅分量（绝对值）。当物体（视场中所包括的物体）是白色 点光源时，MTF对应于图像的谱。在这种情况下，第一图像fd1_m的 第一方位角方向上的谱的频率均值与第二方位角方向上的谱的频率均 值之间的差值减小到小于恢复之前的图像的第一方位角方向上的谱的 频率均值与该恢复之前的图像的第二方位角方向上的谱的频率均值之 间的差值。具体地讲，图像恢复之后的恢复图像的两个方位角方向上 的谱的均值之间的差值小于图像恢复之前的图像的两个方位角方向上 的谱的均值之间的差值。以下，将产生第一恢复图像的处理作为第一 （图像）恢复处理进行描述。

指出，噪声、振铃（ringing）、伪色等被包括在图像中。伪色是 由于图像恢复处理而产生的颜色。

另一方面，对输入图像g_m针对各个颜色分量执行第二恢复处理， 以使得获得第二图像fd2_m（第二恢复图像）。第二图像fd2_m具有被设 置为低于第一图像fd1_m的恢复程度的恢复程度。更具体地讲，当物体 是白色点光源时，与第二图像fd2_m的特定颜色分量对应的图像的谱的 频率均值低于与第一图像fd1_m的该特定颜色分量对应的谱的频率均 值。以下，产生第二恢复图像的处理被称为第二（图像）恢复处理。

指出，同样在第二恢复处理中，优选地执行恢复，以使得当与恢 复之前的差相比时，方位角方向上的MTF特性之间的差减小。

指出，在不执行上述第二恢复处理的情况下，输入图像可用作第 二图像fd2_m。

通过如表达式6所表示的那样对于各个像素从第一图像fd1_m的信 号值减去第二图像fd2_m的对应信号值，产生恢复分量信息S_m（差信 息），该恢复分量信息S_m为第一图像fd1_m与第二图像fd2_m之间的对 于各个颜色分量的差信息。

【数学式6】

S_m=fd1_m-fd2_m…表达式6

然后，如表达式7所表示的，根据用于各个颜色分量的恢复强度 调整系数μ_m来合成恢复分量信息S_m与第二图像fd2_m，以使得校正图 像f_m被获得作为调整后的恢复图像（输出图像）。

【数学式7】

f_m=fd2_m+μ_m·S_m…表达式7

从表达式7显然可见，当恢复强度调整系数μ_m为0时，校正图像 f_m被获得为第二图像fd2_m，并且当恢复强度调整系数μ_m为1时，校 正图像f_m被获得为第一图像fd1_m。此外，当恢复强度调整系数μ_m在 从0到1的范围内时，在第二图像fd2_m到第一图像fd1_m之间连续地 调整恢复程度。

这里，恢复程度可通过调整恢复分量信息S_m的计算量（添加量） 来调整。指出，恢复强度调整系数μ_m可以是负系数。

因为恢复强度调整系数μ_m（以下在适当情况下用μ表示）是可调 整的，所以可调整恢复程度与缺陷产生风险之间的平衡，以使得由图 像恢复引起的缺陷被抑制。

此外，在本实施例的方法中，即使当恢复程度（即，恢复强度调 整系数μ）改变时，也不需要图像恢复滤波器的重新计算和图像与图 像恢复滤波器的重新卷积处理。因此，可减小图像处理的负荷。

接下来，将按上述流程的次序详细描述所述操作的处理。

【输入图像g_m】

输入图像g_m与在第一实施例的图像获取操作中所述的输入图像 相同。

【图像恢复处理】

图像恢复处理中所使用的图像恢复滤波器与在第一实施例的图像 恢复滤波器产生操作中所述的图像恢复滤波器相同。

这里，已参照第一实施例中的表达式4描述了被执行以获得第一 图像fd1_m的图像恢复处理中的图像恢复滤波器的像差校正的特性。因 为校正优选地被执行为使得恢复图像的相位分量变为零，所以[rOTF] 不具有相位分量。

【第一图像fd1_m】

通过使用用于恢复振幅分量和相位分量的图像恢复滤波器来执行 图像恢复处理，获得第一图像fd1_m。在常规的图像恢复中，第一图像 fd1_m被作为恢复图像（校正图像）输出。当第一图像fd1_m满足所需的 图像质量时，第一图像fd1_m可用作校正图像f_m。然而，在第一图像fd1_m中，实际上，如上所述，噪声可被放大，或者振铃或伪色被包括。可 通过预先适当地设置图像恢复滤波器的恢复程度来抑制噪声。然而， 因为难以假设振铃和伪色的产生量，所以应该评估恢复图像，并且应 该再次调整恢复程度。

图14是示出直到获得第一图像为止执行的图像处理的流程图。图 14中所包括的点表示将图像数据存储在存储器等中的操作。在图像获 取操作中，获得输入图像。在图像恢复滤波器获得操作中，与输入图 像的图像拾取条件对应的图像恢复滤波器被选择或校正，以被获得。 在图像恢复处理中，使用下述图像恢复滤波器（第一图像恢复滤波器）， 该图像恢复滤波器执行校正，以使得相位分量被校正为使得零被获得 作为目标值，并且振幅分量被改进和校正为使得方位角方向上的振幅 分量之间的差值减小，以解决在上述第一图像恢复处理中的图像的相 位分量和振幅分量的劣化。通过执行上述处理，可获得其中像差不对 称性减小的第一图像fd1_m。

【第二图像fd2_m】

使用具有比第一图像fd1_m的恢复程度低的恢复程度的图像恢复 滤波器（第二图像恢复滤波器）对第二图像fd2_m进行图像恢复处理。 更优选地，执行恢复以使得，如同第一图像fd1_m一样，方位角方向上 的振幅特性相对地彼此一致。如图8所示，例如，第二图像fd2_m的不 对称像差可被校正为使得虚线（a）和实线（b）所表示的、恢复之前 的两个方位角方向上的MTF与虚线（c）和实线（d）类似地在低恢 复增益时彼此一致，以使得不对称像差可被校正。

在这种状态下，虽然相位分量的方位角依赖性和像差的MTF被 校正，但是MTF本身低，也就是说，锐度低。如果第一图像fd1_m的 恢复程度和第二图像fd2_m的恢复程度彼此不同，但是第一图像fd1_m和第二图像fd2_m中的不对称像差被校正，则即使当恢复程度改变时， 一般也获得其中不对称像差被校正的校正图像（调整后的恢复图像）。

此外，输入图像可没有变化地用作第二图像fd2_m。在这种情况下， 在恢复强度调整系数μ被调整为使得获得最低恢复程度的状态下，输 入图像可被获得作为校正图像。此外，随着恢复程度变高，MTF和锐 度得到改进，并且方位角方向的MTF之间的差值减小。因此，可获 得其中不对称像差被校正的高质量图像。除了图像恢复滤波器的恢复 程度不同于用于第一图像fd1_m的恢复程度之外，获得第二图像fd2_m的操作的流程图与图14的流程图相同，因此，省略其描述。

【恢复分量信息S_m】

通过如表达式6所表示的那样从第一图像fd1_m减去第二图像fd2_m（通过对各个颜色分量和像素执行减法处理），可产生用于各个颜色 分量的恢复分量信息S_m。当执行校正以使得因图像拾取系统（图像拾 取光学系统）而劣化的第一图像fd1_m的相位分量和第二图像fd2_m的 相位分量（相位分量的劣化）彼此一致时，相位分量的状态基本上彼 此相同，但是振幅分量的状态彼此不同。因此，恢复分量信息S_m可被 称为关于第一图像fd1_m的振幅分量与第二图像fd2_m的振幅分量之间 的差值的信息。

这里，第一图像fd1_m的相位分量的状态和第二图像fd2_m的相位 分量的状态优选地在由于图像拾取系统而导致的相位分量的劣化被充 分去除的状态下彼此一致。另一方面，振幅分量的状态应该彼此不同， 以便使用下述恢复强度调整坐标来调整恢复程度。

因此，恢复分量信息S_m包括除了第二图像fd2_m的相移之外的像 差分量、由于图像恢复处理而产生的噪声的增大的分量、振铃分量和 伪色分量。

【恢复强度调整系数μ_m和校正图像f_m】

如上所述，通过使用如上所述的减小方位角方向的MTF之间的 差值的图像恢复滤波器的恢复处理而获得的恢复图像具有改进的不对 称像差。然而，通常，物体具有深度，并且当在实际图像拾取状态下 产生的像差特性和图像恢复滤波器所假设的像差特性彼此不同时，在 恢复图像中可产生包括振铃的不利影响成为伪像。

此外，当用于两个颜色分量的恢复程度不同于所假设的恢复程度 时，产生着色（coloring），也就是说，在恢复图像中可产生伪色。该 伪色与噪声和振铃类似地包括在伪像中。

图22显示在恢复图像中产生的伪色的例子。伪色在图22中的虚 线所限定的区域中产生。当边缘部分与恢复处理之前的图像相比时变 为着色状态时，产生伪色A。当由于太阳光的强反射引起的照度饱和 而导致照度饱和部分的周围部分与恢复处理之前的图像相比时变为着 色状态时，产生伪色B。当由于失焦而导致边缘部分与恢复处理之前 的图像相比时变为着色状态时，产生伪色C。

因此，使用能够调整恢复程度（恢复强度）的恢复强度调整系数 μ。通过这样，可调整不利影响（诸如着色（伪色）、噪声、振铃等） 的产生的风险与恢复程度之间的平衡。作为图22中所示的例子，即使 当与图像恢复滤波器的校正特性对应的像差特性和图像的像差特性彼 此不同时，也可获得其中包括伪色、振铃等的伪像被防止产生的优异 图像质量。以下，将描述恢复强度调整系数μ。

如表达式7所表示的，校正图像f_m通过对于各个颜色分量根据恢 复强度调整系数μ_m合成恢复分量信息S_m与第二图像fd2_m来获得。当 恢复强度调整系数μ_m为0时，校正图像f_m被获得为第二图像fd2_m， 当恢复强度调整系数μ_m为1时，校正图像f_m被获得为第一图像fd1_m。 此外，当恢复强度调整系数μ_m在从0到1的范围内时，可在从第二图 像fd2_m到第一图像fd1_m的范围内连续地调整恢复程度。

也就是说，像差不对称性被校正，并且锐度可通过考虑由图像恢 复处理引起的不利影响（伪色、振铃和噪声放大）来提高，因此，可 获得具有更高质量的图像。

此外，可在抑制处理负荷增大的同时提供具有用户所希望的图像 质量的图像。

第二图像fd2_m的相位分量和像差不对称性以及恢复分量信息S_m的相位分量和像差不对称性被校正，并且仅第二图像fd2_m的振幅分量 （模糊量）和恢复分量信息S_m的振幅分量彼此不同。因此，相位分量 和像差不对称性不根据恢复程度的调整量而改变，并且可保持像差不 对称性被校正的状态。此外，虽然恢复强度调整系数μ的基本范围是 从0（包括）到1（包括）的范围，但是当满足μ>1时，可获得被强调 的校正图像。也就是说，恢复强度调整系数μ被可变化地设置。

此外，当对于每个颜色分量改变恢复强度调整系数μ时，可对每 个颜色分量调整恢复程度。当对于各个颜色分量改变光学传递函数 （OTF）并且像差不对称性的平衡由于物体的光源的光谱变化或者图 像拾取光学系统的制造误差而改变时，这对于各个颜色分量的恢复程 度的调整是有效的。光源的光谱性质的改变意味着各个波长的强度比 的改变。因此，像差值根据颜色分量而不同。因此，通过根据图像捕 获时的光谱特性设置各个颜色分量的恢复强度调整系数μ，可获得适 合于颜色分量的校正图像f_m。

此外，作为当制造误差在图像拾取光学系统中发生时所产生的不 利影响，例如，图像的垂直对称部分的劣化程度可彼此不同。劣化程 度之间的差表现为模糊分量之间或者相对着色分量之间的差。关于模 糊分量，当根据取决于图像的一部分的模糊量改变来设置恢复强度调 整系数μ时，可消减制造误差。此外，关于着色，当根据取决于图像 的一部分的模糊量变化来对各个颜色分量设置恢复强度调整系数μ 时，可消减制造误差。

输出图像的图像质量的评估根据目的而变化。例如，在肖像的情 况下，噪声和振铃是非常不必要的。另一方面，当将使用监控照相机 读取牌照号时，最重要的是即使当包括噪声和振铃时也指定该号码。 此外，当由于某些种类的因素而导致诸如噪声、振铃或伪色的不利影 响清晰地出现在图像中时，重要的是，即使恢复程度低，也输出其中 不利影响被充分避免的图像作为输出图像，以获得可靠的输出图像。 为了解决这些情况，调整恢复强度调整系数μ。

此外，同样在一般的拍摄中，不同用户或不同物体需要下述范围 内的输出图像的不同图像质量水平，该范围从包括像差以使得由于闪 烁的产生而获得柔和效果的图像到通过去除像差而具有锐化效果的图 像。为了解决这种情况，也调整恢复强度调整系数μ。

此外，改变表达式6，以使得从第二图像fd2_m减去第一图像fd1_m以提取恢复分量信息。在这种情况下，即使当作为表达式6的修改形 式，根据恢复强度调整系数从第二图像fd2_m减去恢复分量信息（该操 作也包括在“合成”中）时，在公式中也保持等价性，因此，获得相 同的效果。

按照惯例，需要改变用于产生图像恢复滤波器的参数，以便如上 所述那样改变恢复程度，因此，每次改变恢复程度时，就应该重新计 算图像恢复滤波器。此外，需要使用重新计算的图像恢复滤波器对输 入图像执行卷积处理。对于执行高速图像处理，这是主要障碍。

然而，在本实施例的图像处理方法中，即使当恢复程度被调整时， 仅改变图像的合成比，因此，不需要重新计算图像恢复滤波器。此外， 不需要每次改变调整参数时对输入图像执行卷积处理。而且，因为执 行校正以使得即使当恢复程度低或者像差不对称性小时也获得点对称 状态，所以倍率像差的不对称性被去除的状态没有改变，并且作为彗 形像差的特性的图像删除被校正。

将参照图15和图21来将常规的图像处理方法和本实施例的图像 处理方法彼此进行比较。图21是常规的图像处理方法（图像恢复处理） 的流程。捕获的图像用作输入图像，并且使用用作初始值的利用恢复 参数而产生的图像恢复滤波器或者预先作为初始值而提供的图像恢复 滤波器对输入图像执行图像恢复处理。确定是将所获得的恢复图像用 作输出图像，还是通过评估恢复图像来再次改变恢复程度。当改变恢 复程度时，改变恢复参数，重新计算图像恢复滤波器，并且再次对输 入图像执行图像恢复处理。当通过重复地执行该操作来获得所希望的 图像时，该图像作为恢复图像（输出图像）被输出。

另一方面，图15是本实施例的图像处理方法（图像恢复处理）的 流程。捕获图像用作输入图像，并且使用用作初始值的利用恢复参数 而产生的图像恢复滤波器或者预先作为初始值而提供的图像恢复滤波 器对输入图像执行图像恢复处理。使用预先提供的调整参数、用户设 置的调整参数、或者根据图像信息自动确定调整参数来对所获得的恢 复图像执行图像合成处理，使得获得调整后的恢复图像。确定是将所 获得的调整后的恢复图像不作改变地用作校正图像（输出图像），还 是通过评估调整后的恢复图像来再次改变恢复程度。当改变恢复程度 时，改变调整参数，并且再次执行图像合成处理。此处的调整参数对 应于上述恢复强度调整系数μ。

如上所述，常规的图像恢复处理和本实施例中的图像恢复处理的 明显不同之处在于，在常规的图像恢复处理中需要在调整时重新计算 图像恢复滤波器，并且在常规的图像恢复处理中需要图像恢复处理中 所包括的输入图像与图像恢复滤波器的卷积处理。也就是说，因为当 改变恢复程度时不需要执行图像恢复滤波器的重新计算和图像与图像 恢复滤波器的重新卷积处理，所以可减轻图像处理的负荷，并且高速 执行处理。

此外，关于作为输出图像的应用和根据恢复程度的改变的对调整 参数的改变的确定可由用户基于主观评估来执行，或者可通过预先设 置图像评估函数来自动执行。

此外，调整参数可根据输入图像的像素的特征值自动地改变。术 语“像素的特征值”表示输入图像的部分对比度和照度水平。作为用 于检测图像的部分对比度水平的方法，例如使用差分滤波器的方法是 已知的。通过使用该方法，可使边缘部分与图像中的其它部分分离。 因为边缘部分的锐度影响整个图像的锐度，所以设置调整参数，以使 得在边缘部分中实现高恢复程度。另一方面，被分配给不是边缘部分 的并且相比而言具有小的明暗水平范围的部分的高恢复程度不影响整 个图像的锐度，但是该部分中的增大的噪声引起不利影响，因此，设 置调整参数以使得恢复程度变低。

此外，因为原始图像信号与噪声信号的SN比在具有低照度水平 的部分中低，所以当恢复程度高时，噪声容易被注意到，因此，设置 调整参数以使得恢复程度变低。另一方面，在与照度饱和对应的部分 中，原始图像信号在图像拾取元件的范围的上限中被裁剪（限制）， 因此，像差状态明显不同于预期状态。因此，有可能产生由图像恢复 引起的不利影响。因此，可通过设置调整参数以使得获得低恢复程度 来避免不利影响。

此外，恢复程度可根据所识别的物体的类型来调整。例如，近年 来，数字静态照相机包括脸部识别功能。然而，当由于图像恢复而在 人脸上产生诸如噪声或伪色的伪像时，获得相当不自然的图像。因此， 优选的是，适当地调整恢复程度。

此外，根据像素的特征值改变调整参数意味着根据图像的位置改 变调整参数。在本实施例中，因为在图像合成处理中以像素为单位对 图像进行合成，所以相对容易地仅通过改变合成中的混合比来执行调 整。如上所述，可以以像素为单位对恢复程度进行调整的事实包括在 本实施例的特征中。

调整参数的设置值可根据图像拾取状态来改变，所述图像拾取状 态诸如ISO灵敏度、焦距（变焦位置）、物距（聚焦距离）、光圈值 等。

而且，虽然已描述了根据本发明的图像处理方法的基本流程，但 是上述操作之中的一些操作可同时共同执行。此外，在适当情况下， 可在每个操作之前或之后添加所需的处理操作。另外，描述中所使用 的表达式、等号和符号不限制本发明的图像处理方法的具体算法，并 且在适当情况下可进行各种修改。

本实施例的图像恢复处理（图像处理方法）由图5中所示的图像 处理单元104执行。图16详细地示出关于由图像处理单元104执行的 本实施例的图像恢复处理的流程。图16中所包括的点表示至少临时存 储图像的像素数据等的步骤。

图像处理单元104在图像获得操作（图像获得步骤）中获得输入 图像。接着，图像处理单元104从状态检测单元107获得图像拾取状 态信息，并且从存储单元108选择与图像拾取状态对应的图像恢复滤 波器。然后，在图像恢复操作（图像恢复步骤）中，图像处理单元104 对输入图像执行恢复处理。在图像恢复操作中，通过校正（恢复）振 幅分量和相位分量来产生第一图像，并且通过仅校正（恢复）相位分 量来产生第二图像。

在恢复分量信息产生操作（恢复分量信息产生步骤）中，图像处 理单元104从第一图像中所包括的像素的信号值与第二图像中所包括 的像素的信号值之间的差值产生恢复分量信息。恢复分量信息是关于 第一图像与第二图像之间的差值的信息，因此，具有正值或负值。

然后，在该恢复分量信息产生操作（差信息获得操作）中，图像 处理单元104获得调整参数的设置值作为恢复强度调整系数μ。作为 用于设置调整参数的方法，可自动选择预先根据图像拾取状态或者根 据图像高度而提供的设置值之一。此外，辨别图像中所包括的像素的 特征值，并且可设置自动改变的调整参数。可替换地，用户可任意设 置所述设置值。

接着，在恢复图像产生操作（调整后恢复图像产生操作）中，图 像处理单元104根据调整参数合成恢复分量信息与第二图像，以便产 生校正图像。具体地讲，对于各个像素，将通过将恢复分量信息的像 素值乘以恢复强度调整系数μ而获得的像素值加到第二图像，从而获 得校正图像（调整后的恢复图像）。

接着，图像处理单元104执行图像形成所需的其它处理，并且输 出恢复图像（校正图像）。这里，当经过校正处理的图像是马赛克图 像时，术语“其它处理”包括颜色插值处理（去马赛克处理）。另外， 包括边缘强调处理、明暗校正（外围光量校正）、畸变像差校正等。 此外，可在所述流程之前或之后或者所述流程的过程中插入包括此处 所述的其它处理的各种图像处理。

虽然以上描述了处理操作的优选前后关系和值得考虑的处理，但 是处理操作的次序不限于此，并且可根据处理的限制条件或者所需的 图像质量来进行修改。此外，虽然在本实施例中，在校正处理中执行 仅恢复相位分量的处理，但是当噪声放大在容许范围内时，可在某种 程度上改变振幅分量。

第四实施例

在本实施例中，将描述用于抑制由图像恢复处理产生的伪色的产 生的图像处理方法。图17是下述处理的流程，该处理通过根据颜色合 成比调整系数ω对各个颜色分量的恢复分量信息项S_m执行颜色合成来 产生各个颜色分量的颜色合成恢复分量信息项Sd_m，并且合成颜色合 成恢复分量信息项Sd_m与第二图像S_m。

颜色合成比调整系数ω用于通过下述方式来产生颜色合成恢复分 量信息（差信息）项Sd_m，并且用作颜色分量的混合比，所述方式根 据各个颜色分量的颜色合成比调整系数ω来对所有颜色分量的恢复分 量信息（差量）项S_m执行颜色合成。因此，从恢复分量信息S_m产生 颜色合成恢复分量信息项Sd_m的处理可用表达式12和表达式13来表 示，表达式13是通过对各个颜色分量m和n展开表达式12而获得的。

【数学式8】

$S{d}_m=\underset{n}{\overset{\mathrm{RGB}}{\Sigma }}{\omega }_{\mathrm{mn}}{S}_n$…表达式12

【数学式9】

$\left(\begin{array}{c}S{d}_R\\ S{d}_G\\ S{d}_B\end{array}\right)=\left(\begin{array}{ccc}{\omega }_{\mathrm{RR}}& {\omega }_{\mathrm{RG}}& {\omega }_{\mathrm{RB}}\\ {\omega }_{\mathrm{GR}}& {\omega }_{\mathrm{GG}}& {\omega }_{\mathrm{GB}}\\ {\omega }_{\mathrm{BR}}& {\omega }_{\mathrm{BG}}& {\omega }_{\mathrm{BB}}\end{array}\right)\left(\begin{array}{c}{S}_R\\ S_G\\ S_B\end{array}\right)$…表达式13

接下来，将描述用于确定表达式13中的九个颜色合成比调整系数 ω的方法。首先，将描述颜色合成比调整系数ω的两个例子。

第一个例子是用于获得当恢复强度调整系数μ被设置为1时与第 一图像fd1_m相同的并且用作校正图像的图像的颜色合成比调整系数 ω。假设表达式13中的单位矩阵包括取1的颜色合成比调整系数ω的 对角元素和取0的其它元素，则颜色合成恢复分量信息项Sd_m等于对 应颜色分量的恢复分量信息项S_m。这是当校正图像f_m被作为与第一 图像fd1_m相同的图像输出时所利用的系数设置。在这种情况下，如上 所述，校正图像的像差分量被最大地校正，同时，产生伪色的风险高。

第二个例子是用于抑制伪色产生的颜色合成比调整系数ω。假设 表达式13的颜色合成比调整系数ω的所有元素都是1/3，则颜色合成 恢复分量信息项Sd_m对应于所有颜色分量的恢复分量信息项S_m的平 均值，并且颜色恢复分量信息Sd_R、Sd_G和Sd_B彼此相同。当颜色合 成恢复分量信息项Sd_m对于所有颜色分量彼此相同时，当在后面的操 作中将第二图像fd2_m与颜色合成恢复分量信息项Sd_m合成时，关于颜 色分量的附加信息项并不彼此不同。因此，不产生伪色。

指出，因为颜色分量的像差信息项被平均，所以当与第一个例子 中第一图像fd1_m用作输出图像的情况相比时，恢复程度（即，锐度） 劣化。然而，因为即使当恢复分量信息项S_m被平均时，颜色分量的恢 复分量信息项S_R、S_G、S_B彼此也具有很强的正相关性（相似性），所 以与输入图像g_m对应的校正图像的锐度得到改进。因此，这用作用于 去除伪色产生风险的恢复条件。

以上描述了伪色产生风险最大时和伪色产生风险最小时的颜色合 成比调整系数ω的设置。通过连续地改变颜色合成比调整系数ω，可连 续地调整产生伪色的风险与恢复程度之间的平衡。

以下将描述用于在除以下情况之外的情况下确定中间颜色合成比 调整系数ω的方法的例子：表达式13中的颜色合成比调整系数ω用作 单位矩阵的情况、以及颜色合成比调整系数ω的所有元素都是1/3的情 况。因为颜色合成比调整系数ω具有九个设置自由度，所以设置元素 的值在一些情况下是困难的。颜色合成比调整系数ω是可以可变地设 置的，例如，一般用户可在图像拾取设备或图像处理系统中可变地设 置颜色合成比调整系数ω。

为了解决这个困难，依赖性被分配给颜色合成比调整系数ω的元 素，以使得将被调整的自由度减少。然而，依赖性应该是可用于调整 恢复程度与产生伪色的风险之间的平衡的关系。此外，如果可以以小 自由度对调整参数进行适当调整，则对于图像拾取设备和图像处理系 统的提供商，改进了设备开发操作和生产操作中的操作效率。

作为用于确定颜色合成比调整系数ω的方法的例子，首先，提供 两个限制条件。作为第一个限制条件，如表达式14所示，将表达式 13的矩阵ω中所包括的各行的总和设置为1。这意味着用于产生例如R 分量的颜色合成恢复分量信息Sd_R的恢复分量信息项S_R、S_G和S_B的 混合比的规格化。通过如上所述那样规格化混合比，可容易地将颜色 合成恢复分量信息项Sd_m的权重比进行彼此比较。

【数学式10】

$\underset{n}{\overset{\mathrm{RGB}}{\Sigma }}{\omega }_{\mathrm{mm}}=1$…表达式14

作为第二个限制条件，如表达式15所示，将表达式13的矩阵ω 中所包括的各列的总和设置为1。这意味着，当产生颜色合成恢复分 量信息项Sd_R、Sd_G和Sd_B时，将恢复分量信息项S_R、S_G和S_B分配给 对应的颜色分量，并且将这些恢复分量信息项用尽。

【数学式11】

$\underset{m}{\overset{\mathrm{RGB}}{\Sigma }}{\omega }_{\mathrm{mm}}=1$…表达式15

当提供上述两个限制条件时，颜色合成比调整系数ω可用表达式 16表示。

【数学式12】

$\omega =\left(\begin{array}{ccc}{\omega }_{\mathrm{RR}}& 1-{\omega }_{\mathrm{GG}}-{\omega }_{\mathrm{BG}}& {\omega }_{\mathrm{RB}}\\ {\omega }_{\mathrm{GR}}& {\omega }_{\mathrm{GG}}& 1{-\omega }_{\mathrm{BB}}-{\omega }_{\mathrm{RB}}\\ 1-{\omega }_{\mathrm{RR}}-{\omega }_{\mathrm{GR}}& {\omega }_{\mathrm{BG}}& {\omega }_{\mathrm{BB}}\end{array}\right)$…表达式16

此外，因为本实施例的目的是在保持恢复程度的同时抑制产生伪 色的风险，所以颜色合成恢复分量信息项Sd_m优选地在颜色分量之间 彼此类似，也就是说，颜色合成恢复分量信息项Sd_m之间的差值优选 地小。在ω等于1/3的情况下的描述中，因为颜色合成恢复分量信息项 Sd_m的颜色分量不是彼此不同的，所以获得最小的伪色产生风险，也 就是说，不产生伪色。因此，因为某一颜色分量的恢复分量信息S_m应该尽可能均匀地被分配给颜色分量的颜色合成恢复分量信息项 Sd_m，所以表达式16中的列的较小离散度可降低产生伪色的风险。

当根据此使表达式16的列的离散度最小时，获得表达式17。因 为表达式17包括单个设置参数ω，所以可容易地调整恢复程度与产生 伪色的风险之间的平衡。

【数学式13】

$\omega =\left(\begin{array}{ccc}\omega & (1-\omega )/2& (1-\omega )/2\\ (1-\omega )/2& \omega & (1-\omega )/2\\ (1-\omega )/2& (1-\omega )/2& \omega \end{array}\right)$…表达式17

假设在表达式17中ω等于1，则矩阵ω是单位矩阵，并且获得最 大恢复程度和最大的伪色产生风险。此外，假设ω等于1/3，则矩阵ω 的所有元素都变为1/3，并且恢复程度降低，而且产生伪色的风险降低。 因此，用于降低产生伪色的风险的调整可通过在从1/3（包括）到1（包 括）的范围内减小颜色合成比调整系数ω来执行。

这里，虽然描述了用于确定颜色合成比调整系数ω的方法的例子， 但是确定方法不限于此。例如，当矩阵ω中所包括的所有元素为0（零） 时，所有颜色分量的颜色合成恢复分量信息项Sd_m为0（零）。因此， 校正图像f_m对应于第二图像fd2_m。通过这样，通过在从0（包括）到 1（包括）的范围内调整颜色合成比调整系数ω，可在从第二图像fd2_m到第一图像fd1_m的范围内调整将获得的输出图像，在第二图像fd2_m中，仅相位分量被恢复，在第一图像fd1_m中，振幅分量和相位分量被 恢复。此外，通过在表达式14中设置大于1的数，可进一步强调校正。

如上所述，矩阵ω的元素的设置自由度不限于1个，9个自由度 或者根据另一个限制条件而减少的自由度可用于调整。例如，根据表 达式16，自由度被设置为6个。

此外，颜色合成比调整系数ω的范围也不限于如输入图像或强调 图像被获得为校正图像f_m的情况中的从1/3（包括）到1（包括）的 范围。也就是说，表达式17仅仅是使用单个设置参数ω来容易地确定 恢复程度和伪色产生风险的例子。本实施例的本质是通过下述方式来 抑制伪色产生风险的发生，即，将颜色分量的恢复分量信息项S_m彼此 合成，并且调整颜色分量的颜色合成恢复分量信息项Sd_m的相似性。

此外，如表达式18所表示的，颜色合成比调整系数ω和恢复分量 调整系数μ可彼此组合，并且用于调整。当颜色合成比调整系数ω和恢 复分量调整系数μ彼此组合时，从1/3（包括）到1（包括）的范围内 的颜色合成比调整系数ω抑制伪色产生，并且从0（包括）到1（包括） 的范围内的恢复分量调整系数μ可调整恢复程度。

【数学式14】

$f_m=g_m+{\mu }_{m}S{d}_m$

$=g_m+{\mu }_m\underset{n}{\overset{\mathrm{RGB}}{\Sigma }}{\omega }_{\mathrm{mm}}(f{d}_n-g_n)$…表达式18

如表达式19中所表示的，恢复分量调整系数μ在颜色分量中可以是共 用的。

【数学式15】

$f_m=g_m+\mu S{d}_m$

$=g_m+\mu \underset{n}{\overset{\mathrm{RGB}}{\Sigma }}{\omega }_{\mathrm{mm}}(f{d}_n-g_n)$…表达式19

此外，当如上所述那样对颜色分量的恢复分量信息项S_m进行颜色 合成时，每个像素具有多个颜色分量信息项。因此，当对包括其中每 个均具有单个颜色分量信息项的像素的马赛克图像执行图像恢复处理 时，应该在执行颜色合成处理之前执行颜色插值处理（去马赛克处理）。 因此，通过下述方式产生其中每个像素具有多个颜色分量信息项的恢 复分量信息项S_m，即，对颜色分量的恢复分量信息项执行颜色插值处 理，或者对第一图像fd1_m和第二图像fd2_m执行颜色插值处理。

如上所述，通过使用颜色合成比调整系数ω，在可降低由于图像 恢复处理而引起的伪色产生风险的同时，校正像差不对称性。因此， 可获得具有更高质量的图像。

指出，当使用第三实施例或第四实施例的恢复分量信息来调整恢 复程度时，可将下述信息添加到图中所示的并且存储在存储单元中的 校正信息。可替换地，可改为将下述信息存储在存储单元中。而且， 所有校正信息项不必被存储在存储单元中，并且根据执行图像恢复处 理的设备和系统的配置适当地将所需的信息写入到存储单元和从存储 单元读取所需的信息。

【图像恢复滤波器组】

图像恢复滤波器组是用于图像恢复处理的图像恢复滤波器的集 合。当执行图像恢复处理的设备不包括任何图像恢复滤波器时，应该 从另一设备（装置）发送图像恢复滤波器。

【恢复分量信息】

在已执行图像恢复处理并且已产生恢复分量信息的情况下，当其 中相位被校正的第二图像和恢复分量信息被发送到另一设备时，可在 该设备中执行恢复程度调整处理。

【调整参数组】

调整参数组是颜色合成比调整系数ω和恢复强度调整系数μ的集 合。如上所述，颜色合成比调整系数ω和恢复强度调整系数μ可根据图 像的位置而改变。此外，它们可根据图像拾取状态而改变。调整参数 组的数据的例子包括调整系数本身的表格数据和用于确定调整系数的 函数。

【用户设置信息】

用户设置信息是用于调整恢复程度以使得获得用户所希望的恢复 程度的调整参数、或者调整参数的校正函数。用户可设置可变调整参 数。然而，当使用用户设置信息时，用户所希望的输出图像通常可被 获得为初始值。此外，优选地，参照由用户执行的调整参数的确定的 历史，使用学习函数来更新用户设置信息，以使得获得最希望的锐度。

此外，与一些锐度模式对应的预设值可由图像拾取设备的提供商 （制造商）通过网络提供。

上述校正信息集合优选地被附加到每个图像数据。当所需的校正 信息被附加到图像数据时，图像恢复处理和恢复程度调整处理可由结 合图像处理设备的任何设备或装置执行。此外，校正信息集合的内容 在适当的情况下可自动地或手动地获得或者丢弃。例如，在使用另一 设备执行恢复程度调整处理的情况下，当第二图像和恢复分量信息包 括在校正信息集合中时，基本上不需要图像恢复滤波器组。

上述实施例仅仅是代表性的例子，并且当实现本发明时，可对实 施例进行各种修改和改动。

本发明不限于前述实施例，并且在不脱离本发明的精神和范围的 情况下，可进行各种改动和修改。因此，为了公布本发明的范围，附 上了以下权利要求。

标号列表

101图像拾取光学系统

102图像拾取元件

104图像处理单元

106图像拾取系统控制器

108存储单元

110系统控制器