图像处理装置、滤波器获取装置、图像处理方法、滤波器获取方法、程序及记录介质

摘要

本发明提供一种能够兼顾高精度的滤波处理和所需的存储容量的降低化的图像处理装置、图像处理方法及程序。并且提供一种能够通过这种滤波处理获取可优选使用的滤波器的滤波器获取装置、滤波器获取方法、程序及记录介质。图像处理装置(35)具备进行包括多次滤波处理的图像滤波处理的滤波处理部(41)。滤波处理部(41)在各滤波处理中对处理对象数据应用滤波器来获取滤波器应用处理数据，并且对滤波器应用处理数据应用增益来获取增益应用处理数据。各滤波处理中应用于滤波器应用处理数据的增益根据图像滤波处理的作为目标的频率特性来获取。

说明书

技术领域

本发明涉及一种图像处理装置、滤波器获取装置、图像处理方法、滤波器获取方法、程序及记录介质，尤其涉及一种图像滤波处理及在图像滤波处理中可使用的滤波器的获取方法。

背景技术

提出有用于改善画质的滤波处理或用于赋予特殊的视觉效果的滤波处理等各种图像滤波处理技术。已知有使用滤波器来复原原来的图像的点像复原处理，所述滤波器是根据表示例如由摄影透镜的像差等引起的像劣化特性的点扩散函数(点像分布函数(PSF：Point Spread Function))而确定的。

例如，专利文献1公开一种图像处理方法，该方法的目的为抑制伴随图像恢复处理而产生的噪声放大、振铃及伪色等弊端。根据该图像处理方法，生成振幅分量及相位分量已被恢复的第1图像，另一方面，生成只有相位分量被恢复的第2图像。而且，第1图像及第2图像的差分信息根据恢复强度调整系数与第2图像合成，由此生成恢复调整图像。

另外，专利文献2公开一种图像处理方法，该方法的目的为抑制恢复图像中的噪声放大，同时降低彗形像差、倍率色像差等非对称像差，并且提高清晰度。根据该图像处理方法，使用用于减少图像的相位劣化分量的图像恢复滤波器来进行只恢复相位劣化分量的处理。另外，对于伴随噪声放大而进行的振幅校正进行考虑了边缘部的边缘强调处理。

以往技术文献

专利文献

专利文献1：日本特开2011-124692号公报

专利文献2：日本特开2011-123589号公报

非专利文献

非专利文献1：J.A.Fessler and A.O.Hero，“Space-Alternating GeneralizedExpectation-Maximization Algorithm，”IEEETransactions on Signal Processing，Vol.17，No.10，pp.2664-2677，1994.

非专利文献2：B.H.Fleury，M.Tschudin，R.Heddergott，D.Dahlhaus，andK.I.Pedersen，“Channel Parameter Estimation in Mobile Radio Environments Usingthe SAGE Algorithm，”IEEE J.Selected Areas in Commun ications，Vol.17，No.3，pp.434-449，Mar.1999.

非专利文献3：Y.Pati，R.Rezaiifar，P.Krishnaprasad，“Orthogonal MatchingPursuit：recursive function approximation with application to waveletdecomposition”，in Asilomar Conf.on Signals，Systems and Comput.，1993.

发明内容

发明要解决的技术课题

若在如上述那样的图像滤波处理中所使用的滤波器的种类及数量增加，则整个滤波器的数据量显著增大，从而需要确保庞大的存储区域(ROM：Read Only Memory)

即，图像滤波处理中所使用的滤波器根据多个条件而被确定时，必要的滤波器的数据量以指数函数的比例增加。例如，摄影光学系统的点扩散函数根据光圈值(F值)、变焦值(焦点距离)、被摄体距离、聚焦位置、光学系统类型、成像元件的传感器SN比(Signal-Noise ratio)、像高(图像内位置)及光学系统个体差等摄影条件而发生变化。然而，若对于各摄影条件的所有组合准备特有的滤波器，则这些滤波器所需的整个数据量变得庞大。

并且，考虑到特定的各向异性或频率特性的图像滤波处理中，导致所需的滤波器的图形数量增加。进而根据像素位置改变所使用的滤波器(滤波器系数)时，滤波器的数据量根据处理对象的图像的像素数而增加。

理想的是，优选预先准备与所有条件的组合相关的滤波器而预先存储于存储器。然而，由于需要确保庞大的存储容量，并且需要准备昂贵的存储器，因此从实际构建图像处理系统的观点考虑，预先准备并存储对应于所有条件的滤波器并不一定优选。

并且，在使用多个滤波器进行的图像滤波处理中，存在用于确定滤波器系数的计算量增大的问题。例如，通过抽头数量受限的FIR(Finite Impulse Response)滤波器来实现在图像滤波处理中使用的滤波器时，分配到各抽头的滤波器系数的运算所需的计算量增大。

例如，在根据点扩散函数生成滤波器的情况中，能够根据将点扩散函数(PSF)进行博立叶变换而得的光学传递函数(OTF：Optical Transfer Function)来计算维纳(Wiener)滤波器。对滤波器的抽头数量没有限制时，可通过具有任意的抽头数量的滤波器实现通过该维纳滤波器的博立叶逆变换而获得的所希望的频率特性。

然而，实际可使用的硬件受到限制时，滤波器的抽头数量也受到限制。在滤波器的抽头数量受限的条件下，为了计算具有所希望的频率特性的抽头系数，需要解决非线性最优化问题，因此需要非常多的计算量。

因此，在获取点扩散函数等的像劣化特性之后立即进行图像滤波处理时，为了计算实际所使用的抽头系数而需要确保大量的计算资源。然而，从实际构建图像处理系统的观点出发，事先确保这种计算资源并不一定优选。

本发明是鉴于上述情况而完成的，其目的在于提供一种能够兼顾高精度的滤波处理和所需的存储容量的降低化的图像处理方法。

并且，其目的在于提供一种能够获取在这种滤波处理中可优选使用的滤波器的滤波器获取方法。

用于解决技术课题的手段

本发明的一形态涉及一种图像处理装置，其具备滤波处理部，所述滤波处理部通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据，滤波处理部在多次滤波处理的每一次处理中，对处理对象数据应用滤波器而获取滤波器应用处理数据，并对滤波器应用处理数据应用增益而获取增益应用处理数据，且由增益应用处理数据获取滤波处理数据，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据图像滤波处理的作为目标的频率特性而获取。

根据本形态，多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据图像滤波处理的作为目标的频率特性来获取。如此进行增益调整，由此可降低各滤波处理中应用于处理对象数据的滤波器的数据量，并且可进行高精度的滤波处理。

另外，“频率特性”为与频率相关的特性，且表示处理后的图像数据的每频率成分的振幅与处理前的图像数据的每频率成分的振幅的比(＝处理后的图像数据的每频率成分的振幅/处理前的图像数据的每频率成分的振幅)，并表示与频率对应的响应。

优选图像滤波处理的作为目标的频率特性为基于光学特性的频率特性。

根据本形态，能够进行基于光学特性的图像滤波处理。

作为在此所说的“光学特性”优选为了摄影获取成为图像滤波处理的对象的原图像数据而使用的摄影光学系统的光学特性。例如，能够将基于点扩散函数PSF或光学传递函数OTF(包括MTF：Modulation Transfer Function及PTF：Phase Transfer Function)的特性设为“光学特性”，并且可通过使用利用了维纳滤波器等的任意基准的反向滤波器(inverse filter)设计方法来表示“图像滤波处理的作为目标的频率特性”。

优选的是，图像处理装置还具备增益候补数据存储部及增益确定部，所述增益候补数据存储部存储将在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益的候补数据与增益选定条件建立关联而得的增益表信息，所述增益确定部参考增益表信息并将与图像滤波处理的作为目标的频率特性相关联的增益选定条件建立关联的候补数据作为在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益而确定，滤波处理部在多次滤波处理的每一次处理中将增益确定部所确定的增益应用于滤波器应用处理数据来获取增益应用处理数据。

根据本形态，能够从增益的候补数据中简单地确定应用于滤波器应用处理数据的增益。

另外，“增益表信息”的形式只要是将增益的候补数据与增益选定条件适当地建立关联的形式，则并无特别限定。并且，“增益选定条件”能够设为与图像滤波处理的作为目标的频率特性相关联的任意的条件。例如，图像滤波处理的作为目标的频率特性基于点扩散函数时，可采用选自可影响该点扩散函数的因素(例如，光圈值(F值)、变焦值(焦点距离)、被摄体距离、聚焦位置、光学系统类别、成像元件的传感器SN比、像高(图像内位置)及光学系统个体差等)中的一个或多个条件数据而作为增益选定条件。

优选的是，图像处理装置还具备增益获取部，所述增益获取部获取表示与图像滤波处理的作为目标的频率特性相关联的增益选定条件的数据，并根据表示增益选定条件的数据确定图像滤波处理的作为目标的频率特性，且根据所确定的作为目标的频率特性获取多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益。

根据本形态，根据表示增益选定条件的数据确定图像滤波处理的作为目标的频率特性，并获取应用于滤波器应用处理数据的增益。。

优选的是，增益通过相对于图像滤波处理的作为目标的频率特性，根据多次滤波处理的每一次处理的频率特性使用最小二乘法来拟合图像滤波处理的频率特性而获取。

根据本形态，能够根据最小二乘法高精度地获取用于实现图像滤波处理的作为目标的频率特性的增益。

优选在最小二乘法中根据频率进行加权。

尤其，优选在最小二乘法中频率特性的近似误差评价函数根据频率进行加权。在此所说的近似误差评价函数为表示近似程度(即误差程度)的评价的函数，例如能够使用后述的“基于加权最小二乘准则的类函数(J_LMS[g])”作为近似误差评价函数。根据本形态，通过增加受到重视的频带的权重，并减小未受到重视的频带的权重，从而能够高精度地获取对应于实际要求的增益。

优选在最小二乘法中将低频带中的加权设定为大于高频带中的加权。

根据本形态，能够获取高精度地实现图像滤波处理的作为目标的频率特性中尤其低频带中的频率特性的增益。在人类的视觉特性方面，低频成分比高频成分更容易被感知，因此增大低频带的加权来获取增益，从而能够通过图像滤波处理生成可见性优异的处理图像数据。

在此所说的“低频带”优选根据实际所要求的画质特性而确定，例如，能够在采样频率的1/4(＝0.25fs＝奈奎斯特频率的1/2)以下的范围内设定“低频带”。

优选在最小二乘法中根据获取原图像数据时的摄影条件将高频带中的加权设定为大于低频带中的加权。

根据本形态，根据获取原图像数据时的摄影条件，能够获取高精度地实现图像滤波处理的作为目标的频率特性中尤其高频带中的频率特性的增益。通常，高频带中的MTF劣化较大而摄像系统的噪声较多时，有时噪声因图像滤波处理而被放大且画质恶化。因此在预计高频带中SN比较差的摄影条件下所获取的原图像数据的图像滤波处理中，有时优选作为“近似于图像滤波处理的作为目标的频率特性”的精度，使高频成分优先于低频成分。

在此所说的“高频带”优选根据实际要求的画质特性来确定，并能够根据所设想的噪声的频率特性，例如在大于采样频率的1/4(＝0.25fs)且1/2(＝0.5fs)以下的范围内设定“高频带”。

并且，“获取原图像数据时的摄影条件”根据可影响噪声的任意因素来确定。例如，可将选自获取原图像数据时所使用的摄影光学系统的设定条件或被摄体本身的状态条件(场景条件)等中的1个或多个条件设为“获取原图像数据时的摄影条件”。

优选最小二乘法中的加权根据原图像数据中的像素位置来确定。

根据本形态，能够根据原图像数据中的像素位置来改变最小二乘法中的加权，并能够进行与像素位置相应的图像滤波处理。例如在要求清晰的画质的像素位置中可将高频带的加权设为大于低频带的加权，在要求可见性优异的画质的像素位置中可将低频带的加权设为大于高频带的加权。

优选的是，在最小二乘法中，在原图像数据的距离图像中心为第1距离以下的像素位置，高频带中的加权大于原图像数据的距离图像中心比第1距离远的像素位置。

根据本形态，能够获取相较于图像周边部在图像中央部高频成分的再现性优异的增益。本形态优选适用于例如在图像中央部配置主要被摄体的情况等，在图像中央部要求清晰度的情况。

在此所说的“第1距离”并无特别限定，可根据重视高频带的图像范围而适当地设定。

优选的是，在最小二乘法中，在原图像数据的距离图像中心比第2距离更远的像素位置，低频带中的加权大于原图像数据的距离图像中心为第2距离以下的像素位置。

根据本形态，能够获取相较于图像中央部在图像周边部低频成分的再现性优异的增益。本形态可优选适用于例如在图像周边部可配置观察对象的被摄体的情况等、在图像周边部要求优异的可见性的情况。

在此所说的“第2距离”并无特别限定，可根据重视低频带的图像范围而适当地设定。

优选的是，滤波处理部在图像滤波处理的作为目标的频率特性中处理图像数据相对于原图像数据的比例小于1的频率中，在多次滤波处理的每一次处理中，使用使滤波处理数据与处理对象数据相等的滤波器。

若使用值过小的数据进行图像滤波处理，则处理后的数据中不仅容易混入噪声，而且有时这种噪声被放大，结果有时导致画质劣化。根据本形态，通过使用将滤波处理数据设为与处理对象数据相等的滤波器，能够有效地防止这种噪声混入及噪声放大。

优选的是，滤波处理部在多次滤波处理中的至少任一次的滤波处理中，使用根据通过拍摄获取原图像数据时所使用的光学系统的特性而确定的滤波器来获取滤波器应用处理数据。

根据本形态，至少进行一次基于光学系统的特性的滤波处理。

优选的是，根据光学系统的特性确定的滤波器为根据光学系统的点扩散函数确定的滤波器。

根据本形态，至少进行一次基于光学系统的点扩散函数的滤波处理。

优选的是，滤波处理部在多次滤波处理中的至少任一次的滤波处理中，利用与通过摄影获取原图像数据时所使用的光学系统的特性无关地被确定的滤波器来获取滤波器应用处理数据。

根据本形态，至少进行一次与光学系统的特性无关的滤波处理。

优选的是，与光学系统的特性无关地被确定的滤波器是轮廓增强滤波器。

根据本形态，至少进行一次与轮廓增强(边缘增强)相关的滤波处理。另外，轮廓增强滤波器可具有对应于处理对象数据中的像素位置的频率特性，也可以具有处理不依赖于对象数据中的像素位置的共同的频率特性。

优选的是，滤波处理部在多次滤波处理中的至少任一次滤波处理中，利用具有处理对象数据中的对应于像素位置的频率特性的滤波器来获取滤波器应用处理数据。

根据本形态，至少进行一次具有处理对象数据中的对应于像素位置的频率特性的滤波处理。

优选的是，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部将在第1滤波处理中所获取的滤波处理数据用作第2滤波处理中的处理对象数据。

根据本形态，连续地进行第1滤波处理及第2滤波处理。

优选的是，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部在第1滤波处理及第2滤波处理中将相同的数据用作处理对象数据，根据在第1滤波处理中所获取的滤波处理数据和在第2滤波处理中所获取的滤波处理数据来获取处理图像数据。

根据本形态，可并行地进行第1滤波处理及第2滤波处理。

优选的是，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部具有：第1滤波器应用部，对第1滤波处理的处理对象数据应用第1滤波处理用的滤波器并获取滤波器应用处理数据；第1增益应用部，对第1滤波处理的滤波器应用处理数据应用第1滤波处理用增益并获取增益应用处理数据；第2滤波器应用部，对第2滤波处理的处理对象数据应用第2滤波处理用滤波器并获取滤波器应用处理数据；及第2增益应用部，对第2滤波处理的滤波器应用处理数据应用第2滤波处理用增益并获取增益应用处理数据。

根据本形态，通过“滤波器应用部(第1滤波器应用部及第2滤波器应用部)”及“增益应用部(第1增益应用部及第2增益应用部)”来进行第1滤波处理及第2滤波处理，处理流程变得简单。

优选的是，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部具有：滤波器应用部，对处理对象数据应用滤波器来获取滤波器应用处理数据；及增益应用部，对滤波器应用处理数据应用增益来获取增益应用处理数据，滤波器应用部在第1滤波处理中使用第1滤波处理用滤波器来获取滤波器应用处理数据，且在第2滤波处理中使用第2滤波处理用滤波器来获取滤波器应用处理数据，增益应用部在第1滤波处理中使用第1滤波处理用增益来获取增益应用处理数据，且在第2滤波处理中使用第2滤波处理用增益来获取增益应用处理数据。

根据本形态，通过相同的“滤波器应用部”及“增益应用部”来进行第1滤波处理及第2滤波处理，从而硬件结构(电路结构)变得简单。

优选的是，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部在第1滤波处理中使用根据图像滤波处理的多种频率特性的平均而确定的基准滤波器来获取滤波器应用处理数据，且在第2滤波处理中使用根据图像滤波处理的多种频率特性的方差而确定的方差滤波器来获取滤波器应用处理数据。

根据本形态，由于使用根据图像滤波处理的多种频率特性的平均及方差而确定的基准滤波器及方差滤波器，因此能够平均地高精度地进行欲应用的图像滤波处理。

另外，方差滤波器只要直接或间接地与图像滤波处理的多种频率特性的方差相应即可，例如可根据由方差导出的标准偏差而确定方差滤波器，也可除了方差之外根据其他因素(例如平均等)而确定方差滤波器。

本发明的其他形态涉及一种滤波器获取装置，其具备滤波器计算部，所述滤波器计算部根据多种图像滤波处理的频率特性来获取根据多种图像滤波处理的频率特性的平均而确定的基准滤波器，并且根据多种图像滤波处理的频率特性获取根据多种图像滤波处理的频率特性的方差而确定的至少一个方差滤波器。

根据本形态，能够获取可稳定且高精度地进行图像滤波处理的基准滤波器及方差滤波器。以这种方式获取的基准滤波器及方差滤波器可在多次滤波处理的每一次处理中优选使用。

优选的是，滤波器计算部根据分类到多个滤波器组的多种图像滤波处理的频率特性中多个滤波器组的每一个所包含的多种图像滤波处理的频率特性获取与多个滤波器组的每一个相关的基准滤波器及至少一个方差滤波器。

根据本形态，即使在多种图像滤波处理的频率特性的偏差比较大的情况下，多种图像滤波处理的频率特性被分类到多个滤波器组，按每个滤波器组获取基准滤波器及方差滤波器。由此，能够提供可高精度地实现多种图像滤波处理的频率特性的每一特性的滤波器。

另外，将多种图像滤波处理的频率特性分类到多个滤波器组的方法并无特别限定，例如能够根据图像滤波处理的频率特性的相似性进行分类。在此所说的“相似性”可由用户适当地进行判断，也可通过根据特定的基准自动分析图像滤波处理的频率特性来获取。

优选的是，滤波器获取装置还具备以混合正态分布为基准将多种图像滤波处理的频率特性分类到多个滤波器组的滤波器组分类部。

根据本形态，以混合正态分布为基准高精度地被分类到滤波器组。

优选的是，滤波器计算部获取具有多个抽头且对各抽头分配有系数的基准滤波器，并且获取具有多个抽头且对各抽头分配有系数的至少一个方差滤波器。

根据本形态，能够由多个抽头(抽头系数)构成基准滤波器及方差滤波器的每一个。

优选的是，滤波器计算部根据偏差分布函数计算分配到至少一个方差滤波器的各抽头的系数，所述偏差分布函数表示多种图像滤波处理的频率特性的方差且根据分配到基准滤波器的各抽头的系数而确定。

根据本形态，能够根据表示多种图像滤波处理的频率特性的方差的偏差分布函数高精度地计算分配到方差滤波器的各抽头的系数。

优选的是，就滤波器计算部而言，在将I设为2以上的整数时，获取第1个到第I个方差滤波器，并由根据分配到基准滤波器的各抽头的系数而确定的偏差分布函数计算分配到第1个方差滤波器的各抽头的系数，在将J设为2以上且I以下的整数时，由根据分配到基准滤波器的各抽头的系数和分配到第1个到第J-1个方差滤波器的每一个的各抽头的系数而确定的偏差分布函数计算分配到第J个方差滤波器的各抽头的系数。

根据本形态，能够由根据基准滤波器和其他方差滤波器(第1～第J-1个方差滤波器)而确定的偏差分布函数高精度地计算分配到某一方差滤波器(第J个方差滤波器)的各抽头的系数。

优选的是，滤波器计算部根据偏差分布函数来更新分配到基准滤波器及至少一个方差滤波器中的至少任一个的各抽头的系数，所述偏差分布函数为表示多种图像滤波处理的频率特性的方差的偏差分布函数且为根据分配到基准滤波器及至少一个方差滤波器的每一个的各抽头的系数而确定的偏差分布函数。

根据本形态，更新分配到基准滤波器及至少一个方差滤波器中的至少任一个的各抽头的系数，而能够提高滤波器的精度。

优选的是，滤波器计算部根据SAGE算法或OMP算法来计算分配到基准滤波器及至少一个方差滤波器的每一个的各抽头的系数。

根据本形态，能够根据SAGE(Space Alternative Generalized Expectation)算法或OMP(Orthogonal Matching Pursuit)算法高精度地计算分配到各抽头的系数。

本发明的其他形态涉及一种图像处理方法，所述方法通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据，所述图像处理方法中，在多次滤波处理的每一次处理中，对处理对象数据应用滤波器来获取滤波器应用处理数据，且对滤波器应用处理数据应用增益来获取增益应用处理数据，并从增益应用处理数据获取滤波处理数据，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据图像滤波处理的作为目标的频率特性而获取。

本发明的其他形态涉及一种滤波器获取方法，所述方法根据多种图像滤波处理的频率特性来获取根据多种图像滤波处理的频率特性的平均而确定的基准滤波器，并且根据多种图像滤波处理的频率特性来获取根据多种图像滤波处理的频率特性的方差而确定的至少一个方差滤波器。

本发明的其他形态涉及一种程序，其用于使计算机实现通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据的功能，所述程序中，在多次滤波处理的每一次处理中，使计算机执行以下步骤：对处理对象数据应用滤波器来获取滤波器应用处理数据的步骤；对滤波器应用处理数据应用增益来获取增益应用处理数据的步骤；及从增益应用处理数据获取滤波处理数据的步骤，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据图像滤波处理的作为目标的频率特性而获取。

本发明的其他形态涉及一种程序，其用于使计算机执行如下步骤：根据多种图像滤波处理的频率特性来获取根据多种图像滤波处理的频率特性的平均而确定的基准滤波器的步骤；及根据多种图像滤波处理的频率特性获取根据多种图像滤波处理的频率特性的方差而确定的至少一个方差滤波器的步骤。

本发明的其他形态涉及一种计算机可读取的记录介质，所述记录介质中记录有程序，所述程序用于使计算机实现通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据的功能，所述程序中，在多次滤波处理的每一次处理中，使计算机执行如下步骤：对处理对象数据应用滤波器来获取滤波器应用处理数据的步骤；对滤波器应用处理数据应用增益来获取增益应用处理数据的步骤；及从增益应用处理数据获取滤波处理数据的步骤，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据图像滤波处理的作为目标的频率特性而获取。

本发明的其他形态涉及一种计算机可读取的记录介质，所述记录介质中记录有程序，所述程序用于使计算机执行如下步骤：根据多种滤波处理的频率特性获取根据多种滤波处理的频率特性的平均而确定的基准滤波器的步骤；及根据多种滤波处理的频率特性获取根据多种滤波处理的频率特性的方差而确定的至少一个方差滤波器的步骤。

发明效果

根据本发明，能够根据图像滤波处理的作为目标的频率特性获取在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益。由此，能够减小在各滤波处理中应用于处理对象数据的滤波器的数据量，并且能够进行高精度的滤波处理。

并且，根据本发明，能够获取根据多种图像滤波处理的频率特性的平均及方差而确定的基准滤波器及方差滤波器。通过使用以这种方式获取的基准滤波器及方差滤波器进行滤波器应用处理，从而能够平均地高精度地进行图像滤波处理。

附图说明

图1是表示与计算机连接的数码相机的框图。

图2是表示主体控制器的结构例的框图。

图3是表示图像处理部的功能结构的一例的框图。

图4是表示图像处理部的功能结构的其他例子的框图。

图5是表示图像处理部的功能结构的其他例子的框图。

图6是图像滤波处理的概念图。

图7是第n滤波处理(其中“n”为1以上且N以下的整数)的概念图。

图8是表示滤波处理部的电路结构的一例的图。

图9是表示滤波处理部的电路结构的其他例子的图。

图10是表示滤波处理部的电路结构的其他例子的图。

图11是表示滤波处理部的电路结构的其他例子的图。

图12是表示增益获取部的功能结构的一例的框图。

图13是表示滤波器获取装置的功能结构的一例的框图。

图14是表示滤波器计算部的功能结构的一例的框图。

图15是以单峰型分布表示多种图像滤波处理的频率特性的偏差的概念图。

图16是以多峰型分布表示多种图像滤波处理的频率特性的偏差的概念图。

图17是概略表示可分类到单峰型分布的多种图像滤波处理的频率特性的一例的图，横轴表示频率，纵轴表示响应。

图18是概略表示图17所示的多种图像滤波处理的频率特性的方差的一例的图，横轴表示频率，纵轴表示方差。

图19(a)～图19(c)是概略表示根据图17所示的多种图像滤波处理的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图19(a)表示“φ₀”，图19(b)表示“φ₁”，图19(c)表示“φ₂”。

图20(a)～图20(b)表示与具有图10所示的电路结构的滤波处理部所进行的图像滤波处理(第1滤波处理～第3滤波处理)相关的频率特性(参考图20(a))及增益例(参考图20(b))。

图21是表示根据单峰型分布计算滤波器系数的滤波器计算部的功能结构的一例的框图。

图22是概略表示可分类到多峰型分布的图像滤波处理的频率特性的一例的图，横轴表示频率，纵轴表示响应。

图23(a)～图23(b)是概略表示图22所示的多种图像滤波处理的频率特性的方差的一例的图，图23(a)表示分类到第1偏差分布的第1图像滤波处理～第3图像滤波处理的频率特性数据的方差，图23(b)表示分类到第2偏差分布的第4图像滤波处理～第6图像滤波处理的频率特性数据的方差。

图24(a)～图24(c)是概略表示根据分类到第1偏差分布的第1图像滤波处理～第3图像滤波处理的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图24(a)表示“φ₀”，图24(b)表示“φ₁”，图24(c)表示“φ₂”。

图25(a)～图25(c)是概略表示根据分类到第2偏差分布的第4图像滤波处理～第6图像滤波处理的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图25(a)表示“φ₀”，图25(b)表示“φ₁”，图25(c)表示“φ₂”。

图26(a)～图26(b)表示与具有图10所示的电路结构的滤波处理部所进行的图像滤波处理(第1滤波处理～第3滤波处理)相关的频率特性(参考图26(a))及增益例(参考图26(b))。

图27是表示根据多峰型分布计算滤波器系数的滤波器计算部的功能结构的一例的框图。

图28是通过滤波器组分类部分类到多个滤波器组的多种图像滤波处理的概念图。

图29是表示具备EDoF光学系统的摄像模块的一形态的框图。

图30是表示EDoF光学系统的一例的图。

图31是表示基于图29所示的复原处理块的复原处理流程的一例的图。

图32(a)～图32(b)是表示经由EDoF光学系统而获取的图像的复原例的图，图32(a)表示复原处理前的模糊的图像，图32(b)表示复原处理后的模糊已被消除的图像(点像)。

图33是表示智能手机的外观的图。

图34是表示图33所示的智能手机的结构的框图。

具体实施方式

参考附图对本发明的实施方式进行说明。在以下的实施方式中，作为一例，对将本发明应用于可与计算机(PC：个人计算机)连接的数码相机(摄像装置)的情况进行说明。

图1是表示连接于计算机92的数码相机10的框图。

本例的数码相机10具有可替换的透镜单元12及具备成像元件26的相机主体14，透镜单元12与相机主体14经由透镜单元12的透镜单元输入输出部22和相机主体14的相机主体输入输出部30而电性连接。

透镜单元12具备包括透镜16和光圈17的光学系统及控制该光学系统的光学系统操作部18。光学系统操作部18包括连接于透镜单元输入输出部22的透镜单元控制器20、存储光学系统信息等各种信息的透镜单元存储部21及对光学系统进行操作的致动器(省略图示)。透镜单元控制器20根据从相机主体14经由透镜单元输入输出部22发送过来的控制信号，并经由致动器控制光学系统，进行例如基于透镜移动的聚焦控制或变焦控制及光圈17的光圈量控制等。并且，透镜单元控制器20根据从相机主体14经由透镜单元输入输出部22发送过来的控制信号，读出存储于透镜单元存储部21的各种信息而发送到相机主体14(主体控制器28)。

相机主体14的成像元件26具有聚光用微型透镜、R(红)G(绿)B(蓝)等的滤色器及由CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge Coupled Device)等构成的图像传感器(光电二极管)。该成像元件26将经由透镜单元12的光学系统(透镜16及光圈17等)照射的被摄体像的光转换为电信号，并将图像信号(图像数据)发送到主体控制器28。

关于主体控制器28，其详细内容将在后面进行叙述(参考图2)，其具有作为设备控制部的功能及作为图像处理部(图像处理装置)的功能，所述设备控制部集中地控制数码相机10的各部，所述图像处理部进行从成像元件26发送过来的图像数据的图像处理。

数码相机10还具备进行拍摄等时所需的其他设备类(释放按钮等)，这些设备类的一部分构成可通过用户进行确认及操作的用户界面29。图1所示的例子中，在相机主体14设置有用户界面29，但用户界面29可配置于透镜单元12和/或相机主体14。用户能够经由用户界面29进行用于摄影等的各种设定(EV值(Exposure Value)等)的确定及变更、摄影命令及实时预览图像和摄影图像的确认等。用户界面29连接于主体控制器28，由用户确定并变更的各种设定及各种命令被反映到主体控制器28中的各种处理。

在主体控制器28中经图像处理的图像数据存储于设置在相机主体14的主体存储部31，根据需要，经由输入输出接口32发送到计算机92等外部设备类。主体存储部31由任意的存储器设备构成，可优选使用存储器卡等可更换的存储器。从主体控制器28输出的图像数据的格式并无特别限定，主体控制器28能够生成并输出具有RAW、JPEG(JointPhotographic Experts Group)和/或TIFF(Tagged Image File Format)等格式的图像数据。并且，主体控制器28如所谓的Exif(Exchangeable Image File Format)那样，将标题信息(摄影信息(摄影日期和时间、机种、像素数、光圈值等)等)、主图像数据及缩略图图像数据等多个关联数据彼此建立关联而构成为一个图像文件，并可输出该图像文件。

计算机92经由相机主体14的输入输出接口32及计算机输入输出部93而与数码相机10连接，并接收从相机主体14发送过来的图像数据等数据类。计算机控制器94集中地控制计算机92，对来自数码相机10的图像数据进行图像处理，并且控制与经由互联网等网络96而连接于计算机输入输出部93的服务器97等的通信。计算机92具有显示器95，计算机控制器94中的处理内容等根据需要而显示于显示器95。用户通过一边确认显示器95的显示一边对键盘等输入机构(省略图示)进行操作，能够对计算机控制器94输入数据或指令。由此，用户能够对计算机92或连接于计算机92的设备类(数码相机10及服务器97等)进行控制。

服务器97具有服务器输入输出部98及服务器控制器99。服务器输入输出部98构成与计算机92等的外部设备类的收发连接部，并经由互联网等网络96而与计算机92的计算机输入输出部93连接。服务器控制器99根据来自计算机92的控制命令信号，与计算机控制器94协作，根据需要在与计算机控制器94之间进行数据类的收发，进行运算处理并将其运算结果发送到计算机92。

各控制器(透镜单元控制器20、主体控制器28、计算机控制器94及服务器控制器99)具有控制处理所需的电路类，例如具备运算处理电路(CPU(Central Processing Unit)等)或存储器等。并且，数码相机10、计算机92及服务器97之间的通信既可以是有限通信，也可以是无线通信。并且，也可一体构成计算机92及服务器97，并且也可省略计算机92和/或服务器97。并且，也可以是，使数码相机10具有与服务器97的通信功能，并在数码相机10与服务器97之间直接进行数据类的收发。

图2是表示主体控制器28的结构例的框图。主体控制器28具有设备控制部34和图像处理部(图像处理装置)35，并且集中地控制相机主体14。

设备控制部34适当地控制数码相机10所具备的各种设备类，例如控制成像元件26来控制来自成像元件26的图像信号(图像数据)的输出，生成用于控制透镜单元12的控制信号并经由相机主体输入输出部30发送到透镜单元12(透镜单元控制器20)，将图像处理前后的图像数据(RAW数据及JPEG数据等)存储于主体存储部31，并对经由输入输出接口32而连接的外部设备类(计算机92等)发送图像处理前后的图像数据(RAW数据及JPEG数据等)。并且，设备控制部34适当地控制显示部(EVF：Flectronic View Finder、背面液晶显示部：用户界面29)等，数码相机10所具备的各种设备类。

另一方面，图像处理部35对从成像元件26输出的图像信号进行对应于需要而进行任意的图像处理。例如，在图像处理部35中能够适当地进行传感器校正处理、去马赛克(同步化)处理、像素插值处理、颜色校正处理(偏移校正处理、白平衡处理、颜色矩阵处理及伽马转换处理等)、RGB图像处理(锐度处理、色调校正处理、曝光校正处理及轮廓校正处理等)、RGB/YCrCb转换处理及图像压缩处理等各种图像处理。

图3是表示图像处理部35的功能结构的一例的框图。

图像处理部35具备通过对原图像数据D1进行包括多次滤波处理的图像滤波处理来获取处理图像数据D2的滤波处理部41。并且，本例的图像处理部35除了滤波处理部41之外还具备增益确定部43、增益候补数据存储部44、预处理部40及后处理部42。

滤波处理部41在多次滤波处理的每一次处理中，对处理对象数据应用滤波器来获取滤波器应用处理数据，且对该滤波器应用处理数据利用增益来获取增益应用处理数据，并从该增益应用处理数据获取滤波处理数据。

增益候补数据存储部44存储“增益表信息”，所述“增益表信息”是将在滤波处理部41中的多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益的候补数据与增益选定条件建立关联而得到。包括增益的候补数据的该增益表信息通过增益获取部45根据增益选定条件而预先获取并存储于增益候补数据存储部44。针对与增益选定条件相对应的增益(候补数据)的获取方法的具体例将在后面进行叙述。

增益确定部43参考存储于增益候补数据存储部44的增益表信息，将与作为目标的频率特性相关联的增益选定条件建立关联的候补数据，作为在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益而确定，并发送到滤波处理部41。本例的增益确定部43获取与作为目标的频率特性相关联的增益选定条件，并从增益候补数据存储部44读出与该增益选定条件建立有对应关联的候补数据，作为应用于滤波器应用处理数据的增益发送到滤波处理部41。另外，基于增益确定部43的“与作为目标的频率特性相关联的增益选定条件”的获取方法并无特别限定，增益确定部43例如可根据主体控制器28的未图示的存储器中所保持的摄影条件信息获取“与作为目标的频率特性相关联的增益选定条件”。

滤波处理部41在多次滤波处理的每一次处理中，将增益确定部43所确定的增益应用于滤波器应用处理数据来获取增益应用处理数据。

图像处理部35中，还可进行上述图像滤波处理以外的图像处理。图像滤波处理以外的各种图像处理既可在设置于滤波处理部41的前级的预处理部40中进行，也可在设置于滤波处理部41的后级的后处理部42中进行。即，将接受在预处理部40中进行的各种图像处理而得到的数据作为原图像数据D1进行滤波处理部41中的图像滤波处理，并且，在后处理部42中对接受滤波处理部41中的图像滤波处理而得到的处理图像数据D2进行各种图像处理。

此外，在本例中，将从预处理部40输入到滤波处理部41的图像数据称为“原图像数据D1”，将从滤波处理部41输出到后处理部42的图像数据称为“处理图像数据D2”

图4是表示图像处理部35的功能结构的其他例子的框图。

在图3所示的例子中，参考预先存储于增益候补数据存储部44的增益表信息获取在滤波处理中所使用的增益，但在图4所示的例子中，不预先获取并存储增益表信息(增益的候补数据)，而执行滤波处理并获取增益。即，在图4所示的例子中，增益获取部45与滤波处理部41连接，在滤波处理部41中进行的多次滤波处理中所使用的增益从增益获取部45被直接供给到滤波处理部41。增益获取部45获取表示与图像滤波处理的作为目标的频率特性相关联的增益选定条件的数据，并根据该表示增益选定条件的数据确定图像滤波处理的作为目标的频率特性，根据所确定的该“图像滤波处理的作为目标的频率特性”获取在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益，并将该所获取的增益供给到滤波处理部41。

该增益获取部45可如图4所示那样作为图像处理部35的一部分而设置，也可如图5所示那样作为与图像处理部35分体的处理部而设置。

另外，在图4及图5所示的例子中，上述图像滤波处理以外的图像处理既可在设置于滤波处理部41的前级的预处理部40进行，也可在设置于滤波处理部41的后级的后处理部42进行。

接着，对在滤波处理部41中进行的图像滤波处理(多次滤波处理)的具体例进行说明。

图6是图像滤波处理P的概念图。本例的图像滤波处理P包括多次滤波处理(第1滤波处理F1～第N滤波处理FN(其中“N”为2以上的整数))。通过该“包括多次滤波处理的图像滤波处理P”，由原图像数据D1生成处理图像数据D2。

图7是第n滤波处理Fn(其中“n”为1以上且N以下的整数)的概念图。图像滤波处理P的各滤波处理(第n滤波处理Fn)包括滤波器应用处理PF及增益应用处理PG。滤波器应用处理PF为对处理对象数据D3应用滤波器来获取滤波器应用处理数据D4的处理，增益应用处理PG为对滤波器应用处理数据D4应用增益来获取增益应用处理数据D5的处理。

在通过滤波处理部41进行的图像滤波处理P所包括的多次滤波处理(第1滤波处理F1～第N滤波处理FN)的每一次处理中，滤波器应用处理PF中应用于处理对象数据D3的滤波器并无特别限定。

例如，滤波处理部41在多次滤波处理(第1滤波处理F1～第N滤波处理FN)中的至少任一次滤波处理中，可使用根据通过拍摄获取原图像数据D1时所使用的光学系统(透镜16及光圈17等)的特性而确定的滤波器来获取滤波器应用处理数据D4。

作为这种“根据光学系统的特性而确定的滤波器”，例如能够优选使用根据光学系统(透镜16及光圈17等)的点扩散函数等的光学特性而确定的滤波器。滤波处理部41可在多次滤波处理(第1滤波处理F1～第N滤波处理FN)中使用多个滤波器，所述多个滤波器为基于光学系统(透镜16及光圈17等)的点扩散函数的多个滤波器，且为通过改变影响点扩散函数的特性的因素而得到的多个滤波器。作为影响点扩散函数的特性的因素，例如可举出光圈值(F值)、变焦值(焦点距离)、被摄体距离、聚焦位置、光学系统类别、成像元件26的传感器SN比、像高(图像内位置)及光学系统个体差等摄影条件。根据这些因素中一个或多个因素的特性数据不同的点扩散函数所导出的滤波器可在各滤波器应用处理PF中使用。

另外，“根据光学系统的特性而确定的滤波器”并不限于基于点扩散函数的滤波器，可将轮廓增强滤波器或其他滤波器用作“根据光学系统的特性而确定的滤波器”。即使在为基于点扩散函数的滤波器以外的滤波器(轮廓增强滤波器等)的情况下，也可根据各种条件(例如上述光圈值(F值)等各种因素)调整滤波器(轮廓增强滤波器等)，也可在各滤波器应用处理PF中使用具有基于根据各种条件(例如上述光圈值(F值)等各种因素)而改变的光学特性而被调整的滤波器系数(抽头系数)的轮廓增强滤波器等滤波器。

并且，滤波处理部41在多次滤波处理(第1滤波处理F1～第N滤波处理FN)中的至少任一次滤波处理中，可使用与通过摄影获取原图像数据D1时所使用的光学系统(透镜16及光圈17等)的特性无关地被确定的滤波器来获取滤波器应用处理数据D4。作为这种“与光学系统的特性无关地被确定的滤波器”，例如能够优选使用轮廓增强滤波器。

并且，在滤波器应用处理PF中所使用的滤波器可根据处理对象数据D3的像素位置而改变。滤波处理部41在多次滤波处理(第1滤波处理F1～第N滤波处理FN)中的至少任一次滤波处理中，可使用具有与处理对象数据D3中的像素位置相对应的频率特性的滤波器来获取滤波器应用处理数据I)4。并且，无论处理对象数据D3的像素位置如何，相同的滤波器可应用于处理对象数据D3。滤波处理部41在多次滤波处理中的至少任一次滤波处理中，可使用具有与处理对象数据D3中像素位置无关的频率特性的滤波器来获取滤波器应用处理数据D4。

另一方面，在图像滤波处理P中的多次滤波处理(第1滤波处理F1～第N滤波处理FN)的每一次处理中，在增益应用处理PG中应用于滤波器应用处理数据D4的增益根据图像滤波处理P的作为目标的频率特性来获取。该图像滤波处理P的作为目标的频率特性可设定为基于光学特性的频率特性。例如，通过基于由摄影获取原图像数据D1时所使用的光学系统(透镜16及光圈17等)的点扩散函数(光学传递函数)的频率特性，能够显示出图像滤波处理P的作为目标的频率特性，并能够使用利用了维纳滤波器等的任意的基准的反向滤波器设计方法。对该增益的获取方法的详细内容将在后面进行叙述。

另外，图像滤波处理P的作为目标的频率特性并不限于基于光学系统(透镜16及光圈17等)的点扩散函数(光学传递函数)的频率特性，能够将根据光学系统(透镜16及光圈17等)的摄影条件(上述光圈值(F值)等各种因素)导出的各种频率特性设为“图像滤波处理P的作为目标的频率特性”。因此，例如“根据光圈值(F值)而峰值不同的频率特性”也可设定为“图像滤波处理P的作为目标的频率特性”。

接着，对进行图像滤波处理P(多次滤波处理)的电路结构例进行说明。

构成图像滤波处理P的滤波处理(第1滤波处理F1～第N滤波处理FN)的数N优选小于通过如以往的方法根据因素设计滤波器时的滤波器的总数M。以优选为M的50％以下，进一步优选为30％以下，进一步优选为10％以下的方式设定构成图像滤波处理P的滤波处理的数N。其中，对于构成图像滤波处理P的滤波处理的数N，多次滤波处理中所使用的滤波器中抽头数量最大的滤波器的抽头数量(最大抽头数量)成为上限。这是因为，若为滤波器的抽头数量以上，则无法增加滤波器的种类。

另外，构成图像滤波处理P的滤波处理的数N优选为10以下，进一步优选为6以下，进一步优选为4以下，但滤波处理的数N的具体的数值例并不限于这些。并且，构成图像滤波处理P的多次滤波处理(滤波处理部41)中所使用的多个滤波器的抽头数量在滤波器之间可相同也可不同。

在以下与图8～图11相关的说明中，为了方便，假设“N＝2”，对滤波处理部41中所进行的多次滤波处理由第1滤波处理F1及第2滤波处理F2构成的情况进行说明。其中，“N”为3以上的整数，在滤波处理部41进行3次以上的滤波处理的情况下，也可通过相同的设计方法实现滤波处理部41。

图8是表示滤波处理部41的电路结构的一例的图。图8中示出有串联连接进行第1滤波处理F1～第N滤波处理FN(其中，本例中“N＝2”)的每一次处理的电路的情况的一例。

本例的滤波处理部41将在第1滤波处理F1中获取的滤波处理数据D6-1用作第2滤波处理F2中的处理对象数据D3-2。即，滤波处理部41具有第1滤波器应用部48-1、第1增益应用部49-1及第1处理数据计算部50-1，且通过它们进行第1滤波处理F1。并且，滤波处理部41具有第2滤波器应用部48-2、第2增益应用部49-2及第2处理数据计算部50-2，且通过它们进行第2滤波处理F2。

第1滤波器应用部48-1对第1滤波处理F1的处理对象数据D3-1应用第1滤波处理用滤波器来获取滤波器应用处理数据D4-1。第1增益应用部49-1对从第1滤波器应用部48-1输出的滤波器应用处理数据D4-1应用第1滤波处理用增益g₀来获取增益应用处理数据D5-1。同样地，第2滤波器应用部48-2对第2滤波处理F2的处理对象数据D3-2应用第2滤波处理用滤波器来获取滤波器应用处理数据D4-2。第2增益应用部49-2对从第2滤波器应用部48-2输出的滤波器应用处理数据D4-2应用第2滤波处理用增益g₁来获取增益应用处理数据D5-2。

另外，在各滤波处理中所使用的滤波器既可以由各滤波器应用部48(第1滤波器应用部48-1及第2滤波器应用部48-2)保持，也可以存储于未图示的存储器而由各滤波器应用部48适当地读出。并且，在各滤波处理中所使用的增益可通过图3所示的增益确定部43或图4及图5所示的增益获取部45供给到各增益应用部49(第1增益应用部49-1及第2增益应用部49-2)。

并且，本例的滤波处理部41还具有将处理对象数据D3与增益应用处理数据D5相加并输出滤波处理数据D6的第1处理数据计算部50-1及第2处理数据计算部50-2。即，第1处理数据计算部50-1对从第1增益应用部49-1输出的增益应用处理数据D5-1加上处理对象数据D3-1并输出滤波处理数据D6-1。同样地，第2处理数据计算部50-2对从第2增益应用部49-2输出的增益应用处理数据D5-2加上处理对象数据D3-2并输出滤波处理数据D6-2。

另外，在通过第1滤波处理F1及第2滤波处理F2构成图像滤波处理P的本例中，第1滤波处理F1中的处理对象数据D3-1为原图像数据D1，第2滤波处理F2中的滤波处理数据D6-2成为处理图像数据D2。

图9是表示滤波处理部41的电路结构的其他例子的图。图9中示出有并联连接进行第1滤波处理F1～第N滤波处理FN(其中，本例中“N＝2”)的每一次处理的电路的情况的一例。

本例中，串联连接与第1滤波处理F1相关的第1滤波器应用部48-1和第1增益应用部49-1，且串联连接与第2滤波处理F2相关的第2滤波器应用部48-2和第2增益应用部49-2。并且，并联连接“与第1滤波处理F1相关的第1滤波器应用部48-1及第1增益应用部49-1”与“与第2滤波处理F2相关的第2滤波器应用部48-2及第2增益应用部49-2”。并且，滤波处理部41具有将从第1增益应用部49-1输出的增益应用处理数据D5-1与从第2增益应用部49-2输出的增益应用处理数据D5-2相加的加法器52。另外，设置有通过将加算数据D7和处理对象数据D3相加来获取处理图像数据D2的处理图像数据计算部51，所述加算数据D7通过与在所有滤波处理(本例中为第1滤波处理F1及第2滤波处理F2)中所获取的增益应用处理数据D5(滤波处理数据D6)相加而获得。

具有该图9所示的电路结构的本例的滤波处理部41在第1滤波处理F1及第2滤波处理F2中使用相同的数据(即原图像数据D1)来作为处理对象数据D3。并且，滤波处理部41根据在第1滤波处理F1中获取的滤波处理数据D6-1和在第2滤波处理F2中获取的滤波处理数据D6-2来获取处理图像数据D2。另外，本例中，从各滤波处理的增益应用部49输出的增益应用处理数据D5成为在各滤波处理中获得的滤波处理数据D6。

图10是表示滤波处理部41的电路结构的其他例子的图。图10中示出有并联连接进行第1滤波处理F1～第N滤波处理FN(其中，本例中“N＝2”)的每一次处理的电路的其他例子。

本例中，与图9所示的例子同样地，串联连接与第1滤波处理F1相关的第1滤波器应用部48-1和第1增益应用部49-1，且串联连接与第2滤波处理F2相关的第2滤波器应用部48-2和第2增益应用部49-2。并且，并联连接“与第1滤波处理F1相关的第1滤波器应用部48-1及第1增益应用部49-1”与“与第2滤波处理F2相关的第2滤波器应用部48-2及第2增益应用部49-2”。因此，本例的滤波处理部41在第1滤波处理F1及第2滤波处理F2中也使用相同的数据(即原图像数据D1)来作为处理对象数据D3。

其中，在本例中，通过处理图像数据计算部51加算所有滤波处理(本例中为第1滤波处理F1及第2滤波处理F2)中所获取的增益应用处理数据D5(滤波处理数据D6)，从而获取处理图像数据D2。即，滤波处理部41通过在处理图像数据计算部51中将在第1滤波处理F1中获取的滤波处理数据D6-1与在第2滤波处理F2中获取的滤波处理数据D6-2相加来获取处理图像数据D2。另外，在本例中，从各滤波处理的增益应用部49输出的增益应用处理数据D5成为在各滤波处理中所获得的滤波处理数据D6。

并且，本例的图像滤波处理P(第1滤波处理F1～第N滤波处理FN)为了防止处理对象图像的亮度(DC(Direct Current)成分)发生变化，优选频率(ω)为0时的滤波器响应被设定为1且设定为(φ_n(0)＝1)，且关于任意的增益，亮度被调整为恒定。

在上述图8～图10所示的例子中，在多次滤波处理的每一次处理中设置独立的“滤波器应用部48及增益应用部49”，但也可通过共同的“滤波器应用部48及增益应用部49”进行多次滤波处理。

图11是表示滤波处理部41的电路结构的另一例子的图。图11中示出有通过单一的滤波器应用部48及单一的增益应用部49进行多次滤波处理的电路结构的例子。图11所示的电路结构例在滤波器应用处理PF及增益应用处理PG中发挥与上述图8所示的串联连接类型的电路结构等效的功能，但在通过单一的“滤波器应用部48及增益应用部49”进行多次滤波处理的方面与图8所示的电路结构不同。

即，本例的滤波处理部41具有：滤波器应用部48，对处理对象数据D3应用滤波器来获取滤波器应用处理数据D4；及增益应用部49，对滤波器应用处理数据D4应用增益来获取增益应用处理数据D5。并且，滤波处理部41具有：处理数据计算部50，将增益应用处理数据D5与处理对象数据D3相加而获取滤波处理数据D6；及反复运算判定部54，判定是否反复滤波器应用部48、增益应用部49及处理数据计算部50中的运算处理。

反复运算判定部54判定通过滤波器应用部48、增益应用部49及处理数据计算部50进行的滤波处理的次数是否达到预先确定的N次(本例中“N＝2”)。当通过滤波器应用部48、增益应用部49及处理数据计算部50进行的滤波处理的次数未达到N次时，反复运算判定部54对从处理数据计算部50输出的滤波处理数据D6进行反馈。若滤波处理数据D6被反馈，则滤波器应用部48、增益应用部49及处理数据计算部50将所反馈的滤波处理数据D6作为新的处理对象数据D3反复一系列的处理。当通过滤波器应用部48、增益应用部49及处理数据计算部50进行的滤波处理的次数达到N次时，反复运算判定部54将从处理数据计算部50最终输出的滤波处理数据D6作为处理图像数据D2来输出。

在本例中，滤波器应用部48中所使用的滤波器h_n从滤波器供给部56被供给到滤波器应用部48，增益应用部49中所使用的增益g_n从增益供给部55被供给到增益应用部49。即，“在第n次滤波处理(其中“1≤n≤N”)中所使用的滤波器h_n-1及增益g_n-1的信息”在滤波器供给部56及增益供给部55中被保持，或者被未图示的存储器所保持。滤波器供给部56及增益供给部55，从反复运算判定部54发送“接着在滤波器应用部48、增益应用部49及处理数据计算部50中进行的滤波处理为第n次”这样的信息，并根据来自该反复运算判定部54的信息对滤波器应用部48及增益应用部49供给滤波器h_n-1及增益g_n-1。

因此，图11所示的滤波器应用部48在第1滤波处理F1中使用第1滤波处理用滤波器h₀获取滤波器应用处理数据D4，并在第2滤波处理F2中使用第2滤波处理用滤波器h₁获取滤波器应用处理数据D4。并且，增益应用部49在第1滤波处理F1中使用第1滤波处理用增益g₀获取增益应用处理数据D5，并在第2滤波处理F2中使用第2滤波处理用增益g₁获取增益应用处理数据D5。

另外，关于对增益应用部49供给增益的增益供给部55，当图像处理部35具有图3所示的系统结构时由增益确定部43构成，并且当图像处理部35具有图4或图5所示的系统结构时由增益获取部45构成。

上述图8～图11所示的电路结构仅为一例，进行多次滤波处理的滤波处理部41可由各种电路结构实现，并且具体的电路结构并无特别限定。

例如，图11中示出有通过单一的“滤波器应用部48及增益应用部49”进行与图8所示的串联连接类型同等的滤波处理(图像滤波处理P)的电路结构例，但同样地，也可通过具有单一的“滤波器应用部48及增益应用部49”的电路结构进行与图9或图10所示的并联连接类型同等的滤波处理(图像滤波处理P)。

并且，在图8所示的串联连接类型的电路结构中，可省略第1处理数据计算部50-1及第2处理数据计算部50-2。即，可将从第1增益应用部49-1输出的增益应用处理数据D5-1设为第1滤波处理F1的滤波处理数据D6-1及第2滤波处理F2的处理对象数据D3-2，也可将从第2增益应用部49-2输出的增益应用处理数据D5-2设为第2滤波处理F2的滤波处理数据D6-2及处理图像数据D2。同样地，在图11所示的电路结构中可省略处理数据计算部50，也可将从增益应用部49输出的增益应用处理数据D5设为滤波处理数据D6。

<增益确定方法>

接着，对在增益应用部49(第1增益应用部49-1～第N增益应用部49-N)中所使用的增益的确定方法进行说明。

图12是表示增益获取部45的功能结构的一例的框图。本例的增益获取部45具有增益选定条件获取部60、目标频率特性获取部61及应用增益计算部62。

增益选定条件获取部60获取表示与图像滤波处理P的作为目标的频率特性相关联的增益选定条件的数据。作为该表示增益选定条件的数据，可优选使用表示可影响图像滤波处理P的作为目标的频率特性的各种因素的特性数据。因此，图像滤波处理P的作为目标的频率特性为“基于通过摄影获取原图像数据D1时所使用的光学系统(透镜16及光圈17等)的点扩散函数(光学传递函数)的频率特性”时，可获取与影响该点扩散函数的各种因素(例如用于获取原图像数据D1的摄影时的光圈值(F值)、变焦值(焦点距离)、被摄体距离、聚焦位置、光学系统类别、成像元件26的传感器SN比、像高(图像内位置)及光学系统个体差等摄影条件)相关的特性数据作为“表示增益选定条件的数据”。

目标频率特性获取部61根据增益选定条件获取部60所获取的“表示增益选定条件的数据”确定图像滤波处理P的作为目标的频率特性。例如，目标频率特性获取部61可根据表示光圈值(F值)等的增益选定条件的数据确定基于与该增益选定条件相关联的点扩散函数的“图像滤波处理P的作为目标的频率特性”。

应用增益计算部62根据目标频率特性获取部61所确定的“图像滤波处理P的作为目标的频率特性”，获取在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益。通过应用增益计算部62获取增益的方法并没有特别限定，例如能够通过最小二乘法来计算增益。即，增益应用计算部62可通过相对于目标频率特性获取部61所确定的“图像滤波处理P的作为目标的频率特性”，根据多次滤波处理的每一次处理的频率特性并使用最小二乘法拟合图像滤波处理P的频率特性，从而获取在多次滤波处理的每一次处理中应用于滤波器应用处理数据D4的增益。

<增益系数(增益值矢量)的计算方法>

以下，对上述增益获取部45(尤其应用增益计算部62)中的运算处理的具体的流程进行说明。作为一例，主要对滤波处理部41具有图10所示的电路结构的情况进行说明，但对于滤波处理部41具有其他电路结构(参考图8～图9及图11)的情况也可通过同样的运算处理计算增益。

以下的方法采用根据频率及图像内的位置(像素位置)的每一个进行加权的最小二乘基准，并以使通过滤波处理部41进行的图像滤波处理P整体的频率特性接近作为目标的所希望的频率特性的方式求出增益。

在图10所示的电路结构中，由“φ_n-1(ω)”表示进行第n滤波处理Fn(其中“1≤n≤N”)的滤波器应用部48-n中所使用的滤波器的频率特性，并且若由“g_n-1”表示增益应用部49-n中所使用的增益，则第n滤波处理Fn的频率特性由“g_n-1φ_n-1(ω)”来表示。因此，若由“f(ω)”表示滤波处理部41所进行的图像滤波处理P(第1滤波处理F1～第N滤波处理FN)整体的频率特性，则“f(ω)＝g₀φ₀(ω)……+g_N-1φ_N-1(ω)(其中“N”为2以上的整数)”成立。

另外，在图8及图11所示的电路结构中，若由“1+g_n-1(ψ_n-1(ω)-1)”表示第n滤波处理Fn整体的频率特性，则在各滤波器应用部48中所使用的滤波器的频率特性φ_n-1(ω)由“φ_n-1(ω)＝ψ_n-1(ω)-1”来表示，图像滤波处理P整体的频率特性f(ω)由“f(ω)＝(1+g₀φ₀(ω))……×(1+g_N-1φ_N-1(ω))”来表示。并且，在图9所示的电路结构中，图像滤波处理P整体的频率特性f(ω)由“f(ω)＝1+g₀φ₀(ω)……+g_N-1φ_N-1(ω)”来表示。

因此，下述与图10的电路结构相关的说明中，通过将图10的电路结构的频率特性“f(ω)＝g₀φ₀(ω)……+g_N-1φ_N-1(ω)”应用于频率特性“f(ω)＝1+g₀φ₀(ω)……+g_N-1φ_N-1(ω)”，从而也能够应用于图9所示的电路结构。例如，将图9的电路结构的上述频率特性f(ω)中的“1+g₀φ₀(ω)”作为“图10的电路结构的上述频率特性f(ω)中的“g₀φ₀(ω)””进行处理，从而与图10的电路结构相关的下述说明还可应用到图9所示的电路结构。同样地，与图10的电路结构相关的下述说明中，通过将图10的电路结构的频率特性“f(ω)＝g₀φ₀(ω)……+g_N-1φ_N-1(ω)”应用到“f(ω)＝(1+g₀φ₀(ω))……×(1+g_N-1φ_N-1(ω))”，从而还可应用到图8及图11所示的电路结构。另外，在该情况下，通过利用对数化处理，从而图8及图11所示的电路结构的频率特性f(ω)的积的运算式被转换为和的运算式，可容易地将与图10的电路结构相关的下述说明应用到图8及图11所示的电路结构。

在此，假设第n滤波处理Fn的滤波器应用部48-n中所使用的滤波器为基于以拍摄获取原图像数据D1时所使用的光学系统(透镜16及光圈17等)的点扩散函数的图像复原用滤波器。基于点扩散函数的图像复原用滤波器，如下所述，针对频率ω具有二维自由度，并且针对图像内位置(像素位置)r具有二维自由度，因此成为具有总计“4自由度”的频率特性。

[数式1]

ω∈R²

r∈R²

R²：二维实数列矢量空间

若使用这种频率矢量ω及图像内位置矢量r，则能够由“φ_n-1(ω，r)”表示在第n滤波处理Fn的滤波器应用部48-n中所使用的滤波器的频率特性。通过关于针对频率为N_ω个且针对图像内位置为N_r个的采样点进行滤波器的频率特性φ_n(ω，r)的离散化来获得下述矢量φ_n。

[数式2]

C^N：N维复数列矢量空间

Kronecker积

e_j：N_ω维列矢量空间的标准基底

e′_k：N_r维列矢量空间的标准基底

另外，频率“ω_j”及图像内位置“r_k”可由下述式表示，“ω_j”表示与频率相关的N_ω个采样点，“r_k”表示与图像内位置相关的N_r个采样点。

[数式3]

由在多次滤波处理(第1滤波处理F1～第N滤波处理FN)中所使用的增益构成的增益矢量(增益组)g由下述式表示。

[数式4]

g＝[g₀>1…g_N-1]^T

T：转置(Transpose)

设定有由上述式表示的增益的图像滤波处理P整体(整个滤波处理部41)的频率特性「f(ω，r|g)」在图10所示的电路结构中，由下述式表示。

[数式5]

另一方面，欲实现的“图像滤波处理P的作为目标的频率特性“d(ω，r)””可通过任意的方法来确定，其确定方法并无特别限定。通常，基于点扩散函数的复原滤波器能够通过卷积型滤波器适当地实现。作为确定基于点扩散函数的滤波器的频率特性的方法有各种方法，例如广泛使用考虑到摄影光学系统的SN比的维纳滤波器。维纳滤波器能够通过下述式并根据点扩散函数的光学传递函数(OTF)及SN比的信息表示滤波器的频率特性。因此，可根据该维纳滤波器确定欲实现的图像滤波处理P的作为目标的频率特性“d(ω，r)”。

[数式6]

H(ω，r)：光学系统的OTF

H^*(ω，r)：光学系统的OTF的复共轭

SNR(ω，r)：摄像系统的SN比

由“f(ω，r|g)”表示图像滤波处理P整体的频率特性，由“d(ω，r)”表示欲实现的图像滤波处理P的作为目标的频率特性，由“w(ω，r)”表示近似加权函数。此时，能够将对由下述式表示的基于加权最小二乘准则的类函数“J_LMS[g]”进行最小化的增益矢量设为图像滤波处理P中的表示最佳频率特性的增益矢量。

[数式7]

J_LMS[g]＝∫∫w(ω，r)||f(ω，r|g)-d(ω，r)||²dωdr

若通过频率及图像内位置的采样点对上述式进行离散化，则可获得下述式。

[数式8]

J_LMS[g]＝||W^1/2(Ag-d)||²

其中

W＝diag[w]

A＝[φ₀>l…φ_N-1]

上述式中“diag”表示将参数矢量设为对角元素的对角矩阵，上述式的“w”及“d”以与“矢量φ_n”相关的上述方法相同的方式分别将“w(ω，r)”及“d(ω，r)”矢量化。

根据上述式，增益矢量的最优解g_OPT由下述式来表示。

[数式9]

H：伴随矩阵(Hermitian Transpose)

如果近似加权函数及各滤波器的频率特性(滤波器系数)被确定，则上述式中的“(A^HWA)^-1A^HW”的部分由可预先计算的矩阵表示。如此，增益矢量的最优解g_OPT能够通过对根据表示个别的像劣化特性的点扩散函数而获取的滤波器特性应用矩阵的运算来计算。

另外，当滤波处理部41采用图10所示的电路结构时，优选除了上述条件之外，还可应用为了防止图像的DC成分(亮度)的改变而将DC成分的放大率(增益)设为1.0倍这样的约束条件。具体而言，按照下述式获取增益矢量的最优解g_OPT的情况相当于“将DC成分的放大率设为1.0倍而未改变图像整体的亮度”的情况。

[数式10]

上述式能够作为QP(Quadratic Programming)问题进行处理，“N”较小时，能够以较小的计算量解决。并且，如作为一例以下述式表示那样，通过对各滤波器的DC成分的放大率设置限制，能够排除DC成分的放大率的限制(约束条件)。

[数式11]

φ₀(0)＝1，φ_i(0)＝0(1≤i＜N)

<加权的设计>

上述最小二乘法中，如由“w(ω，r)”所表示那样，根据频率及图像内位置(像素位置)的每一个对频率特性的近似精度进行加权。例如，根据上述近似误差评价函数J_LMS[g]进行基于最小二乘法的频率特性的近似时，其近似误差评价函数J_LMS[g]根据频率和图像内位置(像素位置)进行加权。通过调整该加权能够控制画质。即，通过最小二乘法而近似于图像滤波处理P的作为目标的频率特性时，通过对特定的频率或特定的像素位置调整加权，能够在最小二乘法中提高与特定的频率或特定的像素位置相关的近似精度，并且能够控制画质。

例如，上述最小二乘法中，可将低频带中的加权设定为大于高频带中的加权。通常，在人类的视觉特性上，低频成分比高频成分更容易被感知，因此作为“近似于图像滤波处理P的作为目标的频率特性”的精度使低频成分优先于高频成分，从而能够高精度地处理低频成分。

另外，在此所说的“低频带(低频成分)”及“高频带(高频成分)”表示相对频率范围(频带)。例如，可将采样频率的1/4(＝0.25fs)以下的范围视为“低频带(低频成分)”，并且将大于0.25fs且为0.5fs以下范围视为“高频带(高频成分)”。

并且，在上述最小二乘法中，可根据获取原图像数据D1时的摄影条件，将高频带中的加权设定为大于低频带中的加权。通常，噪声较多时，若滤波器的高频特性差，则会导致噪声放大。因此，在可预想到噪声较多的摄影条件下获取的原图像数据D1的图像滤波处理P中，有时优选作为“近似于图像滤波处理P的作为目标的频率特性”的精度而使高频成分优先于低频成分。

另外，在此所说的“获取原图像数据D1时的摄影条件”并无特别限定。能够将可影响噪声量的任意的因素设为摄影条件，例如可采用光圈值(F值)或成像元件26的摄影感度来作为可影响噪声量的“获取原图像数据D1时的摄影条件”。

并且，上述最小二乘法中的加权可根据原图像数据D1中的像素位置来确定。例如，当通过使用一般用户所使用的通常的数码相机进行拍摄而获取原图像数据D1时，通常主要被摄体配置于图像中央部，因此有重视图像中央部的像素位置的高频成分的倾向。另一方面，在监控摄像机等中摄影范围的边界附近的图像的重要性较高时，有重视图像周边部的像素位置的高频成分的倾向。如此，有时根据原图像数据D1中的像素位置而重要度不同，并且可根据摄像装置的种类或摄影图像的用途(产品)来确定加权较高的像素位置(被优先的像素位置)。

例如，在一般用户所使用的数码相机10所具备的光学系统中，中央部具有通常分辨率较高且不依赖于频率的优异的分辨特性，周边部有分辨性能下降的倾向。因此，在通过使用图1所示的数码相机10进行拍摄而获取的原图像数据D1的图像滤波处理P中，在图像中央部增加高频带的加权，在图像周边部增加低频带的加权，从而能够进行与光学特性相应的画质改善。即，在上述最小二乘法中，在原图像数据D1的距离图像中心为第1距离以下的像素位置(低像高的像素位置)，可将高频带中的加权设为大于原图像数据D1的距离图像中心比第1距离远的像素位置(高像高的像素位置)。并且，在上述最小二乘法中，在原图像数据D1的距离图像中心比第2距离远的像素位置(高像高的像素位置)，可将低频带中的加权设为大于原图像数据D1的距离图像中心为第2距离以下的像素位置(低像高的像素位置)。

另外，在此所说的“高频带”优选包含于大于0.25fs且为0.5fs以下的范围，“低频带”优选包含于0.25fs以下的范围。并且，在此所说的“第1距离”与“第2距离”既可相同，也可不同。

<滤波器的频率特性不包括频率衰减时的设计>

通过具有如图8所示的串联连接类型的电路结构的滤波处理部41进行多次滤波处理时，优选根据在各滤波器应用部48中应用于处理对象数据D3的滤波器的频率特性是否具有频率衰减来设计控制方法。频率衰减在“由光学系统的点扩散函数表示的点像的扩散(模糊)的程度较大”且“SN比较低”时尤其有效地发挥作用，并且带来抑制高频带中的噪声成分的效果。

例如，在各滤波器应用部48中所使用的滤波器无需具有频率衰减效果时，能够根据下述式设定图10所示的滤波处理部41的各滤波器应用部48中所使用的滤波器的频率特性φ_n(ω)。

[数式12]

上述式表示当在各滤波器应用部48中所使用的滤波器的频率特性φ_n(ω)满足“|φ_n(ω)|＞1”时，使用具有本来的频率特性φ_n(ω)的滤波器，且当满足“|φ_n(ω)|≤1”时，使用成为“频率特性(响应)＝1”的滤波器。

另外，各滤波器应用部48中所使用的滤波器无需具有频率衰减效果时，图8～图9及图11所示的滤波处理部41的各滤波器应用部48中所使用的滤波器的频率特性φ_n(ω)例如能够根据下述式来设定。

[数式13]

并且，构成滤波处理部41的电路结构为如图8所示的串联连接类型时，图像滤波处理P整体的频率特性根据在各滤波器应用部48中所使用的滤波器的频率特性的积来表现。为了与“并联连接类型的图像滤波处理P整体的频率特性”同样地处理该“串联连接类型的图像滤波处理P整体的频率特性”，优选通过将在串联连接类型的图像滤波处理P中所使用的所有滤波器的频率特性对数化而将“积”的问题转换为“和”的问题。此时，通过与具有并联连接类型的电路结构的滤波处理部41相关的增益矢量的最优解g_OPT的计算方法相同的运算处理，能够计算与具有串联连接类型的电路结构的滤波处理部41相关的增益矢量的最优解g_OPT。另外，在滤波器的频率特性不包括衰减特性的情况中，通过上述对数化，滤波器的频率特性不会成为较大的负值，能够利用下述式进行复数的对数化。

[数式14]

logz＝log|z|+j(∠z+2nπ)

z：复数(＝x+jy＝r_ce^jθ)

j：虚数单位

r_c：绝对值

x＝r_ccosθ

y＝r_csinθ

θ：偏角(＝∠z)

<滤波器的频率特性包括频率衰减时的设计>

例如，在具有如图8所示的串联连接类型的电路结构的滤波处理部41中，各滤波器应用部48中所使用的滤波器的频率特性包括频率衰减时，优选注意以下方面。即，频率放大率接近0倍时，对数化后的值成为较大的负值，因此在进行对数化处理之后以最小二乘准则进行频率特性的拟合的情况等，可能导致其较大的负值支配频率特性近似的基准。因此，优选在对数化时以预先确定的最小负值进行剪辑(clipping)，或者实行较小地调节容易引起频率衰减的频带的加权等对策。

例如，通过剪辑进行对应时，滤波处理部41在图像滤波处理P的作为目标的频率特性中处理图像数据D2与原图像数据D1的比例小于1的频率中，在多次滤波处理的每一次处理中优选使用将滤波处理数据D6设为与滤波器应用处理数据D4相等的滤波器。

通过以如上所述的方法确定且调整各滤波处理中所使用的增益，与例如关于摄影条件的所有组合保持基于点扩散函数的滤波器(滤波器系数)的情况相比，能够显著减少应保持的参数个数。并且，在通常的方法中，若如点扩散函数那样的像劣化特性不是已知的，则难以适当地进行滤波器设计(滤波器系数设计)，但根据本实施方式，在掌握各像劣化特性之前，可预先结束需要较多的计算量的有限抽头长度的FIR滤波器的设计。此时，能够在获取具体的像劣化特性之后通过简单的计算来计算最佳的增益矢量。

<滤波器的设计方法>

接着，对在各滤波器应用部48中使用的滤波器的设计方法的具体例进行说明。

图13是表示滤波器获取装置64的功能结构的一例的框图。

进行在各滤波器应用部48中所使用的滤波器的设计及获取的滤波器获取装置64具有滤波器计算部65。本例的滤波器计算部65获取根据多种图像滤波处理(第1图像滤波处理P1～第k图像滤波处理Pk(其中“k”为2以上的整数))的频率特性数据，并输出包括基准滤波器h_b及方差滤波器h_v的多个滤波器。即，滤波器计算部65根据多种图像滤波处理P1～Pk的频率特性来获取根据多种图像滤波处理P1～Pk的频率特性的平均而确定的基准滤波器h_b。并且，滤波器计算部65根据多种图像滤波处理P1～Pk的频率特性获取根据多种图像滤波处理P1～Pk的频率特性的方差而确定的至少一个方差滤波器h_v。

图14是表示滤波器计算部65的功能结构的一例的框图。

本例的滤波器计算部65具有平均计算部66、方差计算部67及滤波器特性获取部68。平均计算部66由多种图像滤波处理P1～Pk的频率特性数据计算多种图像滤波处理P1～Pk的频率特性的平均。方差计算部67由多种图像滤波处理P1～Pk的频率特性数据计算多种图像滤波处理P1～Pk的频率特性的方差。滤波器特性获取部68根据由平均计算部66计算出的多种图像滤波处理P1～Pk的频率特性的平均来计算基准滤波器h_b。并且，滤波器特性获取部68根据由平均计算部66计算出的多种图像滤波处理P1～Pk的频率特性的平均和由方差计算部67计算出的多种图像滤波处理P1～Pk的频率特性的方差来计算方差滤波器h_v。

<多种图像滤波处理的频率特性>

在此所说的“多种图像滤波处理P1～Pk”的每一个处理的频率特性构成“图像滤波处理P的作为目标的频率特性”，例如通过基于拍摄时所使用的光学系统的光学特性的频率特性而确定。

例如，“多种图像滤波处理P1～Pk的频率特性”为基于光学系统的点扩散函数的频率特性时，若摄影条件发生变化则点扩散函数发生变动，因此能够根据不同摄影条件下的多种点扩散函数的频率特性确定“多种图像滤波处理P1～Pk的频率特性”。该“多种点扩散函数”可通过任意方法获取，也可根据实测值获取，还可根据估计值获取。“多种图像滤波处理P1～Pk的频率特性”可使用所获取的多种点扩散函数并根据维纳滤波器等的任意的设计基准来计算。

该“多种图像滤波处理P1～Pk的频率特性”能够通过任意装置获取，例如，既可以在滤波器获取装置64中获取，也可通过其他装置获取，还可通过滤波器获取装置64的滤波器计算部65从未图示的存储器读出而获取。

<多种图像滤波处理的频率特性的偏差>

多种图像滤波处理的频率特性的偏差可根据单峰型分布来表现，也可根据多峰型分布来表现。

图15是以单峰型分布表示多种图像滤波处理的频率特性的偏差的概念图。图16是以多峰型分布表示多种图像滤波处理的频率特性的偏差的概念图。

基于图15所示的单峰型分布的偏差表现方法为通过一个多维复数正态分布(参考图15的“偏差分布G”)来表现多种图像滤波处理的频率特性的偏差的方法。另一方面，基于多峰型分布的表现方法为通过多个多维复数正态分布(参考图16的“第1偏差分布G1”及“第2偏差分布G2”)来表现多种图像滤波处理的频率特性的偏差的方法。

图15中示出有通过第1滤波处理F1的滤波器的频率特性φ₀、第2滤波处理F2的滤波器的频率特性φ₁及第3滤波处理F3的滤波器的频率特性φ₂表现多种图像滤波处理的频率特性的偏差分布G的情况。并且，图16中示出有通过第1滤波处理F1的滤波器的频率特性(φ₀⁽¹⁾、φ₀⁽²⁾)、第2滤波处理F2的滤波器的频率特性(φ₁⁽¹⁾、φ₁⁽²⁾)及第3滤波处理F3的滤波器的频率特性(φ₂⁽¹⁾、φ₂⁽²⁾)表现构成多种图像滤波处理的频率特性的偏差分布G的第1偏差分布G1及第2偏差分布G2的每一个的情况。另外，图15及图16中图示有作为一例以滤波处理部41具有图10所示的电路结构的情况为前提的滤波器的频率特性φ₀～φ₂。

多种图像滤波处理的频率特性的偏差具有例如如图15所示那样的椭圆形状的偏差分布G时，为了通过多个滤波处理(图15所示的例子中为第1滤波处理F1～第3滤波处理F3)高精度地实现各图像滤波处理，优选根据偏差分布G的中心、长轴及短轴确定各滤波处理的频率特性φ₀、φ₁、φ₂。同样地，多种图像滤波处理的频率特性的偏差具有例如如图16所示那样的椭圆形状的第1偏差分布G1及第2偏差分布G2时，为了通过多个滤波处理(图16所示的例子中为第1滤波处理F1～第3滤波处理F3)高精度地显示第1偏差分布G1及第2偏差分布G2所包括的各图像滤波处理，优选关于第1偏差分布G1及第2偏差分布G2的每一个，根据中心、长轴及短轴确定各滤波处理的频率特性φ₀⁽¹⁾、φ₁⁽¹⁾、φ₂⁽¹⁾、φ₀⁽²⁾、φ₁⁽²⁾、φ₂⁽²⁾。

<单峰型分布>

接着，对将多种图像滤波处理的频率特性的偏差视为单峰型分布时(参考图15)的、滤波器及增益的设计方法例进行说明。

以下的方法有关一种在实际获取任意个数的多种图像滤波处理的频率特性的偏差样品时，求出能够高精度地补偿其图像滤波处理的频率特性的偏差的所希望个数的基底滤波器(FIR滤波器)的频率特性的方法。并且，对将单峰型分布设为多维复数正态分布来进行模型化并进行ML(Maximum Likelihood)推定的情况进行说明。

单峰型分布的偏差分布G可根据多维复数正态分布来表现，其多维复数正态分布通过协方差矩阵被赋予特征，并通过下式获得。

[数式15]

在上述式中，“β_i”表示通过根据频率(ω)及位置(r)对关于多种图像滤波处理的每一个处理个别地获取的频率特性β(ω，r)进行离散化而获得的矢量，“N_p”表示多种图像滤波处理的数量。因此，上述式的“Ψ₀”表示多种图像滤波处理的频率特性的平均(平均矩阵)，上述式的“R₀”表示多种图像滤波处理的频率特性的方差(协方差矩阵)。

通过按照下述式进行由上述式所表示的协方差矩阵的特征值分解，能够获得特征矢量Ψ_i(其中“i”为1以上且N_p以下的整数)。

[数式16]

根据Karhunen-Loeve展开，为了通过维度m的线性子空间使偏差分布平均地近似，最佳为使用通过从特征值较大的开始依次通过m个相对应的特征矢量Ψ_i(其中“i”为1以上且m以下的整数)展开的子空间。

因此，用于高精度地重现具有单峰型的偏差分布G的多种图像滤波处理的每一个处理的频率特性的滤波处理的滤波器的最佳频率特性φ₀～φ_N-1能够根据下述式来获取。

[数式17]

另外，第1滤波处理F1的滤波器的频率特性φ₀如上所述相当于多种图像滤波处理的频率特性的分布的中心，因此从对分布中心进行固定而使处理稳定化的观点考虑，优选第1滤波处理F1中的增益固定为“1.0”。对于其他滤波处理中的增益，例如能够通过上述加权最小二乘准则来求出最佳值。

图L7是概略表示可分类到单峰型分布的多种图像滤波处理的频率特性的一例的图，横轴表示频率(ω)，纵轴表示响应。在此所说的响应是各图像滤波处理前后的频率分量的比(＝处理后的频率分量/处理前数据的频率分量)，“响应＝1”表示数据在图像滤波处理的前后相同。

图17中示出有4种图像滤波处理(第1图像滤波处理P1、第2图像滤波处理P2、第3图像滤波处理P3及第4图像滤波处理P4)的频率特性。这些4种图像滤波处理P1～P4分别表示不同的频率特性，但频率(ω)为“0”时的响应均表示“1”。

图18是概略表示图17所示的多种图像滤波处理的频率特性的方差的一例的图，横轴表示频率(ω)，纵轴表示方差。另外，为了便于说明，图18并不一定是在严格意义上表示图17所示的多种图像滤波处理P1～P4的频率特性的方差的图。

图17所示的4种图像滤波处理P1～P4，在频率(ω)为“0”时的响应均为“1”，因此频率(ω)为“0”时的方差均为“0”。在图18所示的例子中，关于多种图像滤波处理P1～P4的频率特性，显示出“表示第一大的偏差的成分(参考图18的符号“H1”)”及“表示第二大的偏差的成分(参考图18的符号“H2”)”。

图19(a)～图19(c)是概略表示根据图17所示的多种图像滤波处理的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图19(a)表示“φ₀”，图19(b)表示“φ₁”，图19(c)表示“φ₂”。

如上所述，在第1滤波处理F1中所使用的滤波器的频率特性φ₀优选根据多种图像滤波处理P1～P4的频率特性的分布中心(平均)而确定。

并且，在其他滤波处理中所使用的滤波器的频率特性优选从图18所示的多种图像滤波处理P1～P4的频率特性的偏差(方差)较大的成分依次确定。因此，在第2滤波处理F2中所使用的滤波器的频率特性φ₁优选根据多种图像滤波处理P1～P4的频率特性的偏差最大的成分(参考图18的“H1”)而确定。同样地，在第3滤波处理F3中所使用的滤波器的频率特性φ₂优选根据多种图像滤波处理的频率特性的偏差第二大的成分(参考图18的“H2”)而确定。

另外，上述例与图像滤波处理P包括第1滤波处理F1～第3滤波处理F3的情况有关，但图像滤波处理P既可由两种滤波处理构成，也可由4种以上的滤波处理构成。例如，由第1滤波处理F1及第2滤波处理F2构成图像滤波处理P时，能够根据上述“φ₀”(参考图19(a))确定在第1滤波处理F1中所使用的滤波器的频率特性，并能够根据上述“φ₁”(参考图19(b))确定在第2滤波处理F2中所使用的滤波器的频率特性。

图20(a)～图20(b)表示与具有图10所示的电路结构的滤波处理部41所进行的图像滤波处理P(第1滤波处理F1～第3滤波处理F3)相关的频率特性f(ω)(参考图20(a))及增益例(参考图20(b))。

如上所述，从对多种图像滤波处理的频率特性的分布中心进行固定而使处理稳定化的观点考虑，优选第1滤波处理F1中的增益g₀固定为“1.0”。因此，图20(b)中例示有增益g₀～g₂，所述增益g₀～g₂在对具有图10所示的电路结构的滤波处理部41的各滤波器应用部48中所使用的滤波器进行固定，并且将第1滤波处理F1中的增益g₀固定为“1.0”时，用于通过如图20(a)所示的整个系统的频率特性高精度地实现图17所示的图像滤波处理P1～P4的每一个处理的频率特性。

如图20(b)所示，根据上述例，能够将多种图像滤波处理P1～P4的频率特性的数据压缩到3个滤波器的频率特性φ₀～φ₂(抽头系数)和12个增益(将g₀固定为“1.0”时是8个增益)。

如此，本例的滤波处理部41在第1滤波处理F1中，作为“滤波器的频率特性φ₀”使用根据多种图像滤波处理P1～P4的频率特性的平均而确定的基准滤波器h_b的频率特性来获取滤波器应用处理数据D4-1，在第2滤波处理F2及第3滤波处理F3中，作为“滤波器的频率特性φ₁”及“滤波器的频率特性φ₂”使用根据多种图像滤波处理P1～P4的频率特性的方差而确定的两个方差滤波器h_v的频率特性来获取滤波器应用处理数据D4-2、D4-3。

图21是表示根据单峰型分布计算滤波器系数的滤波器计算部65的功能结构的一例的框图。为了由以频率空间所表示的滤波器特性计算以实际空间所表示的滤波器系数，本例的滤波器计算部65除了上述平均计算部66、方差计算部67及滤波器特性获取部68(参考图14)之外还具有抽头系数运算部69。

该滤波器计算部65的抽头系数运算部69获取具有多个抽头且对各抽头分配系数的基准滤波器h_b，并且获取具有多个抽头且对各抽头分配系数的至少一个方差滤波器h_v。“对各抽头分配系数的方法”并无特别限定，抽头系数运算部69(滤波器计算部65)例如能够根据后述的SAGE算法或OMP算法计算分配到基准滤波器h_b及至少一个方差滤波器h_v的每一个滤波器的各抽头的系数。

<多峰型分布>

接着，对将多种图像滤波处理的频率特性的偏差作为多峰型分布来处理时(参考图16)的滤波器及增益的设计方法例进行说明。

在图16所示的例子中，在将整体作为一个分布(单峰型分布)处理时，多种图像滤波处理的频率特性的偏差分布能够由图16所示的“偏差分布G”表示，但近似精度变差。另一方面，将多种图像滤波处理的频率特性的偏差分布通过图16的“第1偏差分布G1”及“第2偏差分布G2”进行分离来表示，并将“第1偏差分布G1”及“第2偏差分布G2”的每一个作为独立的多维复数正态分布(多峰型分布)进行处理，从而能够提高近似精度。作为该多峰型分布中的ML推定的参数推定算法，例如能够优选利用基于EM(Expectation Maximization)算法的混合正态分布的推定，并能够进行有效的参数推定。

基于多峰型分布的滤波器的确定方法基本上能够以与基于上述单峰型分布的滤波器确定方法相同的方法进行。即，将多种图像滤波处理的频率特性分类到构成多峰型分布的多个分布(图16所示的例子中为第1偏差分布G1及第2偏差分布G2)，关于各分布，能够以与上述单峰型分布的“偏差分布G”相同的步骤求出滤波器。

图22是概略表示可分类到多峰型分布的图像滤波处理的频率特性的一例的图，横轴表示频率(ω)，纵轴表示响应。

图22中示出有6种图像滤波处理(第1图像滤波处理P1、第2图像滤波处理P2、第3图像滤波处理P3、第4图像滤波处理P4、第5图像滤波处理P5及第6图像滤波处理P6)的频率特性。这些6种图像滤波处理P1～P6分别表示不同的频率特性，但频率(ω)为“0”时的响应均表示“1”。

在图22所示的例子中，例如能够将“第1图像滤波处理P1的频率特性数据、第2图像滤波处理P2的频率特性数据及第3图像滤波处理P3的频率特性数据”分类到第1偏差分布G1，并将“第4图像滤波处理P4的频率特性数据、第5图像滤波处理P5的频率特性数据及第6图像滤波处理P6的频率特性数据”分类到第2偏差分布G2。

图23(a)～图23(b)是概略表示图22所示的多种图像滤波处理的频率特性的方差的一例的图，图23(a)表示分类到第1偏差分布G1的第1图像滤波处理P1～第3图像滤波处理P3的频率特性数据的方差，图23(b)表示分类到第2偏差分布G2的第4图像滤波处理P4～第6图像滤波处理P6的频率特性数据的方差。图23(a)及图23(b)的横轴表示频率(ω)，纵轴表示方差。另外，为了便于说明，图23(a)及图23(b)不一定是在严格意义上表示图22所示的多种图像滤波处理P1～P6的频率特性的方差。

图22所示的6种图像滤波处理P1～P6的频率特性，频率(ω)为“0”时的响应均为“1”，因此频率(ω)为“0”时的方差均成为“0”。如图23(a)及图23(b)所示，关于第1偏差分布G1及第2偏差分布G2的每一个的“图像滤波处理的频率特性的方差”，显示“表示最大偏差的成分(参考图23(a)及图23(b)的“H1”)”及“表示第二大偏差的成分(参考图23(a)及图23(b)的“H2”)”。

图24(a)～图24(b)是概略表示根据分类到第1偏差分布G1的第1图像滤波处理P1～第3图像滤波处理P3的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图24(a)表示“φ₀”，图24(b)表示“φ₁”，图24(c)表示“φ₂”。图25(a)～图25(c)是概略表示根据分类到第2偏差分布G2的第4图像滤波处理P4～第6图像滤波处理P6的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图25(a)表示“φ₀”，图25(b)表示“φ₁”，图25(c)表示“φ₂”。

如上所述，优选在第1滤波处理F1中所使用的滤波器的频率特性φ₀根据多种图像滤波处理的频率特性的分布中心(平均)而确定。

并且，在其他滤波处理中所使用的滤波器的频率特性优选根据图23(a)和图23(b)的每一个所示的多种图像滤波处理的频率特性的偏差(方差)较大的成分而确定。因此，在第2滤波处理F2中所使用的滤波器的频率特性φ₁优选根据多种图像滤波处理的频率特性的偏差最大的成分(参考图23(a)及图23(b)的“H1”)而确定。同样地，在第3滤波处理F3中所使用的滤波器的频率特性φ₂优选根据多种图像滤波处理的频率特性的偏差第二大的成分(参考图23(a)及图23(b)的“H2”)而确定。

图26(a)～图26(b)表示与具有图10所示的电路结构的滤波处理部41所进行的图像滤波处理P(第1滤波处理F1～第3滤波处理F3)相关的频率特性f(ω)(参考图26(a))及增益例(参考图26(b))。在与图26(a)所示的多峰型分布相关的频率特性f(ω)中，“φ₀⁽ⁱ⁾(ω)”表示在第1滤波处理F1的第1滤波器应用部48-1中所使用的滤波器的频率特性，“g₀”表示在第1滤波处理F1的第1增益应用部49-1中所使用的增益。并且，“φ₁⁽ⁱ⁾(ω)”表示在第2滤波处理F2的第2滤波器应用部48-2中所使用的滤波器的频率特性，“g₁”表示在第2滤波处理F2的第2增益应用部49-2中所使用的增益。并且“φ₂⁽ⁱ⁾(ω)”表示在第3滤波处理F3的第3滤波器应用部48-3中所使用的滤波器的频率特性，“g₂”表示在第3滤波处理F3的第3增益应用部49-3中所使用的增益。

各滤波器的频率特性φ₁⁽ⁱ⁾(ω)～φ₃⁽ⁱ⁾(ω)中的符号“i”表示簇索引，所述簇索引表示按照多峰型分布进行分类的组。例如，分类到第1偏差分布G1的第1图像滤波处理P1～第3图像滤波处理P3中，能够如图26(b)所示那样分配“1”作为簇索引i。另一方面，分类到第2偏差分布G2的第4图像滤波处理P4～第6图像滤波处理P6中，能够如图26(b)所示那样分配“2”作为簇索引i。

另外，图26(b)中例示有增益g₀～g₂，所述增益g₀～g₂在对具有图10所示的电路结构的滤波处理部41的各滤波器应用部48中所使用的滤波器进行固定，并且将在第1滤波处理F1中所使用的增益g₀固定为“1.0”时，用于通过图26(a)所示的整个系统的频率特性高精度地实现图22所示的图像滤波处理P1～P6的每一个处理的频率特性。

如图26(b)所示，根据上述例子，能够将多种图像滤波处理P1～P6的频率特性的数据压缩为6个滤波器频率特性φ₀⁽¹⁾～φ₂⁽¹⁾、φ₀⁽²⁾～φ₂⁽²⁾(抽头系数)和18个增益(将g₀固定为“1.0”时是12个增益)。

如此，根据基于多峰型分布的滤波器的确定方法，需要与构成多峰型分布的组(图16所示的例子中为第1偏差分布G1及第2偏差分布G2)的个数相应的滤波器组。因此，在利用多峰型分布时，与利用单峰型分布时相比，需要预先存储于存储器的滤波器的数量增加，所需的存储容量也增大。并且，为了将各滤波器与所分类的组建立关联，如上述簇索引那样的相关信息也需要预先存储于存储器。

图27是表示根据多峰型分布计算滤波器系数的滤波器计算部65的功能结构的一例的框图。本例的滤波器计算部65为了将图像滤波处理的多种频率特性分类到构成多峰型分布的多个组，除了上述平均计算部66、方差计算部67、滤波器特性获取部68及抽头系数运算部69(参考图21)之外还具有滤波器组分类部70。

本例的滤波器组分类部70以混合正态分布为基准，将多种图像滤波处理(图22所示的例子中为第1图像滤波处理P1～第6图像滤波处理P6)的频率特性分类到多个滤波器组(图16所示的例子中为第1偏差分布G1及第2偏差分布G2)。

图28是通过滤波器组分类部70分类到多个滤波器组的多种图像滤波处理(频率特性)的概念图。滤波器组分类部70对多种图像滤波处理的频率特性数据的相似性进行分析，并将各图像滤波处理的频率特性分类到对应的滤波器组。在上述例中，通过滤波器组分类部70，第1图像滤波处理P1～第3图像滤波处理P3被分类到第1偏差分布G1的滤波器组，第4图像滤波处理P4～第6图像滤波处理P6被分类到第2偏差分布G2的滤波器组。

构成滤波器计算部65的其他平均计算部66、方差计算部67、滤波器特性获取部68及抽头系数运算部69根据分类到多个滤波器组的多种图像滤波处理的频率特性中多个滤波器组的每一个所包括的多种图像滤波处理的频率特性获取与多个滤波器组的每一个相关的基准滤波器h_b及至少一个方差滤波器h_v。

根据上述例，在多种图像滤波处理的频率特性的偏差的分布为已知的情况下，能够高精度地设计用于覆盖该偏差的最佳的滤波器。尤其，通过根据多种图像滤波处理的频率特性的偏差的分布选择单峰型分布及多峰型分布中合适的分布类型，能够获取可高精度地重现作为目标的图像滤波处理的频率特性的滤波器(滤波器系数)及增益。

如上所述，根据本实施方式，能够减少滤波器数(数据量)，并能够避免保持与所有条件有关的FIR滤波器(滤波器系数)，而能够平均地进行使用了良好的滤波器的图像滤波处理。

<FIR滤波器的设计>

接着，对抽头数量设置限制的FIR滤波器的设计方法进行说明。

通过利用上述方法灵活地调整滤波器的频率特性，能够设计用于有效地覆盖多种图像滤波处理的频率特性的偏差的最佳的滤波器。然而，通过对抽头数量设定限制的FIR滤波器实现实际使用的滤波器时，难以理想地获得所希望的频率特性。

通常，以较少的抽头数量实现陡峭的频率特性是非常困难。尤其与较小的特征值对应的特征矢量倾向于具有陡峭的锯齿形状。因此，即使通过上述方法获取滤波器的理想的频率特性，在没有充分准备实际所使用的滤波器的抽头数量的情况下，也难以充分覆盖多种图像滤波处理的频率特性的偏差。

该问题与如下问题类似，即关于基底为非线性且参数化的函数，以通过尽量较少的数量的基底的线性和使一定矢量近似为目的确定基底的参数。提出有用于解决这种问题的各种方法。例如SAGE算法为在电波传播中的来波分析等中所使用的算法，并且为根据EM算法的构思以使残差最小的方式逐个求出基底的方法。并且，OMP算法为在压缩感知(Compressed Sensing)的领域使用过完备库(overcomplete dictionary)求出稀疏的系数矢量时所使用的算法。OMP的方法本身并不是求出参数化的基底的方法，但通过将选自OMP中的库(dictionary)的情况设定改变为选择接近于参数化的基底函数的基底函数的情况设定，由此能够将OMP的方法应用于FIR滤波器的设计。

对SAGE算法及OMP算法的具体运算方法例将在后面说明，滤波器计算部65的抽头系数运算部69(参考图21及图27)能够根据这些算法由偏差分布函数计算分配到至少一个方差滤波器h_v的各抽头的系数，所述偏差分布函数为表示多种图像滤波处理的频率特性的方差的偏差分布函数，且为根据分配到基准滤波器h_b的各抽头的系数而确定的偏差分布函数(参考后述协方差矩阵“R_i”)。

根据后述SAGE算法及OMP算法，滤波器计算部65的抽头系数运算部69在将“I”设为2以上的整数时，获取第1个至第I个方差滤波器h_v，并由根据分配到基准滤波器h_b的各抽头的系数而确定的偏差分布函数计算分配到第1个方差滤波器h_v的各抽头的系数。并且，滤波器计算部65的抽头系数运算部69在将“J”设为2以上且I以下的整数时，由偏差分布函数计算分配到第J个方差滤波器h_v的各抽头的系数，所述偏差分布函数根据分配到基准滤波器h_b的各抽头的系数和分配到第1个至第J-1个方差滤波器h_v的每一个滤波器的各抽头的系数而确定。

在SAGE算法中，滤波器计算部65的抽头系数运算部69进一步根据偏差分布函数(参考后述协方差矩阵“Q_j”)来更新分配到基准滤波器h_b及至少一个方差滤波器h_v中的至少任一个的各抽头的系数，所述偏差分布函数为表示多种图像滤波处理的频率特性的方差的偏差分布函数，且表示根据分配到基准滤波器h_b及至少一个方差滤波器h_v的每一个滤波器的各抽头的系数而确定的残差成分。

另外，SAGE算法及OMP算法在各种文献中被进行说明，例如可参考非专利文献1、非专利文献2及非专利文献3。其中，SAGE算法及OMP算法这两者均以矢量的基底分解为目的，原本就不是处理滤波器设计中的子空间近似，因此需要对计算式适当地加以修改。

<应用了OMP算法的最佳滤波器组的计算>

以下对基于OMP算法的滤波器设计的一例进行说明。下述各步骤的处理基本上在滤波器计算部65(抽头系数运算部69)中进行，但各步骤的处理的一部分或全部可在其他部中进行。

以下对以单峰型分布为前提的情况进行说明。另外，关于以多峰型分布为前提的情况，如上所述能够应用以单峰型分布为前提的情况。即，通过将多个滤波器组(图16所示的例子中为第1偏差分布G1及第2偏差分布G2)的每一个滤波器作为单峰型分布的偏差分布G进行处理，由此还能够对应以多峰型分布为前提的情况。

·步骤1

首先，通过任意方法获取最接近由上述“Ψ₀”所表示的多种图像滤波处理的频率特性的平均(中心值)的FIR滤波器的抽头系数。并且，将通过该抽头系数实际实现的滤波器的频率特性作为“在第1滤波处理F1中所使用的滤波器的频率特性φ₀”。

·步骤2

根据下述式计算将上述“在第1滤波处理F1中实际使用的滤波器的频率特性φ₀”假设为多种图像滤波处理的频率特性的平均(中心值)时的协方差矩阵R₀。

[数式18]

·步骤3

如下述式所示，协方差矩阵R₀被设定为协方差矩阵R₁，参数“i”被设定为“1”。

[数式19]

R_i＝R₀

i←1

·步骤4

与协方差矩阵R_i的最大的特征值对应的特征矢量Ψ_i通过上述方法求出。

·步骤5

最接近特征矢量Ψ_i的频率特性的FIR滤波器的抽头系数通过任意方法来获取，并通过该抽头系数而实际实现的滤波器的频率特性被设定为“φ_i”。具有该频率特性φ_i的滤波器与在第“i+1”滤波处理中所使用的滤波器相对应，若例如为“i＝1”，则求出在第2滤波处理F2中所使用的滤波器的频率特性φ₂。与该“φ_i+1”相关的滤波器的抽头系数存储于未图示的存储器。

·步骤6

将已经求出的“φ₁～φ_i”作为基底，从协方差矩阵排除可通过该基底的展开子空间表现的成分，并计算残差。例如，若将“i”设为3以上的整数而定义为“Φ_i＝[φ₁φ₂……φ_i]”，则在以“Φ_i⁺”表示Φ_i的Moore-Penrose广义逆时，由“Φ_iΦ_i⁺”来表示对span{φ₁，φ₂，……，φ_i}的正投影矩阵。若使用该正投影矩阵Φ_iΦ_i⁺，则协方差矩阵“R_i+1”由下述式所表示。

[数式20]

1：单位矩阵

·步骤7

如下述式那样重新设定“i”作为“i＝i+1”，反复“步骤4”～“步骤7”直至成为“i＝N-1”。以这种方法求出滤波器的频率特性φ₁～φ_N-1。

[数式21]

i←i+1

<应用了SAGE算法的最佳滤波器组的计算>

接着，对基于SAGE算法的滤波器设计的一例进行说明。以下对以单峰型分布为前提的情况进行说明，但在对以多峰型分布为前提的情况也可应用本例的方面与上述OMP算法相同。

SAGE算法在以下两个方面与OMP算法不同：是基于只选择进行上述步骤6中的协方差矩阵的残差的更新的基底(FIR滤波器)的减法运算的算法；在暂时求出所有基底之后也对各基底继续单独进行更新。

更具体而言，上述OMP算法的步骤1～步骤5在SAGE算法中也同样地进行。其中，在上述OMP算法的步骤6中所使用的协方差矩阵“R_i+1”在SAGE算法中通过下述式求出。

[数式22]

R_i+1＝(I-φ_iφ_i^H)R_i(I-φ_iφ_i^H)^H

上述OMP算法的步骤7在SAGE算法中也同样地进行。其中，SAGE算法中，在步骤7之后进行下述步骤8～步骤12。

·步骤8

如由下述式所表示那样，参数“j”被设定为初始值“1”。

[数式23]

j←1

·步骤9

如由下述式所表示那样，从协方差矩阵排除可由排除了第j个基底而得的基底的展开子空间表现的成分，并计算残差。

[数式24]

Ψ_j＝[φ₁>2…φ_j-1φ_j+1…φ_N-1]

·步骤10

与表示由上述式所表示的残差成分的协方差矩阵Q_j的最大特征值对应的特征矢量Ψ_j可根据上述方法求出。

·步骤11

最接近特征矢量Ψ_j的频率特性的FIR滤波器的抽头系数通过任意的方法获取，通过该抽头系数实际实现的滤波器的频率特性被设定为“φ_j”。由此，在第“j+1”滤波处理中所使用的滤波器的频率特性φ_j(抽头系数)被更新，并存储于未图示的存储器。

·步骤12

由下述式定义的整体的近似误差“J_TOTAL”在特定的目标范围内，或者循环次数(计算时间)达到特定的上限为止，如由下述式所表示那样改变参数“j”的同时反复进行“步骤9”～“步骤12”。

[数式25]

Φ_ALL＝[φ₁>2…φ_N-1]

tr：trace(对角和)

通过利用上述SAGE算法或OMP算法，只要能够掌握多种图像滤波处理的频率特性的偏差(例如平均及方差)，就能够高精度地设计FIR滤波器的抽头系数。并且，在掌握个别的具体的图像滤波处理的频率特性之前，能够确定在图像滤波处理(多个滤波处理)中可实际使用的滤波器的抽头系数。

<其他变形例>

上述各功能结构可通过任意的硬件、软件或两者的组合实现。例如，对使计算机执行上述各装置及处理部中的图像处理方法(图像处理步骤及功能)、增益获取方法(增益获取处理步骤及功能)及滤波器获取方法(滤波器获取处理步骤及功能)的程序、记录了该程序的计算机可读取的记录介质(非暂时记录介质)、或者可安装该程序的计算机也能够应用本发明。

并且，图像滤波处理(多次滤波处理)的目的也并无特别限定，在各滤波处理(各滤波器应用部48)中，可使用以改善画质为目的的基于点扩散函数的复原滤波器或轮廓增强滤波器、以赋予特殊效果为目的的艺术滤波器或模糊滤波器等各种滤波器。

<对EDoF系统的应用例>

例如，对于针对通过具有被放大的景深(焦深)(EDoF：Extended Depth of Field(Focus))的光学系统(摄影透镜等)拍摄获取的图像数据(原图像数据D1)的复原处理，也能够应用本发明所涉及的图像滤波处理。针对通过EDoF光学系统在景深(焦深)被放大的状态下拍摄获取的模糊图像的图像数据进行复原处理，从而能够在广范围内复原生成对焦状态的高分辨率的图像数据。此时使用复原滤波器进行复原处理，所述复原滤波器为基于EDoF光学系统的光学传递函数(PSF、OTF、MTF、PTF等)的复原滤波器，并且具有设定成能够在被放大的景深(焦深)的范围内进行良好的图像复原的具有滤波器系数的复原滤波器。

以下对与经由EDoF光学系统摄影获取的图像数据的复原相关的系统(EDoF系统)的一例进行说明。另外，在以下所示的例子中，对针对由去马赛克处理后的图像数据(RGB数据)获得的亮度信号(Y数据)进行复原处理的例子进行说明，但进行复原处理的时机并无特别限定，例如可对“去马赛克处理前的图像数据(马赛克图像数据)”或“去马赛克处理后且亮度信号转换处理前的图像数据(去马赛克图像数据)”进行复原处理。

图29是表示具备EDoF光学系统的摄像模块101的一方式的框图。本例的摄像模块(数码相机等)101包含EDoF光学系统(透镜单元)110、成像元件112、AD转换部114及复原处理块(图像处理部35)120。

图30是表示EDoF光学系统110的一例的图。本例的EDoF光学系统110具有单焦点的被固定的摄影透镜110A及配置于光瞳位置的滤光器111。滤光器111调制相位，并以获得被放大的景深(焦深)(EDoF)的方式将EDoF光学系统110(摄影透镜110A)EDoF化。如此，摄影透镜110A和滤光器111构成调制相位来扩大景深的透镜部。

另外，EDoF光学系统110根据需要包含其他构成要件，例如在滤光器111附近配设有光圈(省略图示)。并且，滤光器111可以是一个，也可以组合多个。并且，滤光器111仅仅是光学相位调制机构的一例，还可以通过其他机构实现EDoF光学系统110(摄影透镜110A)的EDoF化。例如，可通过以具有与本例的滤光器111相同功能的方式进行透镜设计而得的摄影透镜110A实现EDoF光学系统110的EDoF化代替滤光器111的设置。

即，能够通过使对成像元件112的受光面的成像的波面发生变化的各种机构，实现EDoF光学系统110的EDoF化。例如，可将“厚度发生变化的光学元件”、“折射率发生变化的光学元件(折射率分布型波面调制透镜等)”、“通过对透镜表面进行编码等而厚度或折射率发生变化的光学元件(在波面调制混合式透镜、透镜面上作为相位面而形成的光学元件等)”、“能够调制光的相位分布的液晶元件(液晶空间相位调制元件等)”用作EDoF光学系统110的EDoF化机构。如此，不仅能够对可通过光波面调制元件(滤光器111(相位板))形成规则地分散而得的图像的情况应用本发明，而且能够对可不使用光波面调制元件而通过摄影透镜110A本身形成与使用光波面调制元件时相同的分散图像的情况应用本发明。

图30所示的EDoF光学系统110可以省略机械地进行调焦的调焦机构，因此能够实现小型化，可优选搭载于带相机的移动电话或移动信息终端。

通过被EDoF化的EDoF光学系统110之后的光学像成像于图29所示的成像元件112，在此转换成电信号。

成像元件112由以规定的图案排列(拜耳排列、G条纹R/G全方格、X-Trans排列或蜂窝排列等)配置成矩阵状的多个像素构成，各像素包含微透镜、滤色器(本例中为RGB滤色器)及光电二极管而构成。经由EDoF光学系统110入射到成像元件112的受光面的光学像通过排列于该受光面的各光电二极管而转换成与入射光量相应的量的信号电荷。并且，积蓄在各光电二极管的R、G、B的信号电荷作为每个像素的电压信号(图像信号)被依次输出。

AD转换部114将从成像元件112按每个像素被输出的模拟R、G、B图像信号转换成数字RGB图像信号。通过AD转换部114转换成数字图像信号的数字图像信号被加入到复原处理块120。

复原处理块120例如包括黑电平调整部122、白平衡增益部123、伽马处理部124、去马赛克处理部125、RGB/YCrCb转换部126及Y信号复原处理部127。

黑电平调整部122对从AD转换部114输出的数字图像信号实施黑电平调整。在黑电平调整中，可采用公知的方法。例如，在着眼于某一有效光电转换元件的情况下，求出与在包括该有效光电转换元件的光电转换元件行中所包含的多个0B光电转换元件的每一个对应的暗电流量获取用信号的平均值，从与该有效光电转换元件对应的暗电流量获取用信号减去该平均值，从而进行黑电平调整。

白平衡增益部123进行与在调整了黑电平数据的数字图像信号中所包含的RGB各颜色信号的白平衡增益对应的增益调整。

伽马处理部124进行执行半色调等的灰度校正的伽马校正，使得白平衡调整后的R、G、B图像信号成为期望的伽马特性。

去马赛克处理部125对伽马校正后的R、G、B图像信号施加去马赛克处理。具体而言，去马赛克处理部125通过对R、G、B的图像信号施加颜色插值处理，生成从摄像元件112的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，虽然在颜色去马赛克处理前，来自各受光像素的像素信号是R、G、B的图像信号中的任一个图像信号，但在颜色去马赛克处理后，输出与各受光像素对应的R、G、B信号的3个像素信号的组。

RGB/YCrCb转换部126将经去马赛克处理的每个像素的R、G、B信号转换为亮度信号Y和色差信号Cr、Cb，并输出每个像素的亮度信号Y及色差信号Cr、Cb。

Y信号复原处理部127根据预先存储的复原滤波器，对来自RGB/YCrCb转换部126的亮度信号Y进行复原处理。复原滤波器例如包括具有7×7的核尺寸的反卷积核(与M＝7、N＝7的抽头数量对应)和与该反卷积核对应的运算系数(与复原增益数据、滤波系数对应)，使用于光学滤波器111的相位调制量的反卷积处理(反卷积运算处理)。另外，复原滤波器将与光学滤波器111对应的部分存储到未图示的存储器(例如，附随地设有Y信号复原处理部127的存储器)中。此外，反卷积核的核尺寸并不限于7×7。另外，Y信号复原处理部127具有上述图像处理部35中的锐化处理的功能。

接着，对基于复原处理块120的复原处理进行说明。图31是表示基于图29所示的复原处理块120的复原处理流程的一例的图。

在黑电平调整部122的一个输入中，由AD转换部114被施加数字图像信号，在其他输入中被施加黑电平数据，黑电平调整部122根据数字图像信号减去黑电平数据，并将减去了黑电平数据的数字图像信号输出到白平衡增益部123(步骤S11)。由此，在数字图像信号中不包括黑电平成分，表示黑电平的数字图像信号成为0。

对进行黑电平调整后的图像数据依次实施通过白平衡增益部123、伽马处理部124进行的处理(步骤S12及步骤S13)。

被伽马校正的R、G、B信号在去马赛克处理部125中进行去马赛克处理之后，在RGB/YCrCb转换部126中转换为亮度信号Y和色差信号Cr、Cb(步骤S14)。

Y信号复原处理部127进行对亮度信号Y应用EDoF光学系统110的光学滤波器111的相位调制量的反卷积处理的复原处理(步骤S15)。即，Y信号复原处理部127进行与以任意的处理对象的像素为中心的规定单位的像素组对应的亮度信号(在此为7×7像素的亮度信号)和预先存储在存储器等中的复原滤波器(7×7的反卷积核和其运算系数)的反卷积处理(反卷积运算处理)。Y信号复原处理部127通过以覆盖摄像面的整个区域的方式反复该预定单位的每个像素组的反卷积处理，从而进行去除图像整体的像模糊的复原处理。复原滤波器根据实施反卷积处理的像素组的中心的位置而确定。即，对接近的像素组应用共同的复原滤波器。进一步为了简化复原处理，优选对所有像素组应用共同的复原滤波器。

如图32(a)所示，通过EDoF光学系统110之后的亮度信号的点像(光学像)作为较大的点像(模糊的图像)成像于成像元件112，但通过Y信号复原处理部127中的反卷积处理而复原为如图32(b)所示那样较小的点像(高分辨率的图像)。

如上所述，通过对去马赛克处理后的亮度信号应用复原处理，无需按RGB不同而具有复原处理的参数，能够使复原处理高速化。此外，由于不是将与位于分散的位置的R、G、B的像素对应的R、G、B的图像信号分别汇集为一个单位而进行反卷积处理，而是将接近的像素的亮度信号彼此以预定的单位汇集，对该单位应用共同的复原滤波器而进行反卷积处理，所以复原处理的精度提高。另外，关于色差信号Cr、Cb，在基于肉眼的视觉特性上，即使在复原处理中不提高分辨率，在画质上也被允许。此外，在以如JPEG这样的压缩形式来记录图像的情况下，色差信号以比亮度信号高的压缩率被压缩，所以缺少在复原处理中提高分辨率的必要性。这样一来，能够兼顾复原精度的提高和处理的简化及高速化。

对于如以上进行说明那样的EDoF系统的复原处理，也能够应用上述实施方式所涉及的图像滤波处理。

并且，能够应用本发明的方式并不限定于数码相机及计算机(服务器)，除了以摄像为主要功能的相机类之外，对于除了摄像功能以外还具备摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类，也能够应用本发明。作为能够应用本发明的其他方式，例如可举出具有相机功能的移动电话和智能手机、PDA(Personal DigitalAssistants)、便携式游戏机。以下，对能够应用本发明的智能手机的一例进行说明。

<对智能手机的应用例>

图33是表示智能手机201的外观的图。图33所示的智能手机201具有平板状框体202，在框体202的一侧面具备作为显示部的显示面板221与作为输入部的操作面板222成为一体的显示输入部220。并且，这种框体202具备扬声器231、麦克风232、操作部240及相机部241。另外，框体202的结构并不限定于此，例如能够采用显示部与输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。

图34是表示图33所示的智能手机201的结构的框图。如图34所示，作为智能手机的主要构成要件，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、GPS(Global Positioning System)接收部270、动作传感器部280、电源部290及主控制部200(包括上述主体控制器28)。并且，作为智能手机201的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。

无线通信部210根据主控制部200的命令，对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据或流数据等的接收。

显示输入部220是通过主控制部200的控制，显示图像(静态图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作的所谓的触控面板，具备显示面板221及操作面板222。

显示面板221是将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备的装置。操作面板222是以能够视觉辨认显示于显示面板221的显示面上的图像的方式载置，并检测通过用户的手指或触控笔操作的一个或多个坐标的设备。若通过用户的手指或触控笔操作该设备，则将因操作而产生的检测信号输出至主控制部200。接着，主控制部200根据所接收的检测信号检测显示面板221上的操作位置(坐标)。

如图33所示，作为本发明的摄像装置的一实施方式来例示的智能手机201的显示面板221与操作面板222成为一体而构成显示输入部220，但配置成操作面板222完全覆盖显示面板221。采用该配置时，操作面板222可以对显示面板221以外的区域也具备检测用户操作的功能。换言之，操作面板222可具备针对与显示面板221重叠的重叠部分的检测区域(以下，称为显示区域)和针对除此以外的不与显示面板221重叠的外缘部分的检测区域(以下，称为非显示区域)。

另外，可使显示区域的大小与显示面板221的大小完全一致，但无需一定使两者一致。并且，操作面板222可具备外缘部分和除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体202的大小等而适当设计。此外，作为在操作面板222中所采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，可采用任意方式。

通话部230具备扬声器231和麦克风232，所述通话部将通过麦克风232输入的用户的语音转换成能够在主控制部200中处理的语音数据来输出至主控制部200，或者对通过无线通信部210或外部输入输出部260接收的语音数据进行解码而从扬声器231输出。并且，如图33所示，例如能够将扬声器231搭载于与设置有显示输入部220的面相同的面，将麦克风232搭载于框体202的侧面。

操作部240为使用键开关等的硬件键，且接收来自用户的命令。例如，如图33所示，操作部240搭载于智能手机201的框体202的侧面，且是若被手指等按下则开启，若将手指移开则通过弹簧等的复原力而成为关闭状态的按钮式开关。

存储部250存储主控制部200的控制程序和控制数据、应用软件、将通信对象的名称和电话号码等建立关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据和已下载的内容数据，并且暂时存储流数据等。并且，存储部250由智能手机内置的内部存储部251和具有装卸自如的外部存储器插槽的外部存储部252构成。另外，构成存储部250的各个内部存储部251与外部存储部252各自通过使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)或ROM(ReadOnly Memory)等存储介质来实现。

外部输入输出部260发挥与连结于智能手机201的所有外部设备的接口的作用，并用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)或紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与智能手机201连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(SubscriberIdentity Module Card)/UIM(User Identity Module Card)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的耳机等。外部输入输出部能够将从这种外部设备接收到传送的数据传递至智能手机201内部的各构成要件或将智能手机201内部的数据传送至外部设备。

GPS接收部270按照主控制部200的命令，接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测智能手机201的包括纬度、经度、高度的位置。GPS接收部270在能够从无线通信部210或外部输入输出部260(例如无线LAN)获取位置信息时，还能够利用该位置信息检测位置。

动作传感器部280例如具备3轴加速度传感器等，根据主控制部200的命令，检测智能手机201的物理动作。通过检测智能手机201的物理动作，可检测智能手机201的移动方向或加速度。该检测结果被输出至主控制部200。

电源部290按照主控制部200的命令，向智能手机201的各部供给积蓄在电池(未图示)中的电力。

主控制部200具备微处理器，并根据存储部250所存储的控制程序或控制数据进行动作，集中控制智能手机201的各部。并且，主控制部200为了通过无线通信部210进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。

应用处理功能通过主控制部200根据存储部250所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部260来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。

并且，主控制部200具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)而在显示输入部220显示影像等图像处理功能。图像处理功能是指主控制部200对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部220的功能。

而且，主控制部200执行对显示面板221的显示控制和检测通过操作部240、操作面板222进行的用户操作的操作检测控制。

通过执行显示控制，主控制部200显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于针对无法完全落入显示面板221的显示区域的较大图像等，接收使图像的显示部分移动的命令的软件键。

并且，通过执行操作检测控制，主控制部200检测通过操作部240进行的用户操作，或者通过操作面板222接收对上述图标的操作或对上述窗口的输入栏的字符串的输入，或者接收通过滚动条进行的显示图像的滚动请求。

而且，通过执行操作检测控制，主控制部200具备判定对操作面板222进行操作的位置是与显示面板221重叠的重叠部分(显示区域)还是除此以外的不与显示面板221重叠的外缘部分(非显示区域)，并控制操作面板222的感应区域或软件键的显示位置的触控面板控制功能。

并且，主控制部200还能够检测对操作面板222的手势操作，并根据检测出的手势操作执行预先设定的功能。所谓手势操作表示并非以往的单纯的触控操作，而是通过手指等描绘轨迹、或者同时确定多个位置或者组合这些来对多个位置中至少一个描绘轨迹的操作。

相机部241是使用CMOS或CCD等成像元件进行电子摄影的数码相机。并且，相机部241能够通过主控制部200的控制，将通过拍摄获得的图像数据转换成例如JPEG等的被压缩的图像数据，并记录于存储部250，或者能够通过外部输入输出部260和无线通信部210输出。在图33所示的智能手机201中，相机部241搭载于与显示输入部220相同的面，但相机部241的搭载位置并不限于此，还可搭载于显示输入部220的背面，或者也可以搭载有多个相机部241。另外，搭载有多个相机部241时，还能够切换供于拍摄的相机部241来单独进行拍摄、或者同时使用多个相机部241来进行拍摄。

并且，相机部241能够利用于智能手机201的各种功能中。例如，能够在显示面板221显示由相机部241获取的图像，或者能够作为操作面板222的操作输入之一而利用相机部241的图像。并且，当GPS接收部270检测位置时，还能够参考来自相机部241的图像来检测位置。而且，还能够参考来自相机部241的图像，不使用3轴加速度传感器或者与3轴加速度传感器并用来判断智能手机201的相机部241的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部241的图像。

另外，能够在静态图像或动态图像的图像数据上附加通过GPS接收部270获取的位置信息、通过麦克风232获取的语音信息(也可通过主控制部等进行语音文本转换而成为文本信息)、通过动作传感器部280获取的姿势信息等来记录于存储部250，或者还能够通过外部输入输出部260或无线通信部210输出。

上述图像处理部35(滤波处理部41)例如可通过主控制部200来实现。

本发明并不限定于上述实施方式，当然也能够在不脱离本发明的宗旨的范围内进行各种变形。

符号说明

10-数码相机，12-透镜单元，14-相机主体，16-透镜，17-光圈，18-光学系统操作部，20-透镜单元控制器，21-透镜单元存储部，22-透镜单元输入输出部，26-成像元件，28-主体控制器，29-用户界面，30-相机主体输入输出部，31-主体存储部，32-输入输出接口，34-设备控制部，35-图像处理部，40-预处理部，41-滤波处理部，42-后处理部，43-增益确定部，44-增益候补数据存储部，45-增益获取部，48-滤波器应用部，49-增益应用部，50-处理数据计算部，51-处理图像数据计算部，52-加法器，54-反复运算判定部，55-增益供给部，56-滤波器供给部，60-增益选定条件获取部，61-目标频率特性获取部，62-应用增益计算部，64-滤波器获取装置，65-滤波器计算部，66-平均计算部，67-方差计算部，68-滤波器特性获取部，69-抽头系数运算部，70-滤波器组分类部，92-计算机，93-计算机输入输出部，94-计算机控制器，95-显示器，96-网络，97-服务器，98-服务器输入输出部，99-服务器控制器，101-摄像模块，110-EDoF光学系统，110A-摄影透镜，111-滤光器，112-成像元件，114-AD转换部，120-复原处理块，122-黑电平调整部，123-白平衡增益部，124-伽马处理部，125-去马赛克处理部，126-YCrCb转换部，127-Y信号复原处理部，200-主控制部，201-智能手机，202-框体，210-无线通信部，220-显示输入部，221-显示面板，222-操作面板，230-通话部，231-扬声器，232-麦克风，240-操作部，241-相机部，250-存储部，251-内部存储部，252-外部存储部，260-外部输入输出部，270-GPS接收部，280-动作传感器部，290-电源部。