首页> 中国专利> 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质

复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质

摘要

复原滤波器生成装置由第一传递函数取得部(51)和校正信息取得部(56)取得光学系统的RGB的各色的点像分布函数(第一传递函数)和校正信息,上述校正信息表示通过图像数据的放缩对由光学系统产生的倍率色差进行了校正的情况下的、倍率色差的校正量或校正残余量。第二传递函数取得部(52)取得为了抵消校正残余量而使第一传递函数平行移动的第二传递函数,第三传递函数计算部(53)基于每色的第二传递函数,算出对亮度系图像数据的第三传递函数,复原滤波器生成部(57)基于第三传递函数而生成用于进行复原处理的复原滤波器。

著录项

  • 公开/公告号CN105009563A

    专利类型发明专利

  • 公开/公告日2015-10-28

    原文格式PDF

  • 申请/专利权人 富士胶片株式会社;

    申请/专利号CN201380074190.5

  • 发明设计人 成濑洋介;林健吉;杉本雅彦;

    申请日2013-11-13

  • 分类号H04N5/232;G06T5/20;H04N1/409;H04N9/04;

  • 代理机构中原信达知识产权代理有限责任公司;

  • 代理人熊传芳

  • 地址 日本东京

  • 入库时间 2023-12-18 11:47:40

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2018-01-12

    授权

    授权

  • 2015-11-25

    实质审查的生效 IPC(主分类):H04N5/232 申请日:20131113

    实质审查的生效

  • 2015-10-28

    公开

    公开

说明书

技术领域

本发明涉及复原滤波器生成装置和方法、图像处理装置、摄像装 置、复原滤波器生成程序以及记录介质,特别是涉及基于光学系统的 点像分布函数(PSF:Point Spread Function)或光学传递函数(OTF: Optical Transfer Function)而生成用于进行经由上述光学系统拍摄到的 图像的复原处理的复原滤波器的技术。

背景技术

拍摄到的图像的复原处理是如下的处理:预先求算由光学系统(摄 影透镜)的像差等引起的劣化(PSF/OTF)的特性,使用基于PSF/OTF 而生成的复原滤波器对拍摄到的图像(劣化的图像)进行复原处理, 从而复原为分辨率较高的图像。

PSF与OTF处于傅立叶变换的关系,PSF是实函数,OTF是复变 函数。作为具有与这些等价的信息的函数,存在调制传递函数或振幅 传递函数(MTF:Modulation Transfer Function)和相位传递函数(PTF: Phase Transfer Function),分别表示OTF的振幅成分和相位成分。将 MTF和PTF合并而具有与OTF、PSF等价的信息量。

使用基于PSF/OTF而生成的复原滤波器的复原处理能够大致区分 为“频率复原”和“相位复原”。“频率复原”是使由于光学系统而 劣化的MTF特性均衡的处理,“相位复原”是通过依赖频率而使像移 动以尽量使非对称的PSF形状恢复为点的处理。

光学系统的像差因波长而不同,因此理想地,优选为,对应红(R)、 绿(G)、蓝(B)的每色图像适用不同的复原滤波器。然而,按照颜 色的处理的运算负荷较大,因此考虑到仅对视觉效果较大的亮度成分 进行复原处理。

针对亮度的PSF形状无法定义,因此,需要考虑一些基准,以不 会对复原性能产生不良影响的方式找到折中点。

作为对该问题的解决对策,在专利文献1中示出了如下方法:直 接利用对亮度的转换式,将RGB的每色的PSF混合,而求算对亮度成 分图像的PSF。

在亮度中,在进行复原处理的情况下,由于不能进行与倍率色差 校正相当的校正,因此需要另行进行倍率色差校正。

在专利文献2中记载了将复原处理和倍率色差校正分离而进行的 技术。

专利文献2记载的图像处理方法中,基于通过相对的平行移动使 点像分布函数的颜色成分间的差异降低的点像分布函数来生成复原滤 波器,或者根据除去了与倍率色差对应的直线成分的光学传递函数来 生成复原滤波器。即,生成仅进行“频率复原”而不进行“相位复原” 的复原滤波器。并且,对输入图像,在利用上述所生成的复原滤波器 进行复原处理后,检测与复原处理后的图像的倍率色差对应的色差, 并进行降低所检测出的色差的校正(倍率色差校正)。

另外,作为其他实施方式,利用与光学系统的设计上的倍率色差 对应的色差校正量来进行输入图像的倍率色差校正,接着利用仅进行 “频率复原”的复原滤波器来进行复原处理。可是,即使进行上述的 倍率色差校正和基于复原滤波器进行的复原处理,也可能因为光学系 统的制造偏差、光源分光的变动这样的画质劣化原因而使得色差残留, 因此检测复原处理后的图像的色差,并进行降低所检测出的色差的倍 率色差校正。

现有技术文献

专利文献

专利文献1:日本特开2010-140442号公报

专利文献2:日本特开2012-129932号公报

发明内容

发明所要解决的课题

专利文献1记载的技术方案存在如下问题:求算针对亮度成分图 像的PSF,利用基于所求出的PSF而生成的复原滤波器,仅对亮度成 分图像实施复原处理,在该复原处理中不能进行与倍率色差校正相当 的校正。

另一方面,专利文献2记载的技术方案中,利用仅进行“频率复 原”的复原滤波器而进行复原处理,从而对应每色成分取得清晰的复 原图像,之后,检测与每色成分的复原图像的倍率色差对应的色差, 并进行降低所检测出的色差的倍率色差校正。因此,存在如下问题: 基于复原滤波器进行的复原处理需要对应每色成分进行,运算负荷变 大。另外,专利文献2记载的技术方案的特征在于,虽然不通过复原 处理进行相位复原,但是考虑通过复原处理使边缘部的清晰度对应每 色成分发生变化而使色差量变动这一情况,最初进行复原处理,之后 检测复原图像的色差,并进行降低该检测出的色差的倍率色差校正。 因此,降低所检测出的色差的倍率色差校正需要在复原处理后进行。 此外,也需要进行从复原图像检测色差的检测处理。

本发明鉴于这种情形而提出,其目的在于提供能够减轻对校正了 倍率色差的图像的复原处理的运算负荷、特别是无论倍率色差校正的 校正残余量如何都能够生成可进行适当的复原处理的复原滤波器的复 原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生 成程序以及记录介质。

用于解决课题的手段

为了实现上述目的,本发明的一方式所涉及的复原滤波器生成装 置生成复原滤波器,上述复原滤波器用于对亮度系图像数据进行基于 光学系统中的点像分布的复原处理,上述亮度系图像数据是基于通过 具有光学系统的摄像单元得到的多个颜色的每色的图像数据而生成的 与亮度相关的图像数据,上述复原滤波器生成装置具备:第一传递函 数取得单元,对应多个颜色的每色取得与光学系统的点像分布相关的 第一传递函数;校正信息取得单元,对应多个颜色的每色取得校正信 息,上述校正信息表示通过多个颜色的每色的图像数据的放大或缩小 而对由光学系统产生的倍率色差进行了校正的情况下的、该倍率色差 的校正量或校正残余量;第二传递函数取得单元,基于由校正信息取 得单元取得的校正信息,取得为了抵消校正残余量而使多个颜色的每 色的第一传递函数平行移动的第二传递函数;第三传递函数计算单元, 基于由第二传递函数取得单元取得的多个颜色的每色的第二传递函 数,算出对亮度系图像数据的第三传递函数;及复原滤波器生成单元, 基于由第三传递函数计算单元算出的第三传递函数,生成用于进行复 原处理的复原滤波器。

根据本发明的一个方式,对基于倍率色差校正后的多个颜色的每 色的图像数据而生成的亮度系图像数据,生成用于进行复原处理的复 原滤波器,因此与对每色的图像数据进行复原处理的情况相比能够降 低复原处理的运算负荷,且能够减少所生成的复原滤波器的数目。另 外,倍率色差校正因安装方面的限制而不能实现进行任意的坐标变换 的放大/缩小,因此有时不能完全校正色差。因此,每当生成对亮度系 图像数据的复原滤波器时,考虑倍率色差校正的校正残余量,为了抵 消校正残余量而使多个颜色的每色的第一传递函数平行移动,而求算 多个颜色的每色的第二传递函数。并且,基于每色的第二传递函数, 算出对亮度系图像数据的第三传递函数,基于第三传递函数而生成复 原滤波器(即,考虑基于校正残余量的亮度的切向方向上的MTF的变 化而生成复原滤波器),因此能够生成对亮度系图像数据的适当的复 原滤波器。根据如此生成的复原滤波器,能够对根据具有倍率色差校 正的校正残余量的每色的图像数据所生成的亮度系图像数据进行良好 的复原处理。

本发明的其他方式所涉及的复原滤波器生成装置中,优选为,第 三传递函数计算单元将多个颜色的每色的第二传递函数混合而算出对 亮度系图像数据的第三传递函数。

本发明的另一其他方式所涉及的复原滤波器生成装置中,优选为, 第三传递函数计算单元算出多个颜色的每色的第二传递函数乘以每色 的加权系数所得到的值的线性和作为对亮度系图像数据的第三传递函 数。作为算出第三传递函数时的加权线性和,设为使用了与亮度转换 同样的加权系数的线性和为优选。

本发明的另一其他方式所涉及的复原滤波器生成装置也可以具 备:校正精度评价单元,对倍率色差的校正精度是否为阈值以下进行 评价,在校正精度评价单元评价为倍率色差的校正精度为阈值以下的 情况下,复原滤波器生成单元从由第三传递函数计算单元算出的第三 传递函数除去相位信息,并基于除去了相位信息的第三传递函数,生 成仅进行频率复原的复原滤波器。特别是,在没有准确地得知倍率色 差校正的校正残余量的情况下、校正精度较低的情况下(评价为倍率 色差的校正精度为阈值以下的情况下),第三传递函数所包含的相位 信息不准确。因此,优选为,从第三传递函数除去相位信息,基于除 去了相位信息的第三传递函数,生成仅进行频率复原的复原滤波器。

本发明的又一其他的方式所涉及的复原滤波器生成装置也可以具 备:第四传递函数计算单元,从由第一传递函数取得单元取得的多个 颜色的每色的第一传递函数分别除去相位信息,并将除去了相位信息 的多个颜色的每色的第一传递函数混合而算出对亮度系图像数据的第 四传递函数;及校正精度评价单元,对倍率色差的校正精度是否为阈 值以下进行评价,在校正精度评价单元评价为倍率色差的校正精度为 阈值以下的情况下,复原滤波器生成单元基于由第四传递函数计算单 元算出的第四传递函数,生成仅对亮度系图像数据进行频率复原的复 原滤波器。在如上所述没有准确得知倍率色差校正的校正残余量的情 况下、校正精度较低的情况下,第三传递函数所包含的相位信息不准 确。因此,从多个颜色的每色的第一传递函数分别除去相位信息,将 除去了相位信息的多个颜色的每色的第一传递函数混合而算出第四传 递函数,基于所算出的第四传递函数,生成仅对亮度系图像数据进行 频率复原的复原滤波器。另外,从第三传递函数除去相位信息并基于 除去了相位信息的第三传递函数而生成的复原滤波器比如下的复原滤 波器更为优选:从多个颜色的每色的第一传递函数分别除去相位信息, 基于将除去了相位信息的多个颜色的每色的第一传递函数混合而成的 第四传递函数所生成的复原滤波器。是因为前者的复原滤波器在算出 第三传递函数时考虑了颜色之间的位置偏离相关性。

本发明的又一其他方式所涉及的复原滤波器生成装置中,第四传 递函数计算单元算出除去了相位信息的多个颜色的每色的第一传递函 数乘以每色的加权系数所得到的值的平方和的平方根作为对亮度系图 像数据的第四传递函数。

本发明的又一其他方式所涉及的复原滤波器生成装置中,第四传 递函数计算单元算出除去了相位信息的多个颜色的每色的第一传递函 数乘以每色的加权系数所得到的值的线形和作为对亮度系图像数据的 第四传递函数。

本发明的又一其他方式所涉及的复原滤波器生成装置中,第一传 递函数取得单元取得光学系统的多个颜色的每色的第一传递函数,上 述光学系统具有对相位进行调制而使景深扩大的透镜部。作为光学系 统,在具有对相位进行调制而使景深扩大的透镜部(景深(焦点)深 度扩大光学系统(EDoF(Extended Depth of Field(Focus))透镜)的 结构的情况下也能够适用本发明。

本发明的又一其他方式所涉及的复原滤波器生成装置具备:切换 单元,对实施倍率色差校正的情况和不实施倍率色差校正的情况进行 切换;及第五传递函数计算单元,当由切换单元切换为不实施倍率色 差校正的情况时,上述第五传递函数计算单元将多个颜色的每色的第 一传递函数混合,而算出对亮度系图像数据的第五传递函数,当由切 换单元切换为不实施倍率色差校正的情况时,复原滤波器生成单元基 于由第五传递函数计算单元算出的第五传递函数,生成对亮度系图像 数据的复原滤波器。

在没有刻意地进行倍率色差校正的情况下,将没有考虑倍率色差 校正的每色的第一传递函数(包含相位信息在内的第一传递函数)混 合,而算出对亮度系图像数据的第五传递函数,并基于该第五传递函 数生成对亮度系图像数据的复原滤波器。由此,可以生成能够通过亮 度系图像数据的复原处理对因未进行倍率色差校正引起的亮度系图像 数据的MTF劣化进行校正的复原滤波器。根据该所生成的复原滤波器, 能够对亮度系图像数据进行频率复原和相位复原,但是不能进行与倍 率色差校正相当的校正。

本发明的又一其他方式所涉及的复原滤波器生成装置优选为具 备:切换单元,对实施倍率色差校正的情况和不实施倍率色差校正的 情况进行切换,多个颜色的图像数据包含红(R)、绿(G)、蓝(B) 的各色的图像数据,当由切换单元切换为不实施倍率色差校正的情况 时,复原滤波器生成单元基于由第一传递函数取得单元取得的多个颜 色的每色的第一传递函数中的与G色对应的第一传递函数,生成对亮 度系图像数据的复原滤波器。

在没有刻意地进行倍率色差校正的情况下,切向方向上的MTF劣 化的程度较小,在所劣化的MTF值比根据SN比(信号相对于噪声的 比)规定的阈值大的情况下,有时频率在切向方向上增强、明显看见 色差。在这种情况下,优选为,基于与最有助于生成亮度系图像数据 的单色的G色的图像数据对应的第一传递函数,生成对亮度系图像数 据的复原滤波器。

本发明的又一其他方式所涉及的图像处理装置具备:图像数据取 得单元,取得由具有光学系统的摄像单元得到的多个颜色的每色的图 像数据;倍率色差校正单元,通过使由图像数据取得单元取得的多个 颜色的每色的图像数据放大或缩小,而对由光学系统产生的每色的倍 率色差进行校正;图像数据生成单元,基于由倍率色差校正单元进行 了倍率色差校正的多个颜色的每色的图像数据,生成与亮度相关的图 像数据即亮度系图像数据;复原滤波器存储单元,存储由上述任一复 原滤波器生成装置生成的复原滤波器;及复原处理单元,使用存储于 复原滤波器存储单元的复原滤波器,对由图像数据生成单元生成的亮 度系图像数据实施复原处理。使用存储于复原滤波器存储单元的复原 滤波器,对由图像数据生成单元生成的亮度系图像数据实施复原处理, 因此与分别对每色的图像数据进行复原的情况相比能够减轻复原处理 的运算负荷。另外,由于使用考虑了倍率色差校正单元的校正残余量 而生成的复原滤波器来进行复原处理,因此能够降低由校正残余量引 起的切向方向上的频率增强。

本发明的又一其他方式所涉及的图像处理装置具备:图像数据取 得单元,取得由具有光学系统的摄像单元得到的多个颜色的每色的图 像数据;切换单元,对实施倍率色差校正的情况和不实施倍率色差校 正的情况进行切换;倍率色差校正单元,当由切换单元切换为实施倍 率色差校正的情况时,上述倍率色差校正单元通过使由图像数据取得 单元取得的多个颜色的每色的图像数据放大或缩小,而对由光学系统 产生的每色的倍率色差进行校正;图像数据生成单元,当由切换单元 切换为实施倍率色差校正的情况时,上述图像数据生成单元基于由倍 率色差校正单元进行了倍率色差校正的多个颜色的每色的图像数据而 生成与亮度相关的图像数据即亮度系图像数据,当由切换单元切换为 不实施倍率色差校正的情况时,上述图像数据生成单元基于由图像数 据取得单元取得的多个颜色的每色的图像数据而生成与亮度相关的图 像数据即亮度系图像数据;复原滤波器存储单元,存储由上述任一复 原滤波器生成装置生成的复原滤波器;及复原处理单元,使用存储于 复原滤波器存储单元的复原滤波器,对由图像数据生成单元生成的亮 度系图像数据实施复原处理。由此,能够使用根据进行倍率色差校正 的情况或不进行倍率色差校正的情况而生成的复原滤波器,对基于倍 率色差校正后的多个颜色的每色的图像数据而生成的亮度系图像数据 或没有进行倍率色差校正的多个颜色的每色的图像数据而生成的亮度 系图像数据实施复原处理。

本发明的又一其他方式所涉及的图像处理装置具备:图像数据取 得单元,取得由具有光学系统的摄像单元得到的多个颜色的每色的图 像数据;倍率色差校正单元,通过使由图像数据取得单元取得的多个 颜色的每色的图像数据放大或缩小,而对由光学系统产生的每色的倍 率色差进行校正;图像数据生成单元,基于由倍率色差校正单元进行 了倍率色差校正的多个颜色的每色的图像数据,生成与亮度相关的图 像数据即亮度系图像数据;上述的任一复原滤波器生成装置;及复原 处理单元,使用由复原滤波器生成装置生成的复原滤波器,对由图像 数据生成单元生成的亮度系图像数据实施复原处理。该图像处理装置 在具备复原滤波器生成装置这一点与具备复原滤波器存储单元的上述 的图像处理装置不同。

本发明的又一其他方式所涉及的图像处理装置具备:图像数据取 得单元,取得由具有光学系统的摄像单元得到的多个颜色的每色的图 像数据;切换单元,对实施倍率色差校正的情况和不实施倍率色差校 正的情况进行切换;倍率色差校正单元,当由切换单元切换为实施倍 率色差校正的情况时,上述倍率色差校正单元通过使由图像数据取得 单元取得的多个颜色的每色的图像数据放大或缩小,而对由光学系统 产生的每色的倍率色差进行校正;图像数据生成单元,当由切换单元 切换为实施倍率色差校正的情况时,上述图像数据生成单元基于由倍 率色差校正单元进行了倍率色差校正的多个颜色的每色的图像数据而 生成与亮度相关的图像数据即亮度系图像数据,当由切换单元切换为 不实施倍率色差校正的情况时,上述图像数据生成单元基于由图像数 据取得单元取得的多个颜色的每色的图像数据而生成与亮度相关的图 像数据即亮度系图像数据;上述的任一复原滤波器生成装置;及复原 处理单元,使用由复原滤波器生成装置生成的复原滤波器,对由图像 数据生成单元生成的亮度系图像数据实施复原处理。

本发明的又一其他方式所涉及的摄像装置具备摄像单元,具有光 学系统且输出多个颜色的每色的图像数据;及上述的图像处理装置。

本发明的又一其他方式所涉及的复原滤波器生成方法生成复原滤 波器,上述复原滤波器用于对亮度系图像数据进行基于光学系统中的 点像分布的复原处理,上述亮度系图像数据是基于由具有光学系统的 摄像单元得到的多个颜色的每色的图像数据而生成的与亮度相关的图 像数据,上述复原滤波器生成方法包括:第一传递函数取得工序,对 应多个颜色的每色取得与光学系统的点像分布相关的第一传递函数; 校正信息取得工序,对应多个颜色的每色取得校正信息,上述校正信 息表示通过多个颜色的每色的图像数据的放大或缩小而对由光学系统 产生的倍率色差进行了校正的情况下的、该倍率色差的校正量或校正 残余量;第二传递函数取得工序,基于由校正信息取得工序所取得的 校正信息,取得为了抵消校正残余量而使多个颜色的每色的第一传递 函数平行移动的第二传递函数;第三传递函数计算工序,基于由第二 传递函数取得工序所取得的多个颜色的每色的第二传递函数,算出对 亮度系图像数据的第三传递函数;及复原滤波器生成工序,基于由第 三传递函数计算工序算出的第三传递函数,生成用于进行复原处理的 复原滤波器。

本发明的又一其他方式所涉及的程序是生成复原滤波器的程序, 上述复原滤波器用于对亮度系图像数据进行基于光学系统中的点像分 布的复原处理,上述亮度系图像数据是基于由具有光学系统的摄像单 元得到的多个颜色的每色的图像数据而生成的与亮度相关的图像数 据,上述程序使计算机执行如下功能:第一传递函数取得功能,对应 多个颜色的每色取得与光学系统的点像分布相关的第一传递函数;校 正信息取得功能,对应多个颜色的每色取得校正信息,上述校正信息 表示通过多个颜色的每色的图像数据的放大或缩小而对由光学系统产 生的倍率色差进行了校正的情况下的、该倍率色差的校正量或校正残 余量;第二传递函数取得功能,基于由校正信息取得功能所取得的校 正信息,取得为了抵消校正残余量而使多个颜色的每色的第一传递函 数平行移动的第二传递函数;第三传递函数计算功能,基于由第二传 递函数取得功能所取得的多个颜色的每色的第二传递函数,算出对亮 度系图像数据的第三传递函数;及复原滤波器生成功能,基于由第三 传递函数计算功能算出的第三传递函数,生成用于进行复原处理的复 原滤波器。

发明效果

根据本发明,由于生成用于仅对校正了倍率色差的图像数据即视 觉效果较大的亮度系图像数据进行复原处理的复原滤波器,因此能够 减轻复原处理的运算负荷。特别是,由于考虑倍率色差校正的校正残 余量而生成对亮度系图像数据的复原滤波器,因此能够对亮度系图像 数据进行适当的复原处理。

附图说明

图1是复原滤波器生成装置和从该复原滤波器生成装置取得复原 滤波器而进行复原处理的数码相机的图。

图2是数码相机的后视立体图。

图3是表示数码相机和复原滤波器生成装置的电气结构的框图。

图4是表示数码相机的图像处理电路的实施方式的框图。

图5是用于说明复原处理的图。

图6A是用于说明存储于储存器的RGB的各色的PSFR、PSFG、 PSFB的概念图。

图6B是用于说明存储于储存器的RGB的各色的PSFR、PSFG、 PSFB的概念图。

图7是表示复原滤波器生成装置的第一实施方式的框图。

图8是表示复原滤波器生成装置的第二实施方式的框图。

图9是表示复原滤波器生成装置的第三实施方式的框图。

图10是表示复原滤波器生成装置的第四实施方式的框图。

图11是表示复原滤波器生成装置的第五实施方式的框图。

图12是表示PSFR、PSFG、PSFB沿切向方向产生相位偏离的情况 的图。

图13是表示具备EDoF光学系统的摄像模块的一方式的框图。

图14是表示EDoF光学系统的一例的图。

图15是表示由构成摄像模块的复原处理部进行的复原处理的流 程的流程图。

图16是表示智能手机的外观的立体图。

图17是表示智能手机的结构的框图。

具体实施方式

以下,根据附图,对本发明所涉及的复原滤波器生成装置和方法、 图像处理装置、摄像装置、复原滤波器生成程序以及记录介质的优选 实施方式进行说明。

[第一实施方式]

<数码相机的结构>

在图1和图2中,数码相机2与本发明的摄像装置相当。在该数 码相机2的相机主体3的前表面,设有包含光学系统等的镜头镜筒4、 闪光发光部5等。在相机主体3的上表面设有快门按钮6、电源开关7 等。

在相机主体3的背面设有显示部8和操作部9等。显示部8在摄 影待机状态时作为电子取景器而发挥功能,显示即时预览图像(也称 作实时取景图像)。另外,在重放图像时,基于存储于存储卡10的图 像数据,在显示部8对图像进行重放显示。

操作部9由模式切换开关、十字键、执行键等构成。模式切换开 关在对数码相机2的动作模式进行切换时被操作。数码相机2具有对 被摄体进行摄像而得到摄影图像数据的摄影模式、基于摄影图像数据 进行重放显示的重放模式等。

在显示部8显示各种菜单画面、设定画面,或者使显示于这些菜 单画面、设定画面内的光标移动,或者在对数码相机2的各种设定进 行确定等时,十字键、执行键被操作。

在相机主体3的底面,虽然省略图示,但是设有装填存储卡10的 卡插槽和对该卡插槽的开口进行开闭的装填盖。对被摄体进行摄像而 得到的摄影图像数据作为各种文件形式的图像文件而记录于存储卡 10。

上述结构的数码相机2为了降低由光学系统的各种像差产生的图 像劣化,而使用从复原滤波器生成装置11取得的复原滤波器12进行 复原处理。另外,由数码相机2进行的复原滤波器12的取得由相机制 造商进行。

图3是表示数码相机2和复原滤波器生成装置11的电气结构的框 图。如图3所示,数码相机2的相机CPU(中央处理装置)13基于来 自操作部9的控制信号,依次执行从存储器14读出的各种程序、数据, 对数码相机2的各部集中地进行控制。

在与本发明的复原滤波器存储单元相当的存储器14的ROM(Read  Only Memory:只读存储器)区域,除了存储上述的各种程序,还存储 从复原滤波器生成装置11取得的复原滤波器12。另外,存储器14的 RAM(Random Access Memory:随机存取存储器)区域作为相机CPU13 用于执行处理的的工作存储器、各种数据的暂时保存处而发挥功能。

在镜头镜筒4装入有由变焦透镜15和聚焦透镜16等构成的光学 系统17。变焦透镜15和聚焦透镜16分别由变焦机构19、聚焦机构20 驱动,并沿光学系统17的光轴OA前后移动。

机械快门18具有移动部(省略图示),该移动部在阻止被摄体光 向彩色摄像元件23的入射的封闭位置和允许被摄体光的入射的开放位 置之间移动。机械快门18通过使移动部向各位置移动,而将从光学系 统17到达彩色摄像元件23的光路开放/隔断。另外,在机械快门18含 有对向彩色摄像元件23入射的被摄体光的光量进行控制的光圈。机械 快门18、变焦机构19和聚焦机构20经由镜头驱动器24由相机CPU13 进行动作控制。

在光学系统17的背后配置有单板式的彩色摄像元件23。在彩色 摄像元件23的摄像面形成有以预定的图案排列(拜尔排列、G条纹R/G 完全交错相间的棋盘格纹、X-Trans(注册商标)排列、蜂窝排列等) 配置成矩阵状的多个像素。各像素包含微透镜、滤色器(本例中R(红) G(绿)B(蓝)滤色器)和光电二极管而构成。彩色摄像元件23与光 学系统17一起构成本发明的摄像单元,将通过光学系统17成像于摄 像面的被摄体像转换为电输出信号而输出。另外,作为彩色摄像元件 23,使用CCD(Charge Coupled Device:电荷耦合元件)彩色摄像元件、 CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半 导体)彩色摄像元件等各种摄像元件。摄像元件驱动器25在相机CPU13 的控制下对彩色摄像元件23的驱动进行控制。

信号调整电路28对从彩色摄像元件23输出的输出信号实施各种 信号调整处理,而生成与彩色摄像元件23的滤色器排列相称的RGB 的马赛克图像数据R1、G1、B1(图4)。另外,在彩色摄像元件23 为CCD型的情况下,信号调整电路28例如由CDS/AGC(Correlated  Double Sampling/Automatic Gain Control:相关双采样/自动增益控制) 电路、A/D转换电路等构成,在彩色摄像元件23为CMOS型的情况下, 信号调整电路28例如由放大器等构成。

<图像处理电路的结构>

图像处理电路29与本发明的图像处理装置相当。该图像处理电路 29对从信号调整电路28输入的马赛克图像数据R1、G1、B1实施黑电 平调整处理、白平衡校正处理、伽玛校正处理、去马赛克处理、倍率 色差校正、YC转换处理、点像复原处理等,而生成亮度系图像数据Y 和色差系图像数据Cb、Cr(参照图4)。亮度系图像数据Y和色差系 图像数据Cb、Cr暂时性地存储于存储器14的VRAM(Video RAM) 区域(也可以另行设置VRAM)。

VRAM区域具有对连续的2场图像量进行存储的即时预览图像用 的存储区域。存储于VRAM区域的亮度系图像数据Y和色差系图像数 据Cb、Cr依次向显示部8输出。由此,在显示部8显示即时预览图像。

在摄影模式中按下快门按钮6时,压缩扩展处理电路31对存储于 VRAM区域的亮度系图像数据Y和色差系图像数据Cb、Cr实施压缩 处理。另外,压缩扩展处理电路31对经由介质接口(I/F)32从存储卡 10得到的压缩图像数据实施扩展处理。介质I/F32对存储卡10进行压 缩图像数据的记录和读出等。

图4是表示数码相机2的图像处理电路29的实施方式的框图。

如图4所示,图像处理电路29主要具有输入部35、去马赛克处 理部36、倍率色差校正部(倍率色差校正单元)37、RGB/YC转换部 (图像数据生成单元)38、复原处理部(复原处理单元)39。另外, 图像处理电路29也具有进行白平衡校正处理、伽玛校正处理等的校正 处理部,但是省略这些校正处理部的图示、说明。

输入部(图像数据取得单元)35将从信号调整电路28输入的RGB 的各色的马赛克图像数据R1、G1、B1向去马赛克处理部36输出。即, 输入部35作为被输入通过彩色摄像元件23的摄像得到的各色的图像 数据的输入I/F而发挥功能。

去马赛克处理部36基于各色的马赛克图像数据R1、G1、B1,进 行对应每个像素算出RGB的全部的颜色信息(以去马赛克算法的方式进 行转换)的去马赛克处理(也称作去马赛克算法处理),而生成由RGB 的三面的颜色数据构成的RGB图像数据R2、G2、B2。倍率色差校正 部37通过对应每色对RGB图像数据R2、G2、B2进行放大或缩小, 而对光学系统17所具有的倍率色差进行校正。另外,倍率色差的校正 量根据光学系统17的设计上的倍率色差而预先生成,并存储于存储器 14的ROM区域,倍率色差校正部37使用对应于摄像条件(变焦倍率、 光圈值等)而读出的校正量对倍率色差进行校正。

倍率色差校正部37将对RGB图像数据R2、G2、B2进行倍率色 差校正而生成的RGB图像数据R3、G3、B3向RGB/YC转换部38输 出。另外,倍率色差校正部37能够根据操作部41(切换单元)中的用 户指示的倍率色差校正开启/关闭的信息,选择该倍率色差校正的功能。 即,在倍率色差校正开启的情况下,将进行倍率色差校正后的RGB图 像数据R3、G3、B3输出到RGB/YC转换部38,在倍率色差校正关闭 的情况下,不进行倍率色差校正,而将所输入的RGB图像数据R2、 G2、B2直接向RGB/YC转换部38输出。

RGB/YC转换部38对RGB图像数据R3、G3、B3(在倍率色差 校正关闭的情况下为RGB图像数据R2、G2、B2)实施YC转换处理, 而生成亮度系图像数据Y和色差系图像数据Cb、Cr。亮度系图像数据 Y例如根据式[Y=0.3R+0.6G+0.1B]而生成。在该式中,G色的贡 献率为60%,因此G色与R色(贡献率30%)、B色(贡献率10%) 相比贡献率高。因此,G色成为三原色中最有助于亮度信号的颜色。

在此,在本实施方式中,作为亮度系图像数据Y,列举以“Y、 Cb、Cr”所表示的颜色空间的亮度信号的值为例进行了说明,但是只 要是有助于图像的亮度的数据,则不特别限定。亮度系图像数据Y是 指具有与拍摄到的图像的亮度相关的信息的各种数据。例如,能够列 举出:CIELAB(Commission internationale de l'eclairage:国际照明委 员会)颜色空间中的表示明亮度L的数据、用于得到亮度信号的贡献 率最高的数据、与最有助于亮度的颜色的滤色器对应的数据等。

复原处理部39读出存储于存储器14的复原滤波器12,使用该复 原滤波器12对亮度系图像数据Y进行复原处理。该复原处理为了降低 运算处理的负荷而仅对视觉效果变大的亮度系图像数据Y进行。通过 进行复原处理,如图5所示修正图像的模糊。

如图5的(A)所示,透过光学系统17后的点像(光学像)作为 较大的点像(模糊的图像)而成像于彩色摄像元件23的摄像面,但是, 通过复原处理,复原为如图5的(B)所示的较小的点像(高分辨率的 图像)。

<复原滤波器生成装置的结构>

返回到图3,复原滤波器生成装置11生成用于数码相机2的复原 处理的复原滤波器12。该复原滤波器生成装置11具备装置CPU40、操 作部41、储存器43和通信I/F44。

装置CPU40基于输入到操作部41的操作指示,从储存器43适当 地读出并执行各种程序,从而对装置整体进行集中控制。另外,操作 部41例如是键盘、鼠标。

在储存器43存储有本发明所涉及的复原滤波器生成程序46、与 光学系统17的RGB的各色的点像分布相关的相当于第一传递函数的 点像分布函数(PSFR、PSFG、PSFB)、与光学系统17的倍率色差相关 的校正信息等。

通信I/F44与对光学系统17的PSF进行测定的PSF测定装置49 连接。在此,对于由PSF测定装置49进行的PSFR、PSFG、PSFB的测 定方法,由于是公知技术,因此省略具体的说明。通信I/F44在装置 CPU40的控制下,从PSF测定装置49取得与光学系统17对应的RGB 各色的点像分布函数(PSFR、PSFG、PSFB),并存储于储存器43内。

另外,通信I/F44能够经由各种通信线缆、通信电路(包含无线) 而与数码相机2的通信I/F(省略图示)连接,并将由装置CPU40生成 的复原滤波器12发送到数码相机2。由此,在数码相机2的存储器14 内存储复原滤波器12。

<复原滤波器的生成处理>

在利用操作部41进行复原滤波器生成操作的情况下,装置CPU40 从储存器43读出并执行复原滤波器生成程序46,从而作为后述的第一、 第二传递函数取得部51、52(第一、第二传递函数取得单元)、第三~ 第五传递函数计算部53~55(第三~第五传递函数计算单元)、校正 信息取得部56(校正信息取得单元)以及复原滤波器生成部57(复原 滤波器生成单元)而发挥功能,并生成与亮度系图像数据Y对应的复 原滤波器12。另外,装置CPU40的动作的详细内容留作后述。

PSF根据摄影倍率、光圈值等摄影条件、像面内的位置而具有各 种各样的大小、形状、强度分布,另外,光学系统的像差根据波长而 不同,因此对应RGB的每色而不同。

图6A是存储于储存器43的、与物面上的某点光源对应的像面上 的RGB的各色的PSFR、PSFG、PSFB的概念图。

图6A所示的PSFR、PSFG、PSFB的数据形式设为由如下数据构成: 使PSFR、PSFG、PSFB的各自的重心位置一致的PSF数据(以PSF重 心成为中心(坐标x=0,y=0)的方式配置的数据)和表示各自的重心 位置的数据αR(r)、αG(r)、αB(r)。

另外,为了便于说明,重心位置αR(r)、αG(r)、αB(r)如图 6B所示,设为与某点光源应成像的像高位置r对应的位置。由于倍率 色差,PSFR、PSFG、PSFB的重心位置αR(r)、αG(r)、αB(r)如图 6B所示沿切向方向偏离。

在以G平面为基准进行倍率色差校正的情况下,基于像高位置r 中的RGB的每色的PSFR、PSFG、PSFB的重心位置αR(r)、αG(r)、 αB(r),以对于R面使位置偏离变小αR(r)-αG(r)、对于B面使 位置偏离变小αB(r)-αG(r)的方式对R平面、B平面的彩色图像 进行放大或缩小,从而进行倍率色差校正。

然而,通常,根据安装方面的情况,并非能够实现任意的坐标转 换,而是仅能够在根据特定的参数化的模型的范围内进行倍率色差校 正。即,图4所示的倍率色差校正部37根据光学系统17的设计上的 倍率色差,按照预先生成的倍率色差的校正量,将R、B图像数据适当 放大或缩小,从而对光学系统17所具有的倍率色差进行校正。

因此,在由倍率色差校正部37进行的倍率色差校正中,不能以 RGB的每色PSFR、PSFG、PSFB的重心位置αR(r)、αG(r)、αB(r) 完全一致的方式进行校正,因此产生校正残余。

首先,当将倍率色差校正中的校正量标记为βR(r)、βB(r)时, 倍率色差校正后的校正残余量γR(r)、γB(r)能够表示为下式。

[数学式1]

γR(r)=(αR(r)-αG(r))-βR(r)

γB(r)=(αB(r)-αG(r))-βB(r)

复原处理部39如图4所示使用复原滤波器12对根据倍率色差校 正后的RGB图像数据R3、G3、B3生成的亮度系图像数据Y进行复原 处理。因此,每当生成复原滤波器12时,若倍率色差校正中存在校正 残余,则RGB的每色的PSFR、PSFG、PSFB(图6A和图6B)的重心 位置沿切向方向产生位置偏离,亮度中的切向方向上的MTF劣化。

因此,本发明在亮度用复原处理中通过以下所述的步骤生成考虑 了上述MTF劣化的复原滤波器。

首先,基于[数学式1]所示的校正残余量γR(r)、γB(r),使 将PSF重心配置于中心(坐标x=0,y=0)的PSFR(x,y)、PSFB(x, y)平行移动校正残余量γR(r)、γB(r)。

具体来说,使PSFR(x,y)、PSFB(x,y)以下式所示平行移动。

[数学式2]

PSFR(x,y):PSFR(x+γR(r)cosθ,y+γR(r)sinθ)

PSFB(x,y):PSFB(x+γB(r)cosθ,y+γB(r)sinθ)

在此,θ如图6B所示是其画面内位置中的表示切向方向的角度。

接着,基于PSFR(x,y)、分别根据校正残余量γR(r)、γB(r) 平行移动后的PSFR(x+γR(r)cosθ,y+γR(r)sinθ)、PSFB(x+γB(r) cosθ,y+γB(r)sinθ)以及加权系数cR、cG、cB,如下式所示,利用加 权线性和,算出对亮度系图像数据Y的PSFY(x,y)。

[数学式3]

PSFY(x,y)=cR·PSFR(x+γR(r)cosθ,y+γR(r)sinθ)

+cG·PSFG(x,y)

+cB·PSFB(x+γB(r)cosθ,y+γB(r)sinθ)

另外,作为加权系数cR、cG、cB,能够使用与根据RGB图像数据 生成亮度系图像数据Y时的系数相同的系数,但是本发明不限于此。

利用如此算出的PSFY(x,y),生成对亮度系图像数据Y的复原 滤波器。在该方法中,与使用后述的MTF的情况相比,存在由于相位 信息残留而能够进行相位校正这样的特征。

[第一实施方式]

图7是表示复原滤波器生成装置11的第一实施方式的框图,主要 是表示图3所示的装置CPU40的功能的功能框图。

装置CPU40具备:第一、第二传递函数取得部51、52(第一、第 二传递函数取得单元);第三传递函数计算部53(第三传递函数计算 单元);校正信息取得部56(校正信息取得单元);及复原滤波器生 成部57(复原滤波器生成单元)。

第一传递函数取得部51从储存器43取得与光学系统17的点像分 布相关的第一传递函数(RGB的各色的PSFR、PSFG、PSFB),并将 PSFR、PSFG、PSFB和PSFR、PSFG、PSFB的重心位置αR(r)、αG(r)、 αB(r)输出到第二传递函数取得部52。另外,PSFR、PSFG、PSFB如 由图6A中所说明的那样,以各PSF的重心成为中心(坐标x=0,y=0) 的方式配置。

校正信息取得部56从储存器43取得对光学系统17的倍率色差进 行校正的校正量βR(r)、βB(r)、即由图4所示的倍率色差校正部 37校正的、像高位置r处的校正量βR(r)、βB(r)(图6B所示的切 向方向上的、以G像素为基准的R、B像素的校正量),并将所取得 的校正量βR(r)、βB(r)输出到第二传递函数取得部52。另外,校 正量βR(r)、βB(r)根据所取得的PSFR、PSFG、PSFB的像高位置而 不同,这是不言而喻的。

第二传递函数取得部52基于从第一传递函数取得部51输入的 PSFR、PSFG、PSFB的重心位置αR(r)、αG(r)、αB(r)和从校正信 息取得部56输入的倍率色差的校正量βR(r)、βB(r),利用上述的 [数学式1]算出倍率色差校正后的校正残余量γR(r)、γB(r)。并 且,为了抵消校正残余量γR(r)、γB(r),基于所算出的校正残余量 γR(r)、γB(r)和画面内位置中的表示切向方向的角度θ,如上述的 [数学式2]所示使PSFR、PSFB平行移动。

第二传递函数取得部52将从第一传递函数取得部51取得的PSFG和根据校正残余量γR(r)、γB(r)平行移动后的PSFR、PSFB作为第 二传递函数而输出到第三传递函数计算部53。

第三传递函数计算部53利用上述的[数学式3]算出所输入的RGB 的每色的第二传递函数的加权线性和,并将其计算结果作为对亮度系 图像数据Y的PSFY(x,y)(第三传递函数)而输出到复原滤波器生 成部57。

复原滤波器生成部57利用所输入的PSFY(x,y),生成对亮度 系图像数据Y的复原滤波器。

通常,在基于PSF进行的模糊的复原中,能够利用卷积型的维纳 滤波器。能够参照对PSFY(x,y)进行傅立叶变换后的OTF和SN比 的信息,利用以下的式算出复原滤波器的频率特性d(ωx,ωy)。

[数学式4]

d(ωx,ωy)=H*(ωx,ωy)||H(ωx,ωy)||2+1/SNR(ωx,ωy)

在此,H(ωx,ωy)表示OTF,H*x,ωy)表示其复共轭。 另外,SNR(ωx,ωy)表示SN比。

复原滤波器的滤波系数的设计是以滤波器的频率特性成为最接近 所期望的维纳频率特性的方式选择系数值的最佳化问题,能够利用任 意的公知的方法来适当算出滤波系数。

该复原滤波器设计成为求算使评价泛函数Jp[x]最小化的

[数学式5]

的问题。泛函数Jp[x]是利用任意的公知的评价手法对复原滤波器的 理想的频率特性d(ωx,ωy)和利用滤波系数x实现的实际的滤波器的 频率特性的近似度进行定义的函数。能够实现滤波器的频率特性的范 围依存于滤波器格式,因此评价泛函数根据标识符p而成为不同的定 义。

应求算的滤波系数x0能够表示为如下所示。

[数学式6]

装置CPU40如上所述基于画面内位置、对应每个摄像条件(变焦 倍率、光圈值等)的第一传递函数和倍率色差的校正信息,分别算出 复原滤波器(复原滤波器的滤波系数)。

[第二实施方式]

图8是表示复原滤波器生成装置11的第二实施方式的框图,主要 是表示图3所示的装置CPU40的功能的功能框图。另外,对与图7所 示的第一实施方式共通的部分附加相同的附图标记,省略其详细的说 明。

在图8中,校正信息取得部56a(校正精度评价单元)从储存器 43取得对光学系统17的倍率色差进行校正的校正量βR(r)、βB(r) 和表示校正量βR(r)、βB(r)的倍率色差校正的可靠度的信息(表示 倍率色差的校正量βR(r)、βB(r)或校正残余量γR(r)、γB(r)的 可靠度的信息)。

即,因为镜头的个体偏差较大,或者为了手抖控制而使镜头的特 性变化,因此不能准确地得知倍率色差的校正量(倍率色差的校正精 度较低),或者在发生变动这样的状况下,倍率色差的校正量βR(r)、 βB(r)或校正残余量γR(r)、γB(r)的可靠度较低。

在储存器43存储如上所述的表示倍率色差校正的可靠度的信息。 校正信息取得部56a从储存器43取得表示倍率色差校正的可靠度的信 息,将表示倍率色差校正的可靠度是否比基准值低的信息(表示倍率 色差的校正精度是否为阈值以下的评价信息)输出到第三传递函数计 算部53a。在此,作为用于判断倍率色差校正的可靠度是否较低的基准 值,由于不能准确地得知倍率色差校正的校正残余量,因此当利用根 据第一实施方式的PSFY(x,y)生成的复原滤波器进行复原处理时, 以是否反而色差可能变大为基准。

第三传递函数计算部53a将从第二传递函数取得部52输入的PSFG和根据校正残余量γR(r)、γB(r)平行移动的PSFR、PSFB混合而生 成对亮度系图像数据Y的PSFY(x,y)(第三传递函数),但是在从 校正信息取得部56a输入表示倍率色差校正的可靠度较低的信息的情 况下,从PSFY(x,y)消除相位信息。具体来说,对PSFY(x,y)进 行傅立叶变换而算出OTFYx,ωy),采用其振幅(绝对值)算出 MTFYx,ωy)。并且,在倍率色差校正的可靠度较高的情况下,第 三传递函数计算部53将PSFY(x,y)作为第三传递函数输出到复原滤 波器生成部57a。另一方面,在倍率色差校正的可靠度较低的情况下, 第三传递函数计算部53将除去了相位信息的OTFYx,ωy)、即MTFYx,ωy)作为第三传递函数输出到复原滤波器生成部57a。

复原滤波器生成部57a根据倍率色差校正的可靠度是否较高,使 用从第三传递函数计算部53a输入的PSFY(x,y)或MTFYx,ωy) 而生成用于对亮度系图像数据Y进行复原处理的复原滤波器。由此, 在倍率色差校正的可靠度较低的情况下,能够生成在复原处理时不进 行相位校正的复原滤波器,在倍率色差的校正残余量不清楚的情况下, 也能够生成可进行最佳的复原处理的复原滤波器。另外,在算出MTF 时,考虑了颜色之间的位置偏离相关性(校正残余量),因此与后述 的单纯的MTF混合等相比,能够降低切向方向上的MTF劣化。

[第三实施方式]

图9是表示复原滤波器生成装置11的第三实施方式的框图,是主 要表示图3所示的装置CPU40的功能的功能框图。另外,对与图7和 图8所示的第一、第二实施方式共通的部分附加相同的附图标记,省 略其详细的说明。

第三实施方式与第二实施方式同样地,是根据倍率色差校正的可 靠度是否较低而对复原滤波器的生成方法进行切换的实施方式。

在图9中,第四传递函数计算部54(第四传递函数计算单元)从 第一传递函数取得部51输入RGB的每色的PSFR、PSFG、PSFB,并算 出从PSFR、PSFG、PSFB分别除去了相位信息的MTFRx,ωy)、MTFGx,ωy)、MTFBx,ωy)。能够通过分别对PSFR、PSFG、PSFB进行傅立叶变换而算出OTFRx,ωy)、OTFGx,ωy)、OTFBx, ωy)并采用其绝对值,从而算出这些MTFRx,ωy)、MTFGx,ωy)、 MTFBx,ωy)。并且,将所算出的MTFRx,ωy)、MTFGx, ωy)、MTFBx,ωy)混合,而算出对亮度系图像数据Y的MTFYx, ωy)(第四传递函数)。

由第四传递函数计算部54进行的MTFYx,ωy)的计算能够基 于MTFRx,ωy)、MTFGx,ωy)、MTFBx,ωy)和加权系数 cR、cG、cB,利用下式算出。

[数学式7]

MTFY(ωx,ωy)=cR2MTF2R(ωx,ωy)+cG2MTFG2(ωx,ωy)+cB2MTFB2(ωx,ωy)

即,第四传递函数计算部54通过算出MTFRx,ωy)、MTFGx,ωy)、MTFBx,ωy)分别乘以加权系数cR、cG、cB所得到的 值的平方和的平方根,算出对亮度系图像数据Y的MTFYx,ωy)。

另外,作为将MTFRx,ωy)、MTFGx,ωy)、MTFBx, ωy)混合并算出对亮度系图像数据Y的MTFYx,ωy)的其他MTF 混合方法,也可以基于加权系数cR、cG、cB,基于下式进行。

[数学式8]

MTFYx,ωy)=cRMTFRx,ωy)+cGMTFGx,ωy)+cBMTFBx,ωy)

即,第四传递函数计算部54利用MTFRx,ωy)、MTFGx, ωy)、MTFBx,ωy)和加权系数cR、cG、cB,算出加权线性和,从 而求算MTFYx,ωy)。

由第四传递函数计算部54算出的对亮度系图像数据Y的MTFYx,ωy)作为第四传递函数而输出到复原滤波器生成部57b。

复原滤波器生成部57b根据表示从校正信息取得部56a输入的倍 率色差校正的可靠度是否较高的信息,使用从第三传递函数计算部53 输入的第三传递函数(PSFY(x,y))或从第四传递函数计算部54输 入的第四传递函数(MTFYx,ωy)),生成用于对亮度系图像数据 Y进行复原处理的复原滤波器。即,在倍率色差校正的可靠度较低的 情况下,能够使用(MTFYx,ωy))生成在复原处理时不进行相位 校正的复原滤波器。

由此,即使在因偏差等而倍率色差的校正残余量不清楚的情况下, 也能够生成可进行适当的复原处理的复原滤波器。

[第四实施方式]

图10是表示复原滤波器生成装置11的第四实施方式的框图,是 主要表示图3所示的装置CPU40的功能的功能框图。另外,在与图7 所示的第一实施方式共通的部分附加相同的附图标记,并省略其详细 的说明。

第四实施方式是根据进行倍率色差校正的情况(倍率色差校正开 启)或不进行倍率色差校正的情况(倍率色差校正关闭)而对复原滤 波器的生成方法进行切换的实施方式。

在图10中,第五传递函数计算部55(第五传递函数计算单元) 从第一传递函数取得部51输入RGB的各色的PSFR、PSFG、PSFB和 PSFR、PSFG、PSFB的重心位置αR(r)、αG(r)、αB(r),并利用上 述的[数学式1]算出校正残余量γR(r)、γB(r)。在此,能够在[数 学式1]中,将倍率色差校正中的校正量βR(r)、βB(r)分别设为0, 从而算出倍率色差校正关闭的情况下的校正残余量γR(r)、γB(r)。

基于如此算出的校正残余量γR(r)、γB(r),利用上述的[数学 式2],算出根据校正残余量γR(r)、γB(r)平行移动后的PSFR(x, y)、PSFB(x,y)。第五传递函数计算部55将从第一传递函数取得 部51输入的PSFG和平行移动后的PSFR、PSFB混合,而算出对亮度系 图像数据Y的PSFY(x,y),将该PSFY(x,y)作为第五传递函数 而输出到复原滤波器生成部57c。另外,RGB的PSF混合能够利用[数 学式3]进行。

复原滤波器生成部57c输入图3所示的操作部41(切换单元)中 的用户指示的倍率色差校正开启/关闭的信息或设定于储存器43(切换 单元)的倍率色差校正开启/关闭的信息,并根据倍率色差校正开启/关 闭的信息,使用从第三传递函数计算部53输入的第三传递函数(PSFY(x,y))或从第五传递函数计算部55输入的第五传递函数(PSFY(x, y)),生成用于对亮度系图像数据Y进行复原处理的复原滤波器。

即,复原滤波器生成部57c在倍率色差校正关闭的情况下(在切 换成不进行倍率色差校正的情况下)使用从第五传递函数计算部55输 入的第五传递函数来生成复原滤波器,因此可以生成能够利用亮度系 图像数据的复原处理对因不进行倍率色差校正引起的亮度系图像数据 的MTF劣化进行校正的复原滤波器。

[第五实施方式]

图11是表示复原滤波器生成装置11的第五实施方式的框图,是 主要表示图3所示的装置CPU40的功能的功能框图。另外,在与图10 所示的第四实施方式共通的部分上附加相同的附图标记,省略其详细 的说明。

第五实施方式是根据倍率色差校正开启/关闭而对复原滤波器的 生成方法进行切换的其他实施方式。

在图11中,从第三传递函数计算部53向复原滤波器生成部57d 施加第三传递函数(PSFY(x,y)),从第一传递函数取得部51向复 原滤波器生成部57d施加G的PSFG(x,y)。复原滤波器生成部57d 根据倍率色差校正开启/关闭的信息,使用从第三传递函数计算部53输 入的PSFY(x,y)或从第一传递函数取得部51输入的G的PSFG(x, y)而生成用于对亮度系图像数据Y进行复原处理的复原滤波器。

在此,复原滤波器生成部57d在倍率色差校正关闭的情况下(在 切换成不进行倍率色差校正的情况下),使用单色(G)的PSFG(x, y)而生成复原滤波器。因此,与使用将RGB的各色的PSFR、PSFG、 PSFB混合而成的PSFY而生成的复原滤波器相比,能够生成在复原处理 时不产生切向方向上的频率增强的复原滤波器。

如图12所示,在PSFR、PSFG、PSFB沿切向方向产生了相位偏离 的情况下,将PSFR、PSFG、PSFB混合而生成的PSFY沿切向方向产生 MTF劣化。因此,根据该PSFY生成的复原滤波器成为增强向劣化方向 的复原的处理。

即,在切向方向上的MTF劣化的程度较小、劣化的MTF值比根 据SN比所规定的阈值大的情况下,有时频率在切向方向上增强、明显 看见色差(边缘部分的色差被增强的情况)。在这种情况下,优选为, 使用单色的G的PSFG(x,y),以不产生切向方向上的频率增强的方 式生成复原滤波器。

具体来说,切向方向上的MTF劣化的程度较小是满足以下的[数 学式9]所示的条件的情况。

[数学式9]

MTFY(ωx,ωy)MTFY(ωx,ωy)2+PN(ωx,ωy)/PS(ωx,ωy)>1

切向方向上的MTF劣化的程度较小、换言之是因为将PSF或MTF 混合而切向方向上的低/中频的维纳滤波器的频率增强的大小超过1.0 的情况。

在此,(ωx,ωy)设为是视觉上重要的0.25Fs(Fs:采样频率) 以下左右。如此,在设为倍率色差校正关闭的色差明显的状态下,使 用单色的G的PSFG(x,y)而生成复原滤波器。由此,通过使用将 RGB的各色的PSFR、PSFG、PSFB混合而成的PSFY而生成的复原滤波 器,反而能够防止色差明显的方向上的频率增强。另外,使用G的PSFG(x,y)是因为RGB中G的图像数据最有助于亮度系图像数据的生成 的缘故。

另外,在该实施方式中,如图6A所示,作为PSFR、PSFG、PSFB的数据形式,使用了由以下数据构成的数据:以PSF重心成为中心(坐 标x=0,y=0)的方式配置的数据和表示各自的重心位置的数据αR(r)、 αG(r)、αB(r),但是本发明不限于此。例如,即使使用具有绝对位 置的PSFR、PSFG、PSFB,也同样能够算出各种传递函数。另外,PSF 与OTF处于傅立叶变换的关系,因此也可以替代上述实施方式中的PSF 而使用OTF,另外,OTF由于具有将MTF和PTF合并后的信息量, 因此也可以使用MTF和PTF。

<向EDoF系统的适用例>

上述的实施方式中的复原处理是通过根据特定的摄影条件(例如 光圈值、F值、焦距、镜头种类等)来对点扩散(点像模糊)进行复原 修正而对原来的被摄体像进行复原的图像处理,但是能够适用本发明 的图像复原处理不限于上述的实施方式中的复原处理。例如,即使对 于对利用具有被扩大的景深(焦点)深度(EDoF:Extended Depth of Field (Focus))的光学系统(摄影镜头等)所摄影取得的图像数据进行的 复原处理,也能够适用本发明所涉及的复原处理。通过对在利用EDoF 光学系统扩大了景深(焦点深度)的状态下所摄影取得的模糊图像的 图像数据进行复原处理,能够对以大范围对焦的状态的高分辨率的图 像数据进行复原生成。在该情况下,能够进行使用了复原滤波器的复 原处理,上述复原滤波器是基于EDoF光学系统的点扩散函数(PSF、 OTF、MTF、PTF等)的复原滤波器,且具有以能够在被扩大的景深(焦 点深度)的范围内进行良好的图像复原的方式设定的滤波系数。

以下,对与经由EDoF光学系统而摄影取得的图像数据的复原相 关的系统(EDoF系统)的一例进行说明。

图13是表示具备EDoF光学系统的摄像模块101的一方式的框图。 本例的摄像模块(数码相机等)101包含EDoF光学系统(透镜单元) 110、摄像元件112、AD转换部114和复原处理模块(图像处理部)120。

图14是表示EDoF光学系统110的一例的图。本例的EDoF光学 系统110具有单焦点被固定的摄影透镜110A和配置于光瞳位置的光学 滤光片111。光学滤光片111对相位进行调制,并以得到被扩大的景深 (焦点深度)(EDoF)的方式构成EDoF光学系统110(摄影透镜110A) (EDoF化)。如此,摄影透镜110A和光学滤光片111构成对相位进 行调制而使景深扩大的透镜部。

另外,EDoF光学系统110根据需要包含其他结构要素,例如在光 学滤光片111的附近配置有光圈(省略图示)。另外,光学滤光片111 可以是1片,也可以是将多片组合而成的结构。另外,光学滤光片111 不过是光学的相位调制单元的一例,EDoF光学系统110(摄影透镜 110A)的EDoF化也可以由其他单元实现。例如,可以替代设置光学 滤光片111,利用以具有与本例的光学滤光片111同等的功能的方式设 计了透镜的摄影透镜110A来实现EDoF光学系统110的EDoF化,也 可以采用各种光波面调制元件。

即,能够利用使向摄像元件112的受光面的成像的波面变化的各 种单元来实现EDoF光学系统110的EDoF化。例如,能够采用“厚度 变化的光学元件”、“折射率变化的光学元件(折射率分布型波面调 制透镜等)”、“厚度、折射率根据向透镜表面的涂层等而变化的光 学元件(波面调制混合透镜、在透镜面上作为相位面而形成的光学元 件等)”、“能够对光的相位分布进行调制的液晶元件(液晶空间相 位调制元件等)”作为EDoF光学系统110的EDoF化单元。如此,本 发明不仅可以适用于能够利用光波面调制元件(光学滤光片111(相位 板))形成规则地分散的图像的例子,而且也可以适用于不使用光波 面调制元件而能够利用摄影透镜110A自身形成与使用光波面调制元 件的情况同样的分散图像的例子。

图14所示的EDoF光学系统110由于能够省略机械地进行调焦的 调焦机构,因此能够小型化,能够适当地搭载于带相机的移动电话、 移动信息终端。

EDoF化后的通过EDoF光学系统110后的光学像成像于图13所 示的摄像元件112,并在此转换为电信号。

摄像元件112由以预定的图案排列(拜尔排列、G条纹R/G完全 交错相间的棋盘格纹、X-Trans(注册商标)排列、蜂窝排列等)配置 成矩阵状的多个像素构成,各像素包含微透镜、滤色器(在本例中为 RGB滤色器)和光电二极管而构成。经由EDoF光学系统110入射到 摄像元件112的受光面上的光学像通过排列于该受光面的各光电二极 管而被转换为与入射光量相应的量的信号电荷。并且,蓄积于各光电 二极管的R/G/B的信号电荷作为每个像素的电压信号(图像信号)而 依次输出。

AD转换部114将从摄像元件112对应每个像素输出的模拟的 R/G/B信号转换为数字的图像信号。由AD转换部114转换为数字的图 像信号后的数字图像信号被施加于复原处理模块120。

复原处理模块120例如包含黑电平调整部122、白平衡增益部123、 伽马处理部124、去马赛克处理部125、RGB/YC转换部126和复原处 理部(Y信号复原处理部)127。

黑电平调整部122对从AD转换部114输出的数字图像信号实施 黑电平调整。黑电平调整能够采用公知的方法。例如,在着眼于某有 效光电转换元件的情况下,求算与包含该有效光电转换元件的光电转 换元件行中所包含的多个OB(Optical Black:光学黑体)光电转换元 件分别对应的暗电流量取得用信号的平均,从与该有效光电转换元件 对应的暗电流量取得用信号减去该平均,从而进行黑电平调整。

白平衡增益部123进行与对黑电平数据进行了调整的数字图像信 号所包含的RGB各色信号的白平衡增益对应的增益调整。

伽马处理部124进行伽马校正,该伽马校正以被白平衡调整后的 R、G、B图像信号成为所期望的伽马特性的方式进行中间色调等的灰 度校正。

去马赛克处理部125对伽玛校正后的R、G、B图像信号实施去马 赛克处理。具体来说,去马赛克处理部125通过对R、G、B的图像信 号实施颜色插值处理,从而生成从摄像元件112的各受光像素输出的 一组图像信号(R信号、G信号、B信号)。即,颜色去马赛克处理之 前,来自各受光像素的像素信号是R、G、B的图像信号中的任一个, 但是颜色去马赛克处理之后,输出与各受光像素对应的R、G、B信号 的3个像素信号的组。

RGB/YC转换部126将去马赛克处理后的每个像素的R、G、B信 号转换为亮度信号Y和色差信号Cr、Cb,并输出每个像素的亮度信号 Y和色差信号Cr、Cb。

复原处理部127基于预先存储的复原滤波器,对来自RGB/YC转 换部126的亮度信号Y进行复原处理。复原滤波器例如由具有7×7的 内核尺寸的逆卷积内核(与M=7、N=7的抽头数对应)和与该逆卷 积内核对应的运算系数(与复原增益数据、滤波系数对应)构成,用 于光学滤光片111的相位调制量的逆卷积处理(逆卷积运算处理)。 另外,复原滤波器中,与光学滤光片111对应的存储于未图示的存储 器(例如附带地设有复原处理部127的存储器)。另外,逆卷积内核 的内核尺寸不限于7×7的大小。

接着,对复原处理模块120的复原处理进行说明。图15是表示图 13所示的复原处理模块120中的复原处理的一例的流程图。

在黑电平调整部122的一输入中从AD转换部114施加数字图像 信号,在其他输入中施加黑电平数据。黑电平调整部122从数字图像 信号减去黑电平数据,并将减去了黑电平数据的数字图像信号输出到 白平衡增益部123(步骤S1)。由此,数字图像信号中不包含黑电平 成分,表示黑电平的数字图像信号成为0。

对黑电平调整后的图像数据,依次实施由白平衡增益部123、伽 马处理部124进行的处理(步骤S2和S3)。

伽玛校正后的R、G、B信号在由去马赛克处理部125进行去马赛 克处理后,在RGB/YC转换部126中被转换为亮度信号Y和色差信号 (色度信号)Cr、Cb(步骤S4)。

复原处理部127对亮度信号Y进行实施与EDoF光学系统110的 光学滤光片111的相位调制相应的量的逆卷积处理的复原处理(步骤 S5)。即,复原处理部127进行与以任意的处理对象的像素为中心的 预定单位的像素组对应的亮度信号(在此是7×7像素的亮度信号)与 预先存储于存储器等的复原滤波器(7×7的逆卷积内核和其运算系数) 的逆卷积处理(逆卷积运算处理)。复原处理部127通过以覆盖摄像 面的整个区域的方式反复进行该预定单位的每个像素组的逆卷积处理 而进行将图像整体的像模糊消除的复原处理。

通过EDoF光学系统110后的亮度信号的点像(光学像)作为较 大的点像(模糊的图像)而成像于摄像元件112,但是利用由复原处理 部127进行的逆卷积处理,复原为较小的点像(高分辨率的图像)。

通过如上所述对去马赛克处理后的亮度信号施加复原处理,无需 对RGB分别具有复原处理的参数,能够使复原处理高速化。另外,对 于色差信号Cr/Cb,即使在人眼的视觉的特性上,没有利用复原处理提 高分辨率,画质上也是被允许的。另外,在以如JPEG(Joint Photographic  Experts Group:联合图像专家组)那样的压缩形式记录图像的情况下, 由于色差信号以比亮度信号高的压缩率被压缩,因此缺乏以复原处理 提高分辨率的必要性。如此,能够兼顾复原精度的提高以及处理的简 化和高速化。

对于如以上说明那样的EDoF系统的复原处理,也能够生成本发 明的第一到第五实施方式所涉及的复原滤波器。

另外,能够适用本发明的方式不限于数码相机2、复原滤波器生 成装置11,除了以摄像为主要的功能的相机类以外,也能够适用于除 摄像功能以外还具备摄像以外的其他功能(通话功能、通信功能、其 他的计算机功能)的移动设备类。作为能够适用本发明的其他方式, 例如能够列举具有相机功能的移动电话、智能手机、PDA(Personal  Digital Assistants:个人数字助理)、便携式游戏机。以下,对能够适 用本发明的智能手机的一例进行说明。

<智能手机的结构>

图16是表示作为数码相机2的其他实施方式的智能手机500的外 观的立体图。图16所示的智能手机500具有平板状的壳体502,并在 壳体502的一面具备由作为显示部的显示面板521和作为输入部的操 作面板522成为一体而成的显示输入部520。另外,壳体502具备扬声 器531、麦克风532、操作部540和相机部541。另外,壳体502的结 构不限于此。例如,能够采用使显示部和输入部独立而成的结构,或 采用壳体502具有折叠构造、滑动机构的结构。

图17是表示图16所示的智能手机500的结构的框图。如图17所 示,作为智能手机的主要的结构要素,具备无线通信部510、显示输入 部520、通话部530、操作部540、相机部541、存储部550、外部输入 输出部560、GPS(Global Positioning System:全球定位系统)接收部 570、运动传感器部580、电源部590和主控制部501。另外,作为智 能手机500的主要的功能,具备经由基站装置BS和移动通信网NW进 行的移动无线通信的无线通信功能。

无线通信部510按照CPU501的指示,对收容于移动通信网的基 站装置进行无线通信。使用该无线通信,进行声音数据、图像数据等 各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。

显示输入部520是通过主控制部501的控制来显示图像(静止图 像以及动态图像)、文字信息等而视觉性地向用户传递信息并检测对 所显示的信息的用户操作的所谓操作面板。显示输入部520具备显示 面板521和操作面板522。在对所生成的3D图像进行欣赏的情况下, 显示面板521优选为是3D显示面板。

显示面板521使用LCD(Liquid Crystal Display:液晶显示器)、 OELD(Organic Electro-Luminescence Display:有机电致发光显示器) 等作为显示装置。

操作面板522是载置成能够对显示于显示面板521的显示面上的 图像进行目视确认且检测通过用户的手指、尖笔操作的一个或多个坐 标的设备。当通过用户的手指、尖笔来操作该设备时,将因操作而产 生的检测信号向主控制部501输出。接着,主控制部501基于接收到 的检测信号而检测显示面板521上的操作位置(坐标)。

如图16所示,智能手机500的显示面板521和操作面板522成为 一体而构成显示输入部520,但是成为操作面板522完全覆盖显示面板 521那样的配置。在采用该配置的情况下,操作面板522也可以具备对 显示面板521以外的区域也检测用户操作的功能。换言之,操作面板 522也可以具备对与显示面板521重叠的重叠部分的检测区域(以下, 称作显示区域)和对除此以外的未与显示面板521重叠的外缘部分的 检测区域(以下,称作非显示区域)。

另外,也可以使显示区域的大小与显示面板521的大小完全一致, 但是没有必要必须使两者一致。另外,操作面板522也可以具备外缘 部分和除此以外的内侧部分这两个感应区域。此外,外缘部分的宽度 根据壳体502的大小等而适当设计。而且,作为由操作面板522采用 的位置检测方式,能够列举矩阵开关方式、电阻膜方式、表面弹性波 方式、红外线方式、电磁感应方式和静电电容方式等,也能够采用其 中任一种方式。

通话部530具备扬声器531、麦克风532,将通过麦克风532输入 的用户的声音转换为能够由主控制部501处理的声音数据并向主控制 部501输出,或者对由无线通信部510或外部输入输出部560接收到 的声音数据进行解码而从扬声器531输出。另外,如图16所示,也可 以例如将扬声器531搭载于与设有显示输入部520的面相同的面。另 外,能够将麦克风532搭载于壳体502的侧面。

操作部540是使用了键开关等的硬件键,接收来自用户的指示。 例如,操作部540搭载于智能手机500的壳体502的显示部的下部、 下侧面。操作部540例如是如下的按钮式开关:当利用手指等按下时 接通,当松开手指时通过弹簧等的复原力而成为断开状态。

存储部550存储主控制部501的控制程序、控制数据、本发明所 涉及的复原滤波器、将通信对方的名称、电话号码等建立对应而成的 地址数据,所收发的电子邮件的数据、通过Web浏览下载的Web数据、 所下载的内容数据,另外暂时性地存储流数据等。另外,存储部550 由智能手机内置的内部存储部551和装拆自如的具有外部存储器插槽 的外部存储部552构成。另外,构成存储部550的各个内部存储部551 和外部存储部552使用闪存式(flash memory type)、硬盘式(hard disk  type)、微型多媒体卡式(multimedia card micro type)、卡式存储器(例 如,Micro SD(注册商标)存储器等)、RAM(Random Access Memory: 随机存取存储器)、ROM(Read Only Memory:只读存储器)等存储 介质而实现。

外部输入输出部560起到与连接于智能手机500的所有外部设备 的接口的作用,用于通过通信等(例如通用串行总线(USB)、IEEE1394 等)或网络(例如互联网、无线LAN(Local Area Network)、蓝牙 (Bluetooth)(注册商标)、RFID(Radio Frequency Identification:无 线射频识别)、红外线通信(Infrared Data Association:IrDA)(注册 商标)、UWB(Ultra Wideband:超宽带)(注册商标)、紫蜂(ZigBee) (注册商标)等)而直接或间接地与其他外部设备连接。

作为与智能手机500连结的外部设备,例如有:有/无线头戴式耳 机、有/无线外部充电器、有/无线数据端口、经由卡插座连接的存储卡 (Memory card)、SIM(Subscriber Identity Module Card:客户识别模 块卡)/UIM(User Identity Module Card:用户识别模块卡)卡、经由 音频/视频I/O(Input/Output:输入/输出)端子而连接的外部音频/视频 设备、无线连接的外部音频/视频设备,有/无线连接的智能手机、有/ 无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算 机、耳机等。外部输入输出部560能够将从这样的外部设备接收到传 送的数据传递给智能手机500的内部的各结构要素、将智能手机500 的内部的数据传送给外部设备。

GPS接收部570按照主控制部501的指示,接收从GPS卫星 ST1~STn发送的GPS信号,执行基于接收到的多个GPS信号的测位运 算处理,检测该智能手机500的由纬度、经度、高度构成的位置。GPS 接收部570在能够从无线通信部510、外部输入输出部560(例如,无 线LAN)取得位置信息时,也能够使用该位置信息来检测位置。

运动传感器部580例如具备三轴加速度传感器等,按照主控制部 501的指示,检测智能手机500的物理性移动。通过检测智能手机500 的物理性移动,检测智能手机500所移动的方向、加速度。该检测结 果向主控制部501输出。

电源部590按照主控制部501的指示,向智能手机500的各部供 给存储于蓄电池(未图示)的电力。

主控制部501具备微处理器,按照存储部550所存储的控制程序、 控制数据进行动作,对智能手机500的各部集中地进行控制。另外, 主控制部501为了通过无线通信部510进行声音通信、数据通信而具 备对通信系统的各部进行控制的移动通信控制功能和应用处理功能。

应用处理功能通过使主控制部501根据存储部550所存储的应用 软件进行动作而实现。作为应用处理功能,例如有对外部输入输出部 560进行控制而与相向设备进行数据通信的红外线通信功能、进行电子 邮件的收发的电子邮件功能、浏览网页的Web浏览功能等。

另外,主控制部501具备基于接收数据、所下载的流数据等的图 像数据(静止图像、动态图像的数据)而影像显示于显示输入部520 的图像处理功能等。图像处理功能是指,主控制部501对上述图像数 据进行解码,对该解码结果实施图像处理,而将图像显示于显示输入 部520的功能。

此外,主控制部501执行对显示面板521的显示控制和检测通过 操作部540、操作面板522进行的用户操作的操作检测控制。

通过执行显示控制,主控制部501显示用于启动应用软件的图标、 滚动条等软件键,或者显示用于创建电子邮件的窗口。另外,滚动条 是指用于对未完全收纳于显示面板521的显示区域的较大的图像等接 收使图像的显示部分移动的指示的软件键。

另外,通过执行操作检测控制,主控制部501检测通过操作部540 进行的用户操作,或者通过操作面板522接收对上述图标的操作、对 上述窗口的输入栏的字符串的输入,或者接收通过滚动条进行的显示 图像的滚动请求。

而且,通过执行操作检测控制,主控制部501具备如下的操作面 板控制功能:判定对于操作面板522的操作位置是与显示面板521重 叠的重叠部分(显示区域)还是除此以外的未与显示面板521重叠的 外缘部分(非显示区域),并对操作面板522的感应区域、软件键的 显示位置进行控制。

另外,主控制部501也能够检测对操作面板522的手势操作,根 据所检测出的手势操作,执行预先设定的功能。手势操作并非以往的 单纯的触摸操作,而是指通过手指等来描绘轨迹或者同时指定多个位 置或者将这些组合而从多个位置对至少一个位置描绘轨迹的操作。

相机部541是利用CMOS(Complementary Metal Oxide  Semiconductor:互补金属氧化物半导体)、CCD(Charge-Coupled Device: 电荷耦合元件)等摄像元件而进行电子摄影的数码相机。该相机部541 能够适用上述的数码相机2。

另外,相机部541能够通过主控制部501的控制,将通过摄像得 到的图像数据转换为例如JPEG(Joint Photographic coding Experts  Group:联合图像专家小组)等压缩后的图像数据,并存储于存储部550, 或通过外部输入输出部560、无线通信部510而输出。在图16所示的 智能手机500中,相机部541搭载于与显示输入部520相同的面,但 是相机部541的搭载位置不限于此。相机部541例如可以搭载于显示 输入部520的背面,或者也可以搭载多个相机部541。另外,在搭载有 多个相机部541的情况下,能够对用于摄影的相机部541进行切换而 单独地进行摄影,或者也能够同时使用多个相机部541来进行摄影。

另外,相机部541能够用于智能手机500的各种功能。例如,能 够在显示面板521显示由相机部541取得的图像、作为操作面板522 的操作输入之一而利用相机部541的图像。另外,在GPS接收部570 检测位置时,也能够参照来自相机部541的图像而检测位置。此外, 也能够参照来自相机部541的图像而不使用三轴加速度传感器或与三 轴加速度传感器并用来判断智能手机500的相机部541的光轴方向、 判断当前的使用环境。当然,也能够在应用软件内利用来自相机部541 的图像。

[其他]

本实施方式的数码相机2将由复原滤波器生成装置11生成的复原 滤波器经由复原滤波器生成装置11的通信I/F44存储于相机内的存储 器14,但是也可以使数码相机2和复原滤波器生成装置11一体化。在 该情况下,数码相机也生成复原滤波器,且使用所生成的复原滤波器 来实施复原处理。另外,作为数码相机,可以是互换镜头式相机,也 可以通过与互换镜头的通信来取得所安装的互换镜头的PSF等,并基 于所取得的PSF等生成复原滤波器。

另外,本发明包含通过安装于通用的个人计算机而使该个人计算 机作为复原滤波器生成装置发挥功能的复原滤波器生成程序和记录有 该复原滤波器生成程序的(非暂时性(non-transitory)且计算机能够读 取的)记录介质。复原滤波器生成程序至少使计算机实现与复原滤波 器生成装置的第一传递函数取得单元、校正信息取得单元、第二传递 函数取得单元、第三传递函数计算单元和复原滤波器生成单元对应的 各功能。

此外,本发明不限于上述的实施方式,在不脱离本发明的主旨的 范围内能够进行各种变形,这是不言而喻的。

附图标记说明

2…数码相机,11…复原滤波器生成装置,12…复原滤波器,14… 存储器,13…相机CPU,17…光学系统,29…图像处理电路,36、125… 去马赛克处理部,37…倍率色差校正部,38、126…RGB/YC转换部, 39…复原处理部,40…装置CPU,41…操作部,43…储存器,46…复 原滤波器生成程序,51…第一传递函数取得部,52…第二传递函数取 得部,53、53a…第三传递函数计算部,54…第四传递函数计算部,55… 第五传递函数计算部,56、56a…校正信息取得部,57、57a、57b、57c、 57d…复原滤波器生成部,101…摄像模块,110…EDoF光学系统, 110A…摄影透镜,111…光学滤光片,112…摄像元件,120…复原处理 模块,200…主控制部,201…智能手机。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号