图像恢复装置以及图像恢复方法

摘要

抑制处理负荷的增大，并且能够可靠地抑制振铃的产生。是降低对连续拍摄的多个输入图像的进行合成而得到的图像所产生的晃动的图像恢复装置(10)，具有：点扩散函数取得部(1200)，取得表示经由所述多个输入图像产生的晃动的第一点扩散函数；点扩散函数变换部(1300)，以避免在频域的各频率的振幅值小于阈值方式对上述第一点扩散函数进行处理，从而生成第二点扩散函数；图像变换部(1400)，使用所述第二点扩散函数中的与各输入图像对应的部分对所述多个输入图像分别进行变换，从而生成多个变换图像；以及，图像恢复部(1500)，对将所述多个变换图像进行合成而得到的劣化图像实施使用了所述第二点扩散函数的恢复处理，从而生成恢复图像。

说明书

技术领域

本发明涉及使连续拍摄的多个输入图像合成的图像产生的晃动降低的 图像恢复装置及图像恢复方法。

背景技术

在以数字相机拍摄图像的情况下，在图像上因CCD(Charge Coupled  Device：电荷耦合器)传感器、或CMOS(Complementary Metal Oxide  Semiconductor：互补金属氧化物半导体)传感器的读出电路的特性和传 输路径的特性而被加入噪声。

另外，有时也发生拍摄时因未聚焦(out of focus：焦点偏离)而导致 的图像的模糊(blur：模糊)或因手抖动(camera shake：相机抖动)等 的导致的图像的模糊。这样，由于在摄像装置固有的特性引起的噪声的基 础上加入拍摄时人为的操作引起的的模糊，使用数字照相机所拍摄的图像 更加劣化。

另外，在下面，在这些“模糊”中，将正在拍摄(曝光)的照相机的运动 导致的图像模糊(手抖动)称为“晃动(motion blur)”，以区别于与未聚焦 导致的模糊(out of focus blur)。

近年来，特别需要高灵敏度拍摄增多，从而要求将因模糊所致的劣化 的图像(以下称为“劣化图像”)恢复为与原来的图像(以下称“理想图像”) 尽可能接近的图像。作为用于实现高灵敏度拍摄所要求的、明亮且没有噪 声及模糊的图像的方法，大致分为提高灵敏度这样的方法和延长曝光时间 这样的方法。

一般情况下，如果提高灵敏度，则噪声也被放大。因此，在提高灵敏 度的方法中，往往信号被噪声淹没，成为噪声占大半的图像。

另一方面，如果延长曝光时间，能得到大量积蓄从被摄物入射的光、 且噪声的少的图像。因此，信号不会被噪声淹没。但是，在延长曝光时间 的方法中，存在因在曝光时间中的手振动而使图像产生晃动这样的问题。

因此，以往提出两个方法作为在延长曝光时间的情况下的问题的对应 方法。一个方法是作为使透镜移动的方式的光学式手振动校正(例如，参 照专利文献1)。另一个方法，是作为从所得的图像求出晃动的方向及大小， 基于求得的晃动的方向及大小，通过信号处理来恢复图像这样的方法(通 过信号处理的恢复方法)(例如，参照专利文献2～4，非专利文献1～7)。

为了在暗的环境下确保充分的光量而延长曝光时间时，容易发生大的 手振动。因为在这样的暗的环境下，为了通过光学式手抖动校正来对应晃 动，需要加大透镜的活动范围。可是，在活动范围变大的情况下，在透镜 的移动时存在产生时间延迟这样的问题。还有，加大活动范围存在物理的 极限。

因手抖动产生的从理想图像向劣化图像的图像劣化的现象，能够如下 地模型化。表示在劣化图像上的各像素的辉度的函数是通过表示理想图像 的各像素的辉度的函数和表示图像的晃动的点扩展函数(PSF：Point  Spread Function)的卷积(convolution)而得到的。反过来，为了将得 到的劣化图像向理想图像恢复，只要将劣化图像和PSF进行反卷积 (deconvolution)即可。卷积运算在频域相当于乘法运算。为此，通过在 频域对劣化图像利用PSF进行除法运算，能得到恢复图像。

像这样已知PSF的情况下，如果忽视噪声的影响，通过上述的反卷积 运算能够比较容易地得到恢复图像。另一方面，在PSF未知的情况，为了 得到恢复图像需要从劣化图像估计PSF。

关于PSF的估计，例如公知非专利文献1所公开的稀疏编码(Sparse  Coding)的方法等。在该方法中，首先根据由手动输入的初始PSF和劣化 图像得到第一恢复结果。继续用第一恢复结果和劣化图像估计认为更接近 真正的PSF的PSF，以所估计的PSF修正初始PSF。用被修正的PSF 从劣化图像得到第二恢复结果。以后，从第(N-1)的PSF和劣化图像得第 N的恢复图像，从第N的恢复图像和劣化图像估计第N的PSF，通过反 复进行这样的操作，从而能够同时进行PSF的估计和劣化图像的恢复。

可是，在该方法中存在如下问题：在被恢复的图像中产生振铃等的噪 声。所谓“振铃(ringing)”，是在图像中辉度等一样的部分(平坦部分) 发生的噪声。如果产生振铃，平坦部分变得看上去不平坦。

图1A是表示辉度阶段状地变化的图像(边缘付近的理想图像)的图。 另外，图1B是概要地示出理想图像的辉度分布的图表。图2A是表示通过 由相机拍摄图1A的图像而得到的、边缘附近的劣化图像(模糊图像： blurred image)的图。另外，图2B是概要地示出劣化图像的辉度分布的 图表。

在这里，在照相机拍摄时，假设在水平横方向上产生了手抖动。图2A 的劣化图像因为手抖动所致的模糊(晃动)产生，所以失去了边缘的清晰度。

图3A是表示将图2A的劣化图像通过信号处理恢复的恢复图像的图。 另外，图3B是概要地示出图表恢复图像的辉度分布的图表。在图3A的恢 复图像中存在辉度周期地变化的部分。像这样的辉度变化是被称为“振铃” 的噪声。振铃是因为在频域中存在PSF的振幅值为0或成为无限地接近0 的值的频率(以下称为“零点”)而产生的。

专利文献3、4、和非专利文献6、7公开有解决这样的振铃的问题的 技术。根据这些的技术，在曝光状态之间不是持续地开放快门，而是按照 某个被决定了的时间模式(编码模式)来遮住光，从而能在频域上减少PSF 的振幅值成为0的频率。因此，能够防止振铃噪声的发生。被专利文献3、 4、和非专利文献6、7所公开的方法被称作为“编码曝光摄影(Coded  Exposure Photography)”。

先行技术文献

专利文献

专利文献1：日本专利特开2001-197357号公报

专利文献2：日本专利特开2006-129236号公报

专利文献3：日本专利特表2009-522825号公报

专利文献4：日本专利特开2008-310797号公报

非专利文献

非专利文献1：“High quality Motion Deblurring from a Single  Image”，Qi Shan，Jiaya Jia，and Aseem Agarwala，SIGGRAPH 2008

非专利文献2：米司·田中·奥富共著，「直線的手ぶれ画像復元のた めのpsfパラメ一タ推定手法」，情報処理学会研究報告，第2005巻， 第38号，p.47-52，2005年(米司、田中、奥富共著，“用于 直线的手抖动图像恢复的psf参数推定方法”，信息处理协会研究报告，第 2005卷，第38号，第47-52页，2005年)

非专利文献3：J.Bioucas-Dias，“Bayesian wavelet-based image  deconvolution：a gem algorithm exploiting a class of heavy-tailed  priors”，IEEE Trans.Image Proc.，vol.4，pp.937-951，April 2006

非专利文献4：Levin，“Blind Motion Deblurring Using Image  Statistics”，Advances in Neural Information Processing Systems  (NIPS)，Dec 2006

非专利文献5：Bob Fergus et al.，“Removing camera shake from a  single image”，Barun Singh Aaron Hertzmann，SIGGRAPH 2006

非专利文献6：“Coded Exposure Photography：Motion Deblurring  using Fluttered Shutter”，Ramesh Raskar，Amit Agrawal，Fack  Tumblin，SIGGRAPH 2006

非专利文献7：“Coded Exposure Deblurring：Optimized Codes for  PSF Estimation and Invertibility”，Amit Agrawal，Yi Xu， MITSUBISHI ELECTRIC RESEARCH LABORATORIES，http： //www.merl.com

发明概要

发明要解决的问题

这样，根据专利文献3、4、或非专利文献6所公开的方法，通过进行 曝光编码，能抑制恢复图像的振铃的发生。

可是，在该方法中，因为通过在拍摄时遮住光来进行编码，所以需要 在拍摄前预先决定编码模式。具体地说，使用手抖动产生的确定的图像来 预先决定编码模式，且在其他的场面也适用该编码模式。因此，根据拍摄 场面，即使适用预先决定的编码模式，也存在不能回避在PSF零点的发生 而在恢复图像产生振铃的可能性。总之，这些的方法不能可靠地抑制振铃 的发生。

另外，在被非专利文献7所公开的方法中，将编码方式作为两值的二 进制模式来进行表现，并从多个的二进制模式中搜索最适合图像恢复的二 进制模式。然而，因为搜索的模式的数量较多，所以实际上对所有PSF算 出最适合的编码模式是不现实。

具体地说，在非专利文献7的方法中，为了决定最适合图像恢复的编 码模式，一边改变编码模式一边进行恢复，测量恢复的图像的噪声量，并 进行是否在进行最适合的恢复的判断。

因此，在非专利文献7方法中，为了搜索最适合的编码模式，需要重 复多次拍摄和恢复处理。因此，用于搜索编码模式的处理量增大，而存在 耗电也增大这样的课题。并且，因为成为搜索对象的编码模式的模式数量 较多，所以在非专利文献7中不是在所有的模式中搜索，而是在一部分的 模式的范围内搜索最适合东西。因此，在性能方面存在未必是能搜索最合 适的编码模式的问题。

发明内容

因此，本发明解决了上述以往的课题，其目的是提供抑制处理负荷的 增大并且能够可靠地抑制振铃的发生的图像恢复装置及图像恢复方法。

用于解决问题的手段

为了达到上述目的，本发明的一个实施方式涉及的图像恢复装置，是 降低对连续拍摄的多个输入图像的进行合成而得到的图像所产生的晃动的 图像恢复装置，具有：点扩散函数取得部，取得表示经由所述多个输入图 像产生的晃动的第一点扩散函数(Point Spread Function：点扩散函数)； 点扩散函数变换部，对上述第一点扩散函数进行处理以避免在频域的各频 率的振幅值小于阈值，从而生成第二点扩散函数；图像变换部，使用所述 第二点扩散函数中的与各输入图像对应的部分对所述多个输入图像分别进 行变换，从而生成多个变换图像；以及，图像恢复部，对将所述多个变换 图像进行合成而得到的劣化图像实施使用了所述第二点扩散函数的恢复处 理，从而生成恢复图像。

根据本结构，通过对经由多个的输入图像产生的表示晃动的第一点扩 散函数进行处理，从而在频域生成各频率的振幅值是阈值以上的第2点扩 散函数。并且，使用第2点扩散函数的各部分来转换各输入图像。这样被 转换的多个的输入图像被合成的图像，相当于以在点扩散函数不产生零点 的方式被编码时能得的劣化图像(以下，称为“被编码的劣化图像”)。即， 根据本结构，能够与经由多个的输入图像所产生的晃动相适应地生成劣化 图像，该劣化图像以在PSF不产生零点的方式被编码。因此，因为不需要 预先决定编码模式所以能够可靠地抑制振铃的发生。并且，为了生成以在 PSF不产生零点的方式被编码的劣化图像，不需要反复进行恢复处理。因 此，也能抑制处理负荷的增大。

所述点扩散函数变换部优选进行如下操作：确定在频域的所述第一点 扩散函数的振幅值小于所述阈值的频率，并在确定了的所述频率将振幅值 变更为所述阈值以上的规定值，由此对所述第一点扩散函数进行处理。

根据本结构，通过在第一点扩散函数的振幅值成为小于阈值的频率变 更振幅值，生成第2点扩散函数。因此，能够根据经由多个的输入图像所 发生的晃动生成适应的被编码的劣化图像。即，能够进一步生成更晃动少 的恢复图像。

另外，变更第一频率的振幅值时所使用的所述规定值，优选比变更作 为比所述第一频率高的频率的第2频率的振幅值时所使用的所述规定值 大。

根据本结构，因为在振幅值被变更的频率，可将低频的振幅值比高频 的振幅值较大地设置，所以能够有效地降低作为在低频区域产生的噪声的 振铃噪声。

另外，所述规定值优选为以所述输入图像产生的噪声越大则变得越小 的方式而决定的值。

根据本结构，通过变更振幅值能够抑制在恢复图像噪声放大这样的弊 病。

另外，确定第一频率的时所使用的所述阈值优选为比确定作为比所述 第一频率高的频率的第2频率时所使用的阈值大。

根据本结构，因为在低频区域为能效率的排除成为振铃噪声的原因的 小振幅值，所以能够有效地减少作为在低频区域产生的噪声的振铃噪声。

另外，所述阈值优选是以所述输入图像产生的噪声越大则变得越小的 方式所决定的值。

根据本结构，通过变更振幅值能抑制在恢复图像噪声被放大这样的弊 病。

另外，所述图像变换部基于所述第2点扩散函数表示的晃动被检测到 的时间和所述各输入图像被拍摄了的时间，决定所述第2点扩散函数中的 与各输入图像在时间上对应的部分，并使用决定了的部分对所述多个的输 入图像分别进行变换。

根据本结构，可以更适当地决定与各输入图像对应的第2点扩散函数 的部分。

另外，所述点扩散函数变换部优选在频域确定作为上述第一点扩散函 数的振幅值未满所述阈值的频率，生成确定的所述频率的振幅值为所述阈 值以上的补偿点扩散函数，将所述补偿点扩散函数与所述第一点扩散函数 进行加法运算，从而生成所述第2点扩散函数。

根据本结构，通过对补偿点扩散函数进行加法运算，可以生成第2点 扩散函数。

本发明不仅能够实现具有这样的特征的处理部的图像恢复装置，也能 够实现将图像恢复装置中包含的特征的处理部作为步骤的图像恢复方法。 另外，也能够作为使计算机执行的图像恢复方法所包含的特征的各步骤的 计算机程序来实现。并且，当然可以通过CD-ROM(Compact Disc Read  Only Memory)等的计算机可读取的记录介质或者因特网等的通信网络使 那样的计算机程序流通。

还有，本发明也能实现为集成电路，该集成电路具有图像恢复装置具 有的特征的处理部。

发明效果

根据本发明，使用连续被拍摄的多个的输入图像，与经由多个输入图 像所产生的晃动相适应地生成以在点扩散函数不产生零点的方式而被编码 的劣化图像。从而，能够抑制处理负荷的增大，同时能够可靠地抑制振铃 的产生。

附图说明

图1A是表示边缘附近的理想图像的图。

图1B是概要地示出理想图像的辉度分布的图表。

图2A是示出边缘附近的劣化图像的图。

图2B是概要地示出劣化图像的辉度分布的图表。

图3A是示出通过信号处理对劣化图像进行了恢复的恢复图像的图。

图3B是概要地示出恢复图像的辉度分布的图表。

图4是曝光编码的说明图。

图5是在空间域的PSF的模式图。

图6是被转换为频域的PSF的模式图。

图7是表示本发明的实施方式所涉及的摄像装置的功能结构的框图。

图8是表示本发明的实施方式所涉及的信号处理部的功能结构的框图。

图9是表示在本发明的实施方式所涉及的信号处理部的劣化图像的恢 复处理的流程的流程图。

图10是表示在本发明的实施方式所涉及的PSF变换部的PSF变换处 理的流程的流程图。

图11是表示在本发明的实施方式所涉及的图像变换部的图像变换处理 的流程的流程图。

图12是表示理想图像的一个例子的图。

图13是表示理想图像的频率特性的一个例子的图。

图14是表示第一PSF的一个例子的图。

图15是表示第一PSF的频率特性的一个例子的图。

图16是表示劣化图像的一个例子的图。

图17是表示劣化图像的频率特性的一个例子的图。

图18是表示根据以往的图像恢复方法能得的恢复图像的一个例子的 图。

图19是表示第二PSF的一个例子的图。

图20是表示第二PSF的频率特性的一个例子的图。

图21是表示根据本发明的实施方式所涉及的图像恢复方法得到的恢复 图像的一个例子的图。

图22是表示本发明的一实施方式所涉及的图像恢复装置的功能结构的 框图。

具体实施方式

关于本发明的实施方式在说明细节之前，首先对在本实施方式的图像 恢复方法的基本的原理进行说明。

在本说明书中，由m(x，y)表示在摄像面形成的图像的辉度分布。坐标 (x，y)是表示摄像面的像素(光感知单元)的位置的二元坐标。在图像例如 由行列状排列的M×N个的像素构成的情况下，如果x和y是分别满足0 ≤x≤M-1、0≤y≤N-1关系的整数时，由坐标(x，y)能确定构成图像的 各个的像素的位置。将在这个图像上的坐标(x，y)的辉度适宜地称为“像素 值”。

坐标的原点(0，0)被设定在图像左上角。另外，X轴被设定为水平方向 延伸的轴，y轴被设定为垂直方向延伸的轴。但是，坐标不一定需要这样 被设定，任意地设定都可以。

在这里，将没有模糊(blur)的图像(理想图像或原图像)的辉度分布表 示为s(x，y)。还有，将规定模糊的PSF表示为f(x，y)。这种情况下，如果 忽略噪声的影响，则以下的(式1)成立。

式1：

m(x，y)＝s(x，y)*f(x，y)    (式1)

是这里，符号“＊”表示卷积运算(convolution)。(式1)右边，通常情 况下由以下的(式2)来表示。

式2：

$s(x,y)*f(x,y)=\underset{-\infty }{\overset{\infty }{\int }}\underset{-\infty }{\overset{\infty }{\int }}s(i,j)f(x-i,y-j)\mathrm{didj}$(式2)

图像为由M×N个的像素构成的情况下，上述的(式2)，能够由以下的(式 3)表示。

式3：

$s(x,y)*f(x,y)=\frac{1}{M\times N}\underset{i=0}{\overset{M-1}{\Sigma }}\underset{j=0}{\overset{N-1}{\Sigma }}s(i,j)f(x-i,y-j)$(式3)

在表示模糊的特征的点扩展函数f(x，y)为已知的情况下，对由照相机拍 摄得到的图像m(x，y)进行反卷积运算(deconvolution)的，从而能够复原 没有模糊的图像s(x，y)。另外，在点扩展函数f(x，y)不是已知的情况下，需 要根据图像m(x，y)推定f(x，y)之后来求出没有模糊的图像s(x，y)。

一般来说，2个函数的卷积由各函数的傅立叶变换的积来表示。因此， 将m(x，y)、s(x，y)、f(x，y)的傅立叶变换分别表示为M(u，v)、S(u，v)、F(u，v) 时，根据(式1)可以推到出以下的(式4)。另外，(u，v)是在频域的坐标，分 别与图像的x方向及y方向的空间频率对应。

式4：

M(u，v)＝S(u，v)·F(u，v)    (式4)

在这里，符号“·”，表示着在频域的函数的“积”。变形(式4)时，能 得到以下的(式5)。

式5：

$S(u,v)=\frac{M(u,v)}{F(u,v)}$(式5)

该(式5)表示以下内容：将由照相机拍摄得到的图像m(x，y)的傅里叶变 换M(u，v)除以点扩展函数f(x，y)的傅立叶变换F(u，v)得到的函数，与理想 图像s(x，y)的傅立叶变换S(u，v)相当。即，如果求出M(u，v)以及F(u，v)， 则能决定S(u，v)。因为M(u，v)是将照相机拍摄被得的图像(劣化图像)进行 傅立叶变换的，所以如果能够求出手抖动的点扩展函数f(x，y)的傅立叶变换 F(u，v)，则可通过信号处理从劣化图像恢复图像(接近真正的图像)。

手抖动的点扩展函数f(x，y)依赖于在拍摄(曝光)中的手抖动的轨迹。换 言之，手抖动的轨迹因按照每次照相机拍摄不同，所以f(x，y)也按照每次照 相机拍摄变化。f(x，y)能够根据照相机拍摄得到的1张或多张图像进行估计， 但也可以根据传感器的检测来估计在拍摄(曝光)中的照相机的运动(手抖动 轨迹)。可是，f(x，y)只不过是通过估计或测量得到的，所以包含某些误差。 因此，难于完全恢复理想图像s(x，y)。

非专利文献2公开有以下内容：通过将在短的曝光时间中的手抖动的 轨迹假设为“匀速直接线运动”，从而利用sinc函数来近似该点扩展函数的 傅立叶变换。在将手抖动的幅度设为W、手抖动的方向设为X轴方向时， 作为(式5)的分母的F(u，v)，由以下的(式6)来表现。

式6：

$F(u,v)=\frac{\sin \left(\mathrm{W\pi u}\right)}{\mathrm{W\pi u}}$(式6)

(式6)右边是sinc(ジンク)函数，该振幅按照每个一定周期成为0。该 周期是手抖动的宽度W的倒数(1/W)。另外，手抖动的方向对X轴如果朝 向θ的角度的情况下，F(u，v)成为将(式6)的函数转动角度θ的函数。但 是，现实的手抖动因为描绘复杂的轨迹，所以也有“匀速直接线运动”的 假设不充分地成立的情况。

在此，可以认为(式5)的分母F(u，v)周期地成为零为图像的平坦部的振 铃是主要的产生原因。在那里，在专利文献3、4、以及非专利文献6、7 中公开有以下方法：拍摄时候，通过曝光时间中将快门按照编码模式进行 开关，从而减少F(u，v)成为零的点。为了避免此时在被转换为频域的PSF 的F(u，v)产生零点，必须决定快门的编码模式。

在此，在非专利文献6、7中，对于预先已知的PSF，一边将编码模式 进行各种各样地变化一边进行图像的恢复，由此对特定的PSF搜索着最适 合的编码模式。在该方法中，对特定的PSF求出的编码模式，能够利用在 各种各样的场面的拍摄。因此，与决定了编码模式的PSF不同的PSF被 转换到频域的F(u，v)，存在零点产生的可能性。还有，为了探索编码模式， 因为需要按照每个编码模式进行拍摄及恢复处理，所以对于编码模式的探 索所需要的计算量变得较多。

因此，在以下说明的本发明的实施方式中，摄像装置在曝光时间中接 连地拍摄多个的图像。并且，摄像装置取得表示接连摄影的多个的图像晃 动的第一PSF。并且，摄像装置通过分析被转换为频域的第一PSF的振幅 值，从而能将第一PSF转换为在频域不存在零点的第二PSF。摄像装置使 用这样得到的第二PSF对各图像实施变换处理，并对变换处理后的图像进 行合成，从而能得以适应晃动的编码模式进行编码的劣化图像。并且，摄 像装置对这样得到的劣化图像，进行使用第二PSF的恢复处理。这样，本 发明的实施方式所涉及的摄像装置，与经由多个的输入图像所发生的晃动 相适应地生成在PSF未产生零点这样的被编码的劣化图像。从而，能够抑 制处理负荷的增大，同时能够可靠地抑制振铃的产生。

另外，在本说明书中所说的“曝光时间”，表示从由连拍的拍摄的开始 到结束的时间。另外，将连续地被拍摄的多个图像适宜地记载为连拍图像。

下面对本发明的实施方式，一边参照图面一边进行详细地说明。

首先，使用图4对关于在本实施方式的编码的概念进行说明。所谓编 码是利用特定的模式(编码模式)转换图像的曝光信息的处理，被称作曝 光编码。所谓曝光编码是通过在曝光时间中产生使光通过的状态和不使光 通过的状态这样的两个状态，将入射的光转换为时间上不连续的光信号。 此时，将由通过光的状态和不通过光的状态所形成的模式称为编码模式。

例如，考虑手抖动在横向上匀速产生的情况。在曝光时间是T、构成 编码模式的区间作为9个的情况下，各区间的时间成为T/9。此时，以符 号“1”表示通过光的区间，以符号“0”表示不通过光的区间。即，符号“1” 表示在摄像元件光入射的ON状态。另外，符号“0”表示光被遮住因此在 摄像元件光不入射的OFF状态。

在此，编码不被进行的情况，如图4的(a)所示，曝光时间中的各区间 的符号全部是“1”(ON状态)，编码模式成为{111111111}。此时，摄像元 件在全部的曝光时间T中接受光。

另一方面，在进行编码的情况下，曝光时间中的各区间的编码，在“1” 和“0”之间转换。此时，摄像元件仅在曝光时间T中编码“1”的区间接受光。 例如，编码模式为{101101110}的情况下，如图4的(b)所示，在曝光时 间中对ON状态和OFF状态进行转换。

在这样的曝光时间中，考虑利用连拍图像对在摄像元件中对使光通过 的状态和不使光通过的状态的编码的情况。编码模式设为与图4的(b)的例 子一样的{101101110}。这个情况，如图4的(c)所示，在一次的曝光时间 连拍时9张图像时，拍摄的9张图像中的第二张、第5张、以及第9张的 图像(有影线的图像)的像素值全部转换为0之后，对9张图像进行加法 运算。即，在连续拍摄的多个的图像中，仅对与符号“1”的区间对应的图 像进行加法运算。像这样得到的图像与如图4的(b)所示通过在曝光时间中 遮住光而得到的图像本质相同。即，通过变更连续拍摄的多个的图像的组 合，从而能在拍摄后变更编码模式。

其次，使用图5以及图6来对编码给PSF带来的影响进行说明。

图5是在空间域的PSF的模式图。具体地说，图5的(a)是表示在未 进行编码的情况下的空间域的PSF的一个例子的图。另外，图5的(b)是表 示在进行编码的情况下的空间域的PSF的一个例子的图。另外，图5图示 出在为X轴方向切断了的一断面的PSF。

在晃动的方向作为X轴方向的情况下，通过进行编码，PSF被进行如 从图5的(a)至图5的(b)的转换。

图6是被转换到频域的PSF的模式图。具体地说，图6的(a)是表示 将图5的(a)的PSF从空间域变换为频域时的振幅特性的模式图。同样地， 图6的(b)是表示将图5的(b)的PSF从空间域转换到频域时的振幅特性的 模式图。另外，图6对在u轴方向上切断的一断面图示出PSF。

如图6的(a)所示，在将图5的(a)的PSF(矩形波)转换为频域的情况 下，PSF为sinc函数。因此，周期地存在振幅值成为0的点(零点)。

另一方面，如图6的(b)所示，在将由图5的(b)的编码而得到的PSF 转换为频域的情况下，PSF与sinc函数不同，不存在振幅值成为0的点。 像这样，通过编码，能得到在各频率振幅值不为0的PSF。通过使用这样 得到的PSF进行恢复处理，从而能得没有振铃噪声的恢复图像。

如上所述，通过对曝光进行编码，能得到在频域振幅值不为0的这样 的PSF。在本实施方式中，在拍摄时不是通过遮住光来执行曝光编码，而 是使被连续拍摄的多个输入图像的每一个的像素值变化，并通过对使变化 后的多个的输入图像合成来进行曝光编码。具体地说，通过将各输入图像 设为L倍(L为0～1实数)从而进行编码。像这样，在本实施方式中，因 为不需要在拍摄中进行遮住曝光的拍摄，所以在拍摄结束后能选择各种各 样的编码模式。

其次，对于本实施方式所涉及的摄像装置的功能结构进行说明。图7 是表示本发明的实施方式所涉及的摄像装置100功能结构的框图。在本实 施方式的摄像装置100中是数字式的电子照相机。但是，摄像装置100不 需要必须是数字式的电子照相机。

摄像装置100如图7所例示，具有：摄像部300；信号处理部200， 进行各种信号处理及图像的恢复处理；显示部600，显示图像；记录部500， 记录图像数据；以及系统控制部400，对各部进行控制。

摄像部300接连拍摄多个的图像。具体地说，摄像部300具有：摄像 元件(映像传感器)310，具有被排列在摄像面多个的感光单元(光电二极 管)；快门325，具有隔板功能；以及拍摄镜头320，用于在摄像元件310 摄像面上形成像。另外，摄像部300具有内部存储器350，该内部存储器 350在图像被连续地拍摄时(连拍)临时存储连续的图像数据。

摄像元件310为有代表性的CCD传感器或CMOS传感器。

拍摄透镜320具有公知的结构，一般情况下，是由多个的透镜构成的 透镜单元。快门325及拍摄透镜320由未图示的驱动机构驱动，可执行在 光学变焦、自动曝光(AE：Auto Exposure)、或自动聚焦(AF：Auto Focus) 所需的动作。

摄像部300还具有摄像元件驱动部330，该摄像元件驱动部330驱动 摄像元件310。摄像元件驱动部330例如由CCD驱动器等的半导体集成 电路构成。摄像元件驱动部330通过驱动各自摄像元件310，从而从摄像 元件310分别读出模拟信号(光电变换信号)并转换为数字信号。

摄像部300还具有手抖动检测部345，该手抖动检测部345检测拍摄 时的手抖动。手抖动检测部345例如是公知的陀螺仪或加速度传感器等。 手抖动检测部345检测在曝光时间中的摄像装置100的动作，并生成表示 手抖动的轨迹的信息(手抖动信息)。所生成的手抖动信息被输入到信号处 理部200，用于取得在图像恢复处理中使用的第一PSF的处理。

信号处理部200执行劣化图像的恢复处理。即，信号处理部200使在 对连续摄影的多个的输入图像进行合成而得到的图像产生的晃动减少。

另外，信号处理部200也可以进行色调补正、分辨率变更、或数据压 缩等的各种信号处理。再者，使用图8对信号处理部200的劣化图像的恢 复处理在后面进行详细说明。

信号处理部200通过公知的数字信号处理处理器(DSP：Digital  Signal Processor)等的硬件和用于执行图像处理的软件的组合来进行适宜 地实现。

存储器240由DRAM(Dynamic Random Access Memory：动态随 机存取存储器)等构成。该存储器240记录有从摄像部300得到的图像数 据，并且临时记录有由信号处理部200接收到的各种的图像处理的图像数 据、以及被压缩的图像数据。图像数据被转换为模拟信号之后由显示部600 表示，或数字信号被原样记录到记录部500。图像数据也可以通过未图示 的通信装置以无线或有线的方式被发送到其他的装置(未图示)。

系统控制部400对上述的摄像部300、信号处理部200、存储器240、 记录部500、以及显示部600进行控制。系统控制部400具有未图示的中 央运算处理单元(CPU：Central Processing Unit)及闪存。

再者，本实施方式的摄像装置具备光学取景器、电源(电池)、闪光等的 公知的结构元件，但因这些的说明对理解本发明不是特别地需要，所以省 略。

下面，一边参照图8一边更详细地说明本实施方式的信号处理部200 结构。

图8是表示本发明的实施方式涉及的信号处理部200功能结构的框图。 信号处理部200具有图像输入部1100、PSF取得部1200、PSF变换部 1300、图像变换部1400、图像恢复部1500、以及图像输出部1600。

图像输入部1100取得由摄像部300接连拍摄的多个输入图像。

PSF取得部1200基于陀螺仪传感器和加速度传感器等的传感器信息， 取得表示经由图像输入部1100取得的多个的输入图像产生的晃动的第一 PSF。具体地说，PSF取得部1200例如使用在拍摄多个的输入图像时由 手抖动检测部345检测出的手抖动信息来计算第一PSF。

PSF变换部1300将从从PSF取得部1200取得的第一PSF转换为第 二PSF。具体地说，PSF变换部1300以避免在频域各频率的振幅值不足 阈值的方式通过处理第一PSF从而生成第二PSF。即，PSF变换部1300 基于第一PSF生成在频域各频率的振幅值为阈值以上的第二PSF。

图像变换部1400基于第二PSF，分别对图像输入部1100取得的多个 的输入图像进行变换。具体地说，图像变换部1400通过使用与第二PSF 中的各输入图像对应的部分，对多个输入图像分别进行变换，从而生成多 个变换图像。

图像恢复部1500通过对将多个变换图像合成的劣化图像(被编码的劣 化图像)实施使用了第二PSF的恢复处理，来生成恢复图像。再者，多个 变换图像被合成的图像，按照每个构成各变换图像的像素的像素位置，通 过对像素值进行加法运算从而得到将多个变换图像进行合成的图像。

图像输出部1600输出被生成的恢复图像。图像输出部1600将恢复图 像例如输出到记录部500以及显示部600的至少一个。

另外，图8示出的信号处理部200结构是一个例子，信号处理部200 能够被分割为其他的功能块。信号处理部200例如可以通过将图像处理的 软件编入向公知的硬件来适宜地被实现。

其次，对如上所述构成的信号处理部200的各种处理说明。

图9是表示本发明的实施方式所涉及的信号处理部200的劣化图像的 恢复处理的流程的流程图。另外，图10是表示本发明的实施方式所涉及的 PSF变换部1300的PSF变换处理的流程的流程图。另外，图11是表示 本发明的实施方式所涉及的图像变换部1400的图像变换处理的流程的流 程图。

首先，图像输入部1100取得在摄像部300进行连拍后被存储在摄像部 300内部存储器350的多张(n张：n为2以上的整数)的输入图像mi(x，y) (i为1～n的整数)(S101)。

接着，PSF取得部1200取得在拍摄多个输入图像时由手抖动检测部 345检测出的手抖动信息。进而，PSF取得部1200通过对取得的多个输 入图像的像素值按照每个像素位置进行加法运算从而生成劣化图像。并且， PSF取得部1200基于手抖动信息和劣化图像，取得表示经由多个的输入 图像产生的晃动的第一PSF(f1(x，y))(S102)。

另外，PSF取得部1200不一定非要基于手抖动信息和劣化图像的两 者来取得第一PSF。例如，PSF取得部1200也可以基于手抖动信息和劣 化图像中的手抖动信息，取得第一PSF。但是，通过使用由劣化图像的信 号处理算出的PSF取得第一PSF，从而PSF取得部1200能取得表示被 摄物晃动和与手抖动的两者的晃动的第一PSF。

其次，PSF变换部1300通过以避免在频域各频率的振幅值不足阈值 的方式对第一PSF进行处理，从而生成第二PSF(S103)。具体地说，在 PSF变换部1300中进行如图10所示的处理。

PSF变换部1300首先通过将PSF取得部1200取得的第一PSF从空 间域转换为频域，从而算出每频率的振幅值(S201)。在此，将空间域的第 一PSF表示为f1(x，y)，将频域的第一PSF表示为F1(u，v)。

其次，PSF变换部1300在频域确定第一PSF的振幅值小于阈值fth (|F1(u，v)|＜fth)的频率(u ′v ′)(S202)。

其次，PSF变换部1300在确定的频率(u′，v′)通过变更振幅值为阈值 fth以上的规定值来生成第二PSF(S203)。在此所生成的第二PSF是频域 上的第二PSF，表示为F2(u，v)。

最后，PSF变换部1300将F2(u，v)从频域反变换为空间域(S204)。在 这里，将转换为空间域的第二PSF表示f2(x，y)。像这样得到的第二PSF， 在频域不存在零点。因此，通过使用第二PSF的恢复处理得到的恢复图像 不产生振铃噪声。

返回到图9流程图的说明。

图像变换部1400通过用与第二PSF中的各输入图像对应的部分，将 多个输入图像分别进行变换，从而生成变换图像(S104)。具体地说，在图 像变换部1400中进行如图11所示的处理。

图像变换部1400首先基于检测出的第二PSF示出的晃动的时间和被 拍摄的各输入图像的时间，决定第二PSF中的各输入图像时间上对应的部 分(S301)。具体地说，图像变换部1400例如将构成第二PSF的多个的像 素中的与输入图像时间上对应的晃动的像素(例如一个像素)决定为与输 入图像对应的部分。

接着，图像变换部1400使用与各输入图像对应的部分对多个的输入图 像分别进行变换(S302)。具体地说，图像变换部1400按照以下的(式7)将 输入图像m_i(x，y)转换为图像m_i’(x，y)。例如，图像变换部1400如(式7)所 示，根据输入图像和该输入图像对应的第二PSF的部分的卷积分别生成变 换图像。另外，在(式7)中，f2_i(x，y)示出与输入图像m_i(x，y)对应的第二PSF 的部分。

式7：

m_i′(x，y)＝f2_i(x，y)*m_i(x，y)    (式7)

其次，图像恢复部1500对劣化图像s′(x，y)通过实施使用了第二PSF 的恢复处理从而生成恢复图像(S105)。在此，劣化图像s′(x，y)是仅将变换 图像mi ′(x，y)合成后图像，可由以下的(式8)求出。

式8：

$s^{\prime }(x,y)=\underset{i=1}{\overset{n}{\Sigma }}{m_i}^{\prime }(x,y)$(式8)

该劣化图像s′(x，y)相当于以在PSF不产生零点的方式来进行编码的劣 化图像。

另外，图像恢复部1500实行的恢复处理的算法没有特别地限定，也可 以是公知的图像恢复处理的某一个。图像恢复部1500例如能够使用公知的 Richardson-Lucy(LR)法和维纳滤波(Wiener filter)法等来执行恢复处 理。另外，图像恢复部1500也可以使用非专利文献1所公开的轮廓编码 法来执行恢复处理。还有，图像恢复部1500最单纯的情况下也可以根据以 下的(式9)生成恢复图像r(x，y)。

式9：

$R(u,v)=\frac{S^{\prime }(u,v)}{F2(u,v)}$(式9)

另外，在(式9)中，R(u，v)以及S′(u，v)表示被转换到频域的恢复图像及 被编码的劣化图像。即，通过将由(式9)算出的R(u，v)反变换到空间域，从 而得到恢复图像r(x，y)。

其次，图像输出部1600输出如上所述得到的恢复图像(S106)并结束处 理。由此，恢复图像例如被记录到记录部500，或由显示部600显示。

其次，为了补充本发明的实施方式所涉及的信号处理部200的处理的 说明，对于恢复处理的仿真结果进行说明。另外，为了说明的方便，下面 使用仅示出在X轴方向或者u轴方向的一个断面的图来进行说明。

图12是表示理想图像的一个例子的图。另外，图13是表示理想图像 的频率特性的一个例子的图。另外，图14是表示第一PSF的一个例子的 图。另外，图15是表示第一PSF的频率特性的一个例子的图。另外，图 16是表示劣化图像的一个例子的图。图17是表示劣化图像的频率特性的 一个例子的图。

在本仿真中将图12示出的信号设定为手抖动不存在的图像信号(理想 图像)。图12横轴表示X轴方向的像素号码，纵轴表示像素值。另外，如 图14所示来设定了第一PSF。在图14中横轴表示X轴方向的像素号码， 纵轴表示PSF强度。

并且，通过使用图14示出的第一PSF，对图12示出的理想图像实施 模糊处理，从而得到在图16所示的劣化图像。图13、图15以及图17是 示出将图12、图14以及图16示出的图像或PSF变换为频域时的频率特 性。在图13、图15以及图17中，横轴表示u轴方向的空间频率，纵轴表 示振幅值。如果看图15所示的第一PSF的频率特性，可知第一PSF在频 域存在振幅值为零的空间频率(零点)。

在此，首先，对以往的图像恢复方法的仿真结果进行说明。最单纯的 图像恢复方法是(式5)所示的方法。因此，在本仿真中，将(式5)的图像恢 复方法作为以往的图像恢复方法进行处理。

图18是表示由以往的图像恢复方法得到的恢复图像的一个例子的图。 图18表示的恢复图像是如下的图像：通过使用图15所示的第一PSF的频 率成分按照每个频率对图17示出的劣化图像的频率成分进行除法运算而 得到的图像。

但是，如图15所示，在频域中包含第一PSF的振幅值成为零的频率。 因此，在以往的图像恢复方法中，振幅值成为零的频率无法进行(式5)所示 的除法运算。因此，在振幅值成为零的频率中，将一定值(在本仿真设为 “10”，但因为是不定值，值根据实现以及系统适宜地自由地设定)作为除 法运算的结果来进行处理。

根据图18所示的恢复图像可知，在以往的图像恢复方法中，在像素值 变化的变化点无法正确恢复图像、而产生振铃噪声。

其次，对于由本发明的实施方式所涉及的图像恢复方法的仿真结果进 行说明。

图19是示出第二PSF的一个例子的图。另外，图20是示出第二PSF 的频率特性的一个例子的图。另外，图21是示出由本发明的实施方式所涉 及的图像恢复方法而得到的恢复图像的一个例子的图。

首先，PSF变换部1300参照图15示出的第一PSF的频率特性探索 振幅值比阈值fth小的频率。在本仿真中将阈值fth设定“0.001”。并且， PSF变换部1300如图20所示，通过将探索的频率的振幅值变更为规定值 pv，从而算出了第二PSF。在这里，将规定值pv设定为“0.5”。

通过将图20示出的第二PSF从频域反变换到空间域，从而能得到图 19示出的第二PSF。

另外，根据图19可知，第二PSF与以往不同也能成为负值。在专利 文献3、专利文献4、非专利文献6、以及非专利文献7所公开的“Coded  Exposure Photograhy”中，通过进行编码能够将以0～1所表示的PSF的 值临时地设置为0。即，示出以下方法：通过将总和为1的PSF部分地设 为0(即通过减少光量)，从而在频域振幅值不成为零。在本实施方式中， 通过将PSF进行实数倍的变化，从而能以表示整体的光量的PSF的总和 为1那样去除振铃。

接着，图像变换部1400使用与图19所示的第二PSF中的各输入图像 对应的部分对多个输入图像的每一个实施变换处理，从而生成多个的变换 图像。这样被生成的多个的变换图像被合成的劣化图像，相当于被编码时 得到的劣化图像。

接着，图像恢复部1500使用对多个变换图像进行合成而得到的劣化图 像和图19所示的第二PSF来进行恢复处理，从而生成恢复图像。图21 示出这样所生成的恢复图像。

如图21所示，根据本实施方式所涉及的图像恢复方法所得到的恢复图 像与图12所示的理想图像相同。据此能够确认，根据本实施方式所涉及的 图像恢复方法能够生成可以没有振铃的恢复图像。

另外，在上述的仿真中，PSF变换部1300在频域的第一PSF的振幅 值成为小于阈值(fth＝0.001)的频率，变更了振幅值为规定值(pv＝0.5)， 但阈值fth及规定值pv不需要一定是这些的值。如果将规定值pv设置较 大，因为确定的频率的振幅值变得大，所以在确定的频率的第二PSF的 PSF强度被放大。举一个极端的例子，仅在一频率的情况下，也存在第二 PSF的PSF强度很大地被放大的情况。像这样的情况下，在多个的输入图 像中，确定的1张输入图像的辉度被放大，其他的输入图像的辉度被减少， 能够生成被编码的劣化图像。对于多个的输入图像的每一个没有晃动，但图 像亮度变暗。因此，如果过度地放大输入图像的辉度，则噪声的增加。因 此，过度地放大规定值pv不是优选的。

另外，如果将阈值fth设置较大，则各像素的第二PSF的绝对值(PSF 强度)变得大。其结果，各输入图像的像素值的放大量增加。因此，阈值 fth过度地设置很大也不是优选的。

根据以上情况，在上述实施方式中，PSF变换部1300优选一边变更 规定值pv和阈值fth，一边探索PSF强度未变得过大的第二PSF。具体 地说，PSF变换部1300优选进行如下操作：临时设定规定值pv和阈值fth， 通过反复确认第二PSF的PSF强度是否设置得过度地大，从而探索第二 PSF的PSF强度未变得过度地大时的规定值pv和阈值fth。即使这样探 索规定值pv和阈值fth，也不需要像以往的非专利文献7一样反复地进行 使用PSF的恢复处理，所以能够抑制计算量的增加。

再者，在上述仿真中，所谓规定值pv和阈值fth是在整个频带为一定 值，也可以不是一定值。

可以认为振铃噪声是为图像的平坦部分(低周波成分)出现的噪声。 在这里，规定值pv和阈值fth优选被设定为频率越小则值变得越大。即， 优选对变更第一频率的振幅值时使用的规定值pv比对作为比第一频率高 的频率的第二频率的振幅值进行变更时使用的规定值pv大。还有，优选在 确定第一频率时使用的阈值fth比确定作为比第一频率高的频率的第二频 率时使用的阈值fth大。由此，能够有效地降低作为在低频部分产生的噪 声的振铃噪声。

总之，信号处理部200使规定值pv根据频率进行变化，从而能够在振 幅值变更的频率使低频率的振幅值比高频数的振幅值大。因此，信号处理 部200能够有效地降低作为在低频区域产生的噪声的振铃噪声。

并且，信号处理部200使阈值fth根据频率变化，从而能够在低频区 域有效地排除成为振铃噪声的原因的小振幅值。因此，信号处理部200能 够有效地降低作为在低频区域产生的噪声的振铃噪声。

另外，也可以考虑输入图像的性质来设定阈值fth和规定值pv。如(式 5)所示，在进行恢复处理的时候的除法运算中，分子是劣化图像的频率成 分，分母是第二PSF的频率成分。在作为分子的劣化图像的频率成分为0 的情况下，除去作为分母的第二PSF的频率成分为0时，除法运算的结果 为0。因此，频域的劣化图像的振幅值成为0的频率，优选阈值fth与规定 值pv被设定为尽可能小的值。由此，能够降低因阈值fth和规定值pv变 得大而产生的、输入图像的辉度被放大所致的噪声增加的影响。

另外，阈值fth和规定值pv也可以根据输入图像的噪声量来决定。即， 阈值fth和规定值pv也可以由输入图像的S/N比来决定。具体地说，阈值 fth和规定值pv优选为以输入图像产生的噪音越大则变得越小的方式来决 定的值。

例如，PSF变换部1300只要在存储器预先存储拍摄场面的亮度对应 的阈值fth和规定值pv的组合，并从存储器读出拍摄输入图像时所测量的 亮度所对应的阈值fth和规定值pv的组合，从而决定阈值fth和规定值pv 即可。一般情况下，拍摄场面的越明亮则噪声变得越小。

另外，PSF变换部1300也可以利用在拍摄条件(例如、ISO灵敏 度)，或者输入图像的S/N比代替拍摄场面的亮度，来决定阈值fth和规定 值pv。

这样，以输入图像产生的噪声越大使阈值fth和规定值pv越小的方式 来决定阈值fth和规定值pv，从而信号处理部200通过变更振幅值，能够 在恢复图像中抑制噪声被放大这样的恶劣影响。

如上所述，本实施方式所涉及的摄像装置100通过对表示经由多个的 输入图像所产生的晃动的第一PSF进行处理，从而在频域生成各频率的振 幅值是阈值以上的第二PSF。并且，摄像装置100使用第二PSF的各部 分，来转换各输入图像。这样对被转换的多个的输入图像进行合成而得到 的图像相当于以在PSF不产生零点的方式来进行编码的劣化图像。即，摄 像装置100能够与经由多个的输入图像所产生的晃动相适用地生成以在 PSF不产生零点的方式被编码的劣化图像。因此，摄像装置100因为不需 要预先决定编码模式所以能够可靠地抑制振铃的发生。并且，摄像装置100 也不需要反复进行为了生成以在PSF不产生零点的方式来进行编码的恢复 处理。因此，摄像装置100也能抑制处理负荷的增大。

还有，本实施方式所涉及的摄像装置100在第一PSF的振幅值小于阈 值的频率变更振幅值从而生成第二PSF。因此，摄像装置100能够根据经 由多个的输入图像所发生的晃动生成适应的被编码的劣化图像。即，摄像 装置100能够进一步生成晃动少的恢复图像。

以上，对本发明的一个实施方式所涉及的摄像装置100基于实施方式 进行了说明，但本发明不限于这些的实施方式。只要不脱离本发明的宗旨， 在本实施方式中实施本领域技术人员想到的各种变形的方式也包含本发明 的范围内中。

例如，在上述实施方式，PSF变换部1300通过将第一PSF的振幅值 变更为规定值来生成第二PSF，但也可以根据其他的方法生成第二PSF。具 体地说，PSF变换部1300例如也可以生成确定的频率的振幅值为阈值以 上的偏移PSF，在频域将偏移PSF和第一PSF进行加法运算，从而生成 第二PSF。偏移PSF例如是如下的函数，仅确定了的频率的振幅值成为阈 值以上的一定值，并且，其他的频率的振幅值成为0。

另外，在上述实施方式中，PSF变换部1300仅在第一PSF的振幅值 小于阈值的频率改变振幅值，但在第一PSF的振幅值成为阈值以上的频率 也可以改变振幅值。例如，PSF变换部1300也可以在第一PSF的振幅值 成为小于阈值的频率的周围，改变振幅值以使振幅值的变化变得光滑。

另外，本发明也可以作为具有信号处理部200所具有的特征的处理部 的图像恢复装置来实现。具体地说，图像恢复装置10例如如图22所示构 成即可。

图22是表示本发明的一个实施方式所涉及的图像恢复装置10的功能 结构的框图。对图22所示的图像恢复装置10具有PSF取得部1200、PSF 变换部1300、图像变换部1400、以及图像恢复部1500。这个图像恢复装 置10与信号处理部200同样，使用连续拍摄的多个输入图像，与经由多 个输入像产生的晃动相适应地生成以在PSF不产生零点方式被编码的劣化 图像。从而，图像处理装置10能够抑制处理负荷的增大，同时能够可靠地 抑制振铃的产生。

还有，对图22表现的图像恢复装置10具有的结构元件的一部分或全 部也可以由1个系统LSI(Large Scale Integration：大规模集成电路) 所构成。例如，图像恢复装置10也可以由具有点扩散函数取得部1200、 点扩散函数变换部1300、图像变换部1400、以及图像恢复部1500的系统 LSI20所构成。

系统LSI20是在1个芯片上集成多个的结构部而被制造的超多功能 LSI，具体地说，是含有微处理器、ROM(Read Only Memory)、以及 RAM(Ramdom Access Memory)等而被构成的计算机系统。所述RAM 存储有计算机程序。通过所述微处理器按照所述电脑程序进行动作，从而 系统LSI实现其功能。

另外，在这里设定为系统LSI，但根据集积度的差异，也被称为IC、LSI、 超级LSI、ultraLSI。另外，集成电路的手法不限于LSI，也可以用专用 电路或广泛使用的处理器来实现。LSI制造后，也可以利用可编程的FPGA (Field Programmable Gate Array：现场可编程门阵列)、或可重构LSI 内部的电路单元的连接和设定的可重构(リコンフイギユラブル)处理器。

进而，如果根据半导体技术的进步或派生的其他技术，替换LSI的集 成电路化的技术出现，当然，也可以使用该技术来进行功能块的集成化。 也有可能应用生物技术等。

另外，本发明不仅可作为具备这样的特征的处理部的图像恢复装置来 实现，也可以将图像恢复装置中包含的特征的处理部作为步骤的图像恢复 方法来实现。另外，也能够作为计算机程序来实现，该程序使计算机执行 图像恢复方法中所包含的特征的各步骤。并且，当然能够通过CD-ROM 等的计算机可读取的记录介质或者因特网等的通信网络使那样的计算机程 序流通。

产业上的可利用性

本发明的一实施方式所涉及的图像恢复装置，即使在拍摄图像时发生 手抖动的情况或在被摄体的活动的情况下，也能够生成晃动少的图像晃动 能生成少的图像，而用于数字相机、影片、或监控摄像头等。

符号的说明

10 图像恢复装置

20 系统LSI

100 摄像装置

200 信号处理部

240 存储器

300 摄像部

310 摄像元件

320 拍摄透镜

325 快门

330 摄像元件驱动部

345 手抖动检测部

350 内部存储器

500 记录部

600 显示部

1100 图像输入部

1200 PSF取得部

1300 PSF变换部

1400 图像变换部

1500 图像恢复部

1600 图像输出部