深度检测设备、摄像设备和深度检测方法

摘要

一种深度检测设备，用于基于与出射光瞳的第一和第二光瞳区域相对应的第一和第二信号来检测与至被摄体的深度有关的深度信息，包括：第一计算单元，用于计算第一和第二信号之间的第一偏移量；信号处理单元，用于通过对第一和第二信号至少之一进行滤波处理来生成校正后的信号，其中滤波处理被执行为将第一和第二信号相对地移位与第一偏移量相对应的移位量；以及第二计算单元，用于计算第一信号和第二信号之间的、或者在滤波处理中第一信号和第二信号其中一个被滤波而另一个未被滤波的第一信号和第二信号之间的第二偏移量。

说明书

技术领域

本发明涉及深度检测设备、摄像设备和深度检测方法。

背景技术

作为可适用于数字照相机的深度检测技术，已知在对摄像器件的一部分或全部像素设置有深度测量功能的情况下通过相位差方法来检测至被摄体的深度的深度检测技术。具有深度测量功能的像素(以下称为“深度测量像素”)包括分别用于接收穿过摄像光学系统的光瞳上的不同区域的光束的多个光电转换单元。通过估计各转换单元所生成的图像信号的偏移量并且使用转换系数将该偏移量转换成散焦量，来测量深度。

深度测量精度降低的原因是各光电转换单元所生成的图像信号的形状的改变。由于光学系统的框等所引起的光束的渐晕以及像素之间的传感器特性的差异，因而如果各光电转换单元所生成的图像信号具有彼此不同的形状，则会导致图像信号的偏移量的估计精度降低，并且深度测量精度同样会降低。专利文献1公开了用于通过对图像信号进行图像信号校正滤波来校正图像的形状的方法，由此提高偏移量的检测精度。

深度测量精度的降低的另一原因是转换系数的变动。转换系数根据散焦量以及摄像器件上的测量深度的位置而变动。如果与深度测量条件无关地使用固定转换系数来将偏移量转换成散焦量，则会产生转换误差。专利文献2公开了用于通过根据散焦量的值计算转换系数来降低深度计算误差的方法。

引用文献列表

专利文献

专利文献1：日本特开2012-037550

专利文献2：日本特开2014-029393

发明内容

发明要解决的问题

如果进行图像信号校正处理和转换系数计算处理这两者，则用于实现深度测量计算的处理时间增加，并且深度测量速度降低。有鉴于此，本发明的目的是提供使得能够高速且高精度地测量深度的方法。

用于解决问题的方案

根据本发明的一种深度检测设备，用于基于与穿过摄像光学系统的出射光瞳的第一光瞳区域的光束相对应的第一信号以及与穿过与所述第一光瞳区域不同的第二光瞳区域的光束相对应的第二信号来检测与至被摄体的深度有关的深度信息，所述深度检测设备包括：第一计算单元，用于计算作为所述第一信号和所述第二信号之间的位置偏移量的第一偏移量；信号处理单元，用于通过对所述第一信号和所述第二信号其中至少之一进行滤波处理来生成校正后的信号，其中所述滤波处理被执行为将所述第一信号和所述第二信号相对地移位与所述第一偏移量相对应的移位量；以及第二计算单元，用于计算第二偏移量，其中所述第二偏移量是在所述滤波处理中所述第一信号和所述第二信号两者都被滤波的情况下所述第一信号和所述第二信号之间的位置偏移量、或者是在所述滤波处理中所述第一信号和所述第二信号其中一个被滤波而另一个未被滤波的情况下所述第一信号和所述第二信号之间的位置偏移量。

根据本发明的一种深度检测方法，其由深度检测设备来执行，所述深度检测设备用于基于与穿过摄像光学系统的出射光瞳的第一光瞳区域的光束相对应的第一信号以及与穿过与所述第一光瞳区域不同的第二光瞳区域的光束相对应的第二信号来检测与至被摄体的深度有关的深度信息，所述深度检测方法包括：第一计算步骤，用于计算作为所述第一信号和所述第二信号之间的位置偏移量的第一偏移量；信号处理步骤，用于通过对所述第一信号和所述第二信号其中至少之一进行滤波处理来生成校正后的信号，其中所述滤波处理被执行为将所述第一信号和所述第二信号相对地移位与所述第一偏移量相对应的移位量；以及第二计算步骤，用于计算在所述滤波处理中所述第一信号和所述第二信号两者都被滤波的情况下所述第一信号和所述第二信号之间的、或者在所述滤波处理中所述第一信号和所述第二信号其中一个被滤波而另一个未被滤波的情况下所述第一信号和所述第二信号之间的第二偏移量。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

发明的效果

根据本发明，可以提供使得能够高速且高精度地进行测量的深度检测设备和深度检测方法。

附图说明

图1A是用于描述根据实施例1的具有深度检测设备的摄像设备的示例的示意图，图1B是用于描述摄像器件的示例的示意图，以及图1C是用于描述像素的示例的示意性截面图。

图2A～2C是用于描述深度测量像素的灵敏度特性和光瞳分割的图。

图3A和3B是用于描述点扩散函数的图。

图4A和4B是用于描述根据实施例1的深度检测方法的典型处理的流程图。

图5A和5B是用于描述根据实施例1的通过进行信号校正处理的变形后的点扩散函数的图。

图6是用于描述根据实施例1的深度检测方法的原理的图。

图7是用于描述根据实施例1的深度检测方法的效果的图。

图8是用于描述根据实施例2的深度检测方法的原理的图。

图9是用于描述根据实施例3的深度检测方法的原理的图。

具体实施方式

在以下说明中，使用数字静态照相机作为根据本发明的具有深度检测设备的摄像设备的示例，但是本发明的应用不限于数字静态照相机。例如，根据本发明的深度检测设备还可适用于数字摄像机或数字深度计测器等。

在参考附图的说明中，即使在附图标号有所不同的情况下，也利用同样的附图标记来表示同一部位，并且避免冗余的说明。

实施例1

深度检测设备

图1A是示出根据本实施例的具有深度检测设备40的摄像设备的示意图。除了深度检测设备40之外，该摄像设备还具有摄像器件10、摄像光学系统20和记录设备30。此外，摄像设备具有摄像光学系统20的调焦用的驱动机构、快门、观赏用图像生成单元、以及图像确认用的显示器(例如，液晶显示器)。

图1B是用于描述摄像器件10的示例的示意图。摄像器件10具有包括光电转换单元11和12的多个深度测量像素13(以下，深度测量像素还被称为“像素”)。具体而言，可以使用诸如CMOS传感器(使用互补金属氧化物半导体的传感器)和CCD传感器(使用电荷耦合元件的传感器)等的固态摄像器件作为摄像器件10。将摄像器件上的位置称为“图像高度”，并且将摄像器件10的中央附近的位置和周边附近的位置称为“中央图像高度”和“周边图像高度”。

图1C是用于描述像素13的示例的示意性截面图。像素13的光电转换单元11和12形成在基板14内。像素13包括微透镜15。

如图1A所示，摄像光学系统20将位于摄像设备的外部的被摄体的图像形成在摄像器件10的表面上。摄像器件10经由微透镜15通过像素13的光电转换单元11或光电转换单元12来获取穿过摄像光学系统20的出射光瞳21的光束，并且将所接收到的光束转换成电信号。具体而言，通过各像素13的光电转换单元11将穿过出射光瞳21的第一光瞳区域81(图2B)的光束转换成电信号。通过各像素13的光电转换单元12将穿过与出射光瞳21的第一光瞳区域不同的第二光瞳区域82(图2C)的光束转换成电信号。像素13包括浮动扩散(FD)单元、栅电极和布线等，以将电信号输出至深度检测设备40。

深度检测设备40具有深度计算单元41，其中深度计算单元41用于基于与穿过摄像光学系统20的出射光瞳21的第一光瞳区域81的光束相对应的第一信号S₁以及与穿过第二光瞳区域82的光束相对应的第二信号S₂来计算被摄体的深度。深度检测设备40由例如包括CPU和存储器的信号处理基板构成，并且通过CPU执行程序来实现其功能。可以使用集成了半导体器件的集成电路来构造信号处理基板，并且该信号处理基板可以由IC、LSI、系统LSI、微处理单元(MPU)和中央处理单元等构成。

第一信号S₁是由各像素13的光电转换单元11生成的各电信号的集合。在第一信号S₁中，将摄像器件上的各像素13的位置与由各像素13的光电转换单元11生成的各电信号链接。第二信号S₂是由各像素13的光电转换单元12生成的各电信号的集合。在第二信号S₂中，将摄像器件上的各像素13的位置与由各像素的光电转换单元12生成的各电信号链接。

除了深度计算单元41以外，深度检测设备40还具有信号处理单元42、偏移量计算单元43和滤波器生成单元44。信号处理单元42具有用于使用基于与第一信号S₁相对应的光学传递函数以及与第二信号S₂相对应的光学传递函数的滤波器(数字滤波器)来对第一信号S₁和第二信号S₂之一进行滤波的功能。偏移量计算单元43具有用于计算这两个图像信号之间的位置偏移量的功能。例如，偏移量计算单元43计算第一信号S₁和第二信号S₂之间的偏移量(第一偏移量)，或者计算在进行了稍后所述的滤波处理之后的第一信号CS₁和第二信号CS₂之间的偏移量(第二偏移量)。滤波器生成单元44具有用于基于偏移量计算单元43所计算出的偏移量来生成要用于信号处理单元42的滤波处理的滤波器的功能。记录设备30具有用于记录读取信号或运算结果的功能。

像素13包括多个光电转换单元11和12，因而可以通过将光电转换单元11和12所获取到的信号相加来生成与在像素13包括单个光电转换单元的情况下所获得的信号等同的图像信号。可以针对摄像器件10的全部像素设置这种像素13，或者摄像器件10可以具有包括单个光电转换单元的像素和包括多个光电转换单元的像素13这两者。在后一配置中，可以使用像素13来测量深度，并且可以使用其余像素来获取被摄体的图像。可以将像素13离散地配置在摄像器件10中，或者可以将像素13以在X方向和Y方向上的不同间隔来配置。

深度检测方法

在本实施例中，相对于像素13的尺寸，摄像光学系统20和摄像器件10之间的距离很长。因此，穿过摄像光学系统20的出射光瞳21的不同位置的光束作为以不同入射角的光束而入射至摄像器件10的表面。根据出射光瞳21的形状和图像高度(光束到达摄像器件上的位置)，预定角度范围22(图1A)内的光束入射至光电转换单元11和12。通过根据该角度将针对入射的光束的光电转换单元11和12的灵敏度特性投影到出射光瞳上所生成的出射光瞳上的灵敏度分布称为“光瞳透过率分布”。将在这种情况下的光瞳透过率分布的重心称为“光瞳重心”。可以通过以下表达式1来计算光瞳重心。在表达式1中，r表示出射光瞳21上的坐标，t表示光电转换单元11或12的光瞳透过率分布，以及积分范围是出射光瞳21上的区域。

数学式1

在各光电转换单元所接收到的光束穿过的出射光瞳21上的区域中，将包括光瞳重心并且对应的光电转换单元的灵敏度高于预定阈值的区域称为“光瞳区域”。将两个光瞳区域的光瞳重心的连接方向称为“光瞳分割方向”，并且将光瞳重心之间的长度称为“基线长度”。在本实施例中，光瞳分割方向是x方向，并且将该方向视为第一方向，以及将与x方向垂直的y方向视为第二方向。

图2A示出针对入射至xz平面的光束的光电转换单元11的灵敏度特性51和光电转换单元12的灵敏度特性52。横轴表示入射至xz平面的入射光束和z轴所形成的角度，以及纵坐标表示灵敏度。

图2B是用于描述摄像光学系统20的出射光瞳21以及与光电转换单元11相对应的光瞳透过率分布61、光瞳重心71和光瞳区域81(第一光瞳区域)的图。光瞳区域81是从出射光瞳21的中心沿+x方向(第一方向)偏心的光瞳区域。各像素13的光电转换单元11被配置为接收主要穿过光瞳区域81的光束。利用该配置，获取与穿过光瞳区域81的光束相对应的第一信号S₁。

图2C是用于描述摄像光学系统20的出射光瞳21以及与光电转换单元12相对应的光瞳透过率分布62、光瞳重心72和光瞳区域82(第二光瞳区域)的图。光瞳区域82是出射光瞳21的中心沿-x方向(第二方向)偏心的光瞳区域。各像素13的光电转换单元12被配置为主要接收穿过光瞳区域82的光束。利用该配置，获取与穿过光瞳区域82的光束相对应的第二信号S₂。

可以通过以下表达式2来表达信号S₁和S₂。

数学式2

S_j＝f*PSF_j

＝FFT^-1[FFT[f]·OTF_j]

＝FFT^-1[FFT[f]·MTF_j·exp(i·PTF_j)]…(2)

f表示被摄体的光量分布，以及*表示卷积积分。下标j表示1或2。PSF_j和OTF_j分别表示用于表示在实空间区域和空间频率区域中获取来自被摄体的光束作为信号S_j时的摄像光学系统20或摄像器件10所引起的劣化度的传递函数，并且分别被称为“点扩散函数”和“光学传递函数”。FFT表示傅立叶变换，以及FFT[f]是对被摄体的光量分布f的傅立叶变换。FFT^-1表示傅立叶逆变换。

OTF_j被表达为在空间频率区域中具有调制传递函数MTF_j作为振幅项并且相位传递转换PTF_j作为相位项的函数(OTF_j＝MTF_j×exp(iPTF_j))。MTF_j和PTF_j分别是用于确定传递所引起的各空间频率成分的振幅和位置的改变量的函数。如果光学系统的框等所生成的光束的渐晕以及像素13的灵敏度特性发生改变，则PSF₁和PSF₂、或者MTF₁和MTF₂、或者PTF₁和PTF₂分别变成具有彼此不同的形状的函数。图3A示出PSF₁和PSF₂，其中，纵坐标和横坐标分别表示x坐标和y坐标，以及其中随着该值越大，颜色被表现得越白。图3B是各PSF在x方向上的截面图。如图3A和3B所示，由于PSF₁和PSF₂不同，因此信号S₁和S₂具有不同的形状，因此在计算偏移量时容易产生误差。

图4A和4B示出用于描述深度检测设备40所进行的用以检测至被摄体的深度的深度检测方法的典型处理的流程图。深度检测方法具有偏移量计算步骤、信号处理步骤和深度计算步骤。

暂定偏移量计算步骤

首先，如图4A所示，偏移量计算单元43根据第一信号S₁和第二信号S₂来计算暂定偏移量(步骤S10)。利用已知方法来确定信号S₁和S₂在x方向(第一方向)上的信号偏移量。例如，在信号对(S₁和S₂)的其中之一在x方向上发生偏移的情况下进行校正操作，并且确定校正最大时的偏移量。执行暂定偏移量计算步骤S10的偏移量计算单元43与根据本发明的第一计算单元相对应。

图像信号校正步骤

然后，如图4A所示，信号处理单元42对信号S₁和S₂进行图像信号校正处理(步骤S20)。作为步骤S20的结果，生成校正后的信号CS₁和CS₂。图4B示出图像校正处理S20的详情。图像校正处理S20包括用以校正图像信号的滤波器生成步骤(步骤S21)以及校正信号生成步骤(步骤S22)。在步骤S21中，滤波器生成单元44基于步骤S10中所计算出的暂定偏移量的值来生成图像信号校正滤波器。例如，滤波器生成单元44预先保持与各条件相对应的滤波器数据(单元值)，并且调用与步骤S10中所计算出的暂定偏移量相对应的滤波器数据，由此生成图像信号校正滤波器。然后，信号处理单元42通过使用步骤S21中所生成的图像信号校正滤波器对信号S₁和S₂进行卷积积分来生成校正后的信号CS₁和CS₂。

用于该处理的滤波器在x方向上具有Ax个单元以及在y方向上具有Ay个单元(Ax和Ay是大于或等于1的整数)。该滤波器是基于光学传递函数OTF来生成的。具体而言，将用于信号S₁的滤波器ICF₁表达为在频率空间中将OTF₁的倒数与相位成分PG₁和FPP₁相加的函数。将用于信号S₂的滤波器ICF₂表达为在频率空间中将OTF₂的倒数与相位成分PG₂和FPP₂相加的函数。通过以下表达式4～7来表达滤波器ICF。下标j表示1或2。

数学式3

ICF_j＝FFT^-1[FM_j·exp(i·FP_j)]…(4)

FM_j＝1/MTF_j…(5)

FP_j＝FPS_j+FPP_j…(6)

FPS_j＝-PTF_j+PG_j…(7)

FM_j和FP_j是频率空间中的ICF_j的振幅项和相位项。相位项FP_j具有用以使图像信号变形的成分FPS_j(第一相位成分)以及用于使图像信号移位的成分FPP_j(第二相位成分)。FPS_j是根据空间频率而在实空间中具有不同的值的成分，并且是用于校正形状的成分。PG_j是通过将散焦所引起的PSF_j的重心位置的移动量转换成针对各空间频率的相位量所生成的成分，并且是不会影响信号的形状的成分。添加PG_j，以补偿变形成分FPS_j的PTF_j中所包括的位置改变量。FPP_j是与空间频率无关地在实空间中具有恒定值的成分，并且是用于校正位置的成分。FPP_j是根据深度检测设备40中的散焦量和偏移量之间的关系以及在后述的深度计算步骤中所使用的转换系数来生成的。表达式4～7可以被变形成其它表达形式。在根据本发明的滤波器的实施例中，包括任意变形后的表达式。

如上所述，根据深度测量条件来确定滤波器。滤波器生成单元44预先保持与各条件相对应的滤波器数据，并且通过读取与条件相对应的滤波器数据来获取ICF。滤波器生成单元44可以仅保持与代表性的暂定偏移量相对应的滤波器数据，并且可以通过对预先保持的滤波器数据进行插值来生成用于除代表性的暂定偏移量以外的暂定偏移量的滤波器。此外，滤波器生成单元44可以将滤波器数据近似成函数，并且保持该函数的各系数。例如，将滤波器的单元值近似为变量是滤波器中的位置的多项式，并且滤波器生成单元44保持该函数(多项式)的各系数。然后，滤波器生成单元44根据深度测量条件来读取系数，并且生成滤波器。利用该方法，可以降低要保持的滤波器数据量，并且可以降低用于保持滤波器的记录容量。

通过使用表达式2和表达式4～7的表达式8来表达校正后的信号CS_j。

数学式4

CS_j＝S_j*ICF_j＝FFT^-1[FFT[f]·exp{i(PG_j+FPP_j)}]…(8)

如果使用通过对PSF_j进行变形所产生的点扩散函数CPSF_j，则通过表达式9给出信号CS_j。CPSF_j的形状确定校正后的信号CS_j的形状。

数学式5

CS_j＝f*CPSF_j…(9)

图5A示出CPSF₁和CPSF₂，其中，纵坐标和横坐标分别表示x坐标和y坐标，并且其中随着该值越大，则颜色被表现得越白。图5B是CPSF₁和CPSF₂在x方向上的截面图，其中，实线表示CPSF₁，以及虚线表示CPSF₂。如图5A和图5B所示，CPSF₁和CPSF₂的形状是相似的。校正后的信号CS₁和CS₂是形状相似的信号，并且可以高精度地计算偏移量。因此，可以在后述的深度计算步骤中高精度地计算至被摄体的深度。表达式8中的相位成分PG_j和FPP_j是对形状没有贡献的项，因而校正后的信号CS₁和CS₂变成形状彼此相似的信号。除了与由于散焦而导致的信号S_j的位置改变量相对应的成分PG_j的量以外，还通过位置校正成分FPP_j来使校正后的信号CS_j移位。

偏移量计算步骤

偏移量计算单元43计算在x方向(第一方向)上的校正后的信号CS₁和CS₂之间的偏移量(步骤S30)。对于步骤S30中的偏移量计算处理，可以使用与步骤S10中的暂定偏移量计算处理的方法相同的方法。执行偏移量计算步骤S30的偏移量计算单元43与根据本发明的第二计算单元相对应。

深度计算步骤

深度计算单元41基于根据校正后的信号CS₁和CS₂计算出的偏移量来计算与至被摄体的深度有关的深度信息(步骤S40)。深度计算单元41根据所确定出的偏移量来确定散焦量，并且根据散焦量和摄像光学系统20的摄像关系来计算至被摄体的深度。例如，可以通过以下表达式10来计算散焦量ΔL。

数学式6

ΔL＝Ka·d…(10)

这里，d表示偏移量，以及Ka表示转换系数。转换系数Ka是与偏移量计算单元43所计算出的偏移量的值无关地具有相同值的系数，并且根据图像高度而具有不同值。转换系数Ka不依赖于偏移量的值，这是因为在图像信号校正处理中不使图像移位，从而使得偏移量和散焦量之间的关系变得线性。根据图像高度，转换系数Ka可以是不同的值。

由于使用摄像光学系统中的摄像关系可以在实空间中将散焦量容易地改变成至被摄体的深度，因而可以将散焦量视为与至被摄体的深度有关的信息。作为与至被摄体的深度有关的深度信息，深度计算单元41可以输出散焦量，或者可以输出实空间中的深度。从深度计算单元41输出的深度信息可以是相对于焦点位置的相对深度，或者可以是摄像期间相对于摄像设备的绝对深度。相对深度或绝对深度可以是摄像面侧的深度或者被摄体侧的深度。该深度可以被表达为实空间中的深度，或者可以被表达为能够被转换成实空间中的深度的量，诸如散焦量和图像偏移量等。

利用该深度检测方法，可以高速且高精度地计算至被摄体的深度。

图像信号校正滤波器中的位置校正成分的确定方法

将详细说明根据本实施例的图像信号校正滤波器的位置校正成分(FPP_j)的确定方法。

图6是用于描述偏移量和散焦量之间的关系的图。深度检测设备40中的信号S₁和S₂之间的偏移量与散焦量的关系不是恒定的。根据摄像光学系统20的散焦量和图像高度，入射至像素13的光束的角度范围变动，并且光瞳上的透过率分布变动。如果光瞳上的透过率分布变动，则基线长度变动，并且转换系数(偏移量和散焦量的关系)变动。图6中的实线L1是表示特定图像高度处的图像信号S₁和S₂之间的偏移量和散焦量的关系的线。如果转换系数变动，则实线L1以复杂的方式改变。

另一方面，图6中的虚线Lt是表示在使用与偏移量的值无关地恒定的转换系数来将根据信号S₁和S₂计算出的偏移量转换成散焦量的情况下的偏移量和散焦量之间的关系的线。本说明示出使用在散焦量小的情况下根据散焦量和偏移量的关系计算出的转换系数Ka的示例。

在以散焦量Dt的摄像条件下所获取到的根据信号S₁和S₂所计算出的偏移量是R1。如果使用转换系数Ka将该偏移量R1转换成散焦量，则获取D1作为散焦量。换句话说，产生转换误差ΔD1(＝Dt-D1)。

在本实施例中，进行用于使用图像信号校正滤波器来使图像移位的位置校正，以使得根据偏移量的转换系数的变动得以降低。通过使用图像信号校正滤波器将图像的位置移位与转换误差ΔD1相对应的移位量ΔP1，可以降低由于转换系数的变动所引起的误差。

通常，在获取R作为特定图像高度X处的暂定偏移量的情况下的移位量ΔP使用以下表达式来确定：ΔP＝Lx(R)/Ka–R。

这里，Lx是与图像高度处X处的图像信号S₁和S₂之间的偏移量和散焦量相对应的函数，以及Ka是表达式10的转换系数。可以预先通过实际测量或者通过数值计算来获取各图像高度处的偏移量和散焦量的关系Lx。注意，通常，转换系数Ka是与图像高度相对应的值。

在步骤S21的滤波器生成处理中，滤波器生成单元44生成具有以这种方式获取到的移位量ΔP的滤波器作为移位成分(位置校正成分FPP)。图像信号的移位可以仅针对信号S₁和S₂之一来设置、或者可以针对信号S₁和S₂这两者来设置。换句话说，只要通过滤波器ICF₁和ICF₂将信号S₁和S₂相对地移位移位量ΔP1，则各滤波器的移位成分(位置校正成分)可以是任意的。

利用该图像信号校正处理，使用校正后的信号所计算出的偏移量(例如，在仅使信号S₁移位的情况下，根据校正后的信号CS₁和信号S₂所计算出的偏移量)变成R1’。如果使用转换系数Ka将该偏移量转换成散焦量，则可以获取到接近实际的散焦量Dt的值D1’。此外，通过在图像信号校正处理中校正图像形状，可以高精度地检测校正后的信号的偏移量。

图7是用于描述根据本实施例的图像信号校正处理的效果的图。在图7中，实线表示在执行图像信号校正步骤时所获取到的散焦量，以及虚线表示在没有执行该校正步骤时所获取到的散焦量。横轴表示实际的散焦量，以及纵轴表示检测到的散焦量。如这里所示，通过执行图像信号校正步骤，检测到接近实际值的散焦量。通过在图像信号校正处理中校正图像的形状和位置，可以降低偏移量的计算误差和转换误差，并且可以高精度地检测深度。此外，可以省略用于根据偏移量来计算转换系数的处理，并且可以提高处理速度。散焦量越大，则转换系数变动变大。如果使用实施例1的深度检测设备，则特别是在散焦量大的情况下可以高速且高精度地检测深度。

其它图像信号校正滤波器

图像信号校正滤波器ICF可以是仅具有相位项FP的滤波器。换句话说，如表达式11所示，图像信号校正滤波器ICF可以使用滤波器来仅校正频率空间中的相位。

数学式7

ICF_j＝FFT^-1[exp(i·FP_j)]…(11)

表达式11所表达的滤波器同样是基于OTF₁和OTF₂的滤波器。同样可以使用这种类型的滤波器来校正第一信号S₁的形状和位置，由此可以获得偏移量计算误差和转换误差得以降低的上述效果。

作为替代，如表达式12所示，图像信号校正滤波器ICF可以是用于仅校正位置的滤波器。

数学式8

如果使用这种类型的滤波器，则可以校正第一信号S₁的位置，由此可以获得转换误差得以降低的上述效果。

作为替代，滤波器ICF₁和ICF₂可以是通过以下表达式13～17来表达的滤波器。

数学式9

ICF_j＝FFT^-1[FM_j·exp(i·FP_j)]…(13)

FM₁＝MTF₂…(14)

FPS₁＝PTF₂-PG₂…(15)

FM₂＝MTF₁…(16)

FPS₂＝PTF₁-PG₁…(17)

可以利用使用表达式2和表达式13～17的表达式18和19来表达图像信号校正处理中所生成的校正后的信号CS_j。

数学式10

CS₁＝S₁*ICF₁＝FFT^-1[FFT[f]·MTF₁·MTF₂·exp[i(PTF₁+PTF₂-PG₂+FPP₁)]]…(18)

CS₂＝S₂*ICF₂＝FFT^-1[FFT[f]·MTF₁·MTF₂·exp[i(PTF₁+PTF₂-PG₁+FPP₂)]]…(19)

校正后的信号的形状是通过振幅成分MTF₁和MTF₂以及相位成分PTF₁和PTF₂来确定的，因而校正后的信号CS₁和CS₂的形状彼此相似。除了与由于各信号的散焦所导致的位置改变量相对应的相位PG_j以外，还通过位置校正成分FPP_j来使信号CS_j的位置移位。

代为替代，可以仅针对信号S₁和S₂之一来进行图像信号校正处理。例如，用于信号S₁的滤波器ICF是基于光学传递函数OTF₁的倒数和光学传递函数OTF₂来生成的。ICF是在频率空间中、添加了相位PG₁、PG₂和FPP的、利用OTF₁的倒数与OTF₂的乘积(OTF₂/OTF₁)来给出的函数。通过以下表达式20～23来表达图像信号校正滤波器ICF。

数学式11

ICF＝FFT^-1[FM·exp(i·FP)]…(20)

FM＝MTF₂/MTF₁…（21）

FP＝FPS+FPP…（22）

FPS＝PTF₂-PTF₁-PG₂+PG₁…（23）

通过使用表达式2和表达式20～23的表达式24来表达校正后的信号CS₁。

数学式12

CS₁＝S₁*ICF＝FFT^-1[FFT[f]·MTF₂·exp(i(PTF₂-PG₂+PG₁+FPP))]…(24)

由于相位成分PG₁、PG₂和FPP_j是没有对形状作出贡献的成分，因此信号CS₁和S₂具有相似的形状。通过在PTF₂中所包括的位置改变量来补偿PG₂。除了利用与由于信号S₁的散焦所导致的位置改变量相对应的成分PG₁以外，还利用位置校正成分FPP来使信号CS₁的位置移位。可以通过对这些图像信号之一(第一信号S₁)进行图像信号校正处理来简单校正形状和位置这两者。因此，可以降低图像信号校正处理的计算负荷，并且能够高速地进行预处理。如果仅针对这些图像信号之一(第一信号S₁)进行图像信号校正处理，则在步骤S30中确定校正后的图像信号(例如信号CS₁)和没有进行图像信号校正处理的其它图像信号(例如第二信号S₂)之间的偏移量。

通过使用这种滤波器，如上所述，可以降低图像形状之间的差异，并且可以降低偏移量的计算误差。此外，即使在没有进行转换系数校正处理的情况下，也可以通过向原始信号提供适当的位置校正成分来降低转换误差，并且可以高速且高精度地测量深度。

在本实施例中，示出了用于通过在实空间中对信号进行的滤波器的卷积积分来生成校正后的信号的处理方法，但是可以在频率空间中进行图像信号校正处理。在这种情况下，信号处理单元42被配置为进行以下处理。首先，预先保持频率空间中的滤波器数据(表达式4中的傅立叶逆变换FFT^-1的括号内的数据)。然后，对所获取到的信号S_j进行傅立叶变换，由此生成频率空间中的校正后的信号FS_j。通过将校正后的信号FS_j乘以滤波器并且进行傅立叶逆变换，可以生成校正后的信号CS_j。在进行滤波的情况下，与进行卷积积分相比，可以降低计算负荷，由此可以高速且高精度地测量深度。

构成滤波器ICF的各传递函数不是必须为上述函数，而可以是近似为其它函数的函数。可以使用通过将各传递函数近似为多项式等所生成的函数。通过使用这些方法生成图像信号校正滤波器ICF，同样可以获得上述效果。

深度计算步骤的变形

例如，如表达式25所示，可以使用将偏移量d和被摄体深度L相联系的转换系数Ka来直接计算至被摄体的深度L。在表达式25中，Ka是转换系数，并且与偏移量计算步骤中所检测到的偏移量的值无关地具有相同的值。因此，如上所述，可以省略系数计算处理，并且可以高速地计算深度。

数学式13

L＝Ka·d…(25)

作为替代，可以使用表达式26来计算散焦量ΔL，从而使得根据散焦量ΔL来计算被摄体深度。这里，H表示出射光瞳21和摄像器件10之间的距离。通过使用该表达式，可以更精确地计算散焦量和距离。

数学式14

深度测量结果

本发明的深度检测设备的深度测量结果可以例如用于检测摄像光学系统的焦点。通过本发明的深度检测设备，可以高速且高精度地测量至被摄体的深度，并且可以检测到摄像光学系统的被摄体和焦点位置之间的偏移量。通过控制摄像光学系统的焦点位置，可以针对被摄体高速且高精度地设置焦点位置。本实施例的深度检测设备可以用于诸如数字静态照相机和数字摄像机等的摄像设备，并且可以基于深度检测设备的深度检测结果来检测该光学系统的焦点。此外，可以通过使用本发明的深度检测设备计算摄像器件10上的多个位置的深度来生成深度图。

实施例2

在本实施例中，说明如下：使用滤波器所进行的预处理将降低与图像高度相对应地生成的偏移量的计算误差和转换误差，由此可以高速且高精度地测量深度。本实施例与实施例1的不同之处在于：在滤波器生成步骤中所生成的滤波器的相位校正量；以及在深度计算步骤中所使用的转换系数。该配置的其余部分与实施例1相同，因而省略其说明。

在图4B的滤波器生成步骤(步骤S21)中，滤波器生成单元44基于步骤S10中所计算出的暂定偏移量和图像高度信息来生成图像信号校正滤波器。对于滤波，可以使用表达式4～7、或者表达式13～17、或者表达式20～23，并且作为位置校正量的相位成分FPP_j与实施例1有所不同。本实施例的相位成分FPP_j是根据各图像高度处的散焦量和偏移量的关系以及在深度计算步骤中所使用的转换系数来生成的。正如实施例1那样，可以将各表达式变形成其它表达形式。在根据本发明的滤波器的实施例中，应当可以包括任意这种变形后的表达式。在校正后的信号生成步骤(步骤S22)中，针对该信号使用滤波器，并且生成校正后的信号。

深度计算单元41基于根据校正后的信号计算出的偏移量来计算至被摄体的深度。例如，可以使用表达式27来计算被摄体深度。这里使用的转换系数Kb是与图像高度无关地具有相同的值、并且根据偏移量计算单元43所计算出的偏移量的值而具有不同的值的系数。利用该深度检测方法，可以高速且高精度地计算至被摄体的深度。根据偏移量，转换系数Kb可以是不同的值。

数学式15

ΔL＝Kb·d…(27)

图8是用于描述偏移量和散焦量的关系的图。在图8中，虚线Lt和实线L2分别是表示图像高度X1和X2处的散焦量和偏移量的关系的线。在散焦量是Dt的情况下，利用图像高度X1和X2处的信号S₁和S₂所计算出的偏移量分别是Rt和R2。

这里，如表达式27所示，考虑使用与图像高度无关地恒定转换系数来进行散焦量和偏移量之间的转换。例如，假定如下：使用基于图像高度X1处的散焦量和偏移量之间的关系的转换系数作为表达式27中的转换系数Kb。在这种情况下，根据图8中的虚线Lt来进行散焦量和偏移量之间的转换。因此，可以分别将偏移量Rt和R2转换成散焦量Dt和D2，并且在图像高度X2处产生转换误差ΔD2(＝Dt-D2)。

因此，在本实施例中，使用图像信号校正滤波器来进行使图像移位的位置校正，以使得根据图像高度的转换系数的变动得以降低。如果使用图像信号校正滤波器来将图像的位置移位与上述的转换误差ΔD2相对应的移位量ΔP2，则可以降低由于转换系数的变动所产生的误差。

通常，在获取R作为图像高度X处的暂定偏移量的情况下的移位量ΔP可以通过以下表达式来确定：ΔP＝Lt^-1(Lx(R))–R。

这里，Lx是与图像高度X处的图像信号S₁和S₂之间的偏移量和散焦量相对应的函数，以及Lt^-1是表达式27给出的函数的逆函数。可以预先通过实际测量或通过数值计算来获取在各图像高度处的偏移量和散焦量的关系Lx。注意，通常，表达式27中的转换系数Kb是与偏移量相对应的值。

在步骤S21的滤波器生成处理中，滤波器生成单元44生成具有以这种方式所获取到的移位量ΔP的滤波器作为移位成分(位置校正成分FPP)。对于图像信号的移位，可以仅移位信号S₁和S₂之一，或者可以移位信号S₁和S₂这两者。换句话说，只要使用滤波器ICF₁和ICF₂将信号S₁和S₂相对地移位移位量ΔP2，则各滤波器的移位量(位置校正成分)可以是任意的。

利用该图像信号校正处理，使用校正后的信号所计算出的偏移量(例如，如果仅使信号S₁移位，则根据校正后的信号CS₁和信号S₂计算出的偏移量)变成R2’。如果使用转换系数Kb将该偏移量转换成散焦量，则可以获得与实际的散焦量Dt接近的值D2’。此外，通过在图像信号校正处理中对图像形状进行校正，可以高精度地检测校正信号的偏移量。

通过在图像信号校正处理中对图像的形状和位置进行校正，可以降低在将偏移量转换成散焦量的情况下的偏移量计算误差和转换误差，并且可以高精度地检测深度。此外，可以省略用于计算与图像高度相对应的转换系数的处理，并且可以提高处理速度。在周边图像高度处，转换系数存在很大变动。通过使用实施例2的深度检测设备，在特别是周边图像高度处，可以高速且高精度地检测深度。

实施例3

在本实施例中，说明如下：使用滤波器所进行的预处理会降低与散焦量和图像高度相对应地生成的偏移量的计算误差以及将该偏移量转换成散焦量时的转换误差，由此可以高速且高精度地测量深度。本实施例与实施例1的不同之处在于：在图像信号校正滤波器生成步骤中所生成的滤波器的相位校正量；以及在深度计算步骤中所使用的转换系数。该配置的其余部分与实施例1相同，因而省略其说明。

在图4B的滤波器生成步骤(步骤S21)中，滤波器生成单元44基于在步骤S10中所计算出的暂定偏移量和图像高度信息来生成图像信号校正滤波器。对于滤波器，可以使用表达式4～7、或者表达式13～17、或者表达式20～23，并且作为位置校正量的相位成分FPP_j与实施例1有所不同。本实施例的相位成分FPP_j是根据在各图像高度处的散焦量和偏移量的关系以及在深度计算步骤中所使用的转换系数来生成的。正如实施例1那样，可以将各表达式变形成其它表达形式。在根据本发明的图像信号校正滤波器的实施例中，应当可以包括任意这种变形后的表达式。在校正后的信号生成步骤(步骤S22)中，针对信号使用滤波器，并且生成校正后的信号。

深度计算单元41基于根据校正后的信号所计算出的偏移量来计算至被摄体的深度。例如，可以使用表达式28来计算被摄体深度。这里使用的转换系数Kc是与偏移量和图像高度的值无关地具有相同的值的系数。利用该深度检测方法，可以高速且高精度地计算至被摄体的深度。

数学式16

ΔL＝Kc·d…(28)

图9是用于描述偏移量和散焦量的关系的图。在图9中，实线L1和L2分别是表示在图像高度X1和X2处的散焦量和偏移量的关系的线。虚线Lt是表示由表达式28定义的散焦量和偏移量的关系的线。这里，对于表达式28的转换系数Kc，使用根据在图像高度X1处散焦量小时的散焦量和偏移量的关系所计算出的系数。

这里，考虑偏移量和散焦量之间的转换误差。在特定散焦量Dt处，根据在图像高度X1和X2处的信号S₁和S₂所计算出的偏移量分别是R1和R2。另一方面，根据表达式28的关系(虚线Lt)被转换成的散焦量的偏移量R1和R2分别是D1和D2。换句话说，在图像高度X1和X2处分别产生转换误差ΔD1(＝Dt-D1)和ΔD2(＝Dt-D2)。

因此，在本实施例中，使用图像信号校正滤波器来进行使图像移位的位置校正，以使得根据散焦量和图像高度的转换系数的变动得以降低。如果使用图像信号校正滤波器将图像的位置移位与上述转换误差ΔD1和ΔD2相对应的移位量ΔP1和ΔP2，则可以降低由于转换系数的变动所产生的误差。

通常，在获取R作为图像高度X处的暂定偏移量时的移位量ΔP可以通过以下表达式来确定：ΔP＝Lx(R)/Kc-R。

这里，Lx是与在图像高度X处的图像信号S₁和S₂之间的偏移量以及散焦量相对应的函数，以及Kc是表达式27中的转换系数。可以预先通过实际测量或者通过数值计算来获取在各图像高度处的偏移量和散焦量的关系Lx。注意，转换系数Kc是不依赖于偏移量或图像高度的值。

在步骤S21的滤波器生成处理中，滤波器生成单元44生成具有以这种方式所获取到的移位量ΔP的滤波器作为移位成分(位置校正成分FPP)。对于图像信号的移位，可以仅移位信号S₁和S₂其中之一，或者可以移位信号S₁和S₂这两者。换句话说，只要使用滤波器ICF₁和ICF₂将信号S₁和S₂相对地移位移位量ΔP，则各滤波器的移位量(位置校正成分)可以是任意的。

通过在该图像信号校正处理中对图像的形状和位置进行校正，可以降低偏移量计算误差和转换误差，并且可以高精度地检测深度。此外，可以根据偏移量和图像高度的值来省略用于计算转换系数的处理，并且可以提高处理速度。由于与实施例1和2相比可以进一步省略用于计算转换系数的处理，因此甚至可以进一步提高处理速度。如果摄像光学系统20的焦距和光圈发生改变，则光瞳透过率分布变动，并且基线长度和转换系数也变动。因而，可以进行图像信号校正处理，以向与焦距和光圈相对应的各信号提供上述的移位成分。然后，可以获得同样的效果。

实施例4

上述实施例是用于计算至被摄体的深度的示例，但是本发明还适用于用于检测与偏移量相对应的视差的视差检测设备。例如，使用视差检测设备，可以进行用于基于偏移量来从图像提取焦点位置附近的被摄体图像的处理。该视差可以是两个信号之间的偏移量，或者可以是与偏移量有关的物理量。

替代实施例1中的深度检测设备40的深度计算单元41，如果视差检测设备具有包括用于计算与两个信号的偏移量相对应的视差的视差计算单元的配置，则该配置的其余部分可以与深度检测设备40相同。此外，视差检测设备可以包括用于基于(所测量出的)视差(偏移量)来从图像提取具有预定视差的被摄体图像的提取单元。

除了替代在图4A的流程图中的深度计算处理S30来进行视差计算处理之外，根据本实施例的视差检测方法可以与4A和4B相同。为了计算视差，可以使用表达式10来计算散焦量，或者可以计算信号的偏移量，或者可以计算相关的物理量。

同样，在本实施例中，使用图像信号校正滤波器仅对第一信号和第二信号中的任一个进行滤波处理，因而，可以高速且高精度地检测视差。

正如根据实施例1～3的深度检测设备的情况那样，该视差检测设备可以用作摄像设备的一部分。

其它实施例

除了深度检测设备和视差检测设备之外，本发明还包括计算机程序。本实施例的计算机程度用于使计算机执行用以计算深度或视差的预定步骤。

本实施例的程序安装在包括深度检测设备和/或视差检测设备的诸如数字照相机等的摄像设备的计算机上。上述功能是通过计算机执行所安装的程序来实现的，并且可以高速且高精度地检测深度和视差。

还可以通过经由网络或存储介质将用于实现上述实施例的一个或多个功能的程序提供至系统或设备并且该系统或设备中的计算机的至少一个处理器读取并执行该程序的处理来执行本发明。还可以通过用于实现一个或多个上述功能的电路(例如ASIC)来执行本发明。

还可以通过读出并执行记录在存储介质(还可被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以进行上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或设备的计算机和通过下面的方法来实现本发明的实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)^TM等)、闪速存储装置和存储卡等中的一个或多个。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2014年11月21日提交的日本专利申请2014-236881的优先权，这里通过引用将其全部内容包含于此。