法律状态公告日
法律状态信息
法律状态
2019-10-18
未缴年费专利权终止 IPC(主分类):G01C3/06 授权公告日:20150401 终止日期:20181026 申请日:20101026
专利权的终止
2015-04-01
授权
授权
2012-09-19
实质审查的生效 IPC(主分类):G01C3/06 申请日:20101026
实质审查的生效
2012-07-18
公开
公开
技术领域
本发明涉及基于多个视点图像测定被拍摄体距离的测距装置及测距方法，特别是涉及即使没有镜头位置信息也能够高精度地测定被拍摄体距离的测距装置及测距方法。
背景技术
在包括多个拍摄部的立体相机或多通道相机中，通过比较各个拍摄图像中的被拍摄体的图像信息，能够计测被拍摄体的三维信息。此时为了进行高精度的三维计测，需要消除因连续变焦镜头、聚焦镜头的光学特性引起的图像变形的影响，以及正确把握被称为相机参数的、相机的焦距、图像中心、剪切（以下记为内部参数）及相机的空间的位置/方位（以下记为外部参数）等几何信息。因此，相机信息存储部为了存储依赖第一拍摄部及第二拍摄部的变焦倍率及焦点位置而变化的、镜头变形校正信息或内部参数，而存储与变焦倍率和焦点位置的组合对应的多个镜头变形校正信息或内部参数。相机信息能够通过事前进行相机校准处理而取得，例如在出厂时或设置后的初始调整时通过使用了校正模式等的已有的相机校准手法、例如Zhang使用的手法等进行计测，存储于相机信息存储部。立体图像处理部从变焦/焦点控制部取得第一拍摄部和第二拍摄部的变焦及焦点的信息，从相机信息存储部取得与变焦及焦点的信息对应的相机信息。立体图像处理部使用该相机信息对立体图像进行立体图像处理，进行被拍摄体的三维计测，将视差信息、距离信息、三维位置信息、表示三维计测的可靠性的评价值等作为三维信息输出（专利文献1）。
专利文献2中，公开了如下结构：设一方的拍摄图像为基准图像，设另一方的拍摄图像为参照图像，使参照图像移动，并且生成视差图像，选择视差量的分散最小的参照图像的移动量作为参照图像的校正量。
专利文献3中，公开了如下结构：生成距离图像，生成表示对于距离图像中的各距离的像素的出现频度的直方图，基于该直方图，检测主要被拍摄体的范围。
立体相机系统中，利用多个相机拍摄希望得到三维空间的位置信息的对象的物体（对象物体）时，能够从各相机中的、例如投射到CCD等光电变换元件的受光面（以下在适宜场合称为屏幕）上的对象物体的位置信息，确定该对象物体的三维空间的位置信息。因此，需要预先求出存在于三维空间内的某位置的物体的位置信息、和在该位置存在对象物体时该对象物体投影到各相机的屏幕上的位置的位置信息的对应关系（位置信息对应关系）。将求出该位置信息对应关系称为校准（专利文献4）。
在使用2个相机求出被拍摄体的三维信息的立体相机部中，需要由各个相机的焦距、图像中心、像素大小等信息构成的内部参数、由2个相机的位置、姿势等关系信息构成的外部参数、由相机中的理想的光学系统和实际的光学系统之间的差引起的光学变形参数等，将这些参数总称为相机参数。相机校准中，利用由多个相机构成的立体相机部拍摄预先知道三维坐标位置的被拍摄体，求出多个投影像，由该多个投影像和三维坐标位置求出相机参数。然后由相机参数求出投影像内的规定的图像位置对应的点的三维信息（专利文献5）。
进深图像生成单元读出与AF的合焦距离（从拍摄镜头到与当前焦点一致的被拍摄体之间的距离）对应的进深图像生成方法（映射表），基于该映射表和由距离信息取得单元取得的每个像素的距离信息，分别对每个像素设定进深值，生成进深图像。由此，能够生产适合于由拍摄时的AF的合焦距离得到的被拍摄体的立体视图像（专利文献6）。
使用设于不同位置的2台以上的相机拍摄被拍摄体，搜索由此取得的多个图像（基于基准相机的基准图像及基于参照相机的参照图像）之间对应的像素即对应点（立体映射），算出相互对应的基准图像上的像素和参照图像上的像素之间的位置之差（视差），对视差应用三角测量的原理，由此计测从基准相机或参照相机到与该像素对应的被拍摄体上的点之间的距离，能够生成表示被拍摄体的立体形状的距离图像。在进行立体映射时，被映射到基准图像上的某像素的实空间上的点存在多个，因此基于在实空间上的点的映射即直线（核线）上存在与该像素对应的参照图像上的像素这一情况，搜索与该像素对应的参照图像上的像素即对应点。在进行立体映射时，在基准图像上设定包含作为对应点搜索的对象的像素的相关窗，在参照图像上使与设定于基准图像的相关窗相同的相关窗沿核线上移动，对于每个移动位置算出关于各图像上的相关窗内的各像素的相关，求出参照图像上的相关为规定的阈值以上的相关窗的中央的位置上的像素作为像素的对应点（专利文献7）。
即使是未搭载测距传感器的相机，只要是具有对焦点镜头向前后进行电动机驱动而与被拍摄体合焦的机构的相机，就能够对该电动机驱动的脉冲数进行计数，由该计数值求出距离信息。该情况下，可以由函数表达脉冲数计数值与距离的关系，或也可以表达作为表数据（专利文献8）。
脸检测部基于存储于帧存储器的图像数据，从由2个拍摄单元拍摄的各图像检测出脸。作为该脸检测方法，有公知的方法，例如将脸检测用的模式图像先存储于ROM，参照该模式图像通过模式识别来进行脸检测（专利文献9）。
此外，脸检测的方法还有多种，例如如下方法：从图像检测出具有肤色且具有人物的脸的形状（例如长圆系）的区域，将检测出的区域看作脸的区域而提取（专利文献10）。
作为不同的视点图像间的对应点检索的方法，有绝对值和法（Sumof Absolute Difference：SAD法）、相位限定相关法（Phase-OnlyCorrelation:POC法）等（专利文献11）。
专利文献12示出畸变校正式的一例。
专利文献13示出规定与被拍摄体距离对应的聚焦镜头的位置（焦点位置）的表的一例。
在先技术文献
专利文献
专利文献1：日本特开2008-24191号公报
专利文献2：日本特开2002-315315号公报
专利文献3：日本特开2008-116309号公报
专利文献4：日本特开平10-320558号公报
专利文献5：日本特开2006-90756号公报
专利文献6：日本特开2008-141666号公报
专利文献7：日本特开2009-205193号公报
专利文献8：日本特开2004-334836号公报
专利文献9：日本特开2008-252254号公报
专利文献10：日本特开2007-109130号公报
专利文献11：日本特开2009-14445号公报
专利文献12：日本特开2004-354257号公报
专利文献13：日本特开2005-258466号公报（段落0030、图7）
发明内容
专利文献1记载的构成中，需要取得拍摄设备的镜头位置（聚焦镜头及连续变焦镜头的位置），因此在拍摄设备的镜头位置不明的状态下，不能对被拍摄体距离进行测距。
专利文献2、3中，没有公开即使没有镜头位置信息也能够高精度地测定被拍摄体距离的构成。
另外，专利文献3记载的构成中，必须生成距离图像。
例如，若在使用多个拍摄设备进行拍摄而取得多个视点图像后，希望从该多个视点图像取得被拍摄体距离，则由于拍摄已经结束，因此一般不能得到拍摄时的镜头位置信息。因此，不能进行基于聚焦镜头的镜头位置的校准。
另一方面，从利用多个相机进行AF合焦而得到的被拍摄体图像取得适宜的三维信息而生成距离图像时，先准备与被拍摄体距离对应的校准用的相机参数，使用与实际的被拍摄体距离对应的相机参数来进行校准是有效的。
专利文献6的段落0018中，使焦点控制部取得拍摄部的焦点控制位置。即，仅能利用包括取得焦点控制位置信息的功能的拍摄装置进行测距。
也可以考虑使用专利文献8那样的编码器等聚焦镜头位置检测单元，取得合焦时的正确的聚焦镜头位置，推测从该位置到目标被拍摄体之间的被拍摄体距离，但从成本方面的制约考虑，在紧凑型数码相机中设置这种单元是困难的。
本发明鉴于上述情况而创立，其目的在于提供即使没有镜头位置信息也能够高精度地测定被拍摄体距离的测距装置及测距方法。
另外本发明提供不使用编码器等机械单元来检测焦点调节时的正确的聚焦镜头位置，而设定与被拍摄体距离对应的校准用的相机参数的方法。
另外本发明提供在因合焦控制而拍摄光学系统变化的状况下，设定与该光学系统的状态对应的适宜的校准用的相机参数的方法。
为了达成所述目的，本发明的第1方式的测距装置，包括：图像输入部，输入通过多个拍摄设备从不同的视点拍摄被拍摄体得到的多个视点图像；校准数据取得部，关注多个关注距离中的每一个关注距离，从用于使所述视点图像的二维坐标和实空间的三维坐标匹配的多个校准数据中取得与所述各关注距离对应的校准数据；图像校正部，对于所述各关注距离，基于所述各校准数据校正所述多个视点图像；视差运算部，对于所述各关注距离，在校正后的所述多个视点图像间算出视差；比较部，在关注的所述多个关注距离上比较校正后的所述视点图像，由此从所述多个校准数据中确定最优校准数据；距离运算部，基于所述视差算出被拍摄体距离；输出部，将从利用所述最优校准数据校正后的所述视点图像间的所述视差算出的被拍摄体距离作为测距结果输出。
即，能够从拍摄设备的可合焦距离范围上的多个校准数据中确定最优校准数据，得到从利用最优校准数据校正后的视点图像间的视差算出的被拍摄体距离作为测距结果，因此即使没有镜头位置信息，也能够高精度地测定被拍摄体距离。
本发明的第2方式的测距装置基于上述第1方式，包括相关度运算部，该相关度运算部对于所述各关注距离，算出校正后的所述多个视点图像间的亮度及颜色中的至少一方的相关度，所述比较部在关注的多个所述关注距离上比较所述相关度，将所述相关度为最大的校准数据确定作为所述最优校准数据。
本发明的第3方式的测距装置基于上述第1方式，包括纵偏移量运算部，该纵偏移量运算部对于所述各关注距离，算出校正后的所述多个视点图像间的对应像素间的纵偏移量，所述比较部在关注的多个所述关注距离上比较所述纵偏移量，将所述纵偏移量为最小的校准数据确定作为所述最优校准数据。
本发明的第4方式的测距装置基于上述第1方式，包括视差运算像素数算出部，该视差运算像素数算出部对于所述各关注距离，算出在校正后的所述多个视点图像间完成了视差运算的视差运算像素数，所述比较部在关注的多个所述关注距离上比较所述视差运算像素数，将所述视差运算像素数为最大的校准数据确定为所述最优校准数据。
本发明的第5方式的测距装置基于上述第1方式，包括局部噪声像素数运算部，该局部噪声像素数运算部对于所述各关注距离，算出在校正后的所述多个视点图像的视差分布中局部存在的局部噪声像素数，所述比较部在关注的多个所述关注距离上比较所述局部噪声像素数，将所述局部噪声像素数为最小的校准数据确定为所述最优校准数据。
另外，本发明的第6方式的测距装置包括：图像输入部，输入通过多个拍摄设备从不同的视点拍摄被拍摄体得到的多个视点图像；校准数据取得部，关注多个关注距离中的每一个关注距离，从用于使所述视点图像的二维坐标和实空间的三维坐标匹配的多个校准数据中取得与所述各关注距离对应的校准数据；图像校正部，对于所述各关注距离，基于所述各校准数据校正所述多个视点图像；视差运算部，对于所述各关注距离，在校正后的所述多个视点图像间算出视差；距离运算部，对于所述各关注距离，基于所述视差算出被拍摄体距离；比较部，在关注的多个所述关注距离上比较所述被拍摄体距离和所述关注距离的差分，由此从所述多个校准数据中确定最优校准数据；输出部，将从利用所述最优校准数据校正后的所述视点图像的所述视差算出的所述被拍摄体距离作为测距结果输出。
即，能够从拍摄设备的可合焦距离范围上的多个校准数据中确定最优校准数据，得到从利用最优校准数据校正后的视点图像间的视差算出的被拍摄体距离作为测距结果，因此即使没有镜头位置信息，也能够高精度地测定被拍摄体距离。
另外，本发明的第7方式的测距装置包括：图像输入部，输入通过多个拍摄设备从不同的视点拍摄被拍摄体得到的多个视点图像；校准数据取得部，关注多个关注距离中的每一个关注距离，从用于使所述视点图像的二维坐标和实空间的三维坐标匹配的多个校准数据中取得与所述各关注距离对应的校准数据；第一视差运算部，对于所述各关注距离，基于所述关注距离算出第一视差；图像校正部，对于所述各关注距离，基于所述各校准数据校正多个所述视点图像；第二视差运算部，对于所述各关注距离，在校正后的多个所述视点图像间算出第二视差；比较部，在关注的多个所述关注距离上比较所述第一视差和所述第二视差的差分，由此从所述多个校准数据中确定最优校准数据；距离运算部，基于利用所述最优校准数据校正后的所述视点图像的所述第二视差，算出被拍摄体距离；输出部，将算出的所述被拍摄体距离作为测距结果输出。
即，能够从拍摄设备的可合焦距离范围上的多个校准数据中确定最优校准数据，得到从利用最优校准数据校正后的视点图像间的视差算出的被拍摄体距离作为测距结果，因此即使没有镜头位置信息，也能够高精度地测定被拍摄体距离。
另外，本发明的第8方式的测距装置，包括：图像输入部，输入通过多个拍摄设备从不同的视点拍摄被拍摄体得到的多个视点图像；校准数据取得部，关注多个关注距离中的每一个关注距离，从用于使所述视点图像的二维坐标和实空间的三维坐标匹配的多个校准数据中取得与所述各关注距离对应的校准数据；图像校正部，对于所述各关注距离，基于所述各校准数据校正所述多个视点图像；视差运算部，对于所述各关注距离，在校正后的所述多个视点图像间算出视差；距离运算部，对于所述各关注距离，基于所述视差算出被拍摄体距离；距离差分运算部，对于所述各关注距离，算出所述被拍摄体距离和所述关注距离的差分；关注距离决定部，在多个所述关注距离中决定最初的关注距离，并且将算出的所述被拍摄体距离决定为下一个关注距离，由此切换所述关注距离；比较部，比较所述关注距离的切换前后的所述差分，由此从多个算出的所述被拍摄体距离中选择测距结果；输出部，输出所述测距结果。
即，能够从拍摄设备的可合焦距离范围上的多个校准数据中确定最优校准数据，得到从利用最优校准数据校正后的视点图像间的视差算出的被拍摄体距离作为测距结果，因此即使没有镜头位置信息，也能够高精度地测定被拍摄体距离。
另外，本发明的第9方式的测距装置，包括：图像输入部，输入通过多个拍摄设备从不同的视点拍摄被拍摄体得到的多个视点图像；校准数据取得部，关注多个关注距离中的每一个关注距离，从用于使所述视点图像的二维坐标和实空间的三维坐标匹配的多个校准数据中取得与所述各关注距离对应的校准数据；图像校正部，对于所述各关注距离，基于所述各校准数据校正所述多个视点图像；视差运算部，对于所述各关注距离，在校正后的所述多个视点图像间算出视差；距离运算部，对于所述各关注距离，基于所述视差算出被拍摄体距离；关注距离决定部，在多个所述关注距离中决定最初的关注距离，并且将算出的所述被拍摄体距离决定为下一个关注距离，由此切换所述关注距离；距离差分运算部，对于所述各关注距离，算出所述被拍摄体距离和所述关注距离的差分；比较部，比较所述差分和阈值；输出部，在所述差分小于所述阈值的情况下，将算出的所述被拍摄体距离作为测距结果输出。
即，能够从拍摄设备的可合焦距离范围上的多个校准数据中确定最优校准数据，得到从利用最优校准数据校正后的视点图像间的视差算出的被拍摄体距离作为测距结果，因此即使没有镜头位置信息，也能够高精度地测定被拍摄体距离。
另外，首先利用最初的关注距离算出临时的被拍摄体距离，将该算出的被拍摄体距离作为下一个关注距离算出作为测距结果的被拍摄体距离，因此能够高速且高精度地输出测距结果。
本发明的第10方式的测距装置基于上述第1方式，包括：关注距离决定部，在多个所述关注距离中决定最初的关注距离，并且将算出的所述被拍摄体距离决定为下一个关注距离，由此切换所述关注距离；相关度运算部，对于所述各关注距离，算出校正后的所述多个视点图像间的亮度或颜色中的至少一方的相关度，所述比较部对于每次所述关注距离的切换比较所述相关度，在与在所述关注距离的切换前算出的所述相关度相比在所述关注距离的切换后算出的所述相关度小的情况下，采用在所述关注距离的切换前算出的所述被拍摄体距离作为测距结果。
即，首先利用最初的关注距离算出临时的被拍摄体距离，将该算出的被拍摄体距离作为下一个关注距离算出作为测距结果的被拍摄体距离，因此能够高速且高精度地输出测距结果。
本发明的第11方式的测距装置基于上述第1方式，包括：关注距离决定部，在多个所述关注距离中决定最初的关注距离，并且将算出的所述被拍摄体距离决定为下一个关注距离，由此切换所述关注距离；纵偏移量运算部，对于所述各关注距离，算出校正后的所述多个视点图像间的对应像素间的纵偏移量，所述比较部对于每次所述关注距离的切换比较所述纵偏移量，在与在所述关注距离的切换前算出的所述纵偏移量相比在所述关注距离的切换后算出的所述纵偏移量大的情况下，采用在所述关注距离的切换前算出的所述被拍摄体距离作为测距结果。
即，首先利用最初的关注距离算出临时的被拍摄体距离，将该算出的被拍摄体距离作为下一个关注距离算出作为测距结果的被拍摄体距离，因此能够高速且高精度地输出测距结果。
本发明的第12方式的测距装置基于上述第1方式，包括：关注距离决定部，在多个所述关注距离中决定最初的关注距离，并且将算出的所述被拍摄体距离决定为下一个关注距离，由此切换所述关注距离；视差运算像素数算出部，对于所述各关注距离，算出在校正后的所述多个视点图像间完成了视差运算的视差运算像素数，所述比较部对于每次所述关注距离的切换比较所述视差运算像素数，在与在所述关注距离的切换前算出的所述视差运算像素数相比在所述关注距离的切换后算出的所述视差运算像素数小的情况下，采用在所述关注距离的切换前算出的所述被拍摄体距离作为测距结果。
即，首先利用最初的关注距离算出临时的被拍摄体距离，将该算出的被拍摄体距离作为下一个关注距离算出作为测距结果的被拍摄体距离，因此能够高速且高精度地输出测距结果。
本发明的第13方式的测距装置基于上述第1方式，包括：关注距离决定部，在多个所述关注距离中决定最初的关注距离，并且将算出的所述被拍摄体距离决定为下一个关注距离，由此切换所述关注距离；局部噪声像素数运算部，对于所述各关注距离，算出在校正后的所述多个视点图像的视差分布中局部存在的局部噪声像素数，所述比较部对于每次所述关注距离的切换比较所述局部噪声像素数，在与在所述关注距离的切换前算出的所述局部噪声像素数相比在所述关注距离的切换后算出的所述局部噪声像素数大的情况下，采用在所述关注距离的切换前算出的所述被拍摄体距离作为测距结果。
即，首先利用最初的关注距离算出临时的被拍摄体距离，将该算出的被拍摄体距离作为下一个关注距离算出作为测距结果的被拍摄体距离，因此能够高速且高精度地输出测距结果。
本发明的第14方式的测距装置基于上述第1～第13方式，包括代表视差决定部，该代表视差决定部生成表示所述视点图像间的视差与频度的关系的直方图，基于所述直方图中的所述频度决定代表视差，所述距离运算部基于所述代表视差算出所述被拍摄体距离。
即，能够简单且高精度地求出代表视差。因此，能够简单且高精度地得到作为测距结果的被拍摄体距离。
本发明的第15方式的测距装置基于上述第14方式，所述代表视差决定部从所述直方图检测众数，将该众数决定为所述代表视差。
本发明的第16方式的测距装置基于上述第1～第13方式，包括代表距离决定部，该代表距离决定部生成表示所述视点图像的各像素的距离与频度的关系的直方图，基于所述直方图中的所述频度决定代表距离，所述距离运算部算出所述各像素的距离，所述输出部输出所述代表距离作为测距结果。
即，可简单且高精度地得到代表距离（即作为测距结果的被拍摄体距离）。
本发明的第17方式的测距装置基于上述第16方式，从所述直方图检测众数，将该众数决定为所述代表距离。
本发明的第18方式的测距装置基于上述第14～第17方式，在所述直方图中判别所述频度的高低，从所述直方图将局部存在的像素的成分除外。
即，能够不从全部像素求出代表视差或代表距离，而是限定不正确映射像素判断等的判断对象，求出代表视差或代表距离，因此能够高速地进行测距。
本发明的第19方式的测距装置基于上述第14～第18方式，包括关注区域决定部，该关注区域决定部决定算出所述频度的关注区域，限定于所述关注区域算出所述频度并生成所述直方图。
即，能够限定于关注区域求出代表视差或代表距离，因此能够高速地进行测距。
本发明的第20方式的测距装置基于上述第19方式，所述关注区域决定部将在所述视点图像的拍摄时曝光控制或合焦控制所使用的运算区域决定为所述关注区域。
本发明的第21方式的测距装置基于上述第19方式，所述关注区域决定部将所述视点图像分割成阵列状的多个分割区域，对于所述各分割区域进行频率解析，将具有高频成分的分割区域决定为所述关注区域。
本发明的第22方式的测距装置基于上述第19～第21方式，所述关注区域决定部将从所述视点图像提取了特定对象的特定对象提取区域决定为所述关注区域。
本发明的第23方式的测距装置基于上述第14～第22方式，包括权重决定部，该权重决定部基于所述视点图像中的各像素的位置，决定针对所述频度的权重，进行基于所述权重的加权而生成所述直方图。
另外，本发明的第24方式的测距方法，包括：图像输入步骤，输入通过多个拍摄设备从不同的视点拍摄被拍摄体得到的多个视点图像；校准数据取得步骤，关注多个关注距离中的每一个关注距离，从用于使所述视点图像的二维坐标和实空间的三维坐标匹配的多个校准数据中取得与所述各关注距离对应的校准数据；图像校正步骤，对于所述各关注距离，基于所述各校准数据校正所述多个视点图像；视差运算步骤，对于所述各关注距离，在校正后的所述多个视点图像间算出视差；比较步骤，在关注的所述多个关注距离上比较校正后的所述视点图像，由此从所述多个校准数据中确定最优校准数据；距离运算步骤，基于所述视差算出被拍摄体距离；输出步骤，将从利用所述最优校准数据校正后的所述视点图像间的所述视差算出的被拍摄体距离作为测距结果输出。
本发明的第25方式的测距方法基于上述第24方式，包括如下步骤：对于所述各关注距离，算出校正后的所述多个视点图像间的亮度及颜色中的至少一方的相关度；在关注的多个所述关注距离上比较所述相关度，将所述相关度为最大的校准数据确定作为所述最优校准数据。
本发明的第26方式的测距方法基于上述第24方式，包括如下步骤：对于所述各关注距离，算出校正后的所述多个视点图像间的对应像素间的纵偏移量；在关注的多个所述关注距离上比较所述纵偏移量，将所述纵偏移量为最小的校准数据确定作为所述最优校准数据。
本发明的第27方式的测距方法基于上述第24方式，包括如下步骤：对于所述各关注距离，算出在校正后的所述多个视点图像间完成了视差运算的视差运算像素数；在关注的多个所述关注距离上比较所述视差运算像素数，将所述视差运算像素数为最大的校准数据确定为所述最优校准数据。
此外，上述的方式中，也可以包括如下步骤：对于所述各关注距离，算出在校正后的所述多个视点图像间完成了视差运算的视差运算像素数；在关注的多个所述关注距离上比较所述视差运算像素数，将所述视差运算像素数为最小的校准数据确定为所述最优校准数据。
本发明的第28方式的测距方法基于上述第24方式，包括如下步骤：对于所述各关注距离，算出在校正后的所述多个视点图像的视差分布中局部存在的局部噪声像素数；在关注的多个所述关注距离上比较所述局部噪声像素数，将所述局部噪声像素数为最小的校准数据确定为所述最优校准数据。
另外，本发明的第29方式的测距方法包括：图像输入步骤，输入通过多个拍摄设备从不同的视点拍摄被拍摄体得到的多个视点图像；校准数据取得步骤，关注多个关注距离中的每一个关注距离，从用于使所述视点图像的二维坐标和实空间的三维坐标匹配的多个校准数据中取得与所述各关注距离对应的校准数据；图像校正步骤，对于所述各关注距离，基于所述各校准数据校正所述多个视点图像；视差运算步骤，对于所述各关注距离，在校正后的所述多个视点图像间算出视差；距离运算步骤，对于所述各关注距离，基于所述视差算出被拍摄体距离；比较步骤，在关注的多个所述关注距离上比较所述被拍摄体距离和所述关注距离的差分，由此从所述多个校准数据中确定最优校准数据；输出步骤，将从利用所述最优校准数据校正后的所述视点图像的所述视差算出的所述被拍摄体距离作为测距结果输出。
另外，本发明的第30方式的测距方法包括：图像输入步骤，输入通过多个拍摄设备从不同的视点拍摄被拍摄体得到的多个视点图像；校准数据取得步骤，关注多个关注距离中的每一个关注距离，从用于使所述视点图像的二维坐标和实空间的三维坐标匹配的多个校准数据中取得与所述各关注距离对应的校准数据；第一视差运算步骤，对于所述各关注距离，基于所述关注距离算出第一视差；图像校正步骤，对于所述各关注距离，基于所述各校准数据校正多个所述视点图像；第二视差运算步骤，对于所述各关注距离，在校正后的多个所述视点图像间算出第二视差；比较步骤，在关注的多个所述关注距离上比较所述第一视差和所述第二视差的差分，由此从所述多个校准数据中确定最优校准数据；距离运算步骤，基于利用所述最优校准数据校正后的所述视点图像的所述第二视差，算出被拍摄体距离；输出步骤，将算出的所述被拍摄体距离作为测距结果输出。
本发明的第31方式的测距方法基于上述第24～第30方式，以大于第一变更幅度的第二变更幅度变更所述关注距离且进行第一测距而取得第一被拍摄体距离，在所述第一被拍摄体距离的附近以所述第一变更幅度变更所述关注距离且进行第二测距取得第二被拍摄体距离，输出所述第二被拍摄体距离作为测距结果。
本发明的第32方式的测距方法基于上述第31方式，在所述第一测距和所述第二测距中，最优的校准数据的判断基准不同。
另外，本发明的第33方式的测距方法，包括：图像输入步骤，输入通过多个拍摄设备从不同的视点拍摄被拍摄体得到的多个视点图像；校准数据取得步骤，关注多个关注距离中的每一个关注距离，从用于使所述视点图像的二维坐标和实空间的三维坐标匹配的多个校准数据中取得与所述各关注距离对应的校准数据；在多个所述关注距离中决定最初的关注距离的步骤；图像校正步骤，对于所述各关注距离，基于所述各校准数据校正所述多个视点图像；视差运算步骤，对于所述各关注距离，在校正后的所述多个视点图像间算出视差；距离运算步骤，对于所述各关注距离，基于所述视差算出被拍摄体距离；通过将算出的所述被拍摄体距离决定为下一个关注距离而切换所述关注距离的步骤；比较步骤，对于所述各关注距离，算出所述被拍摄体距离和所述关注距离的差分，比较所述关注距离的切换前后的所述差分，由此从多个算出的所述被拍摄体距离中选择测距结果；输出步骤，输出所述测距结果。
另外，本发明的第34方式的测距方法，包括：图像输入步骤，输入通过多个拍摄设备从不同的视点拍摄被拍摄体得到的多个视点图像；在多个关注距离中决定最初的关注距离的步骤；校准数据取得步骤，关注多个关注距离中的每一个关注距离，从用于使所述视点图像的二维坐标和实空间的三维坐标匹配的多个校准数据中取得与所述各关注距离对应的校准数据；图像校正步骤，对于所述各关注距离，基于所述各校准数据校正所述多个视点图像；视差运算步骤，对于所述各关注距离，在校正后的所述多个视点图像间算出视差；距离运算步骤，对于所述各关注距离，基于所述视差算出被拍摄体距离；通过将算出的所述被拍摄体距离决定为下一个关注距离而切换所述关注距离的步骤；比较步骤，对于所述各关注距离，算出所述被拍摄体距离和所述关注距离的差分，比较所述差分和阈值；输出步骤，在所述差分小于所述阈值的情况下，将算出的所述被拍摄体距离作为测距结果输出。
本发明的第35方式的测距方法基于上述第24方式，包括：在多个关注距离中决定最初的关注距离的步骤；对于所述各关注距离，算出校正后的所述多个视点图像间的亮度或颜色中的至少一方的相关度的步骤；通过将算出的所述被拍摄体距离决定为下一个关注距离而切换所述关注距离的步骤；对于每次所述关注距离的切换比较所述相关度，在与在所述关注距离的切换前算出的所述相关度相比在所述关注距离的切换后算出的所述相关度小的情况下，采用在所述关注距离的切换前算出的所述被拍摄体距离作为测距结果。
本发明的第36方式的测距方法基于上述第24方式，包括：在多个关注距离中决定最初的关注距离的步骤；对于所述各关注距离，算出校正后的所述多个视点图像间的对应像素间的纵偏移量的步骤；通过将算出的所述被拍摄体距离决定为下一个关注距离而切换所述关注距离的步骤；对于每次所述关注距离的切换比较所述纵偏移量，在与在所述关注距离的切换前算出的所述纵偏移量相比在所述关注距离的切换后算出的所述纵偏移量大的情况下，采用在所述关注距离的切换前算出的所述被拍摄体距离作为测距结果。
本发明的第37方式的测距方法基于上述第24方式，包括：在多个关注距离中决定最初的关注距离的步骤；对于所述各关注距离，算出在校正后的所述多个视点图像间完成了视差运算的视差运算像素数的步骤；通过将算出的所述被拍摄体距离决定为下一个关注距离而切换所述关注距离的步骤；对于每次所述关注距离的切换比较所述视差运算像素数，在与在所述关注距离的切换前算出的所述视差运算像素数相比在所述关注距离的切换后算出的所述视差运算像素数大的情况下，采用在所述关注距离的切换前算出的所述被拍摄体距离作为测距结果。
本发明的第38方式的测距方法基于上述第24方式，包括：在多个关注距离中决定最初的关注距离的步骤；对于所述各关注距离，算出在校正后的所述多个视点图像的视差分布中局部存在的局部噪声像素数的步骤；通过将算出的所述被拍摄体距离决定为下一个关注距离而切换所述关注距离的步骤；对于每次所述关注距离的切换比较所述局部噪声像素数，在与在所述关注距离的切换前算出的所述局部噪声像素数相比在所述关注距离的切换后算出的所述局部噪声像素数大的情况下，采用在所述关注距离的切换前算出的所述被拍摄体距离作为测距结果。
本发明的第39方式的测距方法基于上述第33～第38方式，在决定所述最初的关注距离而取得初始的所述被拍摄体距离的第一测距和将所述由第一测距得到的所述被拍摄体距离决定为下一个所述关注距离而取得作为测距结果的所述被拍摄体距离的第二测距中，最优的校准数据的判断基准不同。
本发明的第40方式的测距方法基于上述第24～第39方式，生成表示所述视点图像间的视差与频度的关系的直方图，基于所述直方图中的所述频度决定代表视差，基于所述代表视差算出所述被拍摄体距离。
本发明的第41方式的测距方法基于上述第40方式，从所述直方图检测众数，将该众数决定为所述代表视差。
本发明的第42方式的测距方法基于上述第24～第39方式，生成表示所述视点图像的各像素的距离与频度的关系的直方图，基于所述直方图中的所述频度决定代表距离，输出所述代表距离作为测距结果。
本发明的第43方式的测距方法基于上述第42方式，从所述直方图检测众数，将该众数决定为所述代表距离。
本发明的第44方式的测距方法基于上述第40～第43方式，在所述直方图中判别所述频度的高低，从所述直方图将局部存在的像素的成分除外。
本发明的第45方式的测距方法基于上述第40～第44方式，决定算出所述频度的关注区域，限定于所述关注区域算出所述频度并生成所述直方图。
本发明的第46方式的测距方法基于上述第45方式，将在所述视点图像的拍摄时曝光控制或合焦控制所使用的运算区域决定为所述关注区域。
本发明的第47方式的测距方法基于上述第45方式，将所述视点图像分割成阵列状的多个分割区域，对于所述各分割区域进行频率解析，将具有高频成分的分割区域决定为所述关注区域。
本发明的第48方式的测距方法基于上述第45～第47方式，将从所述视点图像提取了特定对象的特定对象提取区域决定为所述关注区域。
本发明的第49方式的测距方法基于上述第45～第48方式，基于所述视点图像中的各像素的位置，决定针对所述频度的权重，进行基于所述权重的加权而生成所述直方图。
本发明的第50方式的测距装置，包括：图像输入部，输入通过能够进行焦点调节的拍摄装置从不同的视点拍摄同一被拍摄体得到的多个视点图像；校准参数存储部，存储所述拍摄装置中的与焦点位置对应的校准参数；距离推定部，基于所述视点图像或所述视点图像的附带信息推定从所述拍摄装置到所述被拍摄体的距离即被拍摄体距离；焦点位置选择部，基于由所述距离推定部推定的被拍摄体距离，选择焦点位置；初始校准数据设定部，基于由所述焦点位置选择部选择的所述焦点位置，从存储于所述校准参数存储部的校准参数中设定所述被拍摄体的初始的测距运算所使用的初始校准数据；测距运算部，基于所述初始校准数据设定部设定的初始校准数据和所述多个视点图像间的视差运算被拍摄体距离。
根据本发明，能够使用视点图像或该附带信息简易地设定初始校准数据。
本发明的第51方式的测距装置基于上述第50方式，包括：判定部，评价所述测距运算部运算的距离，判定测距运算的成功或失败；校准参数重新设定部，根据所述判定部的判定结果，从存储于所述校准参数存储部的校准参数中，重新设定适合于所述被拍摄体距离的校准参数。
根据本发明，设定初始校准数据，从拍摄了合焦被拍摄体的视点图像进行测距运算，评价该测距运算，根据该结果重新设定校准参数。因此，能够设定与可变动的拍摄光学系统的合焦状态对应的校准参数而进行简易且正确的测距。
本发明的第52方式的测距装置基于上述第51方式，所述距离推定部基于所述视点图像的附带信息推定所述被拍摄体距离，所述初始校准数据设定部基于所述距离推定部推定的被拍摄体距离和存储于所述校准参数存储部的校准参数，设定所述被拍摄体的初始的测距运算所使用的初始校准数据，所述判定部基于所述测距运算部进行的测距运算的结果生成表示所述初始校准数据设定部设定的初始校准数据的可靠性的可靠性信息，基于所述可靠性信息判定测距运算的成功或失败。
根据本发明，基于根据测距运算的结果生成的可靠性信息来判定测距运算的成功或失败，因此可靠性低的被拍摄体距离不会容易地使用于初始校准数据的设定。
本发明的第53方式的测距装置基于上述第52方式，所述判定部根据所述可靠性信息选择判定测距运算的成功或失败的条件。
本发明的第54方式的测距装置基于上述第50～第53方式，所述距离推定部基于所述附带信息中包含的拍摄模式信息推定所述被拍摄体距离。
根据本发明，能够基于图像的附带信息中一般地包含的拍摄模式信息而简易地推定被拍摄体距离。
本发明的第55方式的测距装置基于上述第50～第53方式，所述距离推定部基于通过解析所述视点图像而取得的与拍摄场景有关的信息或所述附带信息中包含的拍摄场景信息来推定被拍摄体距离。
根据本发明，能够基于图像自身包含的拍摄场景的信息简易地推定被拍摄体距离。
本发明的第56方式的测距装置基于上述第50～第53方式，所述距离推定部基于通过解析所述视点图像而取得的被拍摄体的尺寸信息或所述附带信息中包含的被拍摄体的尺寸信息来推定被拍摄体距离。
本发明的第57方式的测距装置基于上述第56方式，所述距离推定部基于所述视点图像中包含的人物被拍摄体的尺寸和所述人物被拍摄体的标准尺寸的比较来推定所述被拍摄体距离。
根据本发明，一般地能够基于图像中包含的人物被拍摄体的尺寸简易地推定被拍摄体距离。
本发明的第58方式的测距装置基于上述第50～第53方式，所述距离推定部基于所述视点图像的合焦评价值算出区域的视差来推定所述被拍摄体距离。
根据本发明，通过限于合焦被拍摄体而运算视差，能够抑制运算时间和运算负荷。
本发明的第59方式的测距装置基于上述第50～第53方式，所述距离推定部基于所述拍摄装置的会聚距离来推定所述被拍摄体距离。
本发明中，利用不管从左右的视点哪一方看会聚点都映在画面中央，被拍摄体在该距离被拍摄的可能性高这一情况，推定被拍摄体距离。
本发明的第60方式的测距装置基于上述第59方式，包括存储每个拍摄装置的机种的会聚距离的会聚距离存储部，所述距离推定部基于存储于所述会聚距离存储部的会聚距离中与拍摄所述视点图像的拍摄装置的机种对应的会聚距离来推定所述被拍摄体距离。
本发明的第61方式的测距装置基于上述第59方式，包括取得所述拍摄装置的外部参数的外部参数取得部，所述距离推定部从所述外部参数取得部取得的拍摄装置的外部参数算出所述拍摄装置的会聚距离，将算出的会聚距离推定为被拍摄体距离。
根据本发明，即使预先不知道每个拍摄装置的会聚距离，也能够算出拍摄装置的会聚距离。
本发明的第62方式的测距装置基于上述第50～第53方式，包括存储所述视点图像的特征的特征存储部，所述距离推定部比较存储于所述特征存储部的以前的视点图像的特征和当前的视点图像的特征，根据所述比较的结果将所述以前的视点图像的被拍摄体距离推定为当前的视点图像的被拍摄体距离。
本发明在基于多个视点图像连续进行测距的情况下，推测为这些视点图像具有相同的特征，因此通过将对于上一个视点图像的被拍摄体距离设为当前的被拍摄体距离，使被拍摄体距离的推定处理简化。
本发明的第63方式的测距装置基于上述第62方式，所述距离推定部仅在存储于所述特征存储部的以前的视点图像的特征和当前的视点图像的特征一致的情况下，将所述以前的视点图像的被拍摄体距离推定为当前的视点图像的被拍摄体距离。
本发明在拍摄条件变化的情况下，不将以前的视点图像的被拍摄体距离设为当前的视点图像的被拍摄体距离，防止将不符合拍摄条件的被拍摄体距离使用于测距。
本发明的第64方式的测距装置基于上述第50～第53方式，包括接受有关测距运算的参数的输入的测距运算参数输入部，所述距离推定部由从所述测距运算参数输入部输入的参数推定所述被拍摄体距离。
本发明将有关测距运算的参数视为能够信赖内容且从用户输入的内容，使用其算出被拍摄体距离。
本发明的第65方式的测距装置基于上述第50～第64方式，所述校准参数存储部存储与离散地设定的焦点位置中的每一个焦点位置对应的校准参数。
本发明的第66方式的测距装置基于上述第50～第64方式，所述校准参数存储部存储规定与焦点位置对应的校准参数的函数。
本发明的第67方式的拍摄装置包括：焦点位置控制部，控制不同的拍摄光学系统各自的聚焦镜头的焦点位置；拍摄部，能够对应于所述焦点位置控制部的控制，将通过拍摄元件对经由所述拍摄光学系统成像的被拍摄体像进行光电变换而得到的多个视点图像向上述第50～第66方式的测距装置具备的图像输入部输出。
本发明的第68方式的测距方法，信息处理装置执行如下步骤：输入通过能够进行焦点调节的拍摄装置从不同的视点拍摄同一被拍摄体得到的多个视点图像；存储所述拍摄装置中的与焦点位置对应的校准参数；基于所述视点图像或所述视点图像的附带信息推定从所述拍摄装置到所述被拍摄体的距离即被拍摄体距离；基于所述推定的被拍摄体距离，选择焦点位置；基于所述选择的所述焦点位置，从所述存储的校准参数中设定所述被拍摄体的初始的测距运算所使用的初始校准数据；基于所述设定的初始校准数据和所述多个视点图像间的视差运算被拍摄体距离。
本发明的第69方式的测距程序，使信息处理装置实现如下功能：接受通过能够进行焦点调节的拍摄装置从不同的视点拍摄同一被拍摄体得到的多个视点图像的输入；存储所述拍摄装置中的与焦点位置对应的校准参数；基于所述视点图像或所述视点图像的附带信息推定从所述拍摄装置到所述被拍摄体的距离即被拍摄体距离；基于所述推定的被拍摄体距离，选择焦点位置；基于所述选择的所述焦点位置，从所述存储的校准参数中设定所述被拍摄体的初始的测距运算所使用的初始校准数据；基于所述设定的初始校准数据和所述多个视点图像间的视差运算被拍摄体距离。
本发明的第70方式的测距系统包括：焦点位置控制部，控制不同的拍摄光学系统各自的聚焦镜头的焦点位置；拍摄部，能够对应于所述焦点位置控制部的控制，将通过拍摄元件对经由所述拍摄光学系统成像的被拍摄体像进行光电变换而得到的多个视点图像向所述测距装置的图像输入部输出。
发明效果
根据本发明，即使没有镜头位置信息也能够高精度地测定被拍摄体距离。
另外，根据本发明，能够基于视点图像或视点图像的附带信息推定被拍摄体距离，基于推定的被拍摄体距离选择焦点位置，设定与该选择的焦点位置对应的初始校准参数，从拍摄被拍摄体的视点图像进行测距运算。因此，无需使用机械手段检测焦点调节时的正确的聚焦镜头位置，而能够设定与被拍摄体距离对应的校准用的相机参数。
另外，根据本发明，设定初始校准数据，从拍摄被拍摄体的视点图像进行测距运算，评价该测距运算，对应于该结果而重新设定校准参数。因此，能够设定可变动的与拍摄光学系统的合焦状态对应的校准参数而进行简易且正确的测距。
附图说明
图1是第1实施方式的实施例1中的测距装置的框图；
图2是表示校准数据的一例的说明图；
图3是表示校准数据运算函数的一例的说明图；
图4A是视差和被拍摄体距离的关系的说明所使用的说明图；
图4B是视差和被拍摄体距离的关系的说明所使用的说明图；
图5是第1实施方式的实施例1中的测距处理的流程图；
图6是第1实施方式的实施例1中的测距的说明所使用的说明图；
图7A是第1实施方式的实施例2中的测距处理的流程图；
图7B是第1实施方式的实施例2中的测距处理的流程图；
图8是第1实施方式的实施例2中的测距的说明所使用的说明图；
图9是第1实施方式的实施例3中的测距装置的框图；
图10是第1实施方式的实施例3中的测距处理的流程图；
图11A是第1实施方式的实施例4中的测距处理的流程图；
图11B是第1实施方式的实施例4中的测距处理的流程图；
图12是第2实施方式的实施例1中的测距装置的框图；
图13是第2实施方式的实施例1中的测距处理的流程图；
图14是第2实施方式的实施例1中的测距的说明所使用的说明图；
图15A是第2实施方式的实施例2中的测距处理的流程图；
图15B是第2实施方式的实施例2中的测距处理的流程图；
图16是第2实施方式的实施例3中的测距装置的框图；
图17是第3实施方式的实施例1中的测距装置的框图；
图18是第3实施方式的实施例1中的测距处理的流程图；
图19A是第2实施方式的实施例2中的测距处理的流程图；
图19B是第2实施方式的实施例2中的测距处理的流程图；
图20是第3实施方式的实施例3中的测距装置的框图；
图21是第4实施方式的实施例1中的测距装置的框图；
图22是第4实施方式的实施例1中的测距处理的流程图；
图23A是第4实施方式的实施例2中的测距处理的流程图；
图23B是第4实施方式的实施例2中的测距处理的流程图；
图24是第4实施方式的实施例3中的测距装置的框图；
图25是第5实施方式的实施例1中的测距装置的框图；
图26是第5实施方式的实施例1中的测距处理的流程图；
图27是表示距离的直方图的一例的说明图；
图28A是第5实施方式的实施例2中的测距处理的流程图；
图28B是第5实施方式的实施例2中的测距处理的流程图；
图29是第5实施方式的实施例3中的测距装置的框图；
图30是第5实施方式的实施例3中的测距处理的流程图；
图31是表示视差直方图的一例的说明图；
图32是第5实施方式的实施例4中的测距装置的框图；
图33是第5实施方式的实施例4中的测距处理的流程图；
图34是第6实施方式的实施例1中的测距处理的前半处理例的流程图；
图35是第6实施方式的实施例1中的测距处理的后半处理例的流程图；
图36A是第6实施方式的实施例1中的测距的说明所使用的说明图；
图36B是第6实施方式的实施例1中的测距的说明所使用的说明图；
图37A是第6实施方式的实施例2中的测距处理的前半处理例的流程图；
图37B是第6实施方式的实施例2中的测距处理的前半处理例的流程图；
图38A是第6实施方式的实施例2中的测距处理的后半处理例的流程图；
图38B是第6实施方式的实施例2中的测距处理的后半处理例的流程图；
图39A是第6实施方式的实施例1中的测距的说明所使用的说明图；
图39B是第6实施方式的实施例1中的测距的说明所使用的说明图；
图40是第7实施方式的实施例1中的测距装置的框图；
图41A是第7实施方式的实施例1中的测距处理的流程图；
图41B是第7实施方式的实施例1中的测距处理的流程图；
图42是第7实施方式的实施例2中的测距装置的框图；
图43A是第7实施方式的实施例2中的测距处理的流程图；
图43B是第7实施方式的实施例2中的测距处理的流程图；
图44是第8实施方式的实施例1中的测距装置的框图；
图45是第8实施方式的实施例1中的测距处理的流程图；
图46是第8实施方式的实施例2中的测距装置的框图；
图47是第9实施方式的实施例1中的测距装置的框图；
图48A是第9实施方式的实施例1中的测距处理的流程图；
图48B是第9实施方式的实施例1中的测距处理的流程图；
图49是第9实施方式的实施例2中的测距装置的框图；
图50是第10实施方式的实施例1中的测距装置的框图；
图51A是第10实施方式的实施例1中的测距处理的流程图；
图51B是第10实施方式的实施例1中的测距处理的流程图；
图52是第10实施方式的实施例2中的测距装置的框图；
图53是第11实施方式的实施例1中的测距装置的框图；
图54A是第11实施方式的实施例1中的测距处理的流程图；
图54B是第11实施方式的实施例1中的测距处理的流程图；
图55是第11实施方式的实施例2中的测距装置的框图；
图56是第12实施方式的实施例1中的测距装置的框图；
图57A是第12实施方式的实施例1中的测距处理的流程图；
图57B是第12实施方式的实施例1中的测距处理的流程图；
图58是第12实施方式的实施例2中的测距装置的框图；
图59A是第13实施方式的实施例1中的测距处理的流程图；
图59B是第13实施方式的实施例1中的测距处理的流程图；
图60是第13实施方式的实施例2中的测距处理的流程图；
图61A是第13实施方式的实施例3中的测距处理的流程图；
图61B是第13实施方式的实施例3中的测距处理的流程图；
图62是第14实施方式中的测距装置例的框图；
图63是第14实施方式的实施例1中的代表视差决定部的详细框图；
图64A是第14实施方式的实施例1中的测距处理的流程图；
图64B是第14实施方式的实施例1中的测距处理的流程图；
图65是第14实施方式的实施例2中的代表视差决定部的详细框图；
图66是第14实施方式的实施例2中的测距处理的要部流程图；
图67A是视差选择的说明图；
图67B是滤波器的说明图；
图68A是第14实施方式的实施例3中的代表视差决定部的详细框图；
图68B是关注区域决定部的详细框图；
图69是第14实施方式的实施例3中的测距处理的要部流程图；
图70是关注距离决定处理例的流程图；
图71A是将高频区域决定为关注区域时的说明图；
图71B是将脸提取区域决定为关注区域时的说明图；
图72是第14实施方式的实施例4中的代表视差决定部的详细框图；
图73是第14实施方式的实施例4中的测距处理的要部流程图；
图74是关注区域的分割及加权的说明所使用的说明图；
图75是测距装置的框图；
图76是测距处理的概略流程图；
图77是第1实施方式的初始校准数据选择处理的流程图；
图78是运算结果评价处理的流程图；
图79是校准数据更新·再选择处理的流程图；
图80是第2实施方式的初始校准数据选择处理的流程图；
图81是第2实施方式的运算结果判定处理的流程图；
图82是第3实施方式的初始校准数据选择处理的流程图；
图83是第4实施方式的初始校准数据选择处理的流程图；
图84是第5实施方式的初始校准数据选择处理的流程图；
图85是第6实施方式的初始校准数据选择处理的流程图；
图86是第7实施方式的初始校准数据选择处理的流程图；
图87是第8实施方式的初始校准数据选择处理的流程图；
图88是第9实施方式的初始校准数据选择处理的流程图；
图89是第10实施方式的初始校准数据选择处理的流程图；
图90是概念性地例示与焦点位置（离散值）对应的校准参数的构成的图；
图91是概念性地例示与焦点位置（函数）对应的校准参数的构成的图；
图92是例示相机的电气结构的图。
具体实施方式
以下，根据附图，详细说明本发明的实施方式。
首先，说明第1实施方式。
图1是第1实施方式的实施例1中的测距装置100a的框图。
图1中，本例的测距装置100a包括测距控制部10、图像输入部11、存储器12、指定编号决定部13、校准数据取得部14、校准部15、视差运算部16、距离运算部17、相关度运算部18、相关度比较部19、及距离记录部20。
测距控制部10通过统一控制测距装置100a的各部分来执行测距处理。
图像输入部11输入通过多个拍摄设备从不同的视点拍摄被拍摄体而得到的多个拍摄图像（以下称为“视点图像”）。作为图像输入部11的例子，可举出从存储卡等记录介质输入多个视点图像的记录介质接口、与三维数码相机（立体拍摄装置）通信而接收多个视点图像的相机接口、从网络输入多个视点图像的网络接口等。
存储器12是存储各种信息的设备。例如由ROM（Read OnlyMemory）、RAM（Random Access Memory）及EEPROM（ElectricallyErasable and Programmable ROM）构成。
测距控制部10、指定编号决定部13、校准数据取得部14、校准部15、视差运算部16、距离运算部17、相关度运算部18及相关度比较部19例如由CPU（Central Processing Unit）构成。
指定编号决定部13决定指定编号。指定编号是指示关注能够由拍摄设备合焦的距离范围上的多个指定距离（关注距离）中的哪一个索引。即，指定编号决定部13通过指定编号指定应关注的指定距离及校准数据。
校准数据取得部14取得与决定的指定编号对应的校准数据（即与关注的指定距离对应的校准数据）取得。校准数据是用于使视点图像的二维坐标和实空间的三维坐标匹配的数据。
校准部15（图像校正单元）基于取得的校准数据校正多个视点图像。
视差运算部16对于各个指定距离在校正后的多个视点图像间算出视差。
距离运算部17基于由视差运算部16算出的视差算出被拍摄体距离。
相关度运算部18对于各个关注距离算出校正后的多个视点图像间的对应像素间的亮度或颜色的相关度。
相关度比较部19通过在关注的多个关注距离上比较相关度，从多个校准数据中确定相关度最大的校准数据作为最优校准数据。
距离记录部20将从利用最优校准数据校正后的视点图像间的视差算出的被拍摄体距离确定作为测距结果，记录在记录介质中。
接着，对校准数据取得的各种方式进行说明。
第一，存在如下方式：将表示可合焦距离和校准数据的对应关系的表信息预先存储于存储器12，从存储器12取得与关注的可合焦距离对应的校准数据。
图2表示存储于存储器12的校准数据的结构例。本例的校准数据对于相机的各个拍摄设备包含畸变参数（中心坐标及系数）、外部参数及内部参数而构成。畸变参数及内部参数是各个拍摄设备的图像校正用参数，外部参数是拍摄设备间的图像校正用参数。也可以通过线性插补求出指定距离间的校准数据。
第二，存在如下方式：将表示可合焦距离和校准数据的对应关系的函数预先存储于存储器12，通过函数算出与关注的可合焦距离对应的校准数据。
图3表示存储于存储器12的函数的结构例。本例的函数将可合焦距离L作为输入值，输出畸变参数（中心坐标及系数）、外部参数及内部参数。例如，对于各参数，将构成函数的多项式的系数存储于存储器12。
接着，对于被拍摄体距离与视差的关系，使用图4A及图4B进行说明。
首先，为了便于理解，设在拍摄多个视点图像的三维数码相机80中基线长SB（拍摄设备81L、81R的光轴的间隔）及会聚角θc（拍摄设备81L、81R的光轴彼此构成的角度）为一定而进行说明。利用多个拍摄设备81L、81R，从多个视点拍摄同一个特定对象91（例如球），由此生成多个视点图像（左视点图像92L及右视点图像92R）。生成的视点图像92L、92R分别包含同一特定对象91投影而成的特定对象像93L、93R。将这些视点图像92L、92R在能够进行立体显示的监视器82中重叠显示，即进行三维显示，由此重现三维显示图像94。三维显示图像94由左视点图像92L及右视点图像92R构成。观察者95从两眼96L、96R观察监视器82上的三维显示图像94。由此，对于观察者95，特定对象91（例如球）的虚像97跳出而可见。另外，图4B中，在比光轴相交的会聚点99近的位置存在特定对象91，因此虚像97向眼前侧跳出而可见，但在比会聚点99远的位置存在特定对象时，虚像被拉入进深侧而被看见。如图4A所示，在被拍摄体距离S比直到会聚点99的距离小的范围内，被拍摄体距离S越小，视点图像92L、92R上特定对象像93L、93R的中心坐标XLF、XRF（图2中仅图示出x坐标）的差分｜XLF-XRF｜越大。即，被拍摄体距离S越小，在视点图像间对应点彼此越分离。在此处，差分｜XLF-XRF｜仅是x坐标，将其表示作为视差AP（两眼视差量）。即，若基线长SB及会聚角θc为一定，则被拍摄体距离S越小，AP越大，观察者95感受的虚像97的跳出量AD也越大。即，在被拍摄体距离S和视差AP之间存在一定的对应关系。
但是，实际上，三维数码相机的装置间在基线长SB及会聚角θc上存在偏差，因此即使被拍摄体距离S相同，装置间在视差AP上也产生偏差。即，在未适当进行拍摄设备间的校准的状态下，不能从视差AP高精度地求出被拍摄体距离S。用于在视点图像中校正这种拍摄设备间的偏差的校准参数是外部参数。
接着，使用图5的流程图说明第1实施方式的实施例1中的测距处理的一例。
步骤S100中，通过图像输入部11取得多个视点图像。
步骤S102中，通过指定编号决定部13，决定初始指定编号（本例中为“0”），通过校准数据取得部14，取得与初始指定编号对应的校准数据。即，取得与初始指定距离（最初的关注距离）对应的校准数据。
步骤S104中，通过校准部15，使用取得的校准数据进行校准。即，基于与指定距离对应的校准数据校正多个视点图像。
步骤S106中，通过视差运算部16，在校正后的多个视点图像间算出视差。具体而言，首先，将一个视点图像作为基准图像，将其他视点图像作为参照图像，进行基准图像的各像素和参照图像的各像素的对应建立（对应像素检测）。接着，基于基准图像中的各像素的位置和参照图像中的对应像素的位置，算出各像素的视差。
本例中，不是在视点图像的全范围内而是在特定的关注区域（例如合焦区域）内算出各像素的视差。
步骤S108中，通过距离运算部17，基于视差算出被拍摄体距离。
步骤S110中，通过相关度运算部18，算出校正后的多个视点图像中的、亮度及颜色中的至少一方的相关度的合计值。
此外，通过视差运算部16，在对应像素检测中已经算出在多个视点图像间对应像素彼此的亮度及颜色的差分（各像素的相关度），因此在特定的关注区域（例如合焦区域、脸检测区域）对该差分进行合计即可。关于关注区域，在下面的实施方式14中详细说明。
步骤S112中，判定是否指定编号＝最大指定编号，在不是指定编号＝最大指定编号时前进到步骤S114，在指定编号＝最大指定编号时前进到步骤S116。
在不是指定编号＝最大指定编号时，在步骤S114中，将指定编号加一，在步骤S115中，通过校准数据取得部14，取得与指定编号的距离（指定距离）对应的校准数据，前进到步骤S104。
在指定编号＝最大指定编号时，在步骤S116中，通过相关度比较部19，在关注的全部指定距离上比较相关度的合计值，选择相关度的合计值为最大的指定编号。即，从多个校准数据中，将相关度的合计值为最大的校准数据确定作为最优校准数据。
步骤S118中，通过距离记录部20，记录与选择的指定编号对应的距离信息。即，将从利用最优校准数据校正后的视点图像间的视差算出的被拍摄体距离作为测距结果输出。
另外，本例中，将作为测距结果的被拍摄体距离作为附加信息附加到包含多个视点图像的图像文件。例如在图像文件的头部写入被拍摄体距离。
如图6所示，在拍摄设备的聚焦镜头可合焦的距离（可合焦距离）的范围内，从最小值向最大值切换指定距离（可合焦距离）而对各指定距离算出相关度。将与相关度为最大的指定距离对应的校准数据确定作为最优校准数据。并且，将基于利用最优校准数据校正后的视点图像间的视差的被拍摄体距离作为测距结果记录。
接着，对于第1实施方式的实施例2中的测距处理的一例，使用图7A及图7B的流程图进行说明。
步骤S120～S128与第一实施例的步骤S100～S108相同。
步骤S130中，通过相关度运算部18，算出相关度的合计值，将该相关度的合计值设定为阈值（阈值＝相关度）。
步骤S132中，通过校准数据取得部14，取得与指定编号1对应的校准数据。
步骤S134中，通过校准部15，进行基于校准数据的校准（图像校正）。
步骤S136中，通过视差运算部16，在校正后的视点图像间算出视差。
步骤S138中，通过距离运算部17，基于视差算出距离。
步骤S140中，通过相关度运算部18，算出相关度的合计值。
步骤S142中，通过相关度比较部19，比较此次算出的相关度的合计值和阈值（上次算出的相关度的合计值）。在相关度的合计值≥阈值时前进到步骤S144，在相关度的合计值＜阈值时前进到步骤S148。
步骤S144中，将此次算出的相关度的合计值设定为阈值（阈值＝此次算出的相关度的合计值）。
步骤S146中，将指定编号加一，步骤S147中，通过校准数据取得部14，取得与指定编号对应的校准数据，前进到步骤S134。
步骤S148中，将使用与上次的指定编号对应的校准数据求出的被拍摄体距离记录作为测距结果。
本例中，如图8所示，在拍摄设备的聚焦镜头能够合焦的范围内，将关注的指定距离从最小距离向最大距离切换而对各指定距离算出相关度。将与相关度为极大的指定距离对应的校准数据确定为最优校准数据。并且，将由利用最优校准数据校正后的视点图像间的视差算出的被拍摄体距离记录作为测距结果。
图9是第1实施方式的实施例3中的测距装置100b的框图。此外，对与图1所示的实施例1的测距装置100a相同的构成要素标注相同标号。
接着，对于第1实施方式的实施例3中的测距处理，使用图10的流程图进行说明。
步骤S150～S156与第一实施例的步骤S100～S106相同，步骤S160～S166与第一实施例的步骤S110～S116相同。
本实施例3中，不执行实施例1的步骤S108，而在步骤S 168中，仅对于判定结果（即相关度为最大的指定编号）算出被拍摄体距离并记录。
接着，对于第1实施方式的实施例4中的测距处理，使用图11A及图11B的流程图进行说明。
步骤S170～S176与第二实施例的步骤S120～S126相同，步骤S180～S186与第二实施例的步骤S130～S136相同，步骤S190～S197与第二实施例的步骤S140～S147相同。
第4实施例中，不执行第二实施例的步骤S128及S 138，步骤S198中，仅对于判定结果（即相关度为最大的指定编号）算出被拍摄体距离并记录。
接着，对于第2实施方式进行说明。
图12是第2实施方式的实施例1中的测距装置100c的框图。此外，对与图1的测距装置100a（实施方式1的实施例1）相同的构成要素标注相同标号，省略说明过的事项的说明。
测距装置100c包括纵偏移量运算部21及纵偏移量比较部22。
纵偏移量运算部21对于各指定距离算出校正后的多个视点图像间的对应像素间的纵偏移量。
纵偏移量比较部22在关注的多个指定距离上比较纵偏移量，将纵偏移量为最小的校准数据确定作为最优校准数据。
接着，对于第2实施方式的实施例1中的测距处理使用图13的流程图进行说明。
步骤S200～S208与图5（第1实施方式的第一实施例）的步骤S100～S108相同。
步骤S210中，通过纵偏移量运算部21，算出对应像素间的纵偏移量的合计值。即，将一个视点图像作为基准图像而将另一视点图像作为参照图像时，对基准图像和参照图像中对应的像素间的纵方向中的差分（各像素的纵偏移量）进行合计。图4A的情况下，在左视点图像的特定对象像93L和右视点图像的特定对象像93R中对应的点彼此的y坐标的差分为各像素的纵偏移量。
步骤S212中，判定是否指定编号＝最大指定编号。
在不是指定编号＝最大指定编号的情况下，步骤S214中，将指定编号加一，步骤S215中，取得与指定距离对应的校准数据，前进到步骤S204。
在指定编号＝最大指定编号的情况下，步骤S216中，通过纵偏移量比较部22，在关注的全部指定距离上比较纵偏移量的合计值，选择纵偏移量的合计值为最小的指定编号。即，从多个校准数据中，将纵偏移量的合计值为最小的校准数据确定作为最优校准数据。
步骤S218中，通过距离记录部20，记录与选择的指定编号对应的被拍摄体距离。即，将由利用最优校准数据校正后的视点图像间的视差算出的被拍摄体距离作为测距结果输出。
若进行了正确的校准，则校正后的视点图像间的对应点彼此应该几乎没有纵方向的差分（纵偏移量）。即，可以说，纵偏移量为最小的校准数据是最适当的校准数据。因此，本例中，如图14所示，在拍摄设备的可合焦距离的范围内，将关注距离（指定距离）从最小值向最大值切换而对各关注距离算出纵偏移量。将纵偏移量为最小的关注距离对应的校准数据确定为最优校准数据，将基于利用该最优校准数据校正后的视点图像间的视差的被拍摄体距离（纵偏移量的最小值对应的被拍摄体距离）记录作为测距结果。
接着，对于第2实施方式的实施例2中的测距处理的一例使用图15A及图15B的流程图进行说明。
步骤S220～S228与图7A（第1实施方式的第二实施例）的步骤S120～S128相同。
步骤S230中，通过纵偏移量运算部21，算出纵偏移量的合计值，将该纵偏移量的合计值设定为阈值（阈值＝纵偏移量的合计值）。
步骤S232～S238与图7B的步骤S132～S138相同。
步骤S240中，通过纵偏移量运算部21算出纵偏移量的合计值。
步骤S242中，通过纵偏移量比较部22，比较此次算出的纵偏移量的合计值和阈值（上次算出的纵偏移量的合计值）。在纵偏移量的合计值≤阈值时前进到步骤S244，在纵偏移量的合计值＞阈值时前进到步骤S248。
步骤S244中，将此次算出的纵偏移量的合计值设定为阈值（阈值＝此次算出的纵偏移量的合计值）。步骤S246中，将指定编号加一，步骤S247中，通过校准数据取得部14，取得与指定编号对应的校准数据，前进到步骤S234。
步骤S248中，将使用与上次的指定编号对应的校准数据求出的被拍摄体距离作为测距结果记录。
本例中，在拍摄设备的可合焦距离的范围内，将关注距离（指定距离）从最小值向最大值切换而对各关注距离算出纵偏移量。将与纵偏移量为极小的关注距离对应的校准数据确定为最优校准数据，将由利用该最优校准数据校正后的视点图像间的视差算出的被拍摄体距离作为测距结果记录。
图16是第2实施方式的实施例3中的测距装置100d的框图。此外，对与图12所示的本实施方式的实施例1的测距装置100c相同的构成要素标注相同标号。
本实施例3中，不执行对于各指定编号的距离运算（图13的步骤S208），仅对于纵偏移量为最小的指定编号算出被拍摄体距离并记录。
接着，对第3实施方式进行说明。
图17是第3实施方式的实施例1中的测距装置100e的框图。此外，对与图1的测距装置100a（实施方式1的实施例1）相同的构成要素标注相同标号，省略说明过的事项的说明。
测距装置100e包括视差运算像素数运算部23及视差运算像素数比较部24。
视差运算像素数运算部23对于各指定距离算出在校正后的多个视点图像间正确完成了视差运算的像素数（以下称为“视差运算像素数”）。
视差运算像素数比较部24在关注的多个指定距离上比较视差运算像素数，将视差运算像素数为最大的校准数据确定作为最优校准数据。
接着，对于第3实施方式的实施例1中的测距处理使用图18的流程图进行说明。
步骤S300～S308与图5（第1实施方式的第一实施例）的步骤S100～S108相同。
步骤S310中，通过视差运算像素数运算部23，算出视差运算像素数。
例如，将相当于下面的条件1及条件2的两方的像素作为视差运算像素，进行计数。
条件1：将多个视点图像中的一方作为参照图像时的像素间的对应关系（映射）与将另一方作为参照图像时的像素间的对应关系相同。
条件2：参照图像的多个像素（一定数量以上的像素）不与基准图像的1像素对应。
总之，视差运算像素数运算部23将正确完成了视差运算的像素（视差运算中成功的像素）作为视差运算像素，进行计数。也可以判定在校正后的视点图像间对应点检测是否成功，对成功的像素的数进行计数。当然，可以根据各处理系统的判断基准，利用上述的条件1、2以外的条件对视差运算像素数进行计数。
步骤S312中，判定是否指定编号＝最大指定编号。
在不是指定编号＝最大指定编号的情况下，步骤S314中，将指定编号加一，步骤S315中，取得与指定距离对应的校准数据，前进到步骤S304。
在指定编号＝最大指定编号的情况下，步骤S316中，通过视差运算像素数比较部24，在关注的全部指定距离上比较视差运算像素数，选择视差运算像素数为最大的指定编号。即，从多个校准数据中，将视差运算像素数为最大的校准数据确定作为最优校准数据。
步骤S322中，通过距离记录部20，记录与选择的指定编号对应的被拍摄体距离。即，将基于利用最优校准数据校正后的视点图像间的视差的被拍摄体距离作为测距结果输出。
接着，对于第3实施方式的实施例2中的测距处理的一例，使用图19A及图19B的流程图进行说明。
步骤S320～S328与图7A（第1实施方式的第二实施例）的步骤S120～S128相同。
步骤S330中，通过视差运算像素数运算部23算出视差运算像素数，将该视差运算像素数设定为阈值（阈值＝视差运算像素数）。
步骤S332～S338与图7B的步骤S132～S138相同。
步骤S340中，通过视差运算像素数运算部23算出视差运算像素数。
步骤S342中，通过视差运算像素数比较部24，比较此次算出的视差运算像素数与阈值（上次算出的视差运算像素数）。
在视差运算像素数≥阈值的情况下，步骤S344中，将此次算出的视差运算像素数设定为阈值（阈值＝视差运算像素数），步骤S346中，将指定编号加一，步骤S347中，取得与指定编号对应的校准数据，前进到步骤S334。
在视差运算像素数＜阈值的情况下，步骤S348中，将使用与上次的指定编号对应的校准数据求出的被拍摄体距离作为测距结果记录。
图20是第3实施方式的实施例3中的测距装置100f的框图。此外，对与图17所示的本实施方式的实施例1的测距装置100e相同的构成要素标注相同标号。本实施例3中，仅对于视差运算像素数为最大的指定编号算出被拍摄体距离并记录。
接着，对第4实施方式进行说明。
图21是第4实施方式的实施例1中的测距装置100g的框图。此外，对与图1的测距装置100a（实施方式1的实施例1）相同的构成要素标注相同标号，省略说明过的事项的说明。
测距装置100g包括局部噪声像素数运算部25及局部噪声像素数比较部26。
局部噪声像素数运算部25对于各指定距离算出在校正后的多个视点图像的视差分布中局部存在的像素数（以下称为“局部噪声像素数”）。
视差运算像素数比较部24在关注的多个关注距离上比较局部噪声像素数，将局部噪声像素数为最小的校准数据确定作为最优校准数据。
接着，对于第4实施方式的实施例1中的测距处理，使用图22的流程图进行说明。
步骤S400～S408与图5（第1实施方式的第一实施例）的步骤S100～S108相同。
步骤S410中，通过局部噪声像素数运算部25算出局部噪声像素数。
具体而言，在校正后的视点图像中，关注各像素，与其周边的像素比较而对视差大幅不同的像素的数进行计数。总之，不是在亮度、色的分布中，而是在视差的分布中，检测孤立的像素或像素群，对该检测出的像素（局部噪声像素）的数进行计数。此外，由于视差与距离对应，因此也可以在距离的分布中检测孤立的像素或像素群，进行计数。
步骤S412中，判定是否指定编号＝最大指定编号。
在不是指定编号＝最大指定编号的情况下，步骤S414中，将指定编号加一，步骤S415中，取得与指定距离对应的校准数据，前进到步骤S402。
在指定编号＝最大指定编号的情况下，步骤S418中，通过局部噪声像素数比较部26，在关注的全部指定距离上比较局部噪声像素数，选择局部噪声像素数为最小的指定编号。即，从多个校准数据中，将局部噪声像素数为最小的校准数据确定作为最优校准数据。
步骤S418中，通过距离记录部20，记录与选择的指定编号对应的被拍摄体距离。
接着，对于第4实施方式的实施例2中的测距处理的一例，使用图23A及图23B的流程图进行说明。
步骤S420～S428与图7A（第1实施方式的第二实施例）的步骤S120～S 128相同。
步骤S430中，通过局部噪声像素数运算部25算出局部噪声像素数，将该局部噪声像素数设定为阈值（阈值＝局部噪声像素数）。
步骤S432～S438与图7B的步骤S132～S138相同。
步骤S440中，通过局部噪声像素数运算部25算出局部噪声像素数。
步骤S442中，通过局部噪声像素数比较部26比较此次算出的局部噪声像素数和阈值（上次算出的局部噪声像素数）。
在局部噪声像素数≤阈值的情况下，步骤S444中，将此次算出的局部噪声像素数设定为阈值（阈值＝局部噪声像素数）。步骤S446中，将指定编号加一，步骤S447中，取得与指定编号对应的校准数据，前进到步骤S434。
在局部噪声像素数＞阈值的情况下，步骤S448中，将使用与上次的指定编号对应的校准数据求出的被拍摄体距离作为测距结果记录。
图24是第4实施方式的实施例3中的测距装置100h的框图。此外，对与图21所示的本实施方式的实施例1的测距装置100g相同的构成要素标注相同标号。本实施例3中，仅对于局部噪声像素数为最小的指定编号算出被拍摄体距离并记录。
接着，对第5实施方式进行说明。
图25时表示第5实施方式的实施例1的测距装置100i的框图。此外，对与图1的测距装置100a（第1实施方式的实施例1）相同的构成要素标注相同标号，以下省略说明过的事项的说明。
本例的测距装置100i包括代表距离决定部27、｜指定距离-代表距离｜运算部28、及｜指定距离-代表距离｜比较部29。
代表距离决定部27对各指定距离决定基于校正后的多个视点图像间的视差算出的各像素（或每个像素群）的距离的代表值（以下称为“代表距离”）。
｜指定距离-代表距离｜运算部28（距离差分运算单元）对各指定距离算出｜指定距离-代表距离｜。
｜指定距离-代表距离｜比较部29在关注的多个指定距离上比较｜指定距离-代表距离｜，将｜指定距离-代表距离｜为最小的校准数据确定作为最优校准数据。
接着，对于第5实施方式的实施例1的测距处理，使用图26的流程图进行说明。
步骤S500～S508与图5（第1实施方式的第一实施例）的步骤S100～S108相同。
步骤S510中，通过代表距离决定部27生成距离的直方图。距离的直方图如图27所示，表示校正后的视点图像中的各像素的距离和频度（像素数）的关系。
步骤S512中，通过代表距离决定部27，如图27所示，从距离的直方图检测众数，将该众数决定为代表距离。即，将距离的众数作为被拍摄体距离的候补选出。
步骤S514中，判定是否指定编号＝最大指定编号。
在不是指定编号＝最大指定编号的情况下，步骤S516中，将指定编号加一，步骤S517中，取得与指定编号对应的校准数据。
在指定编号＝最大指定编号的情况下，步骤S518中，选择｜指定距离-代表距离｜为最小的指定编号。具体而言，通过｜指定距离-代表距离｜运算部28算出｜指定距离-代表距离｜，并且通过｜指定距离-代表距离｜比较部29，在关注的多个指定距离上比较｜指定距离-代表距离｜，选择｜指定距离-代表距离｜为最小的指定编号。即，从多个校准数据中，将｜指定距离-代表距离｜为最小的校准数据确定作为最优校准数据。
步骤S519中，通过距离记录部20，记录与选择的指定编号对应的代表距离。即，将从利用最优校准数据校正后的视点图像间的视差算出的被拍摄体距离作为测距结果输出。
此外，本例中将距离的直方图的众数作为代表距离（被拍摄体距离），但本发明不限于此。也可以通过其他方法求出代表距离。
接着，对于第5实施方式的实施例2的测距处理，使用图28A图28B的流程图进行说明。本测距处理利用图25所示的测距装置100i进行。
步骤S520～S528与图7A（第1实施方式的第二实施例）的步骤S120～S128相同。
步骤S530中，生成距离的直方图，步骤S532中，将距离的众数决定为代表距离。步骤S534中，算出｜指定距离-代表距离｜并设定为阈值（阈值＝｜指定距离-代表距离｜）。
步骤S536～S542与图7B的步骤S132～S138相同。
步骤S544中，生成距离的直方图，步骤S546中，将距离的众数决定为代表距离，步骤S548中，算出｜指定距离-代表距离｜。
步骤S558中，通过｜指定距离-代表距离｜比较部29，比较此次算出的｜指定距离-代表距离｜和阈值（上次算出的｜指定距离-代表距离｜）。
在｜指定距离-代表距离｜≤阈值的情况下，步骤S552中，将此次算出的｜指定距离-代表距离｜设定为阈值（阈值＝｜指定距离-代表距离｜）。步骤S554中，将指定编号加一，步骤S556中，取得与指定编号对应的校准数据，前进到步骤S538。
｜指定距离-代表距离｜＞阈值的情况下，步骤S558中，将与上次的指定编号对应的代表距离作为测距结果的被拍摄体距离记录。
图29是第5实施方式的实施例3的测距装置100j的框图。以下，仅说明与图25的测距装置100i（本实施方式的实施例1）不同的事项。
本例的测距装置100j包括代表视差决定部30。代表视差决定部30对各指定距离决定校正后的视点图像间的视差的代表值（以下称为“代表视差”）。代表视差代表视差运算部16中对应像素检测成功的各像素（或像素群）的视差。
本例的距离运算部17基于代表视差算出代表距离。
接着，对于第5实施方式的实施例3的测距处理，使用图30的流程图进行说明。
步骤S560～S566与图26（本实施方式的实施例1）的步骤S500～506相同。
步骤S568中，通过代表视差决定部30生成视差的直方图。视差的直方图如图31所示，表示校正后的视点图像间的各像素的视差与频度（像素数）的关系。
步骤S570中，通过代表视差决定部30，如图31所示，从视差的直方图检测众数，将该众数决定为代表视差。即，将视差的众数作为主要被拍摄体的视差选出。
步骤S572中，通过距离运算部17，基于代表视差算出代表距离。即，将与视差的众数对应的距离作为被拍摄体距离的候补算出。
步骤S574～S579与图26的步骤S514～S519相同。
图32是第5实施方式的实施例4的测距装置100k的框图。以下，仅说明与图29的测距装置100j（本实施方式的实施例3）不同的事项。
本例的测距装置100k包括指定视差运算部31、及｜指定视差-代表视差｜运算部32、｜指定视差-代表视差｜比较部33。
指定视差运算部31对各指定距离基于指定距离算出视差（以下称为“指定视差”）。
｜指定视差-代表视差｜运算部32对各指定距离算出｜指定视差-代表视差｜。
｜指定视差-代表视差｜比较部33在关注的多个指定距离上比较｜指定视差-代表视差｜，将｜指定视差-代表视差｜为最小的校准数据确定作为最优的校准数据。
接着，对于第5实施方式的实施例4的测距处理，使用图33的流程图进行说明。
步骤S580～S582与图30（本实施方式的实施例3）的步骤S560～S562相同。
步骤S583中，通过指定视差运算部31，基于指定距离算出指定视差。即，将指定距离变换为指定视差。
步骤S584～S590与图30的步骤S564～S570相同。本例中，没有相当于图30的步骤S572的步骤。步骤S594～S597与图30的步骤S574～S577相同。
步骤S598中，选择｜指定视差-代表视差｜为最小的指定编号。即，通过｜指定视差-代表视差｜运算部32算出｜指定视差-代表视差｜，通过｜指定视差-代表视差｜比较部33，在关注的多个指定距离上比较｜指定视差-代表视差｜，确定｜指定视差-代表视差｜为最小的指定编号。即，确定最优校准数据。
步骤S599中，通过距离记录部20，将与特定的指定编号对应的指定距离（或对应点距离）作为测距结果的被拍摄体距离记录。
如以上所述，实施例1～3中，算出｜指定距离-代表距离｜，选择最小的｜指定距离-代表距离｜，由此确定最优校准数据，但实施例4中，将指定距离变换为指定视差而算出｜指定视差-代表视差｜，选择最小的｜指定视差-代表视差｜，由此确定最优校准数据。
接着，对于第6实施方式进行说明。
对于第6实施方式的实施例1的测距处理，使用图34及图35的流程图进行说明。该测距处理利用图1的测距装置100a执行。
本实施方式中，通过测距控制部10的控制，首先，利用大的变更幅度变更指定距离（关注距离）而进行第一测距（以下称为“前半处理”）取得第一被拍摄体距离，接着，在所述第一被拍摄体距离的附近利用小的变更幅度变更指定距离而进行第二测距（以下称为“后半处理”）取得第二被拍摄体距离。距离记录部20将第二被拍摄体距离作为测距结果记录。
图34表示前半处理。步骤S600～S610与图5（第1实施方式的实施例1）的步骤S100～S110相同。即，取得多个视点图像（步骤S600），取得与指定编号0的指定距离对应的校准数据（步骤S602），通过校准数据校正多个视点图像（步骤S604），算出校正后的多个视点图像中的视差（步骤S606），基于视差算出被拍摄体距离（步骤S608），算出相关度的合计值作为最优校准数据的判断基准（步骤S610）。步骤S612中，判定是否指定编号＝最大指定编号，在不是指定编号＝最大指定编号的情况下，步骤S614中，将指定编号加n。此处n≥2。即，利用比通常的变更幅度大的变更幅度变更指定距离（关注距离）而在各指定距离算出判断基准（本例中为相关度的合计值）。在指定编号＝最大指定编号的情况下，步骤S618中，在关注的多个指定距离上比较相关度的合计值，取得相关度的合计值最大的指定编号（设为m）。即，确定相关度的合计值为最大的指定距离及校准数据。
图35表示后半处理。步骤S622中，取得与指定编号m-n的指定距离对应的校准数据。步骤S624～S630与前半处理的步骤S604～610相同。步骤S632中，判定是否指定编号＝m＋n，在指定编号不是m＋n的情况下前进到步骤S634，在指定编号＝m＋n的情况下前进到步骤S636。步骤S634中将指定编号加一，步骤S635中取得与指定距离对应的校准数据，前进到步骤S624。步骤S636中，取得相关度的合计值为最大的指定编号。即，确定相关度的合计值为最大的指定距离及校准数据。步骤S638中，将与特定的指定编号对应的被拍摄体距离（步骤S628中算出的被拍摄体距离）作为被拍摄体距离记录。
本例中，首先，如图36A所示，将被拍摄体距离的检索范围作为全部可合焦距离范围，进行以变更幅度n（n≥2）变更指定编号的粗略的测距，取得相关度的合计值为最大的指定编号m。即，以大的变更幅度变更关注距离而检测第一被拍摄体距离。接着，如图36B所示，将被拍摄体距离的检索范围限定为与指定编号m-n～m＋n对应的距离范围，并且进行以变更幅度＝1变更指定编号的详细的测距，取得相关度的合计值为最大的指定编号。即，以小的变更幅度变更关注距离而检测作为测距结果的第二被拍摄体距离。由此，能够以高精度进行测距，并且能够缩短测距处理整体上的处理时间。
接着，对于第6实施方式的实施例2的测距处理，使用图37A、图37B、图38A及图38B的流程图进行说明。该测距处理利用图1的测距装置100a执行。
图37A及图37B表示前半处理。步骤S640～S650与图7A（第1实施方式的实施例2）的步骤S120～S130相同。步骤S652中，取得与指定编号n的指定距离对应的校准数据。步骤S654～S660与图7B的步骤S134～S140相同。步骤S662中，比较相关度的合计值和阈值，在相关度的合计值≥阈值的情况下前进到步骤S664，在相关度的合计值＜阈值的情况下前进到步骤S668。步骤S664中将相关度的合计值设定为阈值，步骤S666中将指定编号加n，步骤S667中取得与指定距离对应的校准数据。步骤S668中，取得上一次的指定编号（设为m）。
图38A及图38B表示后半处理。步骤S672中，取得与指定编号m-n的距离对应的校准数据。步骤S674～S680与前半处理的步骤S644～650相同。步骤S682中，取得与指定编号m-n＋1的距离对应的校准数据。步骤S684～S690与前半处理的步骤S654～660相同。步骤S692中，将相关度的合计值和阈值比较，在相关度的合计值≥阈值的情况下前进到步骤S694，在相关度的合计值＜阈值的情况下前进到步骤S698。步骤S694中将相关度的合计值设定为阈值，步骤S696中将指定编号加一，步骤S697中取得与指定距离对应的校准数据。步骤S698中，记录与上一次的指定编号对应的被拍摄体距离。
本例中，首先，如图39A所示，设检索开始的指定编号为0（可合焦距离范围的极近端），进行以变更幅度＝n（n≥2）变更指定编号的粗略的测距，取得相关度的合计值为极大的指定编号m。即，以大的变更幅度变更关注距离而检测第一被拍摄体距离。接着，如图39B所示，设检索开始的指定编号为m-n（第一被拍摄体距离的附近），进行以变更幅度＝1变更指定编号的详细的测距，取得相关度的合计值为最大的指定编号。即，以小的变更幅度变更关注距离而检测作为测距结果的第二被拍摄体距离。由此，能够以高精度测距，且能够缩短测距处理整体上的处理时间。
此外，以使用相关度的合计值作为最优的校准数据的判断基准的情况为例进行说明，但当然也可以使用其他判断基准（例如，第2实施方式中说明的纵偏移量的合计值、第3实施方式中说明的视差运算像素数、第4实施方式中说明的局部噪声像素数等）。
另外，说明了前半处理和后半处理中最优的校准数据的判断基准相同的情况（本例中均为相关度的合计值），但也可以改变该判断基准。例如，在前半处理中基于相关度的合计值进行判断，在后半处理中基于局部噪声像素数进行判断。
接着，对于第7实施方式进行说明。
图40是第7实施方式的实施例1中的测距装置100m的框图。此外，对与图25的测距装置100i（第5实施方式的实施例1）相同的构成要素标注相同标号，在以下省略说明过的事项的说明。
指定距离决定部34在拍摄设备（图4A的81L、81R）的全部可合焦距离范围上的多个指定距离（关注距离）中决定最初关注的指定距离（以下称为“初始指定距离”）。另外，指定距离决定部34将利用距离运算部17及代表距离决定部27基于校正后的视点图像间的视差算出的代表距离（被拍摄体距离）决定为下一次关注的指定距离，由此切换指定距离。
本实施方式的｜指定距离-代表距离｜比较部35通过比较指定距离的切换前后的｜指定距离-代表距离｜，从多个代表距离（被拍摄体距离）中选择测距结果。
基于指定距离决定部34的初始指定距离的决定方式有多种。
第一，存在如下方式：从包含多个视点图像的图像文件取得视点图像的附带信息，基于该附带信息，决定初始指定距离。例如，基于表示拍摄设备进行被拍摄体拍摄时的模式（人物拍摄模式、风景拍摄模式等）的拍摄模式信息，进行距离决定。
第二，存在如下方式：基于从视点图像取得的与拍摄场景有关的信息，决定初始指定距离。例如，分析视点图像，确定是人物拍摄场景还是风景拍摄场景，基于该场景进行距离决定。
第三，存在如下方式：基于从视点图像取得的被拍摄体的尺寸，决定初始指定距离。例如，基于视点图像中的脸的尺寸和标准脸的尺寸的比较，进行距离决定。
第四，存在如下方式：基于焦点区域（合焦评价值算出区域）的视差决定初始指定距离。例如，对于基于校准数据的校正前的多个视点图像生成视差的直方图，将该视差直方图的众数变换为距离，设该距离为初始指定距离。
第五，存在如下方式：基于多个拍摄设备的会聚点（光轴彼此的交点）的距离决定初始指定距离。
接着，对于第7实施方式的实施例1的测距处理，使用图41A及图41B的流程图进行说明。
首先，步骤S700中，通过图像输入部11取得多个视点图像。
接着，步骤S702中，通过指定距离决定部34决定初始指定距离，通过校准数据取得部14取得与初始指定距离对应的校准数据。
步骤S704～S712与图28A（第5实施方式的实施例2）的步骤S524～S532相同。即，基于校准数据校正多个视点图像（步骤S704），在校正后的多个视点图像间算出各像素的视差（步骤S706），基于视点图像间的各像素的视差算出各像素的距离（步骤S708），生成表示距离和频度（像素数）的关系的距离的直方图（步骤S710），将距离的众数决定为作为被拍摄体距离的候补的代表距离（步骤S712）。
步骤S714中，通过｜指定距离-代表距离｜运算部28算出｜指定距离-代表距离｜，设定为阈值（阈值＝｜指定距离-代表距离｜）。
步骤S716中，通过指定距离决定部34，将代表距离决定作为下一次关注的指定距离，通过校准数据取得部14取得校准数据。即，切换关注距离。
步骤S718～S726与步骤S704～S712相同。
步骤S728中，通过｜指定距离-代表距离｜运算部28算出｜指定距离-代表距离｜，通过｜指定距离-代表距离｜比较部29，比较此次算出的｜指定距离-代表距离｜和阈值（上次算出的｜指定距离-代表距离｜）。
在｜指定距离-代表距离｜≤阈值的情况下，步骤732中，将此次算出的｜指定距离-代表距离｜设定为阈值，前进到步骤S716。步骤S716中，通过指定距离决定部34，将代表距离决定为下一次关注的指定距离。即，切换关注距离。
｜指定距离-代表距离｜＞阈值的情况下，步骤S734中，通过距离记录部20，将上次算出的距离信息（代表距离）作为测距结果记录。
这样本例中，比较指定距离的切换前后的｜指定距离-代表距离｜，若此次比上次大，则选择上次算出的代表距离作为测距结果。即，检测｜指定距离-代表距离｜为极小的指定距离，将该指定距离对应的校准数据确定为最优的校准数据，决定测距结果。
图42是第7实施方式的实施例2中的测距装置100n的框图。此外，对与图29的测距装置100j（第5实施方式的实施例2）相同的构成要素及与图40（本实施方式的实施例1）相同的构成要素标注相同标号，省略说明过的事项的说明。
接着，对于第7实施方式的实施例2的测距处理，使用图43A及图43B的流程图进行说明。
步骤S750～S756与图41A（本实施方式的实施例1）的步骤S700～S706相同。步骤S758～S762与图30（第5实施方式的实施例3）的步骤S568～S572相同。步骤S764～S770与图41的步骤S714～S720相同。步骤S772～S776与本实施例的步骤S758～S762相同。步骤S778～S784与图41的步骤S728～S734相同。
本实施例2中，生成视差的直方图（步骤S758、S772），将视差的众数决定为代表视差（步骤S760、S774），基于代表视差算出代表距离（步骤S762、S776）。比较关注距离（指定距离）的切换前后的｜指定距离-代表距离｜，若此次比上次大，则将上次算出的代表距离选择作为测距结果，这一点与实施例1相同。即，检测｜指定距离-代表距离｜为极小的指定距离，将与该指定距离对应的校准数据确定为最优的校准数据。
接着，对第8实施方式进行说明。
图44是第8实施方式的实施例1中的测距装置100p的框图。此外，对与图40的测距装置100m（第7实施方式的实施例1）相同的构成要素标注相同标号，以下省略说明过的事项的说明。
阈值决定部36基于指定距离决定阈值。
｜指定距离-代表距离｜阈值比较部37比较｜指定距离-代表距离｜和阈值，在｜指定距离-代表距离｜小于阈值时，采用该代表距离作为测距结果的被拍摄体距离。
接着，对于第8实施方式的实施例1的测距处理，使用图45的流程图进行说明。
步骤S800～S812与图41A（第7实施方式的实施例1）的步骤S700～S712相同。
步骤S814中，通过阈值决定部36决定阈值。例如，从存储表示指定距离和阈值的对应关系的表数据存储器12取得与关注的指定距离对应的阈值。也可以通过函数算出与指定距离对应的阈值。
步骤S816中，通过｜指定距离-代表距离｜阈值比较部37比较｜指定距离-代表距离｜和阈值。
步骤S818中，｜指定距离-代表距离｜≥阈值的情况下，前进到步骤S820，｜指定距离-代表距离｜＜阈值的情况下，前进到步骤S822。
步骤S820中，通过指定距离决定部34，将代表距离决定为下一次关注的指定距离，由此进行关注距离的切换，前进到步骤S804。
步骤S822中，通过距离记录部20，将上次算出的距离信息（代表距离）作为测距结果记录。
这样本例中，比较｜指定距离-代表距离｜和阈值，若｜指定距离-代表距离｜＜阈值，则采用上次算出的代表距离作为测距结果。即，检测｜指定距离-代表距离｜＜阈值的指定距离，将与该指定距离对应的校准数据确定为最优的校准数据，决定测距结果。
图46是表示第8实施方式的实施例2的测距装置100q的框图。此外，对与图42的测距装置100n（第7实施方式的实施例2）相同的构成要素及与图44（本实施方式的实施例1）相同的构成要素标注相同标号，以下省略说明过的事项的说明。
对于第8实施方式的实施例2的测距处理，省略详细的说明。本实施例中，仅基于代表视差算出被拍摄体距离。
接着，对第9实施方式进行说明。
图47是表示第9实施方式的实施例1的测距装置100r的框图。此外，对与图40的测距装置100m（第7实施方式的实施例1）相同的构成要素标注相同标号，以下省略说明过的事项的说明。另外，相关度运算部18与图1（第1实施方式）的结构相同，省略说明。
本实施方式的相关度比较部38对于每次由指定距离决定部34进行的指定距离（关注距离）的切换，比较切换前后的相关度的合计值，在切换前的相关度的合计值大于切换后的计算的相关度的合计值的情况下，采用切换前的代表距离（被拍摄体距离）作为测距结果。
接着，对于第9实施方式的实施例1的测距处理，使用图48A及图48B的流程图进行说明。
步骤S900～S912与图41A（第7实施方式的实施例1）的步骤S700～S712相同。步骤S914中，通过相关度运算部18算出相关度的合计值。步骤S916中，将算出的相关度的合计值设定为阈值。
步骤S918～S928与图41B的步骤S716～S726相同。步骤S930中，通过相关度运算部18算出相关度的合计值。步骤S932中，通过相关度比较部38，将此次算出的相关度的合计值与阈值（上次算出的相关度的合计值）进行比较。
步骤S934中，相关度的合计值≥阈值的情况下，前进到步骤S936。相关度的合计值＜阈值的情况下，前进到步骤S938。
步骤S936中，将此次算出的相关度的合计值设定为阈值。
步骤S938中，采用上次算出的代表距离作为测距结果并记录。
图49是表示第9实施方式的实施例2的测距装置100s的框图。此外，对与图29的测距装置100j（第5实施方式的实施例2）相同的构成要素及与图47（本实施方式的实施例1）相同的构成要素标注相同标号，以下省略说明过的事项的说明。本实施例中，仅基于代表视差算出被拍摄体距离。
接着，对第10实施方式进行说明。
图50是表示第10实施方式的实施例1的测距装置100t的框图。此外，对与图40的测距装置100m（第7实施方式的实施例1）相同的构成要素标注相同标号，以下省略说明过的事项的说明。另外，纵偏移量运算部21与图12（第2实施方式）的结构相同，省略说明。
本实施方式的纵偏移量比较部39对于每次由指定距离决定部34进行的指定距离（关注距离）的切换，比较切换前后的纵偏移量的合计值，在切换前的纵偏移量的合计值小于切换后的纵偏移量的合计值的情况下，采用切换前的代表距离（被拍摄体距离）作为测距结果。
接着，对于第10实施方式的实施例1的测距处理，使用图51A及图51B的流程图进行说明。
步骤S1000～S1012与图41A（第7实施方式的实施例1）的步骤S700～S712相同。步骤S1014中，通过纵偏移量运算部21算出纵偏移量的合计值。步骤S1016中，将算出的纵偏移量的合计值设定为阈值。
步骤S1018～S1028与图41B的步骤S716～S726相同。步骤S1030中，通过纵偏移量运算部21算出纵偏移量的合计值。步骤S1032中，通过纵偏移量比较部39，将此次算出的纵偏移量的合计值与阈值（上次算出的纵偏移量的合计值）比较。
步骤S1034中，纵偏移量的合计值≤阈值的情况下，前进到步骤S1036，纵偏移量的合计值＞阈值的情况下，前进到步骤S1038。
步骤S1036中，将此次算出的相关度的合计值设定为阈值。
步骤S1038中，采用上次算出的代表距离作为测距结果并记录。
图52是表示第10实施方式的实施例2的测距装置100u的框图。此外，对与图29的测距装置100j（第5实施方式的实施例2）相同的构成要素及与图50（本实施方式的实施例1）相同的构成要素标注相同标号，以下省略说明过的事项的说明。本实施例中，仅基于代表视差算出被拍摄体距离。
接着，对第11实施方式进行说明。
图53是表示第11实施方式的实施例1的测距装置100v的框图。此外，对与图40的测距装置100m（第7实施方式的实施例1）相同的构成要素标注相同标号，以下省略说明过的事项的说明。另外，视差运算像素数运算部23与图17（第3实施方式）的结构相同，省略说明。
本实施方式的视差运算像素数比较部40对于每次由指定距离决定部34进行的指定距离（关注距离）的切换，比较切换前后的视差运算像素数，在切换前的视差运算像素数大于切换后的视差运算像素数的情况下，采用切换前的代表距离（被拍摄体距离）作为测距结果。
接着，对于第11实施方式的实施例1的测距处理，使用图54A及图54B的流程图进行说明。
步骤S 1100～S1112与图41A（第7实施方式的实施例1）的步骤S700～S712相同。步骤S1114中，通过视差运算像素数运算部23，算出视差运算像素数。步骤S1116中，将算出的视差运算像素数设定为阈值。
步骤S1118～S1128与图41B的步骤S716～S726相同。步骤S1130中，通过视差运算像素数运算部23算出视差运算像素数。
步骤S1132中，通过视差运算像素数比较部40，将此次算出的视差运算像素数的合计值与阈值（上次算出的视差运算像素数的合计值）进行比较。
步骤S1134中，视差运算像素数≥阈值的情况下，前进到步骤S1136，视差运算像素数＜阈值的情况下，前进到步骤S 1138。
步骤S1136中，将此次算出的视差运算像素数设定为阈值。
步骤S 1138中，采用上次算出的代表距离作为测距结果并记录。
图55是表示第11实施方式的实施例2的测距装置100w的框图。此外，对与图29的测距装置100j（第5实施方式的实施例2）相同的构成要素及与图53（本实施方式的实施例1）相同的构成要素标注相同标号，以下省略说明过的事项的说明。本实施例中，仅基于代表视差算出被拍摄体距离。本实施例中，仅基于代表视差算出被拍摄体距离。
接着，对第12实施方式进行说明。
图56是表示第12实施方式的实施例1的测距装置100x的框图。此外，对与图40的测距装置100m（第7实施方式的实施例1）相同的构成要素标注相同标号，以下省略说明过的事项的说明。另外，局部噪声像素数运算部25与图21（第4实施方式）的结构相同，省略说明。
本实施方式的局部噪声像素数比较部41对于每次由指定距离决定部34进行的指定距离（关注距离）的切换，比较切换前后的局部噪声像素数，在切换前的局部噪声像素数小于切换后的局部噪声像素数时，采用切换前的代表距离（被拍摄体距离）作为测距结果。
接着，对于第12实施方式的实施例1的测距处理，使用图57A及图57B的流程图进行说明。
步骤S1200～S1212与图41A（第7实施方式的实施例1）的步骤S700～S712相同。步骤S1214中，通过局部噪声像素数运算部25算出局部噪声像素数。步骤S1216中，将算出的局部噪声像素数设定为阈值。
步骤S1218～S1228与图41B（第7实施方式的实施例1）的步骤S716～S726相同。步骤S1230中，通过局部噪声像素数运算部25算出局部噪声像素数。
步骤S 1232中，通过局部噪声像素数比较部41，将此次算出的局部噪声像素数与阈值（上次算出的局部噪声像素数）进行比较。步骤S1234中，局部噪声像素数≤阈值的情况下，前进到步骤S1236，局部噪声像素数＞阈值的情况下，前进到步骤S1238。步骤S1236中，将此次算出的局部噪声像素数设定为阈值。步骤S1238中，采用上次算出的代表距离作为测距结果并记录。
图58是表示第12实施方式的实施例2的测距装置100y的框图。此外，对与图29的测距装置100j（第5实施方式的实施例2）相同的构成要素及与图50（本实施方式的实施例1）相同的构成要素标注相同标号，以下省略说明过的事项的说明。本实施例中，仅基于代表视差算出被拍摄体距离。本实施例中，仅基于代表视差算出被拍摄体距离算出。
接着，对第13实施方式进行说明。
对于第13实施方式的实施例1的测距处理，使用图59及图60的流程图进行说明。该测距处理由图40（第7实施方式的实施例1）的测距装置100m执行。
本实施方式中，通过测距控制部10的控制，首先，决定初始指定距离（最初的关注距离），进行第一测距（以下称为“前半处理”），取得第一被拍摄体距离。接着，将第一被拍摄体距离决定为下一个指定距离，进行第二测距（以下称为“后半处理”），取得第二被拍摄体距离。距离记录部20将第二被拍摄体距离作为测距结果记录。在第一测距和第二测距中，用于判断最优的校准数据的判断基准不同。
图59表示前半处理的一例。步骤S1300～S1332与图41A及图41B（第7实施方式的实施例1）的步骤S700～S732相同。步骤S1334中，取得上次的指定编号设为m，取得此次的指定编号设为m＋n。
图60表示后半处理的一例。步骤S1342中，取得与指定编号m-n的距离（指定距离）对应的校准数据。步骤S1344～S1350与图5（第1实施方式的实施例1）的步骤S104～S110相同。步骤S1352中，判定是否指定编号＝m＋n，在不是指定编号＝m＋n的情况下前进到步骤S1354，在指定编号＝m＋n的情况下前进到步骤S1356。步骤S1354中将指定编号加一，步骤S1355中，取得与指定距离对应的校准数据。步骤S1356中，选择相关度为最大的指定编号，步骤S1358中，将与选择的指定编号对应的指定距离作为测距结果记录。
图61A及图61B表示后半处理的其他例。步骤S1362中，取得与指定编号m-n的距离（指定距离）对应的校准数据。步骤S1364～S1370与图7A（第1实施方式的实施例2）的步骤S124～S130相同。步骤S1372中，取得与指定编号m-n的距离（指定距离）对应的校准数据。步骤S1374～S1388与图7B的步骤S134～S148相同。
此外，作为前半处理和后半处理中判断基准不同的情况的例子，对在前半处理中使用｜指定距离-代表距离｜、在后半处理中使用相关度的合计值的情况进行了说明，但本发明并未特别限定于该情况。也可以使用在第7实施方式（｜指定距离-代表距离｜）、第8实施方式（｜指定距离-代表距离｜和阈值）、第9实施方式（相关度的合计值）、第10实施方式（纵偏移量的合计值）、第11实施方式（视差运算像素数）、及第12实施方式（局部噪声像素数）的任一个中说明的判断基准。
接着，对第14实施方式进行说明。
图62是表示第14实施方式的实施例1的测距装置100z的框图。此外，对与图40的测距装置100m（第7实施方式的实施例1）相同的构成要素标注相同标号，以下省略说明过的事项的说明。本实施方式的测距装置100z包括决定代表视差的代表视差决定部30而构成。代表视差代表视差运算部16中对应像素检测成功的各像素（或像素群）的视差。
图63是表示本实施方式的实施例1中的代表视差决定部30的详细的框图。代表视差决定部30具有生成表示多个视点图像间的各像素的视差与频度（像素数）的关系的视差直方图的视差直方图生成部51和检测视差直方图中的众数作为代表视差的众数检测部52。
图64A及图64B的流程图表示第14实施方式的实施例1的测距处理。在此处，步骤S1450～S1484与图43A及图43B（第7实施方式的实施例2）的步骤S750～S784相同。
步骤S1458及S1472中，通过视差直方图生成部51，如第5实施方式的实施例3中说明的那样，生成图31所示的视差的直方图。另外，步骤S1460及S1474中，通过众数检测部52，检测视差的直方图中的众数，将该众数决定为代表视差。步骤S1462及步骤S1476中，通过距离运算部17，基于代表视差算出代表距离。即，将代表视差变换为作为测距结果的被拍摄体距离的候补的代表距离。
此外，在将远景等背景或主要被拍摄体的近前的前景写入视点图像的情况下，有时在测定范围的端部存在众数。因此，优选在代表视差决定步骤（S1460）中，将在视差范围的端部（图31的视差的直方图上的左端侧及右端侧）存在的频度除外，选择众数。另外，视差的直方图中，与局部存在的频度对应的像素为噪声像素的可能性高。因此，也可以在直方图生成步骤（S1458）中，判别各视差的频度的高低，选择高频度的视差，将低频度的视差从直方图除外。
接着，对第14实施方式的实施例2进行说明。
图65是表示第14实施方式的实施例2的测距装置中的代表视差决定部30的详细的框图。除此以外的部分如图62所示。
本例的代表视差决定部30包括视差直方图生成部51、众数检测部52、视差选择部53、及滤波器54而构成。在此处，视差直方图生成部51及众数检测部52与实施例1相同。
视差选择部53利用视差的直方图判别各视差的频度的高低，选择高频度的视差，由此将局部存在的像素的成分从视差的直方图除外。例如，选择频度（像素数）为阈值以上的视差，将频度（像素数）小于阈值的视差从直方图除外。
滤波器54从选择的各视差的频度除去视点图像间的映射不适宜的像素的成分（像素数）。例如在将右视点图像作为基准图像而将左视点图像作为参照图像的映射和将左视点图像作为基准图像而将右视点图像作为参照图像的映射中，选择对应关系不同的像素，将选择的像素的数从各视差的频度减去。另外，例如在基准图像的1个像素对应有参照图像的多个像素的情况下，选择这种对应关系的像素，将选择的像素的数从各视差的频度（频度）减去。此外，本发明中的滤波器不特别限定于上述像素选择。例如，包括判断是否进行了适宜的视差运算而排除不适宜的视差运算成分的其他像素选择单元。
对第14实施方式的实施例2的测距处理使用图66的流程图进行说明。在此处，视差的直方图生成以前是与图64A及图64B相同的处理（与步骤S1450～S1472相同）。以下，仅说明与实施例1不同的事项。
步骤S1473a中，通过视差选择部53，如图67A所示，选择频度（像素数）为阈值Td以上的视差。在此处，阈值Td是动态的，将众数的频度设为Dm时，Td＝Dm-Km。Km例如是一定值。即，本例视差选择部53选择与众数的频度的差分为一定值Km以内的视差。
步骤S1473b中，将对于选择的视差施加滤波器。即，通过滤波器54，在图67B中如虚线所示，从选择的各视差的频度（频度）除去视点图像间的映射不适宜的像素的成分（像素数）。
步骤S 1474以后与使用图64B进行说明的情况相同。但是，本例的众数检测部52如图67B所示，将加上滤波器后的视差的直方图中的众数设为代表视差。
接着，对第14实施方式的实施例3进行说明。
图68A是表示第14实施方式的实施例3的测距装置中的代表视差决定部30的详细的框图。除此以外的部分与图62所示的情况相同。
本实施例的代表视差决定部30包括视差直方图生成部51、众数检测部52及关注区域决定部55。在此处，关注区域决定部55以外与实施例1相同。
关注区域决定部55决定算出各视差的频度（像素数）的关注区域。即，决定视差直方图的生成所使用的区域。
本例的关注区域决定部55如图68B所示，包括图像分割部551、频率解析部552、频率频度算出部553及区域决定部554而构成。
图像分割部551将视点图像分割为阵列状的多个分割区域。
频率解析部552对各分割区域进行基于傅里叶变换的频率解析。
频率频度算出部553对各分割区域算出高频成分的积分值。本例中，算出预先决定了空间频度的高频范围内的像素的数。
区域决定部554将高频成分的积分值最大的分割区域决定为关注区域，取得关注区域的位置。
本实施例的视差直方图生成部51限定于关注区域而算出频度，生成视差直方图。
对第14实施方式的实施例3的测距处理使用图69的流程图进行说明。在此处，在关注区域决定（步骤S1469）之前是与图64A及图64B相同的处理（步骤S1450～S1468）。以下，仅对与实施例1不同的事项进行说明。
步骤S1469中，通过关注区域决定部55，决定算出频度的关注区域，从视点图像提取。
图70是表示关注区域决定（S1469）的详细的详细流程图。
步骤S1469a中，通过图像分割部551，将视点图像分割为M×N个分割区域。
步骤S1469b中，通过频率解析部552，对各分割区域进行基于傅里叶变换的频率解析。
步骤S1469c中，通过频率频度算出部553，对各分割区域算出决定的频率的频度。即，对各分割区域算出高频成分的积分值。
步骤S1469d中，通过区域决定部554，取得频度最高的分割区域的位置。即，将高频成分的积分值最大的分割区域决定为关注区域，取得该关注区域的位置。
步骤S1470以后与实施例1相同。
此处，以将高频区域决定为关注区域的情况为例进行了说明，但本发明并不特别限定于上述方式。例如存在以下的方式。
第一，存在如下方式：将由用户指示输入的区域决定为关注区域。
第二，存在如下方式：将视点图像的拍摄时在曝光控制或合焦控制中使用的运算区域决定为关注区域。例如，从包含视点图像的图像文件的头部取得表示拍摄时的曝光运算区域及合焦运算区域的信息（拍摄时运算区域信息）。
第三，存在如下方式：将从视点图像提取了特定对象的区域（特定对象提取区域）决定为关注区域。例如如图71B所示，以脸为特定对象，将脸提取区域决定为关注区域。例如，从包含视点图像的图像文件的头部取得表示特定对象提取区域的信息（特定对象提取区域信息）。
也可以通过其他方法将主要被拍摄体区域决定为关注区域。
接着，对第14实施方式的实施例4进行说明。
图72时表示第14实施方式的实施例4的测距装置中的代表视差决定部30的详细的框图。除此以外的部分与图62所示的情况相同。
本实施例的代表视差决定部30包括视差直方图生成部51、众数检测部52、关注区域决定部55及权重决定部56而构成。在此处，除权重决定部56以外与实施例3相同。权重决定部56基于视点图像中的各像素的位置，决定针对视差直方图的频度的权重。本实施例的视差直方图生成部51对频度进行加权。
对第14实施方式的实施例4的测距处理使用图73的流程图进行说明。
步骤S1469～S1470与实施例3相同。
步骤S1471中，通过权重决定部56决定权重。
步骤S1472中，通过视差直方图生成部51，针对频度进行加权，生成视差直方图。
本例中，如图74所示，将一个关注区域74进一步分割为多个（例如4×4个）分割区域741，对各分割区域的每一个改变权重系数。例如如图74所示，使中央的2×2个区域（由粗线742包围的区域）的权重系数大于该周围的区域的权重系数。
步骤S 1474以后与实施例3相同。
此外，以生产视差的直方图的情况为例进行了说明，但在生成距离的直方图的情况下，当然也能够应用本实施方式的记载事项。
另外，使用图62及图64A、图64B，对以｜指定距离-代表距离｜为基准确定最优校准数据的情况为例进行了说明，但在使用其他判断基准（例如相关度、纵偏移量、视差运算像素数、局部噪声像素数等）确定最优校准数据的情况下也能够应用本实施方式的记载事项。
图75是本发明的优选的第15实施方式的测距装置100的框图。该装置能够利用信息处理装置（包括CPU、RAM、ROM等运算处理所需的电路、数据存储介质、数据输入输出电路、显示电路、操作装置、通信电路等的装置）构成。
图像输入部1从存储卡、闪存、CDROM、DVDROM等的各种记录介质等存储介质、或从与相机连接的USB等周边机器连接用通用接口、或从网络及LAN等网络输入基准图像（包括视点不同的多个拍摄单元的相机中，利用预定的1个基准拍摄单元拍摄被拍摄体得到的视点图像）及参照图像（从该相机的基准拍摄单元以外的拍摄单元得到的被拍摄体的视点图像）的组。图像输入部1输入的基准图像及参照图像存储于图像存储部2。
以下，为了实现基准图像和参照图像的立体映射，使基准图像及参照图像至少包括亮度信息。为了对三维图像附加颜色信息，基准图像也可以包括颜色信息。
焦点位置表40由EEPROM等非易失性存储介质构成，存储规定与期望的被拍摄体距离对应的焦点位置的焦点位置表。例如在焦点位置表40中存储专利文献11的焦点位置表。在此处，被拍摄体距离是指从相机到被拍摄体的距离。例如，能够将到由相机的合焦控制机构（TTL的自动对焦、使用了红外线三角测距方式或瞳分割相位差检测方式的外部测距方式的自动对焦等）合焦的被拍摄体的距离、基于视差向量算出的距离信息（专利文献4等）设为被拍摄体距离。
校准数据输入部3从存储卡、闪存、CDROM、DVDROM等的各种记录介质等存储介质、或从个人电脑、或从键盘等用户接口、或从网络及LAN等网络输入校准数据。校准数据包括由各个相机的焦距、图像中心、像素尺寸等信息构成的内部参数、由2个相机的位置、姿势等关系信息构成的外部参数、基于相机中的理想的光学系统和实际的光学系统之间的差的光学变形参数的组。该组输入多个。
另外，参数的组的每一个被与规定的多个焦点位置的某一个建立对应。
规定的多个焦点位置可以如位置1、位置3、位置5……这样为离散的值，也可以为全部焦点位置。每个校准数据输入部3输入的焦点位置的校准数据存储于校准数据存储部4。
三维格式变换部7、图像文件分析部8、校准数据分析部23、扩大·缩小部24、距离初始推定部25、区域切出部26、初始校准数据选择部27、测距运算部29、测距运算结果评价·判定部32、校准数据更新选择部36、焦点位置选择部41是协同处理器，分别进行专门的处理而辅助CPU105的处理动作。但是CPU105自身也可以承担上述各部分的作用。
另外图像存储部2、校准数据存储部4、运算结果存储部19、场景特征存储部37、焦点位置存储部38由RAM等挥发性存储介质构成。
测距运算参数输入部39是键盘、鼠标、触摸屏、声音输入接口、视线输入接口等接受用户的动作产生的数据输入的单元（用户接口）。
图76表示示出距离测定装置执行的测距处理的概略的流程图。用于使距离测定装置的CPU105执行该处理的程序记录于ROM、RAM、EEPROM、CDROM、DVD等计算机能读取的记录介质即存储部101，CPU105从该记录介质读出该程序并执行。
S1中，CPU105判断是否从此前没有成为基准图像的输入源的新的相机将基准图像从图像输入部1输入。“是”的情况下前进到S2，“否”的情况下前进到S3。具体而言，例如在EEPROM这样的非易失性存储介质中存储之前成为基准图像的输入源的相机的识别信息，CPU105对该识别信息和新输入的基准图像的附带信息中存储的相机的识别信息进行比较对照，若两者一致则判断为“否”，若两者不一致则判断为“是”。
S2中，将与新的相机的种类对应的校准数据从校准数据输入部3输入。
S3中，将基准图像及参照图像从图像输入部1输入。
S4中，初始校准数据选择部27执行初始校准选择处理。该处理的详细如后所述。
S5中，测距运算部29基于作为初始校准选择处理的结果而选择的校准数据，进行基准图像的被拍摄体的三维计测，得到包括距离信息、视差信息、三维位置信息等的三维信息（点群信息）。三维信息存储于运算结果存储部19。
S6中，测距运算结果评价·判定部32执行运算结果评价处理。该处理的详细如后所述。
S7中，测距运算结果评价·判定部32执行运算结果判定处理。该处理的详细如后所述。作为运算结果判定处理的结果而判定为运算结果能够信赖的情况下前进到S9，判定为运算结果不能信赖的情况下前进到S8。
S8中，校准数据更新选择部36执行校准数据更新·再选择处理。该处理的详细如后所述
S9中，三维格式变换部7基于三维信息，将基准图像变换为能够立体观察的三维图像（右眼用图像及左眼用图像）。
S10中，三维图像输出部18输出三维图像和三维信息。三维图像和三维信息的输出目标可包括显示装置、记录介质、网络上的信息通信设备、三维打印机等。
S11中，CPU105判断是否向图像输入部1输入了新的基准图像。“是”的情况下返回S1，“否”的情况下结束处理。
图77是初始校准数据选择处理（S4）的详细的流程图。
S21中，图像文件分析部8分析输入的基准图像的图像数据文件附带信息，取得被拍摄体距离。例如取得Exif标签的被拍摄体距离（Subject Distance）。
S22中，距离初始推定部25将图像文件分析部8取得的被拍摄体距离推定作为关于基准图像的被拍摄体的被拍摄体距离。焦点位置选择部41基于焦点位置表40的焦点位置表，选择与推定的被拍摄体距离对应的焦点位置。并且，焦点位置选择部41将选择的焦点位置即当前焦点位置存储于焦点位置存储部38。
S23中，初始校准数据选择部27从校准数据存储部4选择对与存储于焦点位置存储部38的当前焦点位置接近的上位2组焦点位置建立了对应的校准数据。
S24中，初始校准数据选择部27对选择的2组校准数据进行内插，生成与存储于焦点位置存储部38的当前焦点位置对应的校准参数。生成的校准参数被与当前焦点位置建立对应而存储于校准数据存储部4。
图78表示运算结果评价处理（S6）及运算结果判定处理（S7）的详细流程图。
S31中，图像文件分析部8从基准图像的附带信息取得被拍摄体位置信息。这可以例如在测距运算前通过参照Exif标签的被拍摄体位置模块（Subject Location）来取得。
S32中，测距运算结果评价·判定部32计算由基准图像的AF区域内的各像素的测距结果（三维坐标值）到AF区域内的各像素的距离。
S33中，测距运算结果评价·判定部32生成基于到AF区域内的各像素的距离的直方图。该直方图是表示初始校准数据的可靠性的可靠性信息。
S34中，测距运算结果评价·判定部32比较在S33中生成的直方图的峰值和其半值宽度对应的距离、与测距运算中使用的推定被拍摄体距离（S22）。然后，前进到运算结果判定处理（S35）。
S35中，测距运算结果评价·判定部32判断作为S34中的比较的结果，推定被拍摄体距离是否在与直方图的峰值的半值宽度对应的距离的范围内。该推定被拍摄体距离在该范围内的情况下，判定为运算结果能够信赖而前进到S9。该推定被拍摄体距离不在该范围内的情况下，判定为运算结果不能信赖而前进到S8。
图79是校准数据更新·再选择处理（S8）的详细的流程图。
S41中，焦点位置选择部41将与S33同样生成的直方图的峰值位置所对应的距离看作推定被拍摄体距离，从焦点位置表40选择与该被拍摄体距离对应的焦点位置，将该选择的焦点位置作为当前焦点位置而存储于焦点位置存储部38。
S42中，从校准数据存储部4提取与存储于焦点位置存储部38的当前焦点位置接近的上位2个焦点位置所对应的校准参数的组。
S43中，对校准参数的组进行内插，生成与当前焦点位置对应的校准参数。生成的校准参数被与当前焦点位置建立对应而存储于校准数据存储部4。
图80是第16实施方式的初始校准数据选择处理（S4）的其他的详细的流程图。该处理能够取代图77的处理而执行。
S51中，图像文件分析部8分析输入的基准图像的图像数据文件附带信息，取得拍摄时的聚焦镜头的位置所对应的驱动·BR>脉冲数的位置（到相机起动时或驱动范围的端部为止从聚焦镜头被驱动时起的驱动脉冲设定值的累计值）、脉冲履历（直到相机起动时或驱动范围的端部为止从聚焦镜头被驱动时起的驱动脉冲数的总累计值、或从近侧脉冲向远侧脉冲的总切换次数）。
S52中，距离初始推定部25从S51中取得的脉冲数算出被拍摄体距离。从脉冲数的被拍摄体距离的计算能够如专利文献6所示那样进行。距离初始推定部25将算出的被拍摄体距离推定为针对基准图像的被拍摄体的被拍摄体距离。
S53中，初始校准数据选择部27判断总脉冲数及总切换数是否为分别对应的规定的阈值以下。“是”的情况下前进到S54，“否”的情况下前进到S56。
S54中，焦点位置选择部41从焦点位置表40选择S52中推定的被拍摄体距离所对应的焦点位置，将该选择的焦点位置作为当前焦点位置存储于焦点位置存储部38。
初始校准数据选择部27从校准数据存储部4选择对与存储于焦点位置存储部38的当前焦点位置接近的上位2组焦点位置建立了对应的校准数据。
S55中，初始校准数据选择部27对选择的2组校准数据进行内插，生成与存储于焦点位置存储部38的当前焦点位置对应的校准参数。生成的校准参数存储于校准参数存储部4。然后结束处理。
S56中，从校准数据存储部4选择和与S52中算出的当前焦点位置接近的上位3组焦点位置对应的校准数据。
S57中，初始校准数据选择部27利用二次函数对选择的3组校准数据进行拟合，生成与存储于焦点位置存储部38的当前焦点位置对应的校准参数。生成的校准参数被与当前焦点位置建立对应而存储于校准参数存储部4。然后结束处理。
图81表示运算结果判定处理（S7）的其他的详细流程图。
S61中，进行与S53相同的判断，若判断为“是”则前进到S62，若判断为“否”则前进到S63。
S62中，进行与S35相同的判断，根据该判断结果前进到S9或S8。
S63中，测距运算结果评价·判定部32判断总脉冲数及总切换数是否为分别对应的规定的阈值（规定的阈值为2以下的数值）以下。“是”的情况下前进到S64，“否”的情况下前进到S65。
S64中，测距运算结果评价·判定部32比较S33中生成的直方图的峰值和其半值宽度对应的距离、与测距运算中使用的推定被拍摄体距离。并且，判断推定被拍摄体距离是否在与直方图的峰值的中央部10％对应的距离的范围内。该被拍摄体距离在该范围内的情况下，判定为运算结果能够信赖而前进到S9。该被拍摄体距离不在该范围内的情况下，判定为运算结果不能信赖而前进到S8。
S65中，测距运算结果评价·判定部32判定为运算结果不能信赖而前进到S8。
图82是第17实施方式的初始校准数据选择处理（S4）的其他的详细的流程图。该处理能够取代图77或80的处理而执行。
S71中，图像文件分析部8分析输入的基准图像的图像数据文件附带信息，取得拍摄模式信息。例如，取得Exif标签的拍摄场景·类型（SceneCaptureType）（包括风景、人物肖像、夜景等）作为拍摄模式信息。
S72中，距离初始推定部25判断S71中取得的拍摄模式信息是否为“人物肖像”。“是”的情况下前进到S73，“否”的情况下前进到S74。
S73中，距离初始推定部25基于预先存储于ROM等的拍摄模式-拍摄距离对应表20，将与“人物肖像”对应的距离＝2m推定为被拍摄体距离。
S74中，距离初始推定部25判断S71中取得的拍摄模式信息是否为“风景”。“是”的情况下前进到S75，“否”的情况下前进到S76。
S75中，距离初始推定部25基于拍摄模式-拍摄距离对应表20，将与“风景”对应的距离＝10m推定为被拍摄体距离。
S76中，距离初始推定部25通过本实施方式以外的任意的初始校准数据选择处理推定被拍摄体距离。
然后，进行与推定的被拍摄体距离对应的焦点位置的选择、基于选择的焦点位置的初始校准数据的计算。这与上述相同。
图83是第18实施方式的初始校准数据选择处理（S4）的其他的详细的流程图。该处理能够取代图77、80或82的处理而执行。
S81中，图像数据分析部16从基准图像进行被拍摄体检测。被拍摄体检测用周知的方法、例如专利文献7及8那样进行即可。图像数据分析部16检测检测出的被拍摄体的尺寸D（例如与矩形区域的纵横的长度相当的像素数n×m）。图像数据分析部16在检测的被拍摄体存在多个的情况下，将其中满足规定的基准的被拍摄体（例如位于画面最中央的被拍摄体）作为代表被拍摄体，检测该代表被拍摄体的尺寸。此外，被拍摄体不限于脸，也可以通过周知的物体检测技术，检测不是脸的其他特定的种类的被拍摄体的尺寸。
S82中，图像数据分析部16取得预先存储于被拍摄体尺寸存储部22的标准被拍摄体尺寸。
S83中，图像文件分析部8分析输入的基准图像的图像数据文件附带信息，取得相机机种信息。例如，取得Exif标签的相机的机种名Model作为相机机种信息。
S84中，距离初始推定部25从预先存储于相机视场角DB21的各相机机种信息的拍摄图像的视场角信息中取得与S83中取得的相机机种信息对应的视场角信息。视场角信息包括拍摄视场角a[rad]、基准图像的像素数w[pixel]。
S85中，距离初始推定部25基于S84的拍摄视场角a[rad]、基准图像的像素数w[pixel]、S82的标准被拍摄体尺寸n[pixel]、S81的实际的被拍摄体尺寸D[mm]，算出拍摄距离L[mm]。即，设
L=Dw/（2ntan（a/2））。
距离初始推定部25将L推定为被拍摄体距离，以下，进行与该推定被拍摄体距离对应的焦点位置的选择、基于选择的焦点位置的初始校准数据的计算。此外，若准备与脸以外的特定种类的被拍摄体对应的标准尺寸，则在检测出该种类的被拍摄体的尺寸的情况下，能够从该标准尺寸和检测尺寸算出拍摄距离。
图84是第19实施方式的初始校准数据选择处理（S4）的其他的详细的流程图。该处理能够取代图77、80、82或83的处理而执行。
S91中，扩大·缩小部24将基准图像及与基准图像成组的参照图像缩小。缩小率是预先记录于存储部101的值，例如为1/4。
S92中，距离初始推定部25基于缩小的基准图像和参照图像进行相关运算。距离初始推定部25的相关运算通过SAD法等各种方法进行（参照专利文献9）。接着，距离初始推定部25进行与基准图像的各像素对应的参照图像的对应点检索。并且，算出相互对应的基准图像上的像素和参照图像上的像素的视差。
S93中，距离初始推定部25从各个像素的视差生成直方图。
S94中，距离初始推定部25将生成的直方图的峰值设为表示距离的视差d[pixel]。
S95中，距离初始推定部25基于预先存储于校准数据存储部4的、规定的初始校准参数，将视差d向被拍摄体距离L[mm]变换。规定的初始校准参数的内容是任意的。距离初始推定部25将L推定为针对当前的被拍摄体的被拍摄体距离。以下，焦点位置选择部41选择与推定的被拍摄体距离L对应的焦点位置，初始校准数据选择部27将与L对应而选择的焦点位置作为当前焦点位置，执行图77的S23～24。
图85是第20实施方式的初始校准数据选择处理（S4）的其他的详细的流程图。该处理能够取代图77、80、82、83或84的处理而执行。
S101中，图像文件分析部8分析输入的基准图像的图像数据文件附带信息，从附带信息取得基准图像中的焦点区域的位置信息（焦点区域信息）。例如，图像文件分析部8取得Exif标签的AF区域（NKAFFocusPoint）作为焦点区域信息。
S102中，区域切出部26分别将通过焦点区域信息确定的基准图像的焦点区域内的图像切出。
S103中，距离初始推定部25通过相关运算部30基于切出的基准图像的焦点区域的图像和参照图像进行相关运算。相关运算部30的相关运算通过SAD法等各种方法进行。接着，距离初始推定部25进行与基准图像的切出图像的各像素对应的参照图像的对应点检索。并且，算出相互对应的基准图像上的像素和参照图像上的像素的视差。
S104中，距离初始推定部25从各个像素的视差生成直方图。距离初始推定部25将生成的直方图的峰值设为表示被拍摄体距离的视差d[pixel]。距离初始推定部25基于预先存储于校准数据存储部4的、规定的初始校准参数，将视差d向被拍摄体距离L[mm]变换。这些处理与S94、95相同。另外规定的初始校准参数的内容是任意的。
以下，焦点位置选择部41选择与L对应的焦点位置，初始校准数据选择部27将与L对应而选择的焦点位置设为当前焦点位置，执行图77的S23～24。
图86是第21实施方式的初始校准数据选择处理（S4）的其他的详细的流程图。该处理能够取代图77、80、82、83、84或85的处理而执行。
S111中，图像文件分析部8分析输入的基准图像的图像数据文件附带信息，取得相机机种信息。例如，取得Exif标签的相机的机种名Model作为拍摄模式信息。
S112中，距离初始推定部25取得预先存储于会聚距离DB28的各相机机种的会聚距离中的、与取得的相机机种信息对应的会聚距离。
S113中，距离初始推定部25将取得的会聚距离推定为被拍摄体距离。然后，焦点位置选择部41选择与该被拍摄体距离对应的焦点位置，初始校准数据选择部27将该选择的焦点位置作为当前焦点位置，初始校准数据选择部27执行图77的S23～24。
图87是第22实施方式的初始校准数据选择处理（S4）的其他的详细的流程图。该处理能够取代图77、80、82、83、84、85或86的处理而执行。
S121中，距离初始推定部25取得预先存储于校准数据存储部4的、规定的初始校准参数。
S122中，距离初始推定部25基于取得的规定的初始校准参数，取得相机的各拍摄单元的外部参数。外部参数描述某世界坐标系中的、相机的位置坐标和相机的各拍摄单元的光轴的方向。
S123中，距离初始推定部25基于取得的外部参数，算出从相机直到会聚点的距离即会聚距离。例如，取得由上述世界坐标系中的相机的拍摄单元A的位置坐标和光轴的方向向量、和相机的拍摄单元B的坐标构成的平面。接着，将拍摄单元B的方向向量投影到该平面。接着，将拍摄单元A的方向向量和射影的拍摄单元B的方向向量的交点设为会聚点。并且，将拍摄单元A的位置坐标和会聚点的距离设为会聚距离。距离初始推定部25将算出的会聚距离推定为被拍摄体距离。
然后，焦点位置选择部41选择与该推定被拍摄体距离对应的焦点位置，初始校准数据选择部27将该选择的焦点位置作为当前焦点位置，初始校准数据选择部27执行图77的S23～24。
图88是第23实施方式的初始校准数据选择处理（S4）的其他的详细的流程图。该处理能够取代图77、80、82、83、84、85、86或87的处理而执行。
S131中，场景特征分析部35分析此次输入的基准图像的特征。特征包括拍摄模式及/或被拍摄体人物的有无。拍摄模式也可以如上所述从基准图像的附带信息取得。分析结果存储于场景特征存储部37。
S132中，场景特征分析部35判断从上次图像输入部1输入的基准图像的特征的分析结果是否存储于场景特征存储部37。“是”的情况下前进到S133，“否”的情况下前进到S136。
S133中，场景特征分析部35从场景特征存储部37取得上次的基准图像的特征的分析结果。
S134中，场景特征分析部35比较上次的基准图像的特征的分析结果和S131中得到的此次的基准图像的特征的分析结果，判断两者是否不同。“是”的情况下前进到S136，“否”的情况下前进到S135。
S135中，距离初始推定部25将对于上次的基准图像推定的被拍摄体距离推定为对于此次的基准图像的被拍摄体距离。
S136中，距离初始推定部25实施与对于上次的基准图像适用的初始校准数据选择处理（图77、80、82、83、84、85或86的处理中的任一个）不同的期望的初始校准数据选择处理，推定被拍摄体距离。可以利用存储部101的记录数据指定实施哪个初始校准数据选择处理，也可以从用户接口任意地指定。
S137中，焦点位置选择部41基于焦点位置表40选择与S135或S136中推定的被拍摄体距离对应的焦点位置。初始校准数据选择部27执行S23及S24的处理，生成与选择的焦点位置对应的初始校准数据。
S138中，场景特征分析部35将S131中得到的图像数据的特征存储于场景特征存储部37。
本处理在S138中完成。但是然后，S139中，测距运算部29根据选择的初始校准数据进行各个像素的测距。并且，S140中，将生成的初始校准数据存储于校准参数存储部4，将测距信息存储于校准参数存储部4。
图89是第24实施方式的初始校准数据选择处理（S4）的其他的详细的流程图。该处理能够取代图77、80、82、83、84、85、86或88的处理而执行。
S151中，测距运算参数输入部39接受测距范围的最小距离zmin[mm]、测距范围的最大距离zmin[mm]、相关窗尺寸w[pixel]的输入。这些信息也可以预先设定于存储部101。
S152中，距离初始推定部25将输入的测距范围的中央值推定为被拍摄体距离L。即，被拍摄体距离L[mm]=（zmin+zmax）/2。
以下，焦点位置选择部41选择与L对应的焦点位置，初始校准数据选择部27将对应于L而选择的焦点位置作为当前焦点位置，执行图77的S23～24。
图90例示存储于第25实施方式的校准数据存储部4的校准参数的结构。与规定的多个焦点位置对应的相机的各拍摄单元的校准参数包含畸变参数的中心坐标、系数、外部参数矩阵、内部参数矩阵。当前焦点位置位于规定的多个焦点位置之间的情况下，利用对与取得的焦点位置相邻的规定的2个焦点位置所对应的校准参数进行内插或进行拟合等的线性插补，算出与该当前焦点位置对应的校准参数。
图91例示存储于校准数据存储部4的校准参数的其他的结构。
与规定的多个焦点位置对应的相机的各拍摄单元的校准参数包含畸变参数的中心坐标的函数、系数、外部参数矩阵、内部参数的焦距、光轴中心坐标。各参数的函数利用将预先定义的焦点位置L作为参数的多项式近似地表现，因此仅该系数作为校准参数而存储即足够。例如，表示焦距fx（L）的关系的多项式由
fx（L）=fx2*L2+fx1*L+fx0
定义。
图91中，外部参数由3×4矩阵表现。该矩阵的要素是1个3×3旋转矩阵和1个三维向量，要素数为12。内部参数由5个要素表现。畸变参数由4个要素表现。各参数的各要素由将焦点位置作为变量的n次多项式函数（例如n＝2）表现，因此实际上，作为校准参数存储与该多项式函数的各次数对应的系数和常数项即足够。
图92表示第26实施方式的能够向测距装置100提供基准图像及参照图像的相机的电气结构。第一拍摄部102a由包括沿镜头光轴L1排列的第一连续变焦镜头111、第一光圈112、第一聚焦镜头113在内的第一拍摄光学系统及第一拍摄元件114构成。虽然图示省略，但第一连续变焦镜头111上连接有第一连续变焦镜头电动机，第一光圈112上连接有第一光圈电动机，第一聚焦镜头113上连接有第一聚焦镜头电动机。另外，第一拍摄元件114上连接有包括定时脉冲发生器（TG）在内的第一拍摄元件控制部118。各电动机及第一拍摄元件控制部118的动作被CPU119控制，电动机的实际的驱动开始及结束根据CPU119的控制而由光学系统控制129指示。
光学系统控制129控制第一连续变焦镜头电动机，根据来自按钮（操作部）109的变焦操作，使第一连续变焦镜头111沿镜头光轴L1向广角侧或望远侧移动，改变变焦倍率。第一光圈电动机在AE（AutoExposure）动作时改变第一光圈112的开口值（光圈值）而限制光束，进行曝光调整。第一聚焦镜头镜头电动机在AF（Auto Focus）动作时使第一聚焦镜头113沿镜头光轴L1向无限远侧或极近侧移动，搜索与AF评价值的峰值对应的焦点位置即合焦位置，进行调焦。
第一拍摄元件114由CCD或CMOS等固体拍摄元件构成，接受通过由第一连续变焦镜头111、第一光圈112及第一聚焦镜头113构成的第一拍摄光学系统成像的被拍摄体光，蓄积对应于受光量的光电荷。第一拍摄元件114的光电荷蓄积·转送动作被拍摄元件控制部118控制，通过从拍摄元件控制部118输入的定时信号（时钟脉冲），决定电子快门速度（光电荷蓄积时间）。第一拍摄元件114在拍摄模式时按照规定周期取得1个画面的图像信号，依次输入到模拟信号处理电路128a。
第二拍摄部102b为与第一拍摄部102a大致等同的构成，包括包含沿镜头光轴L2排列的第二连续变焦镜头120、第二光圈121、第二聚焦镜头122在内的第二拍摄光学系统。另外，虽然省略了图示，但第二拍摄部102b包括与第二连续变焦镜头120连接的第二连续变焦镜头电动机、与第二光圈121连接的第二光圈电动机、与第二聚焦镜头122连接的第二聚焦镜头电动机、和控制它们的驱动的第二光学控制部130。另外，第二拍摄部102b包括与第二拍摄元件123连接的定时脉冲发生器（TG）即第二拍摄元件控制部127。各电动机及第二拍摄元件控制部127的动作被CPU119控制。
第二拍摄元件123在拍摄模式时按规定周期取得1个画面的图像信号，依次输入到模拟信号处理电路128a。
第一拍摄部2a和第二拍摄部2b基本上连动而进行动作，但也能够分别单独地动作。因此，也可以利用一方拍摄静止画面，利用另一方拍摄动画，或利用双方拍摄静止画面、或利用双方拍摄动画。
但是，第二拍摄部102b也可以是相比第一拍摄部102a简化的构成。例如，第二拍摄元件123是至少能够输出亮度信号的构成，例如也可以由单色CCD等构成。或者也可以不对第二拍摄部102b设置变焦功能或AF功能。
CPU119在操作部109的快门按钮被压下的时点（或在计时器155结束了规定的时间经过的计时的时点）对于拍摄元件控制部118、127以朝向拍摄元件114、123供给曝光开始信号的方式进行指示。此时在CPU119通过测光结果判定为需要拍摄辅助光的发光的情况下，与快门按钮的按下同步地，以使由LED等构成的发光部150发出拍摄辅助光的方式向发光控制单元151指示。此外发光部150的发光电源被从蓄电池152供给。
如此，若被拍摄区域亮度亮时拍摄辅助光不发光，而被拍摄区域亮度暗时拍摄辅助光发光而进行拍摄，则CPU119向拍摄元件控制部118、127、发生电路121发出指示，在规定的快门秒时后将曝光结束信号向拍摄元件114、123供给，与该曝光结束信号同步而从拍摄元件114、123输出图像信号。
从第一及第二拍摄元件114、123输出的拍摄信号分别输入到模拟信号处理128a、b（集中表记为拍摄电路128）中包含的相关二重采样电路（CDS）。CDS将与第一及第二拍摄元件114、123的各受光元件的蓄积电荷量正确对应的R、G、B的图像数据输入到放大器（AMP）而放大。放大后的来自第一及第二拍摄元件114、123的拍摄信号分别输入到A/D变换器129a或129b（集中表记为拍摄电路129）。A/D变换器129将输入的图像数据从模拟变换为数码。通过包含于拍摄电路128的CDS·AMP和A/D变换器129，第一拍摄元件114的拍摄信号作为第一图像数据（基准图像）输出，第二拍摄元件123的拍摄信号作为第二图像数据（参照图像）输出。
数字信号处理电路131对从A/D变换器129输入的第一及第二图像数据实施灰度变换、白平衡校正、γ校正处理等各种图像处理。存储器132临时存储在数字信号处理电路131中实施了各种图像处理后的第一及第二图像数据。
AF/AE控制部133从存储于存储器132的第一及第二图像数据分别算出AF评价值及AE评价值。对于设定于各图像数据的规定的AF区域（例如图像的中央部、图像的全区域等）通过累计亮度值的高频成分而算出AF评价值，表示图像的清晰度。亮度值的高频成分是将相邻的像素间的亮度差（对比度）在规定区域内相加得到的。另外，AE评价值是对于设定于各图像数据的规定的AE区域（例如图像的中央部、图像的全区域等。也可以与AF区域相同）通过累计亮度值而算出，表示图像的亮度。AF评价值及AE评价值分别在上述的AF动作（自动焦点控制）及AE动作（自动曝光控制）中使用。
二维/三维显示控制部134在从操作部9选择了全景拍摄模式的情况下，进行将存储于存储器132的第一及第二图像数据的重叠区域联系起来的关联建立及合成。将二维/三维显示控制部140合成的图像称为全景图像。二维/三维显示控制部140将全景图像存储于存储器132，该全景图像数据经由二维/三维显示控制部134作为直通画面显示在LCD110。
二维/三维显示控制部134在从操作部9选择了立体拍摄模式的情况下，将存储于存储器132的第一及第二图像数据变换为用于由显示部110进行立体显示的三维图像（立体图像数据）。该方法如S9所示。在拍摄模式时显示部110作为电子取景器使用时，通过二维/三维显示控制部134合成的立体图像数据作为直通画面显示于显示部10。
二维/三维显示控制部134从操作部9选择了2张同时拍摄模式的情况下，将第一及第二图像数据构成为分别独立的单独图像数据，单独图像数据由从未图示的OSD信号发生电路供给的分隔框的影像等区别后，作为直通画面显示于显示部110。
卡I/O部136对应于从操作部109输入了拍摄指示这一操作，对于存储于存储器132的第一及第二图像数据（全景图像数据、立体图像数据、单独图像数据），通过JPEG、MPEG方式等压缩形式实施压缩处理。卡I/O部136将通过数字信号处理电路131进行压缩处理后的图像数据记录于存储卡等记录介质138。此外，也可以将对应于不同的光学系统的图像数据记录在1个图像文件内，也可以形成2个以上的独立的图像文件。
但是，2个独立的图像文件的附带信息（头部信息、标签信息该他）中，记录拍摄了图像数据的第一拍摄部2a的识别信息（例如”1”）或第二拍摄部2b的识别信息（例如”2”）、拍摄日期时间信息和拍摄时选择的拍摄模式，通过拍摄日期时间信息的同一性进行拍摄的2张图像的关联建立。
另外，CPU119经由卡I/O部136，将拍摄模式、被拍摄体距离、被拍摄体位置信息、拍摄时的聚焦镜头113、122的位置对应的驱动脉冲数的位置（直到相机起动时或驱动范围的端部，聚焦镜头113、122被驱动时起的驱动脉冲设定值的累计值）、脉冲履历、相机机种、AF区域的位置信息写入图像文件的附带信息。
这样将记录于记录介质138的图像数据重现显示在显示部110的情况下，记录介质138的各图像数据通过卡I/O部136读出，通过数字信号处理电路131进行伸张处理。
与读出的图像数据对应的附带信息的拍摄模式为全景拍摄模式的情况下，图像数据通过二维/三维显示控制部140被变换为重复区域重叠而成的平面的全景图像后，作为重现图像显示于显示部110。
与读出的图像数据对应的附带信息的拍摄模式为立体拍摄模式的情况下，图像数据被二维/三维显示控制部140变换为立体图像数据后，作为三维重现图像显示于显示部110。向立体图像数据的变换方法如S9所示。
与读出的图像数据对应的附带信息的拍摄模式为2张同时拍摄模式的情况下，将同一拍摄日期时间信息记录在头部信息的2张图像文件的图像数据的每一个在显示部110的同一画面上作为与拍摄光学系统的识别信息对应的位置（双眼的拍摄系统中为左侧或右侧）上配置的重现图像表示。
显示部110的详细的结构未图示，但显示部110在其表面包括视差屏障显示层。显示部110在进行立体显示时，在视差屏障显示层产生由透光部和遮光部交替地以规定的间距排列的图案构成的视差屏障，并且通过在该下层的图像显示面上将表示左右的像的长方形的图像断片交替地排列显示而能够进行近似的立体显示。此外，若不将由第一拍摄部102a及第二拍摄部102b得到的平面图像重新构成为长方形的图像断片并将它们交替地排列，而仅将由第一拍摄部102a或第二拍摄部102b的一方得到的右或左的像重新构成为长方形的图像断片并将它们交替地排列，则在观者的右眼和左眼中都看到相同的平面图像。
CPU119统一控制整体的动作。CPU119上，除了前述的操作部109以外，还连接有由EEPROM等非易失性存储器构成的内置存储器139。内置存储器139存储各种控制用的程序、设定信息等。CPU119基于该程序、设定信息而执行各种处理。
操作部109的快门按钮为2级按压的开关结构。拍摄模式中，轻轻按压（半按压）快门按钮时，CPU119开始AF动作及AE动作而进行拍摄准备处理。在该状态下进一步用力按压（全按压）快门按钮时，CPU119开始拍摄处理，1个画面的第一及第二图像数据从存储器132向记录介质138转送而记录。
AF动作通过如下步骤完成：CPU119控制光学系统控制部129镜头电动机，使第一及第二聚焦镜头113、122分别向规定方向移动，同时从依次得到的第一及第二图像数据的每一个求出AF/AE控制部133算出的AF评价值的最大值。AE动作通过如下步骤完成：AF动作完成后，基于AF/AE控制部133算出的AE评价值，CPU119控制光圈电动机18、27及拍摄元件控制部118、27，根据预先存储于内置存储器139（由EEPROM等构成）的程序线图设定第一及第二光圈12、21的开口值（光圈值）、及第一及第二拍摄元件114、123的电子快门速度。
测距装置100可具有与第15～25实施方式的测距装置100相同的构成。测距装置100将从数字信号处理电路131输出的、或存储于存储器132的第一及第二图像数据作为基准图像及参照图像输入。将第一及第二图像数据的哪一个设为基准图像，换言之将第一拍摄部102a及第二拍摄部102b的哪一个设为基准拍摄单元是任意的，但不管怎样，内置存储器139中，记录有作为基准图像的取得源的基准拍摄单元指定第一拍摄部102a及第二拍摄部102b中的哪一个的信息，测距装置100根据该信息区别基准图像和参照图像。
测距装置100通过由第一拍摄部102a及第二拍摄部102b进行的至少1次拍摄得到的基准图像及参照图像，能够选择初始校准参数，计测立体映射、视差算出、直到与各像素对应的被拍摄体上的点的距离。另外测距装置100能够通过2次以后的拍摄得到的基准图像及参照图像，进行校准参数的再选择·更新。二维/三维显示控制部134能够按照测距装置100根据校准参数得到的三维信息，生成表示被拍摄体的立体形状的距离图像，记录于记录介质138，或输出到显示部110。
以上，将本发明分成实施方式1～26进行了说明，但也可以通过这些实施方式的任意组合来实施本发明，这是不言而喻的。
另外，本发明不限于本说明书中说明的例子或附图中图示的例子，在不脱离本发明的主旨的范围内，当然可以进行各种的设计变更或改良。
标号说明
11…图像输入部、12…存储器、13…指定编号决定部、14…校准数据取得部、15…校准部、16…视差运算部、17…距离运算部、18…相关度运算部、19、38…相关度比较部、20…距离比较部、21、39…纵偏移量运算部、22…纵偏移量比较部、23…视差运算像素数运算部、24、40…视差运算像素数比较部、25、41…局部噪声像素数运算部、26…局部噪声像素数比较部、27…代表距离决定部、28…｜指定距离-代表距离｜运算部、29…｜指定距离-代表距离｜比较部、30…代表视差决定部、31…指定视差运算部、32…｜指定视差-代表视差｜运算部、33…｜指定视差-代表视差｜比较部、34…指定距离决定部、35，37…｜指定视差-代表视差｜比较部、36…阈值决定部、51…视差直方图生成部、52…众数检测部、53…视差选择部、54…滤波器、55…关注区域决定部、56…权重决定部
机译： 测距装置，测距方法，测距程序，测距系统和图像拾取装置
机译： 测距装置，测距方法，测距程序，测距系统和成像装置
机译： 测距装置，测距方法，测距程序，测距系统和成像装置
