使用自动聚焦反馈进行立体侧倾校正

摘要

本发明揭示用于使用自动聚焦反馈来校正立体感图像传感器对的立体侧倾的系统和方法。从由所述图像传感器对的每一传感器捕获的图像之间物体的视差来估计图像中所述物体的立体深度。从自动聚焦透镜位置找到所述物体的自动聚焦深度。如果所述立体深度与所述自动聚焦深度之间的差不为零，那么使所述图像中的一者变形，并重新计算所述视差，直到所述物体的所述立体深度和所述自动聚焦深度实质上相同为止。

说明书

技术领域

本发明的实施例涉及成像装置，且具体来说涉及用以校正立体感图像传感器的未对准的系统、方法和设备。

背景技术

当前，数字成像能力被集成到广泛范围的装置中，所述装置包含数字相机和移动电话。此类装置可包含捕获立体感“3D”图像的功能。装置制造商通过引入集成数字图像处理的装置以支持利用单个或多个数字成像传感器捕获立体感图像对消费者作出响应。广泛范围的电子装置(包含移动无线通信装置、个人数字助理(PDA)、个人音乐系统、数字相机、数字记录装置、视频会议系统等等)可利用立体感成像能力来向其用户提供各种能力和特征。这些包含立体感成像应用(例如3D照片和视频)。

为使观看者对立体感数据回放感到舒适，需要提供其中成像传感器经完美对准或接近完美对准的数字系统。这实现由每一成像传感器捕获的个体图像经更完美对准以提供在观看此类图像时减少眼睛压力和其它问题的立体感图像。然而，立体感图像对的此“完美”图像对准可由于重力、热量、机械装配和使用过程中的磨损而随时间偏移。这些传感器对准不完美(当存在时)可导致捕获未对准的图像，这些图像除非另外被校正否则可引起观看者的视觉不适。在某些情况下，侧倾的偏移引起深度测量误差。在其它情况下，自动聚焦精确性开始随时间偏移。在这两种情况下，都需要对未对准进行校正来提供精确深度测量和改进的立体感图像质量。

发明内容

本发明的系统、方法和装置各具有若干创新方面，所述方面中单个一者不单独负责本文中所揭示的需要的属性。本文中所描述的创新、方面及特征的组合可并入系统、方法及装置的各种实施例中，并且此类组合并不受本文中描述的实施例的实例的限制。

实施例中的某些实施例可包含用于执行立体感图像传感器对的侧倾校正的系统，所述系统包含包括一对立体感图像传感器的成像装置及控制模块。所述控制模块可经配置以使用传感器对来捕获物体的一或多个图像，从一或多个的图像来确定物体的视差，从一或多个图像来估计物体的立体感深度、设置立体感图像传感器对的自动聚焦透镜位置，在物体上执行自动聚焦功能以确定高频自动聚焦位置，从高频自动聚焦位置估计自动聚焦深度，且使用自动聚焦深度与立体感深度之间的差来估计和校正侧倾角度校正。

某些实施例可包含用于使用自动聚焦反馈进行立体感图像传感器对的侧倾校正的方法。在一个方面中，所述方法可包含提供立体感图像传感器对并用传感器对来捕获物体的一或多个图像的步骤。此方法进一步包含从一或多个图像来确定物体的视差，从一或多个图像来估计物体的立体感深度，设置立体感图像传感器对的自动聚焦透镜位置，在物体上执行自动聚焦功能以确定高频自动聚焦位置，从高频自动聚焦位置估计自动聚焦深度，且使用自动聚焦深度与立体感深度之间的差来估计和校正侧倾角度校正。

在另一实施例中，用于使用自动聚焦反馈进行立体感图像传感器对的自动聚焦透镜位置校正的方法可包含以下步骤：提供立体感图像传感器对，用传感器对来捕获物体的一或多个图像，从一或多个图像来确定物体的视差，从一或多个图像来估计物体的立体感深度，设置立体感图像传感器对的自动聚焦透镜位置，在物体上执行自动聚焦功能以确定高频自动聚焦位置，从高频自动聚焦位置来估计自动聚焦深度，且使用自动聚焦深度与立体感深度之间的差来校正自动聚焦透镜位置。

一个方面涉及用于以数字方式校正一对成像传感器的物理未对准的系统，所述系统包含包括第一成像传感器和第二成像传感器的成像装置和控制模块。所述控制模块可经配置以用所述第一成像传感器来捕获物体的第一图像数据，用所述第二成像传感器来捕获物体的第二图像数据，使用所述第一图像数据和所述第二图像数据来估计物体的第一深度，从成像装置的自动聚焦透镜位置来估计物体的第二深度，将第一深度与第二深度进行比较，且使用第一深度与第二深度之间的差来估计并校正第一成像传感器与第二成像传感器之间的未对准。控制模块可进一步经配置以通过将第一图像数据与第二图像数据进行比较来确定物体的视差。在某些方面中，使用第一图像数据和第二图像数据来估计物体的第一深度包括通过将位于第一图像数据和第二图像数据两者中的物体的关键点进行比较来确定立体感深度估计。在某些方面中，控制模块可进一步经配置以在成像装置聚焦于物体上时执行自动聚焦功能，以确定并设置第一成像传感器和第二成像传感器的自动聚焦透镜位置。在某些方面中，从成像装置的自动聚焦透镜位置来估计物体的第二深度包括使用高频图确定第一成像传感器及第二成像传感器的聚焦位置以设置第一成像传感器和第二成像传感器的自动聚焦透镜位置，且从自动聚焦透镜位置来估计自动聚焦深度。在某些方面中，在第一深度与第二深度之间的差不为零的情况下，控制模块可进一步经配置以使第一图像数据及第二图像数据中的一者变形以减少物体的视差。

在另一方面中，一种用于使用自动聚焦反馈以数字方式校正一对成像传感器的物理未对准的方法包含以下步骤：用第一成像传感器来捕获物体的第一图像数据，用第二成像传感器来捕获物体的第二图像数据，使用第一图像数据和第二图像数据来估计物体的立体感深度，从成像装置的自动聚焦透镜位置来估计物体的自动聚焦深度，将立体感深度与自动聚焦深度进行比较，且使用立体感深度与自动聚焦深度之间的差来估计并校正第一成像传感器与第二成像传感器之间的未对准。在某些方面中，所述方法进一步包含通过将第一图像数据与第二图像数据进行比较来确定物体的视差。在某些方面中，使用第一图像数据和第二图像数据来估计物体的立体感深度包含将位于第一图像数据和第二图像数据两者中的物体的关键点进行比较。在某些方面中，所述方法进一步包含当成像装置聚焦在所述物体上时执行自动聚焦功能以确定和设置第一成像传感器及第二成像传感器的自动聚焦透镜位置。在某些方面中，从成像装置的自动聚焦透镜位置来估计物体的自动聚焦深度包含使用高频图来确定第一成像传感器及第二成像传感器的聚焦位置以设置第一成像传感器和第二成像传感器的自动聚焦透镜位置，且从自动聚焦透镜位置来估计自动聚焦深度。在某些方面中，所述方法进一步包含在所述立体感深度与所述自动聚焦深度之间的差不为零的情况下使第一图像数据及第二图像数据中的一者变形以减少物体的视差。

在又一方面中，一种使用自动聚焦反馈来校正具有第一成像传感器及第二成像传感器的成像装置的自动聚焦透镜位置的方法包含以下步骤：用第一成像传感器来捕获物体的第一图像数据，用所述第二成像传感器来捕获物体的第二图像数据，使用第一图像数据和第二图像数据来估计物体的立体感深度，从成像装置的自动聚焦透镜位置来估计物体的自动聚焦深度，将立体感深度与自动聚焦深度进行比较，且使用自动聚焦深度与立体感深度之间的差来校正成像装置的自动聚焦透镜位置。在某些方面中，估计物体的立体感深度进一步包含从第一图像数据和第二图像数据确定物体的视差。在某些方面中，从自动聚焦透镜位置来估计物体的自动聚焦深度进一步包含在物体上执行自动聚焦功能以确定和设置第一成像传感器及第二成像传感器的自动聚焦透镜位置。在某些方面中，设置自动聚焦透镜位置进一步包含使用高频图来确定第一成像传感器及第二成像传感器的聚焦位置。在某些方面中，校正成像装置的自动聚焦透镜位置进一步包含在自动聚焦深度与立体感深度之间的差不为零的情况下校正自动聚焦透镜位置的距离估计。

在某些方面中，一种用于使用自动聚焦反馈以数字方式校正一对成像传感器的物理未对准的设备包含以下装置：用于用第一成像传感器来捕获物体的第一图像数据的装置，用于用第二成像传感器来捕获物体的第二图像数据的装置，用于通过将位于第一图像数据和第二图像数据两者中的物体的关键点进行比较使用第一图像数据和第二图像数据来估计物体的立体感深度的装置，用于通过使用高频图来确定第一成像传感器及第二成像传感器的聚焦位置以设置第一成像传感器及第二成像传感器的自动聚焦透镜位置从成像装置的自动聚焦透镜位置来估计物体的自动聚焦深度且从自动聚焦透镜位置来估计自动聚焦深度的装置，用于将立体感深度与自动聚焦深度进行比较的装置，及用于使用立体感深度与自动聚焦深度之间的差来估计和校正第一成像传感器与第二成像传感器之间的未对准的装置。

在另一方面中，一种用于使用自动聚焦反馈来校正成像装置的自动聚焦透镜位置及校正一对成像传感器的物理未对准的设备包括以下装置：用于用第一成像传感器来捕获物体的第一图像数据的装置，用于用第二成像传感器来捕获物体的第二图像数据的装置，用于通过从第一图像数据及第二图像数据来确定物体的视差使用第一图像数据及第二图像数据来估计物体的立体感深度的装置，用于通过在物体上执行自动聚焦功能以使用高频图确定并设置第一成像传感器和第二成像传感器的自动聚焦透镜位置来从成像装置的自动聚焦透镜位置估计物体的自动聚焦深度的装置，用于将立体感深度与自动聚焦深度进行比较的装置，及用于在自动聚焦深度及与立体感深度之间的差不为零的情况下通过校正自动聚焦透镜位置的距离估计来使用自动聚焦深度与立体感深度之间的差来校正成像装置的自动聚焦透镜位置的装置。在某些方面中，所述设备进一步包含通过将第一图像数据与第二图像数据进行比较来确定物体的视差的装置。在某些方面中，所述设备进一步包含用于在成像装置聚焦在物体上时执行自动聚焦功能以确定和设置第一成像传感器及第二成像传感器的自动聚焦透镜位置的装置。在某些方面中，所述设备进一步包含在立体感深度与自动聚焦深度之间的差不为零的情况下使第一图像数据和第二图像数据中的一者变形以减少物体的视差的装置。在某些方面中，所述设备进一步包含用于使用立体感深度与自动聚焦深度之间的差来估计并校正第一成像传感器与第二成像传感器之间的未对准的装置。

在又一方面中，一种存储指令的非暂时性计算机可读媒体，指令当被执行时，致使至少一个物理计算机处理器执行使用自动聚焦反馈以数字方式校正一对成像传感器的物理未对准的方法。所述方法包含以下步骤：用第一成像传感器来捕获物体的第一图像数据，用第二成像传感器来捕获物体的第二图像数据，使用第一图像数据和第二图像数据来估计物体的立体感深度，从成像装置的自动聚焦透镜位置来估计物体的自动聚焦深度，将立体感深度与自动聚焦深度进行比较，以及使用立体感深度与自动聚焦深度之间的差来估计并校正第一成像传感器与第二成像传感器之间的未对准。在某些方面中，所述方法进一步包含通过将第一图像数据与第二图像数据进行比较来确定物体的视差。在某些方面中，使用第一图像数据和第二图像数据来估计物体的立体感深度包含将位于第一图像数据和第二图像数据两者中的物体的关键点进行比较。在某些方面中，所述方法进一步包含在成像装置聚焦在物体上时执行自动聚焦功能以确定和设置第一成像传感器及第二成像传感器的自动聚焦透镜位置。在某些方面中，从成像装置的自动聚焦透镜位置来估计物体的自动聚焦深度包含使用高频图来确定第一成像传感器及第二成像传感器的聚焦位置以设置第一成像传感器和第二成像传感器的自动聚焦透镜位置，且从自动聚焦透镜位置来估计自动聚焦深度。在某些方面中，所述方法进一步包含在立体感深度与自动聚焦深度之间的差不为零的情况下使第一图像数据和第二图像数据中的一者变形以减少物体的视差。

在又一方面中，一种存储指令的非暂时性计算机可读媒体，指令当被执行时，致使至少一个物理计算机处理器执行使用自动聚焦反馈来校正具有第一成像传感器和第二成像传感器的成像装置的自动聚焦透镜位置的方法，所述方法包含以下步骤：用第一成像传感器来捕获物体的第一图像数据，用第二成像传感器来捕获物体的第二图像数据，使用第一图像数据和第二图像数据来估计物体的立体感深度，从成像装置的自动聚焦透镜位置来估计物体的自动聚焦深度，将立体感深度与自动聚焦深度进行比较，以及使用自动聚焦深度与立体感深度之间的差来校正成像装置的自动聚焦透镜位置。在某些方面中，估计物体的立体感深度包含从第一图像数据及第二图像数据来确定物体的视差。在某些方面中，从自动聚焦透镜位置来估计物体的自动聚焦深度进一步包含在物体上执行自动聚焦功能以确定和设置第一成像传感器及第二成像传感器的自动聚焦透镜位置。在某些方面中，设置自动聚焦透镜位置进一步包含使用高频图来确定第一成像传感器及第二成像传感器的聚焦位置。在某些方面中，校正成像装置的自动聚焦透镜位置包含在自动聚焦深度与立体感深度之间的差不为零的情况下校正自动聚焦透镜位置的距离估计。

附图说明

在下文中，所述揭示的方面将结合附图一起进行描述，提供附图以说明且不限制所述揭示的方面，其中相同标记表示相同元件。

图1A说明立体感成像系统及设备的示意图。

图1B说明安装为成像装置的部分的成像传感器对的示意图。

图1C说明其中一个成像传感器绕侧倾轴旋转(如角度A)的成像传感器对的示意图。

图2是描绘实施对成像传感器的侧倾未对准的数字校正的某些操作元件的系统的框图。

图3是描绘用以校正根据一个实施例的成像传感器的侧倾未对准的过程的高度概述的流程图。

图4说明以固定深度的归因于由立体感成像传感器所观看到的平面物体的侧倾的视差偏移的图。

图5说明用侧倾方向上未对准的立体感成像传感器观看到的矩形的水平和垂直视差。

图6图示说明针对具有侧倾未对准的成像传感器的自动聚焦深度位置与立体感深度位置之间的差。

图7是描绘用以校正根据另一实施例的立体感成像传感器的自动聚焦透镜位置的过程的高度概述的流程图。

具体实施方式

某些视觉实验表明，为了以极少的不适或压力来观看基于立体感图像的三维(3D)呈现(本文中有时称为“立体图像”，“立体感图像”或“立体感图像对”)，用以捕获立体图像的“左”和“右”数字传感器应适当地与相互对准。例如，两个数字传感器的光(或传感)轴可以光学方式平行对准或实质上平行对准，例如，它们的区别仅在于已知的或容易确定的水平或垂直偏移，所述水平或垂直偏移容易通过捕获的图像的数字编辑来校正。为了实现需要的立体感效果及图像的可熔性，立体感传感器对中的成像传感器之间的水平距离(在某些实例中)大约为3.25cm。此外，成对的传感器之间优选仅有相对较小的水平或者垂直偏移。然而，在实际实践中，由于机械装配的限制、对准测量装置、重力和/或热对传感器的影响，获得对准的平行成像传感器通常是无法实现的。因此，本文中描述的某些实施例提供用于校正立体感成像传感器的主要归因于侧倾方向的传感器偏移的深度测量误差的系统和方法。

可能需要通过数字图像处理的立体感图像校准以在图像对已被捕获之后对准所述图像对。某些方法可以数字方式处理立体感图像对来产生对准的图像。将立体感图像对准可包含(例如)裁剪一个或两个图像以对立体感图像对的图像之间的水平(x轴)或垂直(y轴)偏移进行校正。立体感图像对的两个图像也可能关于“z”轴未对准，其发生于当一个成像传感器距离一个成像的场景比其它的成像传感器稍微近一些时。由于图像关于x、y或z轴的旋转，可能需要裁剪以对未对准进行校正。最后，还可能需要裁剪以调节立体感图像对中两个图像的汇聚点。

除了上文论述的两个维度x、y及z偏置之外，一对成像传感器的相对位置也可通过测量角度运动的三个轴及偏移的三个轴来描述。出于本发明的目的，x、y和z轴上的位置描述相对偏移。角度旋转可通过关于水平(x)轴(也叫作“纵倾”)、垂直(y)轴(称为“侧滚”)及(z)轴或“侧倾”的旋转来描述。

立体感相机的某些配置可具有非对称传感器，其中一个传感器是低分辨率图像传感器，且另外一个传感器是高分辨率图像传感器。在制造期间，对传感器进行校准以使得传感器图像是平行的。然而，对于某些配置来说(例如，具有高质量自动聚焦系统的相机)，相机透镜位置由于重力、热量、机械装配问题或磨损而缓慢偏移。侧倾位置中的透镜位置偏移尤其可引起深度测量误差。在某些配置中，对两个成像传感器之间的侧倾角度的估计可用以校正深度测量。

对于其它配置(例如具有低质量自动聚焦系统的相机)来说，自动聚焦精确度可由于组件的磨损或用以形成组件的材料的老化而随着时间偏移。在某些配置中，使用立体成像传感器估计的场景中物体的距离或深度的测量优于使用装置中的自动聚焦系统所确定的自动聚焦深度估计。因此，在某些配置中，通过使用立体成像传感器所估计的深度可用以校正自动聚焦透镜位置。可能不需要特殊的图表或目标来校正深度误差测量和调节成像传感器的自动聚焦透镜位置。在许多情况下，不需要用户输入来执行校正。此外，在某些实施例中可能不需要立体图像的图像处理(例如关键点检测及匹配)。此外，因为自动聚焦搜索空间通常较小，且侧倾偏移通常较小，所以下文描述的过程是快速的且实时工作的。

系统概述

图1A说明系统100的实施例的示意图，系统100可用以校正由成像装置150执行的深度误差测量。所说明的系统100包含成像装置150，成像装置150包含两个成像传感器105和110。两个成像传感器110和105在本文中可称为传感器“对”，或者“左”和“右”传感器。成像传感器105和110可为可捕获光且将光转换为电信号的任何类型的传感器。在某些配置中，成像传感器105和110可为电荷耦合装置(CCD)或CMOS传感器。在所说明的实施例中，成像传感器105和110彼此邻近地安装在成像装置150上，以使得它们可捕获物体(或场景)的立体感图像。成像传感器110和105可经配置以捕获相同分辨率或不同分辨率的图像。

图1A还说明耦合到成像装置150且与成像装置150进行数据通信的图像分析系统115。参看图2进一步描述图像分析系统115的一个实例。在某些实施方案中，图像分析系统115可与成像装置150容置在一起，而在其它实施方案中，成像装置150与图像分析系统115单独容置。例如，图像分析系统115可并入成像装置150中或可为单独系统。图像分析系统115可经配置且可操作以确定安装在成像装置150上的成像传感器105和110的相对位置并确定和/或提供图像校正信息，例如，深度测量误差校正及由归因于侧倾的成像传感器105和110的视差偏移引起的水平与垂直视差的校正。在某些实施例中，图像分析系统耦合到成像装置以在图像分析系统与成像装置之间传送信息。耦合可为(例如)经由有线或无线连接。

图1B和1C说明安装作为成像装置150的部分的成像传感器105和110。图1B说明传感器105关于侧倾轴的侧倾角度旋转。图1C说明成像传感器105，所述成像传感器105经受过侧倾角度偏移(如角度A所指示的)且因此与成像传感器110相比面向稍微不同的方向。角度A说明成像传感器110与成像传感器105之间的侧倾角度视差。图1B和1C说明并排放置的成像传感器105和110的集合。然而，成像传感器105和110可处于任何方位，包含边对边、顶对底或对角的。此外，一个成像传感器105经显示具有如角度A所指示的从成像传感器110的侧倾视差。在其它实施例中，成像传感器110可具有从成像传感器105的侧倾视差。

图2说明图像分析系统115的一个实施例的框图，所述图像分析系统115具有包含与成像传感器105和110通信的处理器122的组件的集合。图像分析系统115可包含额外组件，例如，为说明的组件的清楚起见图2中未显示出来。图像分析系统115还包含工作存储器130、存储装置135、电子显示器125和存储器120，其也与处理器122通信。

图像分析系统115可为固定装置(如桌面个人计算机)或可为移动装置。在图像分析系统115上多个应用可供用户使用。这些应用可包含传统的摄影应用、高动态范围成像、全景视频或立体感成像(如3D图像或3D视频)。

处理器122可为通用处理单元或专门为成像应用设计的处理器。如所示，处理器122连接到存储器120及工作存储器130。在所说明的实施例中，存储器120存储若干模块，包含图像捕获控制模块140、立体深度计算模块145、自动聚焦控制模块155、自动聚焦深度计算模块160、侧倾角度校正模块162、操作系统165及用户接口模块170。这些模块可包含配置处理器122以执行各种图像处理及装置管理任务的指令。工作存储器130可通过处理器122用以存储包含于存储器120的模块中的工作的处理器指令集合。或者，工作存储器130也可通过处理器122用以存储图像分析系统115操作期间创建的动态数据。

仍参看图2，如上文所提及，处理器122可由存储在存储器120中的若干模块来配置。图像捕获控制模块140可包含配置处理器122以控制成像传感器105和110来捕获场景图像的指令。因此，处理器122连同图像捕获控制模块140、成像传感器105或110和工作存储器130，表示一个用于用一对立体感图像传感器来捕获物体的一或多个图像的装置。立体深度计算模块145提供配置处理器122以确定物体的所捕获的图像中的两者或两者以上内的物体的视差并估计物体的立体或立体感深度的指令，所述深度定义为如以几何方式从由所述一对图像传感器105、110获取的图像数据所确定的物体与所述传感器的距离。因此，处理器122连同立体深度计算模块145和工作存储器130，表示用于从由立体感图像传感器对105和110获取的一或多个图像估计物体的立体感深度的装置的实施例的一个实例。

自动聚焦控制模块155提供配置处理器122以通过使用图像传感器105、110来执行自动聚焦功能以(例如)搜索图像场景的最佳高频图的指令。自动聚焦深度计算模块160提供配置处理器122以基于自动聚焦系统的一或多个特征计算场景中的物体的深度的指令，所述特征例如当通过使用自动聚焦功能确定物体处于焦点中时，图像传感器105、110中每一者的位置。例如，基于自动聚焦功能期间图像传感器105、110的自动聚焦位置，可确定场景中物体的等效“真”深度或等效估计深度。自动聚焦特征可为(例如)在自动聚焦操作期间定位的成像传感器105、110中的每一者或一者的一或多个组件的物理的或光学的位置。自动聚焦位置可基于(例如)通过使用物体或场景的高频信息(例如，噪声)来确定成像传感器105和110的位置以聚焦在所述物体上。因此，处理器122连同自动聚焦控制模块155、自动聚焦深度计算模块160及工作存储器130表示用于在物体上执行自动聚焦功能以确定自动聚焦特征(例如，成像传感器的位置)，及从高频自动聚焦位置来估计物体的自动聚焦深度的装置的实施例的一个实例。

侧倾角度校正模块162提供配置处理器122以计算如通过自动聚焦功能测量的深度与基于如由通过立体感成像传感器105和110获取的立体感图像所指示的物体视差的场景中物体的“深度”之间的差的指令。所述差可通过侧倾角度校正模块162用以估计和校正立体感成像传感器105和110的侧倾角度。因此，处理器122连同侧倾角度校正模块162和工作存储器130表示用于通过使用自动聚焦深度与立体感深度之间的差来估计和校正侧倾角度校正的装置的实施例的一个实例。

用户接口模块170可包含配置处理器122以在运行图像分析系统115时，在可供用户接入的电子显示器上显示信息的指令。操作系统模块165可配置处理器122以管理系统115的存储器及处理资源。例如，操作系统模块165可包含装置驱动器以管理硬件资源，例如电子显示器125或成像传感器105和110。在某些实施例中，上文所论述的图像处理模块中所包含的指令可不与这些硬件资源直接交互，但替代地可通过位于操作系统组件165中的标准子例程或API进行交互。然后，操作系统165内的指令可与这些硬件组件直接交互。

处理器122可将数据写入到存储模块130。虽然存储模块130以图形方式表示为传统的磁盘驱动，但是所述领域的技术人员将理解，多个实施例可包含基于磁盘的存储装置或存储媒体中的若干其它类型中的一者，所述存储媒体包含存储器磁盘、USB驱动、快闪驱动、远程连接的存储媒体、虚拟磁盘驱动器等等。

尽管图2描绘具有单独组件以包含处理器、两个成像传感器、电子显示器和存储器的装置的实例实施例，所属领域的技术人员将认识到，这些单独组件可以各种方式组合以实现特定的设计目的。例如，在一个替代实施例中，存储器组件可与处理器组件组合以节省成本并改进性能。

此外，尽管图2说明两个存储器组件，包含包括若干模块的存储器组件120，及包括有工作存储器的单独存储器130，所属领域的技术人员将认识到，可在各种实施例中实施利用不同的存储器架构的若干实施例。例如，设计可利用ROM或静态RAM存储器来存储实施包含于存储器120中的模块的处理器指令。在某些实施例中，处理器指令可在系统启动时从集成到图像分析系统115中或经由外部装置端口连接的磁盘存储装置中读取。接着，处理器指令可被加载到RAM中以利于由处理器执行。例如，工作存储器130可为RAM存储器，其中指令在由处理器122执行之前加载到工作存储器130中。

方法概述

本发明的实施例涉及用于校正由于立体感成像传感器(例如，如上文参看图1B和1C所描述的成像传感器105和110)的未对准的深度测量视差的方法。下文论述并入自动聚焦反馈的方法的两个实施例。对方法的选择可受电子装置的自动聚焦系统的质量影响。例如，对于具有高质量自动聚焦系统的装置，成像装置150的透镜位置可由于重力和热效应以及机械装配的不精确和使用过程中的磨损而缓慢偏移。因此可使用高质量的自动聚焦系统来估计侧倾角度。在另一实例中，对于具有低质量自动聚焦系统的装置，装置的自动聚焦精确度可随时间开始偏移。因此，使用立体成像估计的深度可能好于自动聚焦深度估计且因而，立体成像深度可用以校正成像装置150的自动聚焦透镜位置。

图3说明可在图2中描绘的若干模块中实施的用以校正立体侧倾的过程300的一个实施例。各种实施例可包含图3中未描绘的额外动作和/或仅仅是图3中说明的某些动作。在某些实施例中，过程300可用以估计和校正具有高质量自动聚焦系统的装置的立体感图像对的侧倾角度对准。在某些实例中，过程300可运行于处理器(例如，处理器122(图2))上，且可运行于图2中说明的存储在存储器120中或并入其它硬件或软件中的其它组件上。过程300在开始方框302处开始，并转到其中提供立体感图像传感器对的方框304。图像传感器对可提供于(例如)照相机中，可并入手持式通信装置中(如，蜂窝电话或“智能电话”，或包含平板计算机的移动个人数据助理(PDA))。

然后，过程300转到方框306，其中固定一个成像传感器的焦点(如图2中显示的成像传感器105)，且允许其它成像传感器焦点根据需要改变(如图2中显示的成像传感器110)。然而，在其它实施例中，成像传感器110的焦点可为固定的，且其它的成像传感器105的焦点可根据需要改变。任一成像传感器105或110的焦点可为固定的或移动的。然后过程300转到方框308，其中在启用了中心焦点的成像传感器105、110的视场的中心中引入物体。过程300接着转到方框310，其中从由成像传感器105、110获取的图像数据找到物体的视差。在某些实施例中，可通过确定物体的一或多个关键点，且匹配由成像传感器对中的每一传感器所获取的图像中的关键点位置来找到视差。关键点可为物体的特定展现唯一特征的显著区域。例如，展现特定图案或边缘的区域可定义为关键点。关键点匹配可包含一对点，其中一个点是在第一图像中识别的，且第二个点是在第二图像中识别的。

图4中以图形方式显示由于侧倾的视差偏移的一个实例。图4的x轴说明图像传感器105和110视场的部分。图4的y轴说明侧倾视差角度A。当用对准的图像传感器105和110观看平面物体时，平面物体应呈现为单个直线，如线410。换句话说，如果平面物体与照相机在一条直线上且图像传感器105和110是对准的，那么视差应为恒定的。如果图像传感器105和110之间存在某一视差角度A，那么平面物体应呈现为曲线，例如线405。线405表示侧倾角度等于11度的情况下在固定深度下的平面物体的视差偏移。线410说明预期的在两个成像传感器之间没有侧倾角度差的恒定视差。图像传感器之间的视差偏移可导致观看图像的用户的不适。

图5说明当两个成像传感器之间存在侧倾视差时所得的立体感图像。在存在侧倾角度视差时，矩形变为梯形，从而伸展或压缩水平视差，且改变拐角处的垂直视差。

在确定由例如成像传感器105、110的成像传感器对的每一传感器所获取的图像之间的物体的视差之后，过程300转到方框312，其中使用视差来估计物体的立体深度。在某些实施例中，可如下计算立体深度：

Depth_stereo＝基线*焦距/视差，

其中基线是立体感成像传感器对的两个成像传感器之间的距离。

再参看图3，在确定物体的立体深度之后，过程300转到方框314，其中处理器122指令成像装置150的自动聚焦特征运行以设置成像传感器105、110的自动聚焦透镜位置。接着过程300转到方框316，其中处理器122指令成像装置150扫过自动聚焦位置以确定产生(例如)最大高频图的成像传感器105、110中的一者或多者的位置(或设置)。接着过程300转到方框318，其中如由自动聚焦特征计算的物体的自动聚焦“深度”可使用自动聚焦信息(例如，在自动聚焦过程期间计算的统计值)来找到。

图6中显示自动聚焦统计值的一个实例。具有最高频自动聚焦分数的聚焦位置(如由图6中所显示的图的y轴所指示)指示其中图像是最清晰的位置。为确定具有最高频分数的自动聚焦深度位置，引导自动聚焦功能以扫过不同聚焦值。使用清晰度检测器，指示图像的清晰度，且自动聚焦统计值将指示在什么自动聚焦位置，图像是最清晰的。基于如由高频分数的最大数目所指示的最佳自动聚焦位置，找到物体的等效“真”深度或自动聚焦深度(Depth_AF)。

在图3中说明的过程300的下一方框320中，将物体的Depth_AF与物体的Depth_stereo进行比较。如果两个深度不相等，那么存在侧倾角度视差，且过程300转到其中估计侧倾角度校正的方框322。过程300接着转到方框324，其中基于两个成像传感器105、110之间的所估计的侧倾角度差来投射由成像传感器105、110中的一个传感器所获取的图像，或使图像变形以针对侧倾角度差进行校正。通过确定视差并估计物体的深度，过程300在方框310处开始重复，直到如由自动聚焦统计值所计算的物体的Depth_AF和物体的Depth_stereo相等为止。当物体的自动聚焦深度和立体深度相等时，侧倾视差已被校正，且过程300转到方框326并且结束。

在可特定用于具有较差或低质量自动聚焦系统的成像装置的另一实施例中，自动聚焦精确性可随时间偏移。在某些实施例中，使用立体深度估计而不是自动聚焦深度估计对成像的场景中的物体的所估计深度的测量更精确。在这些实施例中，立体深度测量可用以校正成像装置150的自动聚焦透镜位置。用以使用所估计的立体深度测量来校正自动聚焦透镜位置的过程的一个实施例显示于图7中。

图7说明如可在图2中所描绘的若干模块中实施的用以校正自动聚焦透镜位置的过程700的一个实施例。过程700可在某些实施例中用以估计和校正带有具有立体感成像传感器对的低质量自动聚焦系统的成像装置的自动聚焦位置。在某些实例中，过程700可在处理器(例如，处理器122(图2))上运行，且可在图2中说明的存储于存储器120中或并入其它硬件或软件中的其它组件上运行。过程700在开始方框702处开始，并转到方框704，其中提供例如具有成像传感器对105、110的成像装置150的成像装置。过程700接着转到方框706，其中固定一个成像传感器105、110的焦点，且允许其它成像传感器焦点改变。任一成像传感器105或110的焦点可为固定的或移动的。过程700接着转到方框708，其中在启用了中心焦点的成像传感器105、110的视场的中心中引入物体。过程700接着转到方框710，其中从由成像传感器对获取的图像数据找到物体的视差。在某些实施例中，可通过确定物体的一或多个关键点并匹配由成像传感器对的每一传感器所获取的图像数据中的关键点位置来找到视差。关键点可为物体的特定展现唯一特征的显著区域。例如，可将展现特定图案或边缘的区域定义为关键点。关键点匹配可包含一对点，其中一个点是在第一图像中识别的，且第二个点是在第二图像中识别的。

在确定由成像传感器对中的每一传感器获取的图像数据之间的物体的视差之后，过程700转到方框712，其中使用视差来估计物体的立体深度。在某些实施例中，立体深度可计算如下：

Depth_stereo＝基线*焦距/视差，

其中基线是立体感成像传感器对的两个成像传感器之间的距离。

在确定物体的立体深度之后，过程700转到方框714，其中可启动成像装置的自动聚焦特征以确定自动聚焦透镜位置。过程700接着转到方框716，其中成像装置可扫过成像传感器的两个或两个以上自动聚焦位置，以搜索最佳高频图。过程700接着转到方框718，其中如由自动聚焦特征所计算的物体的自动聚焦深度可从自动聚焦统计值找到。如上文所论述，自动聚焦统计值的一个实例显示于图6中。基于由高频分数的最大数目所指示的最佳自动聚焦位置，找到物体的等效“真”深度或Depth_AF。

在图7中显示的过程700的下一方框720中，将Depth_AF与Depth_stereo进行比较。如果两个深度不相等，那么可校正自动聚焦透镜位置，且过程700转到方框714，其中通过设置成像传感器的新自动聚焦位置来继续进行过程700，且重复过程700，直到如使用如由自动聚焦统计值确定的最佳自动聚焦位置所计算的物体的Depth_AF与从成像传感器的图像数据之间的视差所计算的物体的Depth_stereo相等为止。当自动聚焦深度和立体深度相等(或基本上相等)时，过程700转到方框726并结束。

关于术语的阐释

除非由其上下文明确限制，术语“信号”在本文中用以指示其普通含义中的任何含义，包含如在线、总线或者其它传输媒体上表达的存储器位置(或存储器位置集合)的状态。除非由其上下文明确限制，否则术语“产生”在本文中用以指示其普通含义中的任何含义，例如计算或者以其它方式生成。除非由其上下文明确限制，否则术语“计算”在本文中用以指示其普通含义中的任何含义，例如计算、评估、平滑、及/或从多个值中进行选择。除非由其上下文明确限制，否则术语“获得”用以指示其普通含义中的任何含义，例如计算、推导、接收(例如，从外部装置)，及/或检索(例如，从存储元件的阵列)。除非由其上下文明确限制，否则术语“选择”用以指示其普通含义中的任何含义，例如识别、指示、施加及/或使用两个或两个以上组成的集合中的至少一者及一些而不是全部。当在本说明书和权利要求书中使用术语“包括”时，其不排除其它元件或操作。术语“基于”(如在“A基于B”中)用以指示其普通含义中的任何含义，包括以下情况(i)“从…推导”(例如，“B是A的前导”)，(ii)“至少基于”(如，“A至少基于B”)及，如果在特定上下文中恰当的话，(iii)“等于”(如，“A等于B”)。类似地，术语“响应于”用以指示其普通含义中的任何含义，包括“响应于至少”。

除非另外指示，否则对具有特定特征的设备的操作的任何揭示同样明确意在揭示具有类似特征的方法(且反之亦然)，且对根据特定配置的设备的操作的任何揭示同样明确意在揭示根据类似配置的方法(且反之亦然)。术语“配置”可参考地用于如由其特定上下文所指示的方法、设备及/或系统。术语“方法”、“过程”、“程序”和“技术”一般且互换使用，除非另外由特定上下文所指示。术语“设备”和“装置”同样一般且互换使用，除非另外由特定上下文所指示。术语“元件”和“模块”通常用以指示较大配置的一部分。除非由其上下文明确限制，术语“系统”在本文中用以指示其普通含义中的任何含义，包含“互相作用以服务共同目的的元件的群组”。通过参考一份文件的一部分的任何并入均应被理解为并入所述部分内所参考的术语或变量的定义(其中此类定义在文件中任何其它地方出现)以及所并入部分中所参考的任何图式。

所属领域的技术人员将进一步了解，结合本文中所揭示的实施方案所描述的各种说明性逻辑块、模块、电路和过程步骤可实施为电子硬件、计算机软件或者两者的组合。为清楚地说明硬件和软件的此可互换性，上文已在其功能性方面大体描述了各种说明性组件、块、模块、电路和步骤。此功能性是实施为硬件还是软件取决于施加于整个系统上的特定应用和设计约束。技术人员可针对每一特定应用以各种方式实施所描述的功能性，但此类实施方案决策不应被阐释为导致脱离本发明的范围。所属领域的技术人员将认识到，一部分可包括比全部少一些的事物，或者等于全部。例如，像素的集合的一部分可指那些像素的子集合。

结合本文中所揭示的实施方案所描述的各种说明性逻辑块、模块和电路可用以下各项来实施或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件、或经设计以执行本文中所描述功能的其任何组合。通用处理器可为微处理器，但替代地，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合，如，DSP和微处理器、多个微处理器、结合DSP核心的一或多个微处理器，或任何其它此配置的组合。

结合本文中所揭示的实施方案所描述的方法或过程的步骤可直接在硬件、由处理器执行的软件模块或两者的组合中实施。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬磁盘、可移除磁盘、CD-ROM、或所属领域中已知的任何其它形式的非暂时性存储媒体中。示范性计算机可读存储媒体耦合到处理器，所述处理器可从计算机可读存储媒体读取信息，并将信息写入到计算机可读存储媒体。替代地，存储媒体可与处理器为一体。处理器和存储媒体可驻留在ASIC中。ASIC可驻留在用户终端、相机或其它装置中。替代地，处理器和存储媒体可作为离散组件驻留在用户终端、相机或其它装置中。

本文中包括标题用于参考，且为辅助定位各种章节。这些标题无意限制关于其所描述的概念的范围。此类概念可具有贯穿整个说明书的适用性。

提供所揭示的实施方案的先前描述以使所属领域的任何技术人员能够制作或使用本发明。这些实施方案的各种修改对于所属领域的技术人员来说将显而易见，且本文中所定义的一般原理可应用于其它实施方案而不脱离本发明的精神或范围。因此，本发明无意受限于本文中所显示的实施方案，而是将被赋予与本文中所揭示的原理和新颖特征相一致的最广范围。