在立体显示成像期间确定成像范围内障碍物的装置、方法和程序

摘要

在复眼成像设备中，能够以较高准确度以及较低的计算成本和功耗确定在成像装置的成像范围内是否存在诸如手指之类的障碍物。在障碍物确定单元(37）中，针对每个成像装置的每个成像范围内的多个小范围中的每个小范围获取预定指标值。对不同成像装置的成像范围中的相互对应位置处的小范围的指标值进行比较。在不同成像装置的成像范围的指标值之间的差大得足以满足预定标准的情况下，确定至少一个成像装置的成像范围包含靠近该至少一个成像装置的成像光学系统的障碍物。

说明书

技术领域

本发明涉及用于在拍摄用以立体显示对象的视差图像的成像期 间确定成像装置的成像范围内是否存在障碍物的技术。

背景技术

已提出了具有用于实现立体显示成像的两个或更多个成像装置 的立体照相机，其利用了通过从不同视点拍摄同一对象所获得的两个 或更多个视差图像。

关于这样的立体照相机，日本未审查专利公开No.2010-114760 （下文中称其为专利文献1）指出一个问题，即，当使用从立体照相 机的各个成像装置所获得的视差图像进行立体显示时，不易从视觉上 识别出成像透镜中的一个被手指覆盖的这种情况，因为通过成像透镜 所拍摄的视差图像的被手指覆盖的部分被通过成像透镜中未被手指 覆盖的另一个所拍摄的视差图像的相应部分补偿。专利文献1还指出 一个问题，即，在从立体照相机的各个成像装置所获得的视差图像中 的一个视差图像在立体照相机的显示监视器上显示为即时预览图像 的情况下，观察即时预览图像的操作者不能识别出这样的情况：拍摄 视差图像中不显示为即时预览图像的另一个视差图像的成像透镜被 手指覆盖。

为了解决这些问题，专利文献1已提出：确定用立体照相机拍 摄的每个视差图像中是否存在被手指覆盖的区域，以及如果存在被手 指覆盖的区域，则突出显示所识别的被手指覆盖的区域。

专利文献1教导下面三种方法作为用于确定被手指覆盖的区域 的具体方法。在第一种方法中，将测光器件的光度测定结果与每个视 差图像的图像拾取器件的光度测定结果进行比较，以及如果差等于或 大于预定值，则确定光度测定单元或成像单元中存在被手指覆盖的区 域。在第二种方法中，对于多个视差图像，如果在每个图像的AF评 估值、AE评估值和/或白平衡中存在局部异常，则确定存在被手指覆 盖的区域。第三种方法使用立体匹配技术，其中从视差图像中的一个 中提取特征点，并且从视差图像中的另一个中提取与特征点相对应的 相应点，于是，没有找到相应点的区域被确定为被手指覆盖的区域。

日本未审查专利公开No.2004-040712（下文中称其为专利文献 2）教导了一种用于单透镜照相机的确定被手指覆盖的区域的方法。 具体地，按照时间序列获得多个即时预览图像，并且拍摄低亮度区域 的位置的时间变化，使得不移动的低亮度区域被确定为被手指覆盖的 区域（下文中将称其为“第四种方法”）。专利文献2还教导了用于 确定被手指覆盖的区域的另一种方法，其中，基于在移动聚焦透镜的 位置的同时按照时间序列获得的用于AF控制的图像的预定区域中的 对比度的时间变化，如果该预定区域的对比度值随着透镜位置接近近 端而持续增大，则该预定区域被确定为被手指覆盖的区域（下文中将 称其为“第五种方法”）。

然而，上述第一种确定方法仅适用于包括独立于图像拾取器件 的测光器件的照相机。上述第二、第四和第五种确定方法仅基于视差 图像中的一个对是否存在被手指覆盖的区域进行确定。因此，取决于 待拍摄物体（例如对象）的状态，例如在成像范围的边缘区域处的前 景内存在物体并且比该物体更远离照相机的主对象处于该成像范围 的中心区域处的情况下，则可能难以正确确定被手指覆盖的区域。此 外，用于上述第三种确定方法中的立体匹配技术需要大量的计算，导 致很大的处理时间。另外，上述第四种确定方法需要按照时间序列连 续地分析即时预览图像并且对是否存在被手指覆盖的区域进行确定， 导致很大的计算成本和功耗。

发明内容

鉴于上述情况，本发明旨在允许以较高准确度以及较低的计算 成本和功耗确定在立体成像设备的成像装置的成像范围内是否存在 诸如手指之类的障碍物。

根据本发明的立体成像设备的一个方面是这样一种立体成像设 备，其包括：多个成像装置，其用于拍摄对象并且输出拍摄图像，成 像装置包括成像光学系统，成像光学系统定位成允许使用从成像装置 输出的拍摄图像立体地显示对象；指标值获得装置，其用于获得每个 成像装置的每个成像范围的多个子范围中的每个子范围的预定指标 值；以及障碍物确定装置，其用于将多个不同成像装置的各成像范围 中相互对应位置处的每组子范围的指标值彼此进行比较，并且在多个 不同成像装置的成像范围的指标值之间的差大得足以满足预定标准 的情况下，确定至少一个成像装置的成像范围包含靠近该至少一个成 像装置的成像光学系统的障碍物。

根据本发明的障碍物确定方法的一个方面是一种用于立体成像 设备的障碍物确定方法，立体成像设备包括用于拍摄对象并且输出拍 摄图像的多个成像装置，成像装置包括定位成允许使用从成像装置输 出的拍摄图像立体地显示对象的成像光学系统，该方法被用于确定至 少一个成像装置的成像范围中是否包含障碍物，并且该方法包括以下 步骤：获得每个成像装置的每个成像范围的多个子范围中每个子范围 的预定指标值；以及将多个不同成像装置的成像范围中相互对应位置 处的每组子范围的指标值彼此进行比较，并且在多个不同成像装置的 成像范围的指标值之间的差大得足以满足预定标准的情况下，确定至 少一个成像装置的成像范围包含靠近该至少一个成像装置的成像光 学系统的障碍物。

根据本发明的障碍物确定程序的一个方面是一种能够结合到立 体成像设备中的障碍物确定程序，立体成像设备包括用于拍摄对象并 且输出拍摄图像的多个成像装置，成像装置包括定位成允许使用从成 像装置输出的拍摄图像立体地显示对象的成像光学系统，该程序使立 体成像设备执行以下步骤：获得每个成像装置的每个成像范围的多个 子范围中每个子范围的指标值；以及将多个不同成像装置的成像范围 中相互对应位置处的每组子范围的指标值彼此进行比较，并且在多个 不同成像装置的成像范围的指标值之间的差大得足以满足预定标准 的情况下，确定至少一个成像装置的成像范围包含靠近该至少一个成 像装置的成像光学系统的障碍物。

进一步地，本发明的障碍物确定装置的一个方面包括：指标值 获得装置，其用于从通过使用成像装置从不同位置拍摄主对象所获得 的用于立体地显示主对象的多个拍摄图像、或者从拍摄图像的随附信 息获得用于拍摄每个拍摄图像的每个成像范围的每个子范围的预定 指标值；以及确定装置，其用于将多个不同拍摄图像的成像范围中相 互对应位置处的每组子范围的指标值彼此进行比较，并且在多个不同 拍摄图像的成像范围的指标值之间的差大得足以满足预定标准的情 况下，确定至少一个拍摄图像的成像范围包含靠近该成像装置的成像 光学系统的障碍物。

本发明的障碍物确定装置可以结合到用于进行立体显示或输出 的图像显示设备、照片打印机等中。

本文中，“障碍物”的具体示例包括意外地包含在拍摄图像中 的物体（例如操作者的手指或手）、在成像操作期间操作者持有的意 外进入成像单元视角的物体（例如移动电话的吊饰）、等等。

“子范围”的大小可以基于成像光学系统之间的距离等从理论 上和/或实验上和/或经验上得出。

用于获得“预定指标值”的方法的具体示例包括下面的方法：

(1）每个成像装置被配置成在其成像范围中的多个点或多个区 域处进行光度测定，以利用通过光度测定所获得的光度值来确定用于 拍摄图像的曝光，并且获得每个子范围的光度值作为指标值。

(2）根据每个拍摄图像计算每个子范围的亮度值，并且获得计 算出的亮度值作为指标值。

(3）每个成像装置被配置成基于其成像范围中的多个点或多个 区域处的AF评估值进行成像装置的成像光学系统的聚焦控制，并且 获得每个子范围的AF评估值作为指标值。

(4）从拍摄图像中的每一个提取高得足以满足预定标准的高空 间频率分量，并且获得每个子范围的高频分量的量作为指标值。

(5）每个成像装置被配置成基于其成像范围中的多个点或多个 区域处的颜色信息值进行成像装置的自动白平衡控制，并且获得每个 子范围的颜色信息值作为指标值。

(6）根据每个拍摄图像计算出每个子范围的颜色信息值，并且 获得该颜色信息值作为指标值。颜色信息值可以是各种颜色空间中的 任一个。

关于上述方法（1）、（3）或（5），每个子范围可以包括成像 范围中的多个点或多个区域中的两个或更多个，在所述多个点或多个 区域处获得光度值、AF评估值或颜色信息值，并且可以基于子范围 中的这些点或区域处的指标值计算出每个子范围的指标值。具体地， 每个子范围的指标值可以是子范围中的点或区域处的指标值的代表 值，例如平均值或中间值。

进一步地，成像装置可以输出通过实际成像所拍摄的图像和输 出通过初步成像所拍摄的图像，其中初步成像在实际成像之前进行以 确定实际成像的成像条件，并且可以响应于初步成像获得指标值。例 如，在使用上述方法（1）、（3）或（5）的情况下，成像装置可以 响应于操作者的操作进行光度测定或计算出AF评估值或颜色信息 值，以进行初步成像。另一方面，在上述方法（2）、（4）或（6） 的情况下，可以基于通过初步成像所拍摄的图像来获得指标值。

关于“将多个不同成像装置的成像范围中的相互对应位置处的 每组子范围的指标值彼此进行比较”的描述，待比较的子范围属于多 个不同成像装置的成像范围，并且待比较的子范围处于成像范围中的 相互对应位置处。“成像范围中的相互对应位置处”的描述指的是： 当为每个成像范围提供坐标系时子范围具有彼此一致的位置坐标，在 该坐标系中，例如，范围的左上角是原点、向右方向是x轴正方向且 向下方向是y轴正方向。在进行视差控制以将从成像装置输出的拍摄 图像中的主对象的视差提供为基本为0之后（在成像范围中的位置之 间的对应关系受到控制之后），可以如上所述找到成像范围中的子范 围的位置之间的对应关系。

“如果多个不同成像装置的成像范围中的指标值之间的差大得 足以满足预定标准”的描述指的是整体上多个不同成像装置的成像 范围的指标值之间存在显著差异。即，“预定标准”指的是对于整个 成像范围以综合方式判断每组子范围的指标值之间的差的标准。“多 个不同成像装置的成像范围的指标值之间的差大得足以满足预定标 准”的情况的具体示例为：多个不同成像装置的成像范围中的相互对 应子范围的组数等于或大于一个预定阈值，其中每组子范围具有大于 另一个预定阈值的指标值之间的差或比值的绝对值。

在本发明中，在上述获得指标值和/或确定是否含有障碍物的操 作期间，可以不对每个成像范围的中心区域进行处理。

在本发明中，可以获得两个或更多类型的指标值。在这种情况 下，可以基于两个或更多类型的指标值中的每一个进行上述比较，以 及如果基于指标值中的至少一个的差大得足以满足预定标准，则可以 确定成像装置中的至少一个的成像范围含有障碍物。或者，如果基于 指标值中的两个或更多个的差大得足以满足预定标准，则可以确定成 像装置中的至少一个的成像范围含有障碍物。

在本发明中，如果确定在成像范围中含有障碍物，则可以发出 关于该结果的通知。

根据本发明，针对立体成像设备的每个成像装置的成像范围的 每个子范围，获得预定指标值，并且将多个不同成像装置的成像范围 中的相互对应位置处的每组子范围的指标值彼此进行比较。之后，如 果成像范围的指标值之间的差大得足以满足预定标准，则确定成像装 置中的至少一个的成像范围含有障碍物。

由于基于多个不同成像装置的成像范围之间的指标值的比较而 确定是否存在障碍物，因此不必提供独立于图像拾取器件的测光器件 （在上面背景技术所述的第一种确定方法中需要提供独立于图像拾 取器件的测光器件），这在硬件设计方面提供了更高的自由度。

进一步地，含有障碍物的区域的存在更显著地显示为由多个不 同成像装置拍摄的图像之间的差，并且由于成像装置之间的视差，该 差比图像中显现的误差大。因此，如在本发明中，通过比较多个不同 成像装置的成像范围之间的指标值，与仅使用一个拍摄图像进行确定 的情况（例如使用上述第二、第四或第五种确定方法的情况）相比可 以以更高准确度确定含有障碍物的区域。

更进一步地，在本发明中，将成像范围中的相互对应位置处的 每组子范围的指标值彼此进行比较。因此，相对于如上述第三种确定 方法中基于图像中内容的特征进行拍摄图像之间的匹配的情况，可以 减少计算成本和功耗。

如上所述，根据本发明，提供了一种立体成像设备，其能够以 较高准确度以及较低的计算成本和功耗确定在成像装置的成像范围 内是否存在诸如手指之类的障碍物。本发明的障碍物确定装置（即， 包括本发明的障碍物确定装置的立体图像输出设备）提供了相同的有 益效果。

在由成像装置所获得的光度值、AF评估值或颜色信息值被用作 指标值的情况下，将通常在成像操作期间由成像装置获得的数值用作 指标值。因此，不需要计算新指标值，这有益于处理效率。

在光度值或亮度值被用作指标值的情况下，即使当成像范围中 的障碍物和其背景具有相似纹理或相同颜色时，也可以基于成像范围 中的障碍物和背景之间的亮度差异做出含有障碍物的可靠确定。

在AF评估值或高频分量的量被用作指标值的情况下，即使当成 像范围中的障碍物和其背景具有相同亮度水平或相同颜色时，也可以 基于成像范围中的障碍物和背景之间的纹理差异做出含有障碍物的 可靠确定。

在颜色信息值被用作指标值的情况下，即使当成像范围中的障 碍物和其背景具有相同亮度水平或相似纹理时，也可以基于成像范围 中的障碍物和背景之间的颜色差异做出含有障碍物的可靠确定。

在使用两个或更多类型的指标值的情况下，通过用一种类型的 指标值的优势来补偿另一种指标值的特性的劣势，可以在成像范围中 的障碍物和背景的各种条件下以较高和更稳定的精度确定是否包含 障碍物。

在每个子范围的大小大到某种程度以使得每个子范围包括多个 点或区域的情况下，因成像单元之间的视差而产生的误差在子范围中 分散，因此允许以较高精度确定是否含有障碍物，其中由成像装置获 得子范围中多个点或区域处的光度值或AF评估值，并且基于子范围 中的这些点或区域处的光度值或AF评估值来计算每个子范围的指标 值。

在成像范围中的位置之间的对应受到控制以将从成像装置输出 的拍摄图像中的主对象的视差提供为基本为0之后将多个不同成像 装置的成像范围中的相互对应位置处的每组子范围的指标值彼此进 行比较的情况下，减小了因视差而引起的拍摄图像之间的对象的位置 偏移。因此，增大了拍摄图像的指标值之间的差表示障碍物存在的可 能性，从而允许以更高的精度确定是否存在障碍物。

在获得指标值和/或确定是否含有障碍物的操作期间不对每个 成像范围的中心区域进行处理的情况下，通过不对不太可能含有障碍 物的中心区域进行处理而提高了确定的精度，因为如果存在靠近成像 装置的成像光学系统的障碍物，那么至少成像范围的毗连区域含有障 碍物。

在响应于用于确定实际成像的成像条件的初步成像（在实际成 像之前进行）来获得指标值的情况下，可以在实际成像之前确定障碍 物的存在。因此，例如，通过通知该结果，可以在实际成像进行之前 避免实际成像的失败。即使在响应于实际成像获得指标值的情况下， 例如也可以通知操作者含有障碍物的事实，使得操作者能够立即意识 到实际成像的失败并且能够快速地重拍另一张照片。

附图说明

图1是根据本发明的实施例的立体照相机的前侧透视图。

图2是立体照相机的后侧透视图。

图3是示出立体照相机的内部配置的示意性框图。

图4是示出立体照相机的每个成像单元的配置的示图。

图5是示出立体图像文件的文件格式的示图。

图6是示出监视器的结构的示图。

图7是示出柱状透镜板的结构的示图。

图8是用于说明三维处理的示图。

图9A是示出含有障碍物的视差图像的示图。

图9B是示出不含有障碍物的视差图像的示图。

图10是示出所显示的警告消息的示例的示图。

图11是示出根据本发明的第一、第三、第四和第六实施例的障 碍物确定单元的细节的框图。

图12A是示出含有障碍物的成像范围中的区域的光度值的一个 示例的示图。

图12B是示出不含有障碍物的成像范围中的区域的光度值的一 个示例的示图。

图13是示出相互对应区域的光度值之间的差值的一个示例的示 图。

图14是示出相互对应区域的光度值之间的差值的绝对值的一个 示例的示图。

图15是示出根据本发明的第一、第三、第四和第六实施例的成 像过程流程的流程图。

图16是示出根据本发明的第二和第五实施例的障碍物确定单元 的细节的框图。

图17A是示出算出含有障碍物的成像范围中的每组四个相邻区 域的光度值的平均值的结果的一个示例的示图。

图17B是示出算出不含有障碍物的成像范围中的每组四个相邻 区域的光度值的平均值的结果的一个示例的示图。

图18是示出相互对应组合区域的平均光度值之间的差值的一个 示例的示图。

图19是示出相互对应组合区域的平均光度值之间的差值的绝对 值的一个示例的示图。

图20是示出根据本发明的第二和第五实施例的成像过程流程的 流程图。

图21是示出未被计数的中心区域的一个示例的示图。

图22A是示出含有障碍物的成像范围中的区域的AF评估值的一 个示例的示图。

图22B是示出不含有障碍物的成像范围中的区域的AF评估值的 一个示例的示图。

图23是示出相互对应区域的AF评估值之间的差值的一个示例 的示图。

图24是示出相互对应区域的AF评估值之间的差值的绝对值的 一个示例的示图。

图25A是示出算出含有障碍物的成像范围中的每组四个相邻区 域的AF评估值的平均值的结果的一个示例的示图。

图25B是示出算出不含有障碍物的成像范围中的每组四个相邻 区域的AF评估值的平均值的结果的一个示例的示图。

图26是示出相互对应组合区域的平均AF评估值之间的差值的 一个示例的示图。

图27是示出相互对应组合区域的平均AF评估值之间的差值的 绝对值的一个示例的示图。

图28是示出未被计数的中心区域的另一个示例的示图。

图29是示出根据本发明的第七和第九实施例的障碍物确定单元 的细节的框图。

图30A是示出在成像单元的成像光学系统的下部包含障碍物的 情况下成像范围中的区域的第一颜色信息值的一个示例的示图。

图30B是示出不含有障碍物的成像范围中的区域的第一颜色信 息值的一个示例的示图。

图30C是示出在成像单元的成像光学系统的下部包含障碍物的 情况下成像范围中的区域的第二颜色信息值的一个示例的示图。

图30D是示出不包含障碍物的成像范围中的区域的第二颜色信 息值的一个示例的示图。

图31是示出相互对应区域的颜色信息值之间的距离的一个示例 的示图。

图32是示出根据本发明的第七和第九实施例的成像过程流程的 流程图。

图33是示出根据本发明的第八实施例的障碍物确定单元的细节 的框图。

图34A是示出在成像单元的成像光学系统的下部包含障碍物的 情况下算出成像范围中的每组四个相邻区域的第一颜色信息值的平 均值的结果的示例的示图。

图34B是示出算出不包含障碍物的成像范围中的每组四个相邻 区域的第一颜色信息值的平均值的结果的示例的示图。

图34C是示出在成像单元的成像光学系统的下部包含障碍物的 情况下算出成像范围中的每组四个相邻区域的第二颜色信息值的平 均值的结果的示例的示图。

图34D是示出算出不包含障碍物的成像范围中的每组四个相邻 区域的第二颜色信息值的平均值的结果的示例的示图。

图35是示出相互对应组合区域的颜色信息值之间的距离的一个 示例的示图。

图36是示出根据本发明的第八实施例的成像过程流程的流程 图。

图37是示出未被计数的中心区域的另一个示例的示图。

图38是示出根据本发明的第十和第十一实施例的障碍物确定单 元的细节的框图。

图39A是示出根据本发明的第十实施例的成像过程流程的流程 图（前一半）。

图39B是示出根据本发明的第十实施例的成像过程流程的流程 图（后一半）。

图40A是示出根据本发明的第十一实施例的成像过程流程的流 程图（前一半）。

图40B是示出根据本发明的第十一实施例的成像过程流程的流 程图（后一半）。

具体实施方式

下面，将参照附图描述本发明的实施例。图1是根据本发明的 实施例的立体照相机的前侧透视图，以及图2是立体照相机的后侧透 视图。如图1所示，立体照相机1在其上部包括释放按钮2、电源按 钮3和变焦杆4。数字照相机1在其前侧包括闪光灯5以及两个成像 单元21A和21B的镜头，并且在其后侧还包括用于显示各个屏幕的液 晶监视器（下文将简称其为“监视器”）7、以及各种操作按钮8。

图3是示出立体照相机1的内部配置的示意性框图。如图3所 示，与已知立体照相机一样，根据本发明的实施例的立体照相机1 包括两个成像单元21A和21B、帧存储器22、成像控制单元23、AF 处理单元24、AE处理单元25、AWB处理单元26、数字信号处理单元 27、三维处理单元28、显示控制单元29、压缩/解压处理单元30、 介质控制单元31、输入单元33、CPU34、内部存储器35和数据总线 36。成像单元21A和21B定位成具有针对对象的会聚角以及具有预定 基线长度。会聚角和基线长度的信息存储在内部存储器27中。

图4是示出每个成像单元21A、21B的配置的示图。如图4所示， 与已知立体照相机一样，每个成像单元21A、21B包括透镜10A、10B、 光圈11A、11B、快门12A、12B、图像拾取器件13A、13B、模拟前端 （AFE）14A、14B和A/D转换器15A、15B。

每个透镜10A、10B由具有不同功能的多个透镜形成，例如用来 聚焦于对象的聚焦透镜和用来实现变焦功能的变焦透镜。透镜驱动单 元（未示出）基于成像控制单元22执行AF处理所获得的焦点数据和 经变焦杆（未示出）的操作而获得的变焦数据控制每个透镜的位置。

光圈驱动单元（未示出）基于成像控制单元22执行AE处理所 获得的光圈值数据控制光圈11A和11B的光圈直径。

快门12A和12B是机械快门，并且由快门驱动单元（未示出） 根据通过AE处理所获得的快门速度进行驱动。

每个图像拾取器件13A、13B包括光电表面，大量光接收元件二 维地布置在该光电表面上。来自对象的光聚焦于每个光电表面上并且 经光电转换以提供模拟成像信号。进一步地，由有规律地布置的R、 G和B滤色镜形成的滤色镜布置在每个图像拾取器件13A、13B的前 侧。

AFE14A和14B对从图像拾取器件13A和13B馈送的模拟成像信 号进行处理（该操作在下文中被称为“模拟处理”），以从模拟成像 信号中除噪以及调节模拟成像信号的增益。

A/D转换单元15A和15B将模拟成像信号转换成数字信号，其中 该模拟成像信号已由AFE14A和14B进行了模拟处理。应注意的是， 由成像单元21A所获得的数字图像数据表示的图像被称为第一图像 G1，以及由成像单元21B所获得的数字图像数据表示的图像被称为第 二图像G2。

帧存储器22是用于进行各种类型的处理的工作存储器，并且表 示成像单元21A和21B所获得的第一图像G1和第二图像G2的图像数 据经由图像输入控制器（未示出）输入至帧存储器22中。

成像控制单元23控制各个单元所执行的操作的时序。具体地， 当释放按钮2被完全按下时，成像控制单元23指示成像单元21A和 21B执行实际成像，以获得第一图像G1和第二图像G2的实际图像。 应注意的是，在操作释放按钮2之前，成像控制单元23指示成像单 元21A和21B以预定时间间隔（例如，以1/30秒的间隔）相继获得 即时预览图像以便检查成像范围，其中即时预览图像比第一图像G1 和第二图像G2的实际图像具有更少的像素。

当半按下释放按钮2时，成像单元21A和21B获得初步图像。 之后，AF处理单元24基于初步图像的图像信号计算出AF评估值， 基于AF评估值确定每个透镜10A、10B的聚焦区域和焦点位置，并且 将它们输出至成像单元21A和21B。作为用于通过AF处理检测焦点 位置的方法，使用被动方法，其中基于包含期望聚焦的对象的图像具 有较高对比度值的特性检测焦点位置。例如，AF评估值可以是来自 预定高通滤光镜的输出值。在这种情况下，较大的值表示较高的对比 度。

在该示例中，AE处理单元25使用多分区测光模式，其中成像范 围被分成多个区域，并且利用每个初步图像的图像信号对每个区域进 行光度测定以基于区域的光度值来确定曝光（光圈值和快门速度）。 所确定的曝光输出至成像单元21A和21B。

AWB处理单元26利用各初步图像的R、G和B图像信号计算出用 于成像范围的每一个分区的自动白平衡控制的颜色信息值。

AF处理单元24、AE处理单元25和AWB处理单元26可以针对每 个成像单元相继地执行它们的操作，或者可以针对每个成像单元来设 置这些处理单元以并行地执行操作。

数字信号处理单元27对由成像单元21A和21B获得的第一图像 G1和第二图像G2的数字图像数据实施图像处理（例如白平衡控制、 色调校正、清晰度校正和颜色校正）。在该说明书中，如同未被处理 的第一和第二图像一样，已被数字信号处理单元27处理了的第一和 第二图像也由相同附图标记G1和G2表示。

压缩/解压单元28根据特定压缩格式（例如JPEG）对表示由数 字信号处理单元27处理了的第一图像G1和第二图像G2的实际图像 的图像数据实施压缩处理，并且生成立体图像文件F0。立体图像文 件F0包含第一图像G1和第二图像G2的图像数据，并且存储诸如基 线长度、会聚角以及成像时间和日期之类的随附信息、以及基于Exif 格式表示视点位置的视点信息、等等。

图5是示出立体图像文件的文件格式的示图。如图5所示，立 体图像文件F0存储第一图像G1的随附信息H1、第一图像G1的视点 信息S1、第一图像G1的图像数据（该图像数据还是由附图标记G1 表示）、第二图像G2的随附信息H1、第二图像G2的视点信息S2和 第二图像G2的图像数据。尽管在图中未示出，但是表示数据的起点 位置和终点位置的多条信息包括在第一图像G1和第二图像G2的随附 信息、视点信息和图像数据中每一者之前和之后。随附信息H1、H2 中的每一者均包含第一图像G1和第二图像G2的成像日期、基线长度 和会聚角的信息。随附信息H1、H2中的每一者还包含第一图像G1 和第二图像G2中的每一者的缩略图图像。作为视点信息，可以使用 例如从最左侧成像单元的视点位置开始为每个视点位置分配的编号。

介质控制单元29访问记录介质30并且控制图像文件的写入和 读取等等。

显示控制单元31在成像期间使存储在帧存储器22中的第一图 像G1和第二图像G2以及根据第一图像G1和第二图像G2生成的立体 图像GR显示在监视器7上，或者使记录在记录介质30中的第一图像 G1和第二图像G2以及立体图像GR显示在监视器7上。

图6是示出监视器7的结构的示图。如图6所示，通过在包括 用于发光的LED的背光单元40上堆叠用于显示各种屏幕的液晶板41 并且将柱状透镜板42附接至液晶板41上来形成监视器7。

图7是示出透镜板的结构的示图。如图7所示，通过并排布置 多个柱状透镜43形成柱状透镜板42。

为了在监视器7上立体地显示第一图像G1和第二图像G2，三维 处理单元32对第一图像G1和第二图像G2实施三维处理以生成立体 图像GR。图8是用于说明三维处理的示图。如图8所示，三维处理 单元30通过将第一图像G1和第二图像G2切割成竖直条带并且在与 柱状透镜板42的各个柱状透镜43相对应的位置处交替地布置第一图 像G1和第二图像G2的条带进行三维处理，以生成立体图像GR。为 了提供立体图像GR的适当立体效果，三维处理单元30可以校正第一 图像G1和第二图像G2之间的视差。可以计算出视差作为沿图像的水 平方向的包含在第一图像G1和第二图像G2中的对象的像素位置之间 的差。通过控制视差，可以为包含在立体图像GR中的对象提供适当 立体效果。

输入单元33是操作者操作立体照相机1时使用的接口。释放按 钮2、变焦杆4、各种操作按钮8等等与输入单元33相对应。

CPU34根据从上述各种处理单元输入的信号控制数字照相机1 的主体的部件。

内部存储器35存储将在立体照相机1中设置的各种常数、由CPU 34执行的程序等等。

数据总线36连接至形成立体照相机1的单元和CPU35，并且与 立体照相机1进行各种数据和信息的通信。

除了上述配置之外，根据本发明实施例的立体照相机1还包括 用于执行本发明的障碍物确定处理的障碍物确定单元37和警告信息 生成单元38。

当操作者使用根据该实施例的立体照相机1拍摄图像时，操作 者在查看显示于在监视器7上的立体即时预览图像的同时进行取景。 此时，例如，操作者持有立体照相机1的左手手指可能会进入成像单 元21A的视角并且覆盖成像单元21A的视角的一部分。在这样的情况 下，如作为示例的图9A所示，手指作为障碍物包含在由成像单元21A 获得的第一图像G1的下部处，从而看不见该部分处的背景。另一方 面，如作为示例的图9B所示，由成像单元21B获得的第二图像G2 不包含障碍物。

在这样的情况下，如果立体照相机1配置成在监视器7上二维 地显示第一图像G1，则操作者通过查看监视器7上的即时预览图像 能够识别出覆盖成像单元21A的手指等。然而，如果立体照相机1 配置成在监视器7上二维地显示第二图像G2，则操作者通过查看监 视器7上的即时预览图像不能识别出覆盖成像单元21A的手指等。进 一步地，在立体照相机1配置成在监视器7上立体地显示由第一图像 G1和第二图像G2生成的立体图像GR的情况下，第一图像中被手指 等覆盖的区域的背景信息通过第二图像G2得以补偿，操作者通过查 看监视器7上的即时预览图像不能容易地识别出手指等正覆盖着成 像单元21A。

因此，障碍物确定单元37确定诸如手指之类的障碍物是否包含 在第一图像G1和第二图像G2中的一者内。

如果障碍物确定单元37确定包含障碍物，则警告信息生成单元 38生成关于该结果的警告消息，例如生成“发现障碍物”的文本消 息。如作为示例的图9所示，生成的警告消息叠加在第一图像G1或 第二图像G2上以便显示在监视器7上。呈现给操作者的警告消息可 以是如上所述的文本信息的形式，或者可以经由立体照相机1的诸如 扬声器之类的声音输出接口（未示出）向操作者呈现声音形式的警告。

图11是示意性示出根据本发明的第一实施例的障碍物确定单元 37和警告信息生成单元38的配置的框图。如图中所示，在本发明的 第一实施例中，障碍物确定单元37包括指标值获得单元37A、区域 间差值计算单元37B、区域间绝对差值计算单元37C、区域计数单元 37D和确定单元37E。障碍物确定单元37的这些处理单元可以通过内 置程序（其由CPU34或用于障碍物确定单元37的通用处理器执行） 实施为软件，或者可以以用于障碍物确定单元37的专用处理器的形 式实施为硬件。在障碍物确定单元37的处理单元实施为软件的情况 下，可以通过更新现有立体照相机中的固件来提供上述程序。

指标值获得单元37A获取每个成像单元21A、21B的成像范围中 由AE处理单元25获得的各区域的光度值。图12A示出在成像单元 21A的成像光学系统的下部处包含障碍物的情况下成像范围中的各 个区域的光度值的一个示例，以及图12B示出不包含障碍物的成像范 围中的各个区域的光度值的一个示例。在这些示例中，这些值是7×7 个区域（通过划分每个成像单元21A、21B的成像范围的中心70%区 域而提供）的100倍精度的光度值。如图12A所示，含有障碍物的区 域往往较暗并且具有较小的光度值。

区域间差值计算单元37B计算出成像范围中相互对应位置处的 每组区域的光度值之间的差。即，假设成像单元21A的成像范围中第 i行且第j列处的区域的光度值为IV1(i，j），以及成像单元21B 的成像范围中第i行且第j列处的区域的光度值为IV2(i，j），则 通过下列等式计算出相互对应区域的光度值之间的差值ΔIV(i，j）：

ΔIV(i，j）=IV1(i，j）-IV2(i，j）。

图13示出了在假设图12A所示的每个光度值为IV1(i，j）且图 12B所示的每个光度值为IV2(i，j）的情况下针对相互对应区域计算 出的差值ΔIV(i，j）的示例。

区域间绝对差值计算单元37C计算每个差值ΔIV(i，j）的绝对 值|ΔIV(i，j）|。图14示出了所计算出的图13所示差值的绝对值 的示例。如图中所示，在障碍物覆盖成像单元的成像光学系统中的一 个的情况下，成像范围中被障碍物覆盖的区域具有较大的绝对值 |ΔIV(i，j）|。

区域计数单元37D将绝对值|ΔIV(i，j）|与预定的第一阈值进 行比较，并且对具有大于第一阈值的绝对值|ΔIV(i，j）|的区域的 数量CNT进行计数。例如，在图14所示的情况下，假设阈值为100， 则49个区域中的13个区域具有大于100的绝对值|ΔIV(i，j）|。

确定单元37E将由区域计数单元37D获得的计数CNT与预定的 第二阈值进行比较。如果计数CNT大于第二阈值，确定单元37E则输 出信号ALM，以请求输出警告消息。例如，在图14所示的情况中， 假设第二阈值为5，为13的计数CNT大于第二阈值，因此输出信号 ALM。

警告信息生成单元38响应于从确定单元37E输出的信号ALM而 生成并输出警告消息MSG。

应注意的是，上文描述中的第一和第二阈值可以是预先通过实 验或者经验确定的固定值，或者可以由操作者通过输入单元33进行 设置和改变。

图15是示出本发明第一实施例中实施的处理流程的流程图。首 先，当检测到释放按钮2的半按下状态时（#1：是），分别由成像单 元21A和21B获得用于确定成像条件的初步图像G1和G2（#2）。然 后，AF处理单元24、AE处理单元25和AWB处理单元26执行操作以 确定各种成像条件，并且根据确定的成像条件控制成像单元21A和 21B的部件（#3）。此时，AE处理单元25获得成像单元21A和21B 的成像范围中各个区域的光度值IV1(i，j）、IV2(i，j）。

然后，在障碍物确定单元37处，指标值获得单元37A获得各个 区域的光度值IV1(i，j），IV2(i，j）（#4），区域间差值计算单 元37B计算出成像范围之间的相互对应位置处的每组区域的光度值 IV1(i，j）与IV2(i，j）之间的差值ΔIV(i，j）（#5），并且区域 间绝对差值计算单元37C计算出每个差值ΔIV(i，j）的绝对值 |ΔIV(i，j）|（#6）。然后，区域计数单元37D对具有大于第一阈 值的绝对值|ΔIV(i，j）|的区域的数量CNT进行计数（#7）。如果 计数CNT大于第二阈值（#8：是），确定单元37E输出信号ALM，以 请求输出警告消息，并且警告信息生成单元38响应于信号ALM生成 警告消息MSG。生成的警告消息MSG叠加于当前显示在监视器7上的 即时预览图像上而显示（#9）。相比之下，如果计数CNT的值不大于 第二阈值（#8：否），则跳过上述步骤#9。

其后，当检测到释放按钮2的完全按下状态时（#10：完全按下）， 成像单元21A和21B进行实际成像，并且获得实际图像G1和G2（#11）。 实际图像G1和G2由数字信号处理单元27进行处理，然后，三维处 理单元30根据第一图像G1和第二图像G2生成立体图像GR，并且输 出立体图像GR（#12）。然后，一系列操作结束。应注意的是，如果 在步骤#10中释放按钮2保持半按下（#10：半按下），则维持步骤 #3中设置的成像条件以等待释放按钮2的进一步操作，以及当取消 半按下状态时（#10：取消），该处理返回至步骤#1以等待释放按钮 2被半按下。

如上所述，在本发明的第一实施例中，AE处理单元25获得立体 照相机1的成像单元21A和21B的成像范围中的区域的光度值。利用 这些光度值，障碍物确定单元37计算出成像单元的成像范围中相互 对应位置处的每组区域的光度值之间的差值的绝对值。然后，对具有 大于预定第一阈值的差值绝对值的区域的数量进行计数。如果区域的 计数数量大于预定第二阈值，则确定在成像单元21A和21B的成像范 围的至少一个中包含障碍物。这消除了设置独立于图像拾取器件的用 于障碍物确定处理的测光器件的需要，由此在硬件设计中提供了更高 的自由度。进一步地，相比于仅根据一个图像确定含有障碍物的区域 的情况，通过比较不同成像单元的成像范围之间的光度值，能够以更 高准确度实现关于是否存在障碍物的确定。更进一步地，由于针对成 像范围中相互对应位置处的每组区域执行光度值的比较，因此相对于 基于图像内容的特征进行拍摄图像之间的匹配的情况，能够减小计算 成本和功耗。

再进一步地，由于障碍物确定单元37利用通常成像操作期间所 获得的光度值执行关于是否存在障碍物的确定，因此无需计算新指标 值，这有益于处理效率。

进一步地，光度值被用作确定是否存在障碍物的指标值。因此， 即使当成像范围中的障碍物和其背景具有相似纹理或相同颜色，也可 以基于成像范围中障碍物和背景之间的亮度差做出含有障碍物的可 靠确定。

每个划分区域具有的大小比对应于一个像素的大小足够大。因 此，因成像单元之间的视差引起的误差在该区域中被分散，这允许更 准确的包含障碍物的确定。应注意的是，划分区域的数量不限于7×7 个。

由于障碍物确定单元37响应于在实际成像之前进行的初步成像 而获得光度值，因此可以在实际成像之前执行关于覆盖成像单元的障 碍物的确定。然后，如果存在覆盖成像单元的障碍物，则向操作者呈 现由警告信息生成单元38生成的消息，由此允许在进行实际成像之 前避免实际成像的失败。

应注意的是，尽管在上述实施例中障碍物确定单元37利用由AE 处理单元25获得的光度值实现关于是否存在障碍物的确定，但是可 能存在这样的情况：不能获得成像范围中每个区域的光度值，例如当 使用不同曝光系统时。在这样的情况下，可以以如上所述的相同方式 将由每个成像单元21A、21B获得的每个图像G1、G2划分成多个区域， 并且可以计算出每个区域的亮度值的代表值（例如平均值或中间值）。 以这种方式，除了用于计算亮度值的代表值的附加处理负荷之外，可 以提供如上所述的相同效果。

图16是示意性地示出根据本发明第二实施例的障碍物确定单元 37和警告信息生成单元38的配置的框图。如图中所示，除了第一实 施例的配置之外，本发明的第二实施例还包括平均指标值计算单元 37F。

关于由指标值获得单元37A获得的各个区域的指标值IV1(i， j）、IV2(i，j），平均指标值计算单元37F计算出每组四个相邻区 域的光度值的平均值IV1’(m，n）和平均值IV2’(m，n），其中“m， n”指的是输出时的区域数量（行数和列数）与输入时的区域数量不 同，这是通过计算减少了数量。图17A和图17B示出了这样的示例， 其中，关于图12A和图12B所示7×7个区域的光度值，计算出每组 四个相邻区域（例如图12A所示封闭在R1中的四个区域）的光度值 的平均值，并且获得6×6个区域的平均光度值（包围在R1中的四个 区域的值的平均光度值是图17A所示包围在R2中的区域的值）。应 注意的是，用于计算平均值的输入时包括在每组中的区域的数量不限 于四个。在下文的描述中，输出时的每个区域被称为“组合区域”。

除了用组合区域替换第一实施例中的区域之外，第二实施例中 处理单元的下面操作与第一实施例中的那些相同。

即，在该实施例中，区域间差值计算单元37B计算出成像范围 中相互对应位置处的每组组合区域的平均光度值之间的差值 ΔIV’(m，n）。图18示出了计算出的图17A和图17B所示的相互对 应组合区域的平均光度值之间的差值的示例。

区域间绝对差值计算单元37C计算光度值之间的每个差值 ΔIV’(m，n）的绝对值|ΔIV’(m，n）|。图19示出了计算出的图 18所示的平均光度值之间的差值的绝对值的示例。

区域计数单元37D对平均光度值之间的差值的绝对值 |ΔIV’(m，n）|大于第一阈值的组合区域的数量CNT进行计数。在 图19所示的示例中，假设阈值为100，则36个区域中8个区域具有 大于100的绝对值|ΔIV(i，j）|。由于在区域计数单元37D对数量 CNT进行计数时成像范围中的区域的数量不同于第一实施例的区域 的数量，因此第一阈值可以具有与第一实施例的第一阈值不同的值。

如果计数值CNT大于第二阈值，确定单元37E则输出信号ALM， 以请求输出警告消息。类似于第一阈值，第二阈值也可以具有与第一 实施例的第二阈值不同的值。

图20是示出在本发明的第二实施例中执行的处理流程的流程 图。如图中所示，在步骤#4中指标值获得单元37A获得各个区域的 光度值IV1(i，j）、IV2(i，j）之后，平均指标值计算单元37F关 于各个区域的指标值IV1(i，j）、IV2(i，j）计算出每组四个相邻 区域的光度值的平均值IV1’(m，n）和IV2’(m，n）（#4.1）。除 了用组合区域替换第一实施例中的区域之外，下面操作的流程与第一 实施例的相同。

如上所述，在本发明的第二实施例中，平均指标值计算单元37F 组合在光度测定时所划分的区域，并且计算出每个组合区域的平均光 度值。因此，因成像单元之间的视差而产生的误差通过对区域进行组 合而得以分散，由此减少了错误的确定。

应注意的是，在该实施例中，组合区域的指标值（光度值）不 限于组合之前的区域的指标值的平均值，而可以是任何其它代表值， 例如中间值。

在本发明的第三实施例中，不对第一实施例中光度测定时的区 域IV1(i，j）、IV2(i，j）当中围绕中心的区域进行计数。

具体地，在图15所示的流程图的步骤#7中，区域计数单元37D 对除围绕中心的区域之外的相互对应区域的光度值之间的差值的绝 对值|ΔIV(i，j）|大于第一预定阈值的区域的数量CNT进行计数。 图21示出了这样的示例，其中，未对图14所示的7×7个区域当中 围绕中心的3×3个区域进行计数。在这种情况下，假设阈值为100， 则毗连的40个区域中的11个区域具有大于100的绝对值|ΔIV(i，j） |。然后，确定单元37E将该值（11）与第二阈值进行比较以确定是 否存在障碍物。

作为选择，指标值获得单元37A可以不获取围绕中心的3×3个 区域的光度值，或者区域间差值计算单元37B或区域间绝对差值计算 单元37C不针对围绕中心的3×3个区域进行计算，并且可以设置在 围绕中心的3×3个区域处不被区域计数单元37D计数的值。

应注意的是，围绕中心的区域的数量不限于3×3。

如上所述，本发明的第三实施例利用了障碍物总是从其毗连区 域进入成像范围的事实。在获得光度值且进行关于是否存在障碍物的 确定时，通过不对每个成像范围的中心区域（不太可能包含障碍物） 进行计数，能够以更高准确度实现该确定。

在本发明的第四实施例中，AF评估值取代用于第一实施例中的 光度值而被用作指标值。即，除了在图15所示流程图的步骤#4中图 11所示框图中的指标值获得单元37A获取成像单元21A和21B的成 像范围中各个区域的由AF处理单元24获得的AF评估值之外，第四 实施例中的操作与第一实施例中的那些相同。

图22A示出了在成像单元21A的成像光学系统的下部处包含障 碍物的情况下其成像范围中各个区域的AF评估值的一个示例，以及 图22B示出了不包含障碍物的成像范围中的各个区域的AF评估值的 一个示例。在该示例中，每个成像单元21A、21B的成像范围被划分 成7×7个区域，并且在焦点所处的位置比障碍物距照相机更远的状 态下计算出每个区域的AF评估值。因此，如图22A所示，包含障碍 物的区域具有低AF评估值和低对比度。

图23示出了在假设图22A所示的每个AF评估值为IV1(i，j） 且图22B所示的每个AF评估值为IV2(i，j）的情况下计算出的相互 对应区域之间的差值ΔIV(i，j）的示例。图24示出了计算出的差 值ΔIV(i，j）的绝对值|ΔIV(i，j）|的示例。如图中所示，在该 示例中，当成像单元的成像光学系统中的一个被障碍物覆盖时，成像 范围中被障碍物覆盖的区域具有大绝对值|ΔIV(i，j）|。因此，对 具有大于预定的第一阈值的绝对值|ΔIV(i，j）|的区域的数量CNT 进行计数，并且确定计数CNT是否大于预定的第二阈值，从而确定被 障碍物覆盖的区域。应注意的是，由于指标值的数值意义与第一实施 例中的不同，因此第一阈值的值与第一实施例中的不同。第二阈值可 以与第一实施例中的相同或不同。

如上所述，在本发明的第四实施例中，AF评估值被用作确定关 于是否存在障碍物的指标值。因此，即使在成像范围中的障碍物和背 景具有相同亮度水平或相同颜色的情况下，也可以基于成像范围中的 障碍物和背景之间的不同纹理而做出包含障碍物的可靠确定。

尽管上述实施例中障碍物确定单元37利用了由AF处理单元24 获得的AF评估值对是否存在障碍物进行确定，然而还可能存在这样 的情况：不能获得成像范围中每个区域的AF评估值，例如当使用不 同聚焦系统时。在这种情况下，可以以如上所述相同的方式将每个成 像单元21A、21B获得的每个图像G1、G2划分成多个区域，并且可以 针对每个区域计算出表示高频分量的量的来自高通滤波器的输出值。 以这种方式，除了用于高通滤波的额外负荷之外，可以提供与上文描 述相同的效果。

在本发明的第五实施例中，AF评估值取代用于第二实施例中的 光度值而被用作指标值，并且提供了与第二实施例中相同的效果。除 了指标值不同之外，障碍物确定单元37的配置与图16的框图中所示 的相同，并且处理流程与图20的流程图中所示的相同。

图25A和25B示出了这样的示例，其中，关于图22A和图22B 所示的7×7个区域的AF评估值，计算出每组四个相邻区域的AF评 估值的平均值，以提供6×6个区域的平均AF评估值。图26示出了 计算出的相互对应组合区域的平均AF评估值之间的差值的示例，以 及图27示出了计算出的图26所示差值的绝对值的示例。

在本发明的第六实施例中，AF评估值取代用于第三实施例中的 光度值而用作指标值，并且提供了与第三实施例中相同的效果。

图28示出了这样的示例，其中，不对图24所示的7×7个区域 当中的围绕中心的3×3个区域进行计数。

在本发明的第七实施例中，AWB颜色信息值取代用于第一实施例 中的光度值而用作指标值。当颜色信息值用作指标值时，简单地计算 出相互对应区域之间的差（例如在光度值和AF评估值的情况下）的 效果不好。因此，使用相互对应区域的颜色信息值之间的距离。图 29是示意性地示出根据该实施例的障碍物确定单元37和警告信息生 成单元38的配置的框图。如图中所示，设置区域间颜色距离计算单 元37G以取代第一实施例中的区域间差值计算单元37B和区域间绝对 差值计算单元37C。

在该实施例中，指标值获得单元37A获取成像单元21A和21B 的成像范围中各个区域的由AWB处理单元26获得的颜色信息值。图 30A和图30C示出了在成像单元21A的成像光学系统的下部中含有障 碍物的情况下其成像范围中各个区域的颜色信息值的示例，以及图 30B和图30D示出了不含有障碍物的成像范围中各个区域的颜色信息 值的示例。在图30A和图30B所示的示例中，R/G被用作颜色信息值， 而在图30C和图30D所示的示例中，B/G被用作颜色信息值（其中R、 G和B分别指的是RGB颜色空间中的红色信号、绿色信号和蓝色信号 的信号值，并且表示每个区域的平均信号值）。在障碍物出现在靠近 成像光学系统的位置处的情况下，障碍物的颜色信息值接近表示黑色 的颜色信息值。因此，当成像单元21A和21B的成像范围中的一个包 含障碍物时，成像范围的各区域的颜色信息值之间距离大。应注意的 是，用于计算颜色信息值的方法不限于上述方法。颜色空间不限于 RGB颜色空间，而是可以使用任何其它颜色空间，例如Lab。

区域间颜色距离计算单元37G计算出成像范围中相互对应位置 处的区域的颜色信息值之间的距离。具体地，在每个颜色信息值由两 个元素形成的情况下，计算出颜色信息值之间的距离，例如，作为各 个区域内的元素的值在坐标平面中绘图的两点之间的距离，其中第一 元素和第二元素是坐标的两个垂直轴。例如，假设成像单元21A的成 像范围中处于第i行且第j列的区域的颜色信息值的元素的值是RG1 和BG1，并且成像单元21B的成像范围中处于第i行且第j列的区域 的颜色信息值的元素的值是RG2和BG2，则根据下面等式计算出相互 对应区域的颜色信息值之间的距离D：

$D=\sqrt{{(\mathrm{RG}1-\mathrm{RG}2)}^2+{(\mathrm{BG}1-\mathrm{BG}2)}^2}$

图31示出了基于图30A至图30D所示的颜色信息值计算的相互 对应区域的颜色信息值之间的距离的示例。

区域计数单元37D将颜色信息值之间的距离D的值与预定的第 一阈值进行比较，并且对具有大于第一阈值的距离D的值的区域的数 量CNT进行计数。例如，在图31所示的示例中，假设阈值是30，则 49个区域中25个区域具有大于30的距离D的值。

类似于第一实施例，如果由区域计数单元37D获得的计数CNT 大于第二阈值，确定单元37E则输出信号ALM，以请求输出警告消息。

应注意的是，由于指标值的数值含义不同于第一实施例中的指 标值的数值含义，因此第一阈值的值与第一实施例中的不同。第二阈 值可以与第一实施例中的相同或者不同。

图32是示出本发明的第七实施例中实施的处理流程的流程图。 首先，类似于第一实施例，当检测到释放按钮2的半按下状态时（#1： 是），由成像单元21A和21B分别获得用于确定成像条件的初步图像 G1和G2（#2）。然后，AF处理单元24、AE处理单元25和AWB处理 单元26执行操作以确定各种成像条件，并且根据确定的成像条件控 制成像单元21A和21B的部件（#3）。此时，AWB处理单元26获得 成像单元21A和21B的成像范围中各个区域的颜色信息值IV1(i，j）、 IV2(i，j）。

然后，在障碍物确定单元37处，在指标值获得单元37A获取各 个区域的颜色信息值IV1(i，j）、IV2(i，j）（#4）之后，区域间 颜色距离计算单元37G计算出各成像范围中相互对应位置处的每组 区域的颜色信息值之间的距离D(i，j）（#5.1）。然后，区域计数 单元37D对颜色信息值之间的距离D(i，j）的值大于第一阈值的区 域的数量CNT进行计数（#7.1）。后续操作的流程与第一实施例中的 步骤#8以及后续步骤的相同。

如上所述，在本发明的第七实施例中，颜色信息值被用作指标 值以便确定是否存在障碍物。因此，即使当成像范围中的障碍物和其 背景具有相同亮度水平或相似纹理时，也可以基于成像范围中的障碍 物和背景之间的颜色差而做出包含障碍物的可靠确定。

应注意的是，尽管在上述实施例中障碍物确定单元37利用由 AWB处理单元26获得的颜色信息值实现关于是否存在障碍物的确定， 然而也可能存在这样的情况：不能获得成像范围中每个区域的颜色信 息值，例如使用不同自动白平衡控制方法的情况。在这种情况下，可 以按照如上所述相同的方式将由每个成像单元21A、21B获得的每个 图像G1、G2划分成多个区域，并且可以针对每个区域计算出颜色信 息值。以该方式，除了计算颜色信息值的额外负荷之外，可以提供与 上文描述相同的效果。

图33是示意性地示出根据本发明的第八实施例的障碍物确定单 元37和警告信息生成单元38的配置的框图。如图中所示，除了第七 实施例的配置之外，本发明的第八实施例还包括平均指标值计算单元 37F。

平均指标值计算单元37F关于由指标值获得单元37A获得的各 个区域的颜色信息值IV1(i，j）、IV2(i，j）的元素计算出每组四 个相邻区域的颜色信息值IV1(i，j）和IV2(i，j）的元素值的平均 值IV1’(m，n）和平均值IV2’(m，n）。此处“m，n”具有与第二 实施例中相同的含义。图34A至图34D示出了这样的示例，其中通过 计算图30A至图30D所示的7×7个区域的每组四个相邻区域的颜色 信息值的元素的平均值，获得6×6个区域（组合区域）的平均颜色 信息元素。应注意的是，输入时每组中包括的用于计算平均值的区域 的数量不限于四个。

除了用组合区域替换第七实施例中的区域之外，第八实施例中 的处理单元的后续操作与第七实施例中的那些相同。图35示出了计 算出的图34A至图34D所示的相互对应组合区域的颜色信息值之间的 距离的示例。

如图36的流程图所示，该实施例中的操作流程是第二和第七实 施例的处理的组合。即，在该实施例中，类似于第二实施例，在指标 值获得单元37A在步骤#4中获得各个区域的颜色信息值IV1(i，j）、 IV2(i，j）之后，平均指标值计算单元37F关于各个区域的指标值 IV1(i，j）、IV2(i，j）计算出每组四个相邻区域的颜色信息值的平 均值IV1’(m，n）、IV2’(m，n）（#4.1）。除了用组合区域替换 第七实施例中的区域之外，其它操作流程与第七实施例中的相同。

以该方式，颜色信息值被用作指标值的本发明的第八实施例提 供了与第二和第五实施例中相同的效果。

在本发明的第九实施例中，不对第七实施例中的自动白平衡控 制时所划分的区域IV1(i，j）和IV2(i，j）当中围绕中心的区域进 行计数，并且提供了与第三实施例中相同的效果。图37示出了这样 的示例，其中，在自动白平衡控制时所划分的7×7个区域当中，区 域计数单元37D不对围绕中心的3×3个区域进行计数。

可以使用上述实施例中作为示例所描述的两个或更多个不同类 型的指标值进行关于是否存在障碍物的确定。具体地，可以根据第一 至第三实施例中的任一个基于光度值进行关于是否存在障碍物的确 定，然后，可以根据第四至第六实施例中的任一个基于AF评估值进 行确定，之后，可以根据第七至第九实施例中的任一个基于颜色信息 值进行确定。然后，如果在至少一个确定过程中确定了包含障碍物， 则可以确定至少一个成像单元被障碍物覆盖。

图38是示意性地示出根据本发明的第十实施例的障碍物确定单 元37和警告信息生成单元38的配置的框图。如图中所示，该实施例 的障碍物确定单元37的配置是第一、第四和第七实施例的配置的组 合。即，该实施例的障碍物确定单元37由下面所列单元形成：用于 光度值、AF评估值和AWB颜色信息值的指标值获得单元37A；用于光 度值和AF评估值的区域间差值计算单元37B；用于光度值和AF评估 值的区域间绝对差值计算单元37C；区域间颜色距离计算单元37G； 用于光度值、AF评估值和AWB颜色信息值的区域计数单元37D；以及 用于光度值、AF评估值和AWB颜色信息值的确定单元37E。这些处理 单元的具体内容与第一、第四和第七实施例中的那些相同。

图39A和图39B示出了在本发明的第十实施例中实施的处理流 程的流程图。如图中所示，类似于各个实施例，当检测到释放按钮2 的半按下状态时（#21：是），分别由成像单元21A和21B获得初步 图像G1和G2以便确定成像条件（#22）。然后，AF处理单元24、AE 处理单元25和AWB处理单元26执行操作以确定各种成像条件，并且 根据确定的成像条件控制成像单元21A和21B的部件（#32）。

步骤#24至#28中的操作与第一实施例中的步骤#4至#8中的那 些相同，其中基于光度值进行障碍物确定过程。步骤#29至#33中的 操作与第四实施例中的步骤#4至#8中的那些相同，其中基于AF评估 值进行障碍物确定过程。步骤#34至#37中的操作与第七实施例中的 步骤#4至#8中的那些相同，其中基于AWB颜色信息值进行障碍物确 定过程。

然后，如果在确定过程的任一个中确定了包含障碍物（#28、#33、 #37：是），则类似于上述实施例，与所使用的指标值的类型相对应 的确定单元37E输出信号ALM以请求输出警告消息，并且警告信息生 成单元38响应于信号ALM生成警告消息MSG（#38）。后续步骤#39 至#41与上述实施例中的步骤#10至#12相同。

如上所述，根据本发明的第十实施例，如果利用不同类型的指 标值在至少一个确定过程中确定了包含障碍物，则确定至少一个成像 单元被障碍物覆盖。这允许通过其它类型指标值的优势来补偿基于一 种类型指标值的特性的劣势，由此在成像范围中障碍物和背景的各种 条件下以更高且更稳定的准确度实现是否包含障碍物的确定。例如， 在成像范围中障碍物和其背景具有相同亮度水平的情况下，仅基于光 度值难以正确地确定包含障碍物，因此还可以基于AF评估值或颜色 信息值进行确定，由此实现正确的确定。

另一方面，在本发明的第十一实施例中，如果利用不同类型的 指标值在所有的确定过程中都确定了包含障碍物，则确定至少一个成 像单元被障碍物覆盖。根据该实施例的障碍物确定单元37和警告信 息生成单元38的配置与第十实施例中的相同。

图40A和图40B示出了在本发明的第十一实施例中实施的处理 流程的流程图。如图中所示，步骤#51至#57中的操作与第十实施例 中的步骤#21至#27中的操作相同。在步骤#58中，如果光度值的绝 对值大于阈值Th1_AE的区域的数量小于或者等于阈值Th2_AE，则跳过基 于其它类型指标值的确定过程（#58：否）。相反，如果光度值的绝 对值大于阈值Th1_AE的区域的数量大于阈值Th2_AE，即，如果基于光度 值确定了包含障碍物，则按照与第十实施例中的步骤#29至#32中相 同的方式进行基于AF评估值的确定过程（#59至#62）。然后，在步 骤#63中，如果AF评估值的绝对值大于阈值Th1_AF的区域的数量小于 或者等于阈值Th2_AF，则跳过基于其它类型指标值的确定过程（#63： 否）。相反，如果AF评估值的绝对值大于阈值Th1_AF的区域的数量大 于阈值Th2_AF，即，如果基于AF评估值确定了包含障碍物，则按照与 第十实施例中的步骤#34至#36中相同的方式进行基于AWB颜色信息 值的确定过程（#64至#66）。然后，在步骤#67中，如果基于AWB 颜色信息值的颜色距离大于阈值Th1_AWB的区域的数量小于或等于阈值 Th2_AWB，则跳过步骤#68中生成和显示警告消息的操作（#67：否）。 相反，如果基于AWB颜色信息值的颜色距离大于阈值Th1_AWB的区域的 数量大于阈值Th2_AWB，即，如果基于AWB颜色信息值确定了包含障碍 物（#67：是），此时，则基于光度值、AF评估值和颜色信息值的全 部来确定包含障碍物。因此，类似于上述实施例，输出信号ALM以请 求输出警告消息，并且警告信息生成单元38响应于信号ALM生成警 告消息MSG（#68）。后续步骤#69至#71与第十实施例中的步骤#39 至#41相同。

如上所述，根据本发明的第十一实施例，仅当基于所有类型的 指标值做出相同确定时，包含障碍物的确定才是有效的。以此方式， 减少了错误的确定（错误的确定是即使在实际上不包含障碍物时也做 出了包含障碍物的确定）。

作为第十一实施例的变型，仅当基于三种类型指标值当中的两 个或更多个类型指标值做出相同确定时，包含障碍物的确定才被认为 有效。具体地，例如，在图40A和图40B所示的步骤#58、#63和#67 中，可以在每个步骤中设置表示确定结果的标记，并且在步骤#67之 后，如果两个或更多个标记具有表示含有障碍物的值，则可以执行步 骤#68中生成并显示警告消息的操作。

或者，在上述第十和第十一实施例中，可以仅使用三种类型指 标值当中的两种类型的指标值。

上述实施例仅作为示例呈现，并且所有上述说明不应解释为限 制本发明的技术范围。进一步地，在不脱离本发明的思想和范围的情 况下，对上述实施例中立体成像设备的配置、处理流程、模块配置、 用户接口以及处理的具体内容做出的变化和修改也落入本发明的技 术范围内。

例如，尽管在上述实施例中当半按下释放按钮时进行上述确定， 然而例如也可以在完全按下释放按钮时进行确定。即使在这种情况 下，也可以在实际成像之后立即通知操作者所拍下的照片是包含障碍 物的不成功照片的事实，并且可以重新拍摄另一张照片。以该方式， 不成功的照片得以充分减少。

进一步地，尽管上述实施例中将包括两个成像单元的立体照相 机作为示例进行描述，然而本发明还适用于包括三个或更多个成像单 元的立体照相机。假设成像单元的数量为N，则可以通过针对成像单 元的_NC₂组合重复确定过程或并行地执行确定过程来实现关于至少一 个成像光学系统是否被障碍物覆盖的确定。

更进一步地，在上述实施例中，障碍物确定单元37还可以包括 视差控制单元，其可以通过指标值获得单元37A进行操作并且在经过 视差控制的成像范围上进行后续操作。具体地，视差控制单元使用已 知技术从第一图像G1和第二图像G2检测主对象（例如人的脸部）， 找出在图像之间提供0视差的视差控制量(图像中主对象的位置之间 的差）（详情例如参见日本未审查专利公布No.2010-278878和 No.2010-288253），并且利用视差控制量变换（例如，平移）成像范 围中至少一个的坐标系。这减小了图像中对象的视差对来自区域间差 值计算单元37B或区域间颜色距离计算单元37G的输出值的影响，由 此提高了由确定单元37E执行的障碍物确定的准确度。

在立体照相机具有微距（近摄）成像模式（提供适于拍摄位于 靠近照相机的位置处的对象的成像条件）的情况下，在设置成微距成 像模式时，应该是要拍摄靠近照相机的对象。在这种情况下，可能将 对象自身错误地确定为障碍物。因此，在上述障碍物确定过程之前， 可以获得成像模式的信息，并且如果设置的成像模式为微距成像模 式，则可以不执行障碍物确定过程，即，不执行获得指标值和/或确 定是否包含障碍物的操作。或者，可以执行障碍物确定过程，并且即 使在确定包含障碍物时也可以不呈现通知。

或者，即使在未设置微距成像模式时，如果从成像单元21A和 21B至对象的距离（对象距离）小于预定阈值，则可以不执行障碍物 确定过程，或者可以执行障碍物确定过程但即使在确定包含障碍物时 也不呈现通知。为了计算对象距离，可以使用成像单元21A和21B 的聚焦透镜的位置和AF评估值，或者可以使用三角测量以及第一图 像G1和第二图像G2之间的立体匹配。

在上述实施例中，当立体显示第一图像G1和第二图像G2（其中 图像之一包含障碍物而另一个图像不包含障碍物）时，难以识别出障 碍物出现在立体显示图像中的什么地方。因此，当障碍物确定单元 37确定包含障碍物时，可以对第一图像G1和第二图像G2中不包含 障碍物的一个进行处理，以使得不包含障碍物的图像的与另一个图像 的包含障碍物的区域相对应的区域也呈现包含障碍物。具体地，首先， 使用指标值识别每个图像中的包含障碍物的区域（障碍物区域）或对 应于障碍物区域的区域（障碍物对应区域）。障碍物区域是指标值之 间的差值的绝对值大于上述预定阈值的区域。然后，识别出第一图像 G1和第二图像G2中包含障碍物的那一个。在指标值为光度值或亮度 值的情况下通过识别图像中包括较暗障碍物区域的那一个，或者在指 标值为AF评估值的情况下通过识别图像中包括具有较低对比度的障 碍物区域的那一个，或者在指标值为颜色信息值的情况下通过识别图 像中包括具有接近黑色的颜色的障碍物区域的那一个，可以实现对实 际上包含障碍物的图像的识别。然后，对第一图像G1和第二图像G2 中实际上不包含障碍物的另一个进行处理，以将障碍物对应区域的像 素值改变成实际上包含障碍物的图像的障碍物区域的像素值。以此方 式，障碍物对应区域具有与障碍物区域相同的黑暗度、对比度和颜色， 即，它们都显示了包含障碍物的状态。通过以即时预览图像等形式立 体地显示如此处理了的第一图像G1和第二图像G2，有利于障碍物存 在的视觉识别。应注意的是，当如上所述改变像素值时，可以不改变 黑暗度、对比度和颜色中的全部而仅仅改变其中的一些。

上述实施例中的障碍物确定单元37和警告信息生成单元38可 以结合到立体显示设备（例如数码相框）或数字照片打印机中,所述 立体显示设备根据含有多个视差图像的图像文件（例如，上述实施例 中的第一图像G1和第二图像G2的图像文件（参见图5））生成立体 图像GR，并将该立体图像GR输入到该立体显示设备以进行立体显示， 所述数字照片打印机打印用于立体观察的图像。在这种情况下，上述 实施例中各个区域的光度值、AF评估值、AWB颜色信息值等可以被记 录为图像文件的随附信息，从而使用所记录的信息。进一步地，关于 上述微距成像模式的问题，如果将成像设备控制成在微距成像模式期 间不执行障碍物确定过程，则可以将指示确定不执行障碍物确定过程 的信息记录为每个拍摄图像的随附信息。在这种情况下，设有障碍物 确定单元37的设备可以确定随附信息是否包括指示确定不执行障碍 物确定过程的信息，并且如果随附信息包括指示确定不执行障碍物确 定过程的信息，则可以不执行障碍物确定过程。或者，如果成像模式 被记录为随附信息，则在成像模式为微距成像模式的情况下可以不执 行障碍物确定过程。