基于场景中的运动水平优化捕获场景的图像帧序列中的图像帧的曝光的相机和方法

摘要

本发明涉及基于场景中的运动水平优化捕获场景的图像帧序列中的图像帧的曝光的相机和方法。这通过下面的步骤来实现：根据来自多个图像传感器帧的图像数据，确定场景的包括不同运动水平的区域；确定上述图像帧的图像帧区域，其中图像帧区域对应于场景的至少一个区域；以及通过利用来自多个图像传感器帧的图像数据产生每个图像帧区域，通过对每个图像帧区域的区域特定曝光时间进行模拟，优化图像帧的曝光，其中用于产生特定图像帧区域的图像传感器帧的数量是基于场景的至少一个对应区域中的运动水平。

说明书

技术领域

本发明涉及基于场景中的运动水平优化捕获场景的图像帧序列中的图像帧的曝光的方法。本发明还涉及上面记录有程序的计算机可读记录介质，该程序用于当在具有处理能力的设备上被执行时实现上面的方法。此外，本发明还涉及具有执行上面的计算机可读记录介质的处理能力的设备。而且，本发明还涉及被设置为基于场景中的运动水平优化捕获场景的图像帧序列中的图像帧的曝光的相机。 

背景技术

经常使用相机来监控建筑物、道路、商店等。特别地，相机用来监控场景，以便检测和/或跟踪呈运动存在形式的事件。 

根据由相机监控的事件的运动水平，可以调节捕获由相机监控的场景的视频图像流中图像帧序列中的图像帧的曝光时间。例如，根据US 2008/0043112，只要在所捕获的场景中没有运动或者有低的运动水平，那么就使用长的曝光时间。相反，当所监控的场景包括具有高运动水平的事件时，发生曝光向较短曝光时间的切换。然而，这种方法的问题是当切换到较短曝光时间时，该曝光时间对于监控具有低运动水平的事件来说过短。当曝光时间过短时，将难以区分具有低运动水平的事件的细节，尤其是在暗光照条件下。此外，如果对具有高运动水平的事件的检测失败，由此如果使用长曝光时间，则在所捕获的图像中，该事件会变模糊。 

上面问题的解决方案是使用两个或更多个相机，不同的相机具有不同的曝光时间。然而，这种已知的解决方案使用起来是昂贵和麻烦的。 

发明内容

本发明的目的是能够在基于场景中的运动水平优化捕获所述场景的图像帧序列中的图像帧的曝光方面做出改进。 

本发明的另一目的是能够在不使高运动事件模糊的情况下提高低运动事件或无运动事件的信噪比。 

为了实现这些目的以及从下面的描述中变得显而易见的其它目的，本发明提供了根据权利要求1的一种基于场景中的运动水平优化捕获场景的图像帧序列中的图像帧的曝光的方法；根据权利要求9的一种计算机可读记录介质，其上记录有程序，所述程序用于当在具有处理能力的计算设备上被执行时实现根据权利要求1所述的方法；根据权利要求10的一种设备，所述设备具有执行根据权利要求9所述的计算机可读记录介质的处理能力；以及根据权利要求11的一种相机，所述相机被设置为基于场景中的运动水平优化捕获所述场景的图像帧序列中的图像帧的曝光。本发明的更多实施例公开在从属权利要求中。 

具体地说，根据本发明的第一方面，提供了一种基于场景中的运动水平优化捕获场景的图像帧序列中的图像帧的曝光的方法。所述方法包括：根据来自多个图像传感器帧的图像数据，确定所述场景的包括不同运动水平的区域；确定所述图像帧的图像帧区域，其中图像帧区域对应于所述场景的至少一个区域；以及通过利用来自多个图像传感器帧的图像数据产生每个图像帧区域，通过对每个图像帧区域的区域特定曝光时间进行模拟，优化所述图像帧的曝光，其中用于产生特定图像帧区域的图像传感器帧的数量是基于所述场景的所述至少一个对应区域中的所述运动水平。 

据此，根据所述场景的对应区域中的所述运动水平，对不同图像帧区域的不同曝光时间进行模拟，从而优化所述图像帧的曝光。因此，可以通过利用长的模拟曝光时间捕获所述场景的具有低运动水平的区域，而可以通过利用短的曝光时间捕获所述场景的具有高运动水平的区域。因此，在可以增强静止目标或慢移动目标的细节的同时，还可以捕获快速移动目标，而不会模糊。图像帧的表示场景的静态区域的区域或者表示场景的仅具有低运动水平的区域的区域将具有增大的信噪比。这是由于图像帧的这些区域是通过利用来自多个图像传感器帧的图像数据产生。 

用于产生每个图像帧区域的所述图像数据可以是源自于所述场景的至少一个对应区域的图像数据。 

至少一个图像帧区域可以通过合并来自两个或更多个图像传感器帧的图像数据来产生。图像帧区域，其中利用来自两个或更多个图像传感器帧的图像数据产生所述图像帧区域，将表现出增大的信噪比。合并来自两个或更多个图像传感器帧的图像数据可以是通过对来自两个或更多个图像传感器帧的图像数据进行相加和/或求平均来实现。 

所述场景的区域中的所述运动水平可以与所述场景的所述区域中的运动事件的速度和/或所述场景的所述区域中的运动事件的数量对应。所述速度可以是所述场景的区域中的运动事件的真实速度或者所述场景的区域中的运动事件的平均速度。也就是说， 速度（真实速度或平均速度）可以用于定义运动的存在，移动目标的数量可以用于定义所述运动水平。可替代地，移动目标的数量可以定义运动的存在，而速度（平均速度或真实速度）可以定义所述运动水平。本领域的技术人员认识到，还可以设计用于定义运动水平的若干其它可替代方案，但是它们均给出表示有多少运动的某种测量手段。 

可以利用单位曝光时间捕获每个图像传感器帧。 

每个图像帧区域的区域特定曝光时间可以等于或长于每个图像传感器帧的所述单位曝光时间。 

可以利用所述多个图像传感器帧绘制所述场景的不同区域的运动水平的统计图，其中通过分析所述统计图可以进行所述场景的包括不同运动水平的区域的所述确定。通过利用所述统计图，将降低遗漏单个事件的可能性。 

根据本发明的第二方面，提供一种计算机可读记录介质，其上记录有程序，所述程序用于当在具有处理能力的设备上被执行时实现上面的方法。 

根据本发明的第三方面，提供一种设备，所述设备具有执行上面的计算机可读记录介质的处理能力。 

根据本发明的第四方面，提供一种相机，所述相机被设置为基于场景中的运动水平优化捕获所述场景的图像帧序列中的图像帧的曝光。所述相机包括：图像传感器，被设置为获取图像数据并且将所述图像数据输出为图像传感器帧；运动检测模块，被设置为根据来自多个图像传感器帧的图像数据，确定所述场景的包括不同运动水平的区域；图像帧产生模块，被设置为产生所述图像帧，其中所述图像帧产生模块被设置为将所述图像帧划分为图像帧区域，其中图像帧区域对应于所述场景的至少一个区域，其中所述图像帧产生模块被设置为通过利用来自多个图像传感器帧的图像数据产生每个图像帧区域，其中用于产生特定图像帧区域的图像传感器帧的数量是基于所述场景的对应区域中的所述运动水平，据此，所述图像帧产生模块被设置为根据所述场景的对应区域中的所述运动水平，模拟不同的图像帧区域的不同曝光时间，从而优化所述图像帧的曝光。 

所述图像帧产生模块可以被设置为通过利用源自于所述场景的至少一个对应区域的图像数据产生每个图像帧区域。 

所述图像帧产生模块可以被设置为通过合并来自两个或更多个图像传感器帧的图像数据产生至少一个图像帧区域，其中所述图像帧产生模块可以被设置为通过对来自两个或更多个图像传感器帧的图像数据进行相加和/或求平均，合并来自两个或更多个图像传感器帧的图像数据。 

所述运动检测模块可以被设置为通过利用所述多个图像传感器帧绘制所述场景的不同区域的运动水平的统计图，其中所述运动检测模块可以被设置为通过分析所述统计图确定所述场景的包括不同运动水平的区域。 

附图说明

现在将参照示出本发明实施例的附图更详细地描述本发明的这个方面及其它方面。不应认为附图将本发明局限于特定的实施例。相反，附图用于说明和理解本发明。 

图1是根据本发明实施例的数字网络相机的示意图。 

图2是示出根据本发明实施例的方法的示意流程图。 

具体实施方式

图1示出根据本发明实施例的相机1的示意图。相机1可以是例如数字网络摄像机。该相机可以例如用于监控用途。此外，相机1可以是静止相机或者具有摇摄/俯仰功能的相机。为了便于理解本发明，没有描述相机的与本发明无关的标准功能。相机1包括外壳2、镜头3、图像传感器4、运动检测模块6、图像帧产生模块8、存储器10和处理器12。 

图像传感器4被设置为获取代表由相机1观看的场景的图像数据以及被设置成将上述图像数据输出为图像传感器帧。图像传感器4可以是例如电荷耦合器件（CCD）、CMOS传感器或者用于记录入射光的类似器件。可替代地，图像传感器4可以是记录不可见光的传感器，例如测辐射热计或者IR检测器。 

通常，每个图像传感器帧具有单位曝光时间。单位曝光时间可以根据场景中的光照水平和/或根据场景中的整体运动水平而变化。 

运动检测模块6被设置为对从图像传感器4输出的图像传感器帧的图像数据进行分析。通常，对与构成视频序列的多个图像传感器帧对应的图像数据进行分析，以便确定运动的存在。运动检测的方法的示例包括对视频序列的图像体（image volume）中的空时变化进行分析。这样的方法对本领域的技术人员来说是众所周知的。这样的方法的非限定示例记载在US 2010/0080477中。 

根据对运动事件进行的运动检测方法以及运动事件在场景中出现的地方，可以得到这些事件的数量和/或这些运动事件的速度。在本申请的上下文中，术语“运动事件”应当理解为运动的存在。因此，可以确定在由相机观察的场景的不同区 域中的运动水平。在本申请的上下文中，场景的区域中的术语“运动水平”应当理解为场景的区域中的运动事件（即移动目标）的速度和/或场景的区域中的运动事件的数量。速度可以是场景的区域中的运动事件的真实速度，或者是场景的区域中的运动事件的平均速度。也就是说，速度（真实速度或平均速度）可以用于定义运动的存在，移动目标的数量可以用于定义运动的水平。可替代地，移动目标的数量可以定义运动的存在，而速度（真实速度或平均速度）可以定义运动的水平。本领域的技术人员认识到还可以设计用于定义运动水平的许多其它的替代方案，但是它们均提供表示有多少运动的某种测量手段。在本申请的上下文中，术语“场景的区域”应当理解为被设置为捕获多个图像的相机的场景的区域。该区域可以表示为相机的图像视图内的坐标，例如使用像素坐标系，但是还可以使用其它表示法。根据场景中的每个区域的大小以及场景内运动事件的范围，运动事件可覆盖场景中的不止一个区域，因此在一个实施例中，所确定的运动事件的存在可导致在场景中的一个以上的区域中存在。根据另一实施例，由相机观察的场景内的每个区域由相机的位置连同相机的摇摄/俯仰设置一起表示，相机的位置例如为一个或多个像素在相机的当前图像视图中的位置（即由上述多个图像传感器帧中的一个图像传感器帧内的像素坐标表示）。这适用于具有摇摄/俯仰功能的相机。因此，可以确定由摇摄/俯仰相机观察的场景内的区域。 

运动检测模块6被设置为根据来自多个图像传感器帧的图像数据，确定由相机观察的场景的包括不同运动水平的区域。从其最简单的形式上说，上述多个图像传感器帧有两个。然后，对于场景的在这两个图像传感器帧中显示的不同区域来说，根据上面列出的方法中的任一种方法或者根据用于通过比较两个图像传感器帧之间的图像数据确定场景的不同区域中的运动水平的任意其它适合的方法，确定运动水平。当确定不同区域的上述运动水平时，上面的方法以及用于确定场景的不同区域中的运动水平的其它方法中的某些方法可以利用两个以上的图像传感器帧。因此，运动检测模块6被设置为根据来自多个图像传感器帧的图像数据确定场景中的包括不同运动水平的区域。所以，根据运动水平，将由相机1观察的场景划分为多个区域。 

根据一个实施例，运动检测模块6被设置为通过利用多个图像传感器帧绘制场景中的不同区域的运动水平的统计图。该图可以随时间变化绘制或者由历史数据绘制而成。运动检测模块6进一步被设置为通过分析上述统计图，确定场景中的包括不同运动水平的区域。对于这个实施例来说，上述多个图像传感器帧是大量的图像传感器帧，例如是数分钟、数小时或数天内采集的图像传感器帧。使用 的正常帧速率是每秒60帧。但是如本领域的技术人员众所周知的，根据应用还可以使用其它帧速率。利于这些大量的图像传感器帧绘制由相机观察的场景的不同区域中的运动水平的统计图。 

运动水平的统计图是通过分析运动事件的多个图像传感器帧绘制而成。通常，用于表示运动事件的数据是来自运动检测模块6内的运动检测算法的输出数据。来自运动检测算法的输出数据可包括事件的速度以及场景中事件发生所在的区域。在分析多个图像传感器帧时得到的每个运动事件被记录在统计图中。因此，统计图被绘制为包括代表场景中的不同区域的运动水平的信息。这种统计图可以表示在3D直方图或频率图中。因此，与3D直方图或频率图中的场景的区域对应的每个柱（bin）包含运动水平，该运动水平是表示运动事件在那个特定位置已发生多少次和/或这些运动事件的速度的值。该速度可以是运动事件在该场景的区域内的真实速度或者可以是该运动事件在场景的区域内的平均速度。可替代地，统计图可以表示为数学表达式，例如为多项式的平面并且其中场景的每个区域中的运动水平是这个多项式在特定位置上的值。因此，场景的上述确定的每个区域中的运动水平表示运动事件通常出现的区域，还表示运动事件通常不出现的区域。这将通过下面的示例进一步被解释：设想相机监控路边商店的入口同时还“监视”商店前方的道路和人行道的某一部分。在这个场景中，通常在道路上有许多的车辆的运动，在人行道上有稍微少的人的运动，在涉及建筑物墙壁的图像部分上有更少的运动。因此，通过利用上面提到的关于场景的不同区域的运动水平的统计图，能够从统计角度得出：在与道路对应的区域中，运动水平高；在与人行道对应的区域中，运动水平较低；以及在与建筑物墙壁对应的区域中，运动水平更低。 

可以动态地更新统计图。也就是说，当获取更多图像数据时，可利用与来自新获取的图像传感器帧的新发现的运动事件有关的数据来随时间变化更新统计图。可以以多种方式触发更新。根据一个示例，当获取特定数量的图像数据时，触发更新。根据另一示例，自上次更新起经过某一时间段后，触发更新。更新可以例如是简单地利用关于源自于新获取和新分析的图像传感器帧的运动事件的数据来更新统计图。根据另一示例，可以通过删除过去的运动事件来进行更新。根据又一实施例，利用关于源自于新获取和新分析的图像传感器帧的事件的数据来更新统计图，并且从统计图中移除与过去的运动事件对应的数据。 

图像帧产生模块8被设置为产生捕获由相机1观察的场景的视频图像流中的图像帧序列。由图像帧产生模块8产生的每个图像帧被划分为多个区域，其中图像帧区域对应于场景的区域。图像帧产生模块8被设置为，通过利用来自一个或 多个图像传感器帧的图像数据，产生捕获场景的视频图像流中的上述图像帧序列中的图像帧的区域。用于产生上述图像帧的特定区域的图像传感器帧的数量是基于场景的对应区域中的运动水平。因此，根据场景的对应区域中的运动水平，对图像帧的不同区域的不同曝光时间进行模拟。由此优化上述图像帧的曝光。通过利用来自仅一个图像传感器帧或来自第一数量的几个图像传感器帧的图像数据，产生上述图像帧的具有高运动水平的区域。因此，对于这些区域来说，模拟短的曝光时间。而通过利用来自第二数量的图像传感器帧的图像数据，产生上述图像帧的具有低运动水平的区域。因此，对于这些区域来说，模拟长的曝光时间。上述第二数量的图像传感器帧多于上述第一数量的几个图像传感器帧。也就是说，用于产生特定图像帧区域的图像传感器帧的数量取决于场景的对应区域中的运动水平。因此，关于上述图像帧的具有低运动水平的第一区域的曝光时间长于关于图像帧的具有高运动水平的第二区域的第二曝光时间。 

用于模拟图像帧的区域中的曝光时间的图像传感器帧的数量可高于来自图像传感器的用于确定场景的包括不同运动水平的区域的多个传感器帧的数量。相反情况也是可能的，即来自图像传感器的用于模拟图像帧的区域中的曝光时间的图像传感器帧的数量可小于（或具有相等数量）用于确定场景的包括不同运动水平的区域的多个图像传感器帧的数量。 

如果用于产生图像帧的区域的图像传感器帧的数量是两个或两个以上，那么图像帧产生模块8被设置为，通过对来自该数量的图像传感器帧的图像数据进行相加来合并来自上述数量的图像传感器帧的图像数据，产生上述图像帧的区域。可替代地，图像帧产生模块8被设置为，通过对来自上述数量的图像传感器帧的图像数据求平均来合并来自上述数量的图像传感器帧的图像数据，产生上述图像帧的区域。通过对来自多个图像传感器帧的图像数据进行相加或者求平均来模拟较长曝光时间（所谓的图像层叠，今天广泛应用于天体摄影领域中），信噪比增大。 

可认识到，运动检测模块6和/或图像帧产生模块8可以通过利用硬件或软件实现。如果以软件方式实现，那么可以将软件记录在计算机可读记录介质上，例如记录在相机1的存储器10上，以便由相机1的处理器10执行。 

图2图示根据实施例的基于场景中的运动水平优化捕获场景的图像帧序列中图像帧的曝光的方法的示意性流程图。该方法包括下列步骤：步骤100，根据来自多个图像传感器帧的图像数据，确定场景中包括不同运动水平的区域，步骤102，确定上述图像帧的图像帧区域，其中图像帧区域对应于场景的至少一个区域；步 骤104，通过利用来自多个图像传感器帧的图像数据来产生每个图像帧区域，并通过模拟每个图像帧区域的区域特定曝光时间，优化图像帧的曝光，其中用于产生特定图像帧区域的图像传感器帧的数量是基于场景的至少一个对应区域中的运动水平。 

在步骤100中，对多个图像传感器帧进行分析并且检测运动事件。通常通过运动检测算法识别运动事件。确定场景的每个区域的运动事件的数量和/或场景的每个区域的运动事件的速度，以便得出场景的每个特定区域的运动水平。 

用于产生每个图像帧区域的图像数据是源自于场景的至少一个对应区域的图像数据。当利用来自两个或更多个图像传感器帧的图像数据时，通过对图像数据进行相加和/或求平均，合并图像数据。 

根据一个实施例，基于场景中的运动水平优化捕获场景的图像帧序列中的图像帧的曝光包括：根据来自多个图像传感器帧的图像数据，确定场景的包括第一运动水平的第一区域和场景的包括第二运动水平的第二区域；以及通过模拟上述图像帧的第一区域的第一曝光时间和上述图像帧的第二区域的第二曝光时间，优化图像帧的曝光，其中上述图像帧的第一区域对应于场景的第一区域，并且其中上述图像帧的第二区域对应于场景的第二区域。通过利用来自第一数量的图像传感器帧的图像数据产生上述图像帧的第一区域和通过利用来自第二数量的图像传感器帧的图像数据产生上述图像帧的第二区域进行曝光时间的模拟，其中用于产生上述图像帧的第一区域的图像传感器帧的第一数量是基于场景的第一区域中的运动水平，并且其中用于产生上述图像帧的第二区域的图像传感器帧的第二数量是基于场景的第二区域中的运动水平。用于产生图像帧的第一区域的图像数据是源自于场景的第一区域的图像数据，用于产生图像帧的第二区域的图像数据是源自于场景的第二区域的图像数据。第一运动水平低于第二运动水平，并且上述第一曝光时间长于上述第二曝光时间。用于产生上述图像帧的第一区域的图像传感器帧的第一数量是两个或两个以上，并且其中用于产生图像帧的第二区域的图像传感器帧的上述第二数量是一个或一个以上。第二模拟的曝光时间等于或长于上述多个图像传感器帧中每个单独的图像传感器帧的曝光时间。所有图像传感器帧均具有单位曝光时间。上述第一区域中的运动水平和上述第二区域中的运动水平可与对应区域中的运动事件的真实速度或平均速度和/或与对应区域中的运动事件的数量对应。当用于产生上述图像帧的区域的图像传感器帧的数量是两个或两个以上时，产生上述图像帧的区域是通过下面的方式进行的，即通过对来自该数量的图像传感器帧的图像数据进行相加和/或对来自该数量的图像传感器帧的图像数 据求平均，合并来自该数量的图像传感器帧的图像数据。 

归纳来说，根据本发明，对至少两个图像传感器帧进行比较，以便确定由相机观察或监控的场景的不同区域中的运动水平。基于场景的对应的不同区域中的运动水平，对捕获场景的视频图像流中的图像帧序列中的图像帧的曝光进行局部（在图像帧的区域中）优化。通过对图像帧的不同区域的不同曝光时间进行局部模拟，实现图像帧的曝光的优化。通过利用来自不同数量的图像传感器帧的图像数据产生上述图像帧的不同区域，并通过对上述图像帧的不同区域的不同曝光时间进行局部模拟，优化视频图像流中的上述图像帧序列的图像帧的曝光。用于特定区域的图像传感器帧的数量是基于场景的对应区域的运动水平。如果利用来自两个或更多个图像传感器帧的图像数据来产生图像帧的特定区域，那么通过对来自上述两个或更多个图像传感器帧的图像数据进行相加和/或求平均而进行合并。因此，可以基于场景的对应区域中的运动水平模拟不同图像帧区域的不同曝光时间，从而优化图像帧的曝光。 

本领域的技术人员认识到，本发明绝不局限于上面描述的实施例。 

例如，本发明可适用于数码相机和模拟相机。在当今的智能模拟相机中，在相机内进行数字图像处理，然后数字信号在离开相机以前被转换成模拟信号。此外，通过使用与模拟相机连接的图像A/D转换器，可以使用更简单的模拟相机。 

此外，相机1可以与网络连接，可以是独立的相机或者可以以其它方式在系统内连接。 

另外，多个图像可以是静止图像或者是运动图像或者是静止图像和运动图像的合并。 

另外，本发明不必须在相机内实现，相反其可以在包括相机和处理单元的相机系统内实现。因此，相机例如通过网络与处理单元连接。根据该实施例，相机被设置为捕获和产生上述图像传感器帧，处理单元被设置为处理图像数据。因此，处理单元包括上述运动检测模块6、上述图像帧产生模块8、上述存储器10和上述处理器12。多个相机可以与处理单元连接，其中处理单元被设置为处理由多个相机中每个相机捕获的图像。 

因此，在所附权利要求的范围内进行多种修改和变型是可能的。