视频中覆盖元素的适应性放置

摘要

一种用于在数字视频图像中放置覆盖元素，从而使图像的期望观看区域不被覆盖元素所阻碍的方法，该方法包括：从视频中抽取帧，每一帧都定义了具有一个或者多个期望观看区域的图像。对于每一帧，在图像中选择区域用于放置覆盖元素，并且为所选择的区域确定覆盖元素覆盖在期望的观看区域的百分比。如果百分比低于所允许的覆盖百分比的预定最大值，覆盖元素就放置在所选择的区域。如果不是，就选择图像中的一个或者多个其它的区域，和/或改变覆盖元素的尺寸，形状，宽高比，直到找到在图像中使期望的观看区域的阻碍最小的位置和/或尺寸，形状，宽高比为止。还有，一种诸如视频接收机或视频发射机的用于在数字视频的图像中放置覆盖元素，从而使得图像的期望观看区域不被覆盖元素所阻碍的设备。在这样的设备中，帧抽取器从视频中抽取帧，每一帧都定义了具有至少一个期望观看区域的图像。图像处理器，分析这些图像帧，并在这些图像帧中识别期望的观看区域。覆盖元素定位器，以使期望观看图像的阻碍最小化的方式将覆盖元素放置在这些图像帧中。

说明书

技术领域

本发明涉及电视系统。尤其是，本发明涉及用于在视频中适应地放置覆盖元素的方法和设备。

发明背景

在电视广播的产生和显示过程中，视频图像具有多个覆盖在其区域内的元素。这样的覆盖元素的一个典型的例子是一个封闭字幕窗口，其通常位于图像的顶端或底端。其它的覆盖单元可以包括表示所显示的人物，记分板，新的订单，标识等的字幕。

图像中覆盖元素的精确的位置通常是随意的，并且通常是观众非常期望看到的图像的阻挡区域，例如，文本或者人物的脸。这是由于在模拟领域的情况下，没有实用的技术用于检测语义特征并且适应性的调整图像中覆盖元素的放置。

因此，在封闭字幕窗口的情况下，在图像的顶端或者底端的放置目前是以手动选择方法进行的。结果是，尤其在现场直播当中，封闭字幕或者其它的覆盖物或者对象通常被放置在图像的期望区域中，因此产生了同样的阻碍(阻挡)。

因此，需要用于适应性地将覆盖元素放置在视频图像中的方法和设备，从而使得图像的期望区域不被阻碍。

发明内容

根据本发明的一个方面，一种用于在数字视频图像中放置覆盖元素，从而使图像的期望观看区域不被阻碍的方法，包括：从视频中抽取帧，每一帧都定义了一个具有一个或者多个期望观看区域的图像，该区域能够通过检测脸或者文本来识别，或者通过测量这些帧的不同区域之间的运动活性来识别。对于每一帧，区域是选出来在图像中放置覆盖元素的，而且对于选出的区域，确定覆盖元素覆盖在期望的观看区域的百分比。选出的区域可以是在多个预定位置中的一个随意选择的位置。如果百分比低于所允许的覆盖百分比的预定最大值，覆盖元素就被放置在所选出的区域。如果不是，图像中的一个或者多个其它的区域就被选择并且如上述所述的被估算，直到找到图像中使期望的观看图像的阻碍最小的区域为止。这些其它的区域可以是其它的预定位置或者使用其它的选择方案所选择出来的位置中的一个。此外，阻碍可以通过改变覆盖元素的尺寸，形状，宽高比等来最小化，而不用改变其在帧中的位置。还有，阻塞可以通过改变覆盖元素的位置，同时改变其尺寸，形状，宽高比等来最小化。

根据本发明的另一个方面，一种用于在数字视频图像中放置覆盖元素，从而使图像中的期望观看区域不被覆盖元素所阻碍的设备，诸如一个视频发射机或者视频接收机，包括：一个帧抽取器，用于从视频中抽取帧，每一帧都定义了一个具有至少一个期望观看区域的图像，该区域能够通过检测脸或者文本来识别，或者通过测量这些帧的不同区域之间的运动活性来识别。一个图像处理器，分析图像帧并且在图像帧中识别期望观看区域。一个覆盖元素定位器，用于将覆盖元素放置在图像帧中，放置是以使期望观看的图像的阻碍最小的方式进行的。

附图说明

本发明的优点，特点和各种附加的特征将在参照附图对实施例的详尽描述中看得更清楚。

附图1是一个表明根据本发明的一个实施例的覆盖元素定位设备的方框图；

附图2表明根据本发明的一个实施例所处理的暂时视频段的代表帧；以及

附图3是表明根据本发明的一个实施例的方法的流程图。

附图4是表明根据本发明的一个实施例的视频接收机设备的方框图；以及

附图5是表明根据本发明的一个实施例的视频发射机设备的方框图。

本发明的详细描述

本发明是一种用于将诸如封闭字幕窗口的覆盖元素适应性地放置在视频图像中，从而使得观众感兴趣的图像区域不被覆盖元素阻碍的方法和设备。为了描述本发明的原理，这里所讨论的期望的图像区域包括人的脸和文本。但是，应当明白，本发明对于视频图像中观众感兴趣的其它图像区域同等适用。

除了封闭字幕窗口，覆盖元素还可以包括屏上命令，频道识别信息，或者覆盖在诸如电视接收机的显示设备所显示的视频图像上的任何其他元素(实际上通常为正文)。本发明也可以应用到电视广播系统，该系统将诸如显示的人物，记分板，股票，新的订单，标识以及在将被广播的视频数据流中的其它图像的字幕的元素进行覆盖。

覆盖元素的适应性的放置也可以通过通常的脸部和文本检测技术来实现，通常的检测技术是在暂时视频段的代表帧中检测脸部和文本图像区域(或者其它期望的图像区域)。覆盖元素的适应性的放置可以通过使用通常的运动测量技术来实现，通常的运动测量技术是在暂时视频段的代表帧中的不同区域测量运动活性。这样的技术在K.Peker和A.Divakaran所著的“视频段的运动活性强度的自动测量”，Proc.SPIE有关多媒体数据库的存储和检索的会议，SanJose，CA，2001年1月，以及Mohamed AbdelMottaleb等人1998年12月11日提交的序列号为09/210415的美国专利申请，题目为“用于在数字图像中检测脸部的方法”，它们的公开在此引入作为参考。根据该基于运动的技术，具有较小的运动活性的区域通常被认为比具有较高的运动活性的区域更合适用于覆盖元素。运动活性能够在压缩MPEG域或者在未压缩的域中计算。对于压缩的视频，在一个区域的运动活性能够按照该区域的运动补偿矢量的幅度的标准偏移来计算。对于未压缩的视频，该区域的运动活性能够使用光学流来确定。

随后，利用上述检测方法获得的期望图像区域数据在本发明中被使用，用于确定将覆盖元素放置在帧中的最佳方式，即，将帧的期望图像区域的阻碍最小化的放置方式。

现在参照附图进行描述，首先看方框图1，示出了一个根据本发明的一个实施例的用于将视频中期望图像区域被覆盖元素阻碍最小化的设备100。设备100包括一个帧抽取器101，一个图像处理器102以及一个覆盖元素窗口定位器103。帧抽取器101从视频的暂时视频段中抽取代表帧。图像处理器102利用通常的检测方法，例如先前描述的脸和/或文本检测技术，或基于运动的检测技术，来分析这些帧并且在这些帧中识别适于放置覆盖元素的区域。覆盖元素定位器103使用图像区域数据以使这些帧中的期望图像区域的阻碍最小化的方式在这些帧中放置覆盖元素。图2是一个表明一个覆盖元素204的六个典型定位或位置203a-203f的示例帧200，该帧可以包括具有一行或者多行的封闭字幕窗口(图中示出了一行的封闭字幕窗口)。在上部候选区域201的箭头203a-203c表示这些定位中的三个，在下部候选区域204的箭头203d-203f表示帧200中的这些定位中的其它三个。定位203a-203f表示能够被用来适应性地放置一个覆盖元素204从而使帧200中的期望图像区域的阻碍最小化的预定位置。应当注意帧200中的其它定位也可以用于覆盖元素204。如图所示，覆盖元素204被放置在上部候选区域201的定位203b。这六个定位中的最佳的一个是根据本发明的原理，通过计算每一个位置的阻碍比，并根据它们的阻碍比对位置进行排队而选择的。阻碍比是封闭字幕窗口204覆盖期望的图像区域或者图像帧的区域的百分比。具有最不可能的阻碍比，并且能够避免封闭字幕窗口显著的突然帧到帧移动的位置被选择用于确定此位置。覆盖元素的候选位置能够以另外的一种方式被选择，而不用使用一组预定的位置。例如，在本发明的另一个实施例中，候选位置可以这样来定位，就是从图像的第一个位置开始并且将覆盖元素的位置移动一定的数量，直到找到使该帧中的期望图像区域的阻碍最小化的位置。应当注意，候选覆盖元素位置能够在图像中的任何地方确定。例如，覆盖元素位置可以定位在图像的两侧，或者在图像中正在说话的人的下面。

在本发明的另一个实施例中，阻碍可以通过改变覆盖元素的尺寸，形状，宽高比等来实现最小化，而不需要改变其在帧中的位置。在本发明又一个实施例中，阻碍可以通过改变覆盖元素的位置，同时改变其尺寸，形状，宽高比等来实现最小化。

上面描述的方法是在视频的每一个暂时视频段的代表帧上执行的。在每一个上部或者下部候选区域内的帧到帧位置的改变可以使用任何合适的缓冲技术来逐步地实现，所述的缓冲技术能够平滑位置改变并且使他们变得流畅和连续，这样覆盖元素就不会呈现不期望的跳动或者在图像的位置之间的突然移动。一种典型的能够被用来平滑位置，尺寸，形状和/或宽高比改变的缓冲技术包括在一段时间内在两个位置，尺寸，形状和/或宽高比之间的内插。

图3是一个表明本发明中的方法的流程图，其可以由图1所示的设备来执行。在步骤300中，感兴趣的视频(关键帧)的一个暂时视频段的代表帧被抽取。期望区域的检测在步骤301中执行，以获得关于包含有期望的观看区域的图像中的定位的数据，从而能够识别这些帧中合适放置覆盖元素的区域。在脸和/或文本检测的情况下，如果数字视频流已经根据MPEG-4或MPEG-7处理，脸和/或文本数据或许已经存在，步骤301就可被省略。

在步骤302中，一帧中用于覆盖元素的第一区域被选择出来用于在位置，尺寸，形状，宽高比等方面的估算。在步骤303中，关于期望图像区域的定位的数据被用于判断第一区域的阻碍比。包括多于一种类型的例如脸和文本，或高运动活性的期望图像特征的图像区域的阻碍比，能够通过使用下面的公式计算组合阻碍比来确定：

组合阻碍比＝C1*特征1_阻碍+C2*特征2_阻碍+C3*特征3_运动活性级

这里：

C1是关于图像的特征1(脸)区域的重要性的系数或加权因子；

特征1_阻碍是特征1区域被覆盖元素的当前位置覆盖的百分比；

C2是关于图像的特征2(文本)区域的重要性的系数或加权因子；

特征2_阻碍是特征2区域被覆盖元素的当前位置覆盖的百分比；以及

C3是关于图像的特征3(高运动活性)区域的重要性的系数或加权因子。

系数C1，C2和C3的使用提供了将重要性分配到特征1(脸)，特征2(文本)和特征3(运动活性)的阻碍数据的灵活性。如果期望的图像区域仅是脸或者文本，只需要计算覆盖元素覆盖帧中的脸或文本图像的百分比。在步骤304中，需要判断第一个覆盖元素区域的阻碍比是否大于一个可接受的预定的门限阻碍比。如果大于，那么在步骤305中，覆盖元素的区域移动到一个新的区域，然后对于新的区域执行步骤303和304。到新区域的移动可以通过使用图2所示的预定的列表来实现，或者对当前的区域进行平移，按比例缩放或者旋转。这一过程一直持续到该帧中的期望图像区域的阻碍最小化的区域被找到。可以进行区域变化，这样可能避免刺激观众的帧到帧激变，如上所述。

一旦覆盖元素已经被合适的放置在一帧中，在步骤306中，就选择一个接下来的代表帧用来处理。在步骤307中，判断下一帧是否是用于放置覆盖元素的视频中的最后一帧。如果是，在步骤308中，方法结束。如果不是，在步骤309中，在下一帧中选择第一区域，并且步骤303，304等执行。

本发明的原理可以在任何类型的视频接收设备中执行，例如电视接收机，电视机顶盒，卡式录像机。本发明的原理也可以在视频发射设备中执行，例如在电视广播中使用的设备。本发明可以通过软件或者软件和硬件共同来完成。

图4表明了根据本发明的原理制成的视频接收设备，诸如电视接收机或机顶盒。接收机设备410用于接收发送的视频信号，例如电视广播信号，其中至少一个信号包括一个视频和一个或者多个覆盖元素，其是诸如电视广播发射器的传统的视频发射器400所发射的信号。接收机设备可以包括任何合适的信号接收装置406，例如一个天线，用于接收视频信号。一个包括有一个可调谐接收系统，例如一个电视接收机的信号隔离器401，用于将一个视频信号从发射的其它视频信号中隔开。一个帧抽取器402，用于从隔离信号的视频部分的暂时视频段中抽取代表帧。一个图像处理器403，利用传统的检测技术，例如先前描述的脸和/或文本检测技术或基于运动的检测技术，分析这些帧并且在这些帧中识别合适的区域用于放置覆盖信息元素。一个覆盖元素定位器404，利用图像区域数据以使这些帧中期望的图像区域的阻碍最小化的方式在这些帧中放置覆盖元素。一个显示设备405，用于显示具有覆盖元素的帧。显示设备405可以是一台电视机，一个计算机显示器，一个液晶显示器等的显示屏。

图5表明了根据本发明的原理制成的典型的发射机设备500，诸如一个电视广播发射机。发射机设备500用于发射一个视频信号，该视频信号包括具有选择放置其中的一个或者多个覆盖元素的视频图像，覆盖元素的选择使图像的期望观看区域不会被一个或者多个覆盖元素所阻碍。发射设备500包括一个视频产生器501，用于产生包括视频图像的视频。一个帧抽取器502，用于从视频产生器501所产生的视频的暂时视频段中抽取代表帧。一个图像处理器503，利用传统的检测技术，例如先前描述的脸和/或文本检测技术或基于运动的检测技术，分析这些帧并且在这些帧中识别合适的区域用于放置覆盖信息元素。一个覆盖元素产生器505，用于产生一个或者多个选择性地放置在视频图像中的覆盖元素。一个覆盖元素定位器504，利用图像区域数据确定在这些帧中放置覆盖元素的位置，这种选择放置是以使这些帧中期望图像区域的阻碍最小化的方式进行的。有一个传统的信号发射器506耦合到一个传统的发射装置507上，例如一个天线，有线分配网络，或者一个卫星网络，用于向一个或者多个远程电视接收设备508，发射具有放置在其图像中的覆盖元素的视频的一个视频信号。覆盖元素定位器504确定放置的位置并且将该信息与实际的图像数据一同发射。

上面的发明是参照以上的实施例进行描述的，可以做出各种不背离本发明的精神的不同的修改和变形。因此，这样的修改和变形也认为是落在本发明所附的权利要求的范围之内。

本发明可以总结为如下的内容。

一种在数字视频图像中放置覆盖元素从而使得图像的期望观看区域不被覆盖元素所阻碍的方法，该方法包括从视频中抽取帧，每一帧都定义了一个具有一个或者多个期望观看区域的图像。对于每一帧，可以在图像中选择区域用于放置覆盖元素，并且对所选择的区域确定覆盖元素覆盖期望观看区域的百分比。如果百分比低于所允许的覆盖百分比的预定最大值，覆盖元素就放置在所选择的区域。如果不是，就选择图像中的一个或者多个其它的区域，和/或改变覆盖元素的尺寸，形状，宽高比，直到找到图像中使期望的观看图像的阻碍最小的位置和/或尺寸，形状，宽高比为止。还有，一种诸如视频接收机或视频发射机的用于在数字视频的图像中放置覆盖元素，从而使得图像的期望观看区域不被覆盖元素所阻碍的设备。在这样的设备中，一个帧抽取器从视频中抽取帧，每一帧都表示定义了具有至少一个期望观看区域的图像。一个图像处理器，分析这些图像帧，并在这些图像帧中识别期望的观看区域。一个覆盖元素定位器，以使期望观看区域的阻碍最小化的方式将覆盖元素放置在这些图像帧中。