基于视频内容分析的画中画重新定位和/或大小调整

摘要

一种具有画中画(PIP)显示和处理器的诸如电视机的视频显示装置。处理器检测被PIP覆盖的主显示图像中出现的诸如色彩/结构/事件/行为的提示。处理器利用这些提示来确定主显示图像中重要和相对不重要的部分。然后,处理器确定PIP的显示特性的变化是否会导致PIP遮蔽较少的主显示图像的重要部分,如果是这样,则处理器改变PIP的显示特性。可由处理器改变的PIP的显示特性包括PIP的位置、大小和透明度。处理器还可利用所检测到的提示的组合来确定主显示图像的重要和相对不重要的部分。处理器还可改变PIP的显示特性的组合。

说明书

本发明在广义上涉及一种提高民用电视使用率的方法和装置。具体地说，本发明涉及一种响应位于下方的视频内容的特征的画中画显示。

对于电视机来说，具有在电视显示屏上同时显示多于一个视频显示的能力是很常见的。通常来说，显示屏被分成两个或多个部分，其中显示屏的主要部分专门用于第一视频数据流(如给定的电视频道)。同时在一个显示窗中显示第二视频数据流，这个显示窗作为一个插入部分显示在第一数据流的显示屏上。此插入窗口通常被称为画中画显示(“PIP”)。这种PIP可为电视观众提供同时监看两个或多个视频数据流的功能。例如，当某一给定电视频道上开始播放商业广告，观众希望在播放商业广告期间“浏览”一下其它选择的电视频道，然而又不愿错过商业广告后的节目时，这种PIP是合乎需要的。在其它时候，观众可能希望搜索其它的视频内容，或只是观看一下其它的内容而不错过所选另一频道上的内容。

在任一情况下，PIP具有的问题在于，通常是在覆盖于主显示之上的插入窗口中显示PIP。位于上方的PIP具有会遮蔽一部分主显示的不良效果。

在先有技术的系统中，可调整PIP的大小，使得用户可决定哪种大小能使PIP避免遮蔽位于下方的视频图像的部分。在其它系统中，用户可将PIP移动到显示屏上预先选择的部分或可改变选择的部分，然而，由于位于下方的视频图像随时间变化，用户难以实时地操作这些系统。

在其它系统中，PIP可响应于在一帧视频图像和下一帧视频图像之间所检测到的运动而被自动地重新定位到主显示的一部分上。然而，这种系统具有很多缺点，即很多时候屏幕的许多部分均在运动，然而没有系统能够分辨出哪一部分更重要或较不重要。另外，许多视频片段具有其中很少运动或没有运动的对话部分，视频片段的这些部分可能是视频片段中所关心的主要区域。在先有技术的系统中，视频片段的背景部分中的运动可导致PIP被重新定位到其它部分上，虽然此其它部分可能没有太多的相对运动，但是它们却可能比较重要。

因此，本发明的一个目的是克服先有技术的缺点。

本发明是诸如具有画中画(PIP)显示和处理器的电视机的视频显示装置。处理器检测显示于被PIP所覆盖的主显示图像中的提示，例如色彩/结构/事件/行为等。处理器利用这些提示来确定主显示图像的重要和相对不重要的部分。然后，处理器确定PIP显示特性中的变化是否会导致PIP遮蔽较少的主显示图像的重要部分，如果是这样，那么处理器改变PIP的显示特性。可由处理器改变的PIP显示特性包括PIP的位置、大小和透明度。处理器还可利用所检测到的提示的组合来确定主显示图像的重要和相对不重要的部分。处理器还可改变PIP显示特性的组合。

以下为本发明实施例的描述，当结合附图一起考虑时，将证明上述及其它特征和优点。应该清楚地理解，所包括的附图是用于说明性的目的而不代表本发明的范围。可结合附图来最佳地理解本发明，在附图中：

图1显示了根据本发明一个实施例的示例性系统；

图2A显示了在PIP和主显示区中的含有示例性物体的显示的放大视图；

图2B显示了根据本发明一个实施例的在重新定位的PIP和主显示区中的含有示例性物体的显示的放大视图；

图2C显示了根据本发明一个实施例的在调整了大小的PIP和主显示区中的含有示例性物体的显示的放大视图；以及

图3显示了说明根据本发明的实施例的操作的流程图。

在下面的讨论中，将示例性地讨论关于特定的实施例或系统的某些术语以便讨论。例如，下文中将描述识别的事件/行为，它们代表处理器可用来根据本发明进行操作的提示。因此，如本领域的普通技术人员容易清楚的那样，术语“提示”应理解为包括其它相似的可以容易地应用本发明的色彩/结构/事件/行为。

图1显示了根据本发明一个实施例的示例性系统100，系统100包括在操作上耦合到处理器120的显示器110和远程控制装置130。处理器120和远程控制装置130如本领域中已知的那样通过在操作上耦合到处理器120的红外(IP)接收机125和在操作上耦合到远程控制装置130的IP发射机131而在操作上相耦合。

显示器110可以是电视接收机，或者可以再现视听内容以供用户观看和收听的其它装置。处理器120能够如本领域的普通技术人员所知的那样在显示器110上产生画中画显示(PIP)。另外，处理器120能够根据本发明来提供和定位PIP显示。

下面将参考图2A、2B、2C和3来描述图1所示的示例性系统的操作。远程控制装置130包括用于根据本发明进行操作的按钮。具体地说，远程控制装置130包括PIP按钮134，交换按钮132，动态PIP启动按钮136A，动态PIP模式选择按钮136B以及PIP位置控制按钮137A、137B、137C、137D。PIP按钮134启动PIP功能，从而在显示器110上打开PIP 210A(例如见图2A)。交换按钮132可以交换显示器110上的PIP 210A和主显示部分210B上显示的各个图像。PIP位置控制按钮137A、137B、137C、137D可使用户在显示器110的可选部分上人工地重新定位PIP 210A。远程控制130还可以包括如本领域已知的其它控制按钮，例如频道选择器按钮139A、139B和138A、138B，分别用于为PIP 210A和主显示210B选择视频数据流。

另外，虽然示例性地将按钮138A、138B、139A、139B显示为频道选择按钮，但如本领域的普通技术人员所清楚的那样，按钮138A、138B、139A、139B也可从来自一个或多个其它视频源的多个视频数据流中进行选择。例如，任一视频数据流(如PIP 210A和主显示区210B)的一个源可以是广播视频数据流，而另一源可以是存储装置。存储装置可以是磁带存储装置(如VHS模拟带)、诸如硬驱动器的数字存储装置、光学存储装置等，或者是用于存储视频数据流的任何其它类型的已知装置。实际上，根据本发明可以利用用于PIP210A和主显示区210B中任一个的视频数据流的任何源，并不背离本发明的范围。

图2A显示了在初始时间T1时显示器110的放大视图。在图2A中，所示显示器110具有显示了第二显示图像的PIP 210A，其中含有示例性的物体如太阳物体220和卡车物体230。此外，所示显示器110具有显示了主显示图像的主显示部分210B，主显示部分210B中包括一些示例性物体，其中包括有正在对话的人物240A、240B和飞机物体250。另外，主显示区210B还具有天空区域260和道路区域270。在PIP 210A和主显示部分210B中只显示了上述物体和区域，以便简化以下讨论。应该清楚地理解，虽然本发明是针对所示物体描述的，但是本领域的普通技术人员可以容易地理解，在任一或两个显示部分中可出现其它的图像元素，并且仍在本发明的范围内。

在图2A中，在PIP 210A中的第二视频图像显示为遮蔽了主显示图像中正在对话人物240A、240B。图2B为在时间T2时显示器110的放大视图，时间T2在时间T1之后，是用户已按下动态PIP启动按钮136A后的某一时间。如图2B所示，已经相对于位于下方的主显示图像而在主显示210B上自动地重新定位了PIP 210A。根据本发明进行操作的处理器120执行PIP 210A的这种自动重新定位。

图2C显示了在时间T1之后的某一时间T3时根据本发明的另一实施例的当前发明的操作。在图2C中，处理器120检测到PIP 210A遮蔽着位于下方的例如图2A所示的主显示图像的重要部分，并响应于此检测而调整PIP 210A的大小。如本领域的普通技术人员所容易清楚的那样，根据本发明，处理器120可以响应于用户按下动态PIP启动按钮136A而执行对PIP 210A重新定位和调节大小中的任一项或两项。另外，此后PIP 210A可由处理器120连续地重新定位，直到用户通过再次按下动态PIP启动按钮136A来取消选定动态PIP特征为止，这将在下文中进一步描述。

在这里将参考图3对本发明的操作进行进一步描述，图3显示了根据本发明一个实施例的流程图300。如图3的流程图所示，在动作310期间，用户例如通过压下PIP按钮134来启动PIP。在本发明的一个实施例中，由PIP按钮134所启动的PIP是传统的PIP，因此，它可能遮蔽一部分位于下方的视频图像，例如如图2A所示。之后，在动作320期间，用户压下动态PIP启动按钮136A，从而如下文中将描述的那样启动根据本发明的动态PIP(特征)。应该理解的是在其它实施例中，此动态PIP可通过按下PIP按钮134(例如在动作310期间作为缺省PIP)来自动地启动，或者能够通过多次压下PIP按钮134而工作。

在任何情况下，在动态PIP启动后，在动作330中，处理器120对下方的主显示图像(第一视频数据流)所选择的输入视频数据流进行分析。处理器分析第一视频数据流的提示，确定对观众来说可能是重要或不重要的部分。在根据本发明的一个实施例中，处理器120可分析第一视频数据流的一个或多个独立的帧以寻找提示、例如具有连续色彩或结构的视频图像的区域。这些连续色彩或结构的区域可以表示视频图像的背景部分，如天空、地面、道路、墙等部分，所述背景部分通常可能不是视频图像中的核心重要部分，或者换句话说，可能是相对不重要的部分。

在先有技术中存在多种已知的用于检测这些提示的方法。例如在通过引用结合于本文中的John C.Russ的“图象处理手册”中，描述了多种用于检测视频图像的连续色彩/结构部分的技术。另外，在通过引用结合于本文的(Computer Vision Third Asian Conference onComputer Vision Proceedings，Vol.1，Page 607-614)中题为“利用混色模型的分段和跟踪”的文章中，描述了采用混色模型来在背景场景(如不重要的)和前景场景(如重要的)之间进行区分的方法。上述这些方法只是一些已知的方法，也被称为分段方法，它是指根据这些已检测到的连接色彩/结构来对视频图像进行分段的能力。根据本发明，处理器120可适当地利用这些已知方法中的任一种以及任何其它已知方法来识别提示，从而根据所选的动态PIP模式来确定PIP 210A的适当位置和/或大小。

在处理器120结束了对第一视频数据流的分析并识别出主显示图像相对重要/不重要的部分后，处理器120为PIP 210A确定适当的位置和/或大小。之后，在动作340中，处理器120对PIP进行重新定位和/或调整大小，如图2B、2C之一所示。

当用户选择了只对PIP 210A重新定位的模式、如用户通过压下PIP模式选择按钮136B进行选择来确定时，处理器120将为PIP 210A确定最适宜的覆盖主显示图像210B的位置。PIP 210A的可能位置可以在显示器110的任何部分上变化，或者存在处理器120可从中选择的两个或多个预定位置。通常来说，PIP 210A的适当位置是显示器110的外边界周围的某一位置。

当用户选择了只调整PIP大小的模式时，处理器120将为PIP210A确定一个覆盖主显示图像210B的适当大小。PIP 210A可能的大小可以在两个或多个大小之中，并可由处理器120根据被PIP 210A覆盖的主显示图像的内容来确定。当用户选择了可对PIP进行重新定位和调整大小的模式时，处理器将为PIP 210A确定覆盖主显示图像210B的适当位置和大小。在这种情况下，处理器120将根据处理器120所确定的可用区域的大小来确定PIP 210A的适当大小。

在适当的位置具有大区域的非关键内容的情况下，处理器120将为PIP 210A选择大尺寸。在适当的位置只具有小区域的非关键内容的情况下，处理器120将为PIP 210A选择小尺寸。在PIP 210A存在多个可能大小的情况下，处理器120可为PIP 210A选择其它的大小，如根据非关键内容的区域大小来确定的尺寸。

一旦对PIP 210A进行了重新定位和/或调整了PIP 210A的大小，之后在动作350中，处理器120将PIP 210A保持在那个位置和/或大小一段时间间隔。此时段将有助于避免因过于频繁的重新定位PIP210A和/或调整PIP 210A大小而出现使用户无法观看PIP 210A或主显示区210B这种不希望发生的后果。在一个实施例中，处理器120可在回到动作330之前等待一段预定的时间间隔。在其它实施例中，处理器120可等待到确定在主显示图像中已发生了场景转换或其它变化。在先有技术中存在多种确定在视频数据流中发生诸如场景转换的事件的时间的方法。例如，当例如电影从动作片断转变到谈话片断时，处理器120可确定在视频数据流的图像中出现的相关运动的变化。或者，处理器120可检测视频数据流的帧之间的黑帧，因为在场景转换之间经常插入黑帧。处理器120可以采用这些和任何其它的已知方法来确定返回到动作330的适当时间。

最后，以上讨论只计划用于说明本发明。在不背离下述权利要求的精神和范围的前提下，本领域的普通技术人员可以设计出大量的其它实施例。例如，虽然所示处理器120是与显示器110分开的，但是显然，这两者可组合于单个显示装置如电视机中。另外，处理器可以是根据本发明工作的专用处理器，或者是只有多种功能中的一种用于根据本发明进行工作的通用处理器。另外，处理器可利用程序部分来操作，或可以是利用专用或通用集成电路的硬件装置。

另外，虽然示例性描述的处理器为检测诸如第一视频数据流的连续色彩或结构部分的提示，然而根据本发明，在第一视频数据流中只有某些提示可被检测并被处理器利用。例如，在视频片断如电影中，人或人群经常地占据视频片断中引起用户重视的重要区域。因此，处理器也可检测出现在主视频显示图像中的人或人群来作为提示，之后对PIP进行重新定位和/或调整大小，使其不会遮蔽所述人或人群。在先有技术中，存在多种已知方法来检测诸如人物、面孔、人的体形等的提示，处理器可以适当地利用这些提示来根据本发明进行工作。

在其它实施例中，根据本发明进行操作的处理器可检测其它提示，例如通常在给定视频片断中出现的特定行为和/或事件。例如，通过引用结合于本文中的题为“基于选项选择的手势的方法和系统”的欧洲专利WO9932959显示了用于检测人物的头部以识别在视频图像中人物出现的方法。通过引用结合于本文中的题为“调节展示给观众的信息内容的方法和装置”的美国专利申请No.09/603532(代理人档案号No.US000149)显示了检测有关人群和观众的信息以调节显示内容的方法。包括在(Proceeding of the 1998 IEEE InternationalConference on Image Processing，Pages 127-130，Vol.1)中题为“检测彩色图象中人的面孔”的文章；包括在(Computer Vision and PatternRecognition Second Workshop of Video Surveillance)中的题为“Hydra：利用轮廓检测和跟踪多个人物”的文章；包括在(Sixth InternationalConference on Computer Vision，Pages 646-651)中题为“面部监视”的文章、包括在(Pattern Recognition The Journal of the Pattern RecognitionSociety，Volume 29 number 11，Page 1877-1889)中题为“利用运动和颜色信息自动定位复杂背景中的人脸”的文章；以及包括在(IEEEComputer Society Conference on Computer Vision and PatternRecognition，Volume 2，Pages 333-339)中题为“利用基于时间的同时出现的自动分层”的文章；所有这些文章均通过引用结合于本文中，它们仅说明一些本领域中用于检测提示的已知方法，处理器可利用这些提示根据本发明进行操作。

一旦检测到这些特定的行为，处理器就可重新定位PIP和/或调整PIP的大小，使其不会遮蔽这些行为和/或事件。例如，在显示器110上图2A所示的图像中，在主视频显示图像中存在谈话的人物240A、240B和飞机物体250。在诸如图2A所示图像的图像中，通常最关心的区域是谈话的人物240A、240B，而不是飞机物体250，飞机物体250可能只是在图像的背景中出现而已。在这种情况下，处理器可利用已知的图像分类技术来识别和区分谈话的人物240A、240B和飞机物体250。之后，在图像中没有其它部分合适的情况下，处理器可确定用PIP覆盖飞机物体250。

在运动图像片断中，运动员所处的图像部分通常为重要区域。有问题的是，在这些片断中通常也存在着观众人群。在这种情况下，处理器可利用已知的基于形状的技术作为提示来检测某些人体形状(如运动员)，将其作为重要区域，而忽略其它的人体形状(如观众)。通常，可以识别多种视频片断如运动视频片断、新闻视频片断、动作视频片断等的重要和分类事件/行为。在先有技术中已经做了许多工作来识别这些提示，从而识别事件和/或行为，处理器可利用这些提示来根据本发明进行操作。

另外，在上述实施例或其它实施例中，处理器可采用上述提示的组合来确定主视频图像的哪些部分重要和不重要。显然，重要部分不应被PIP所遮蔽，而不重要的部分可以被PIP所遮蔽。例如，对于运动事件来说，处理器可利用人的检测结合所检测到的人(如运动员对观众)的相对大小和/或所检测到的人的相对运动来确定主视频图像的重要部分。显然，处理器可以利用上述提示的任何两个或多个组合来根据本发明进行操作。

另外，尽管本发明是针对改变PIP的位置或大小来示例性描述的，但是显然，根据本发明的操作也可改变其它PIP显示特性。例如，通过引用结合于本文中的美国专利申请No.09/734778(代理人档案号No.701185)显示并描述了使PIP变成透明的方法。显然，响应于处理器检测到主显示图像的一个重要部分被PIP所遮蔽，处理器可以确定使PIP变成透明，以响应于确定PIP没有其它适当的位置和/或大小。通过用户利用如图1所示的动态PIP模式选择按钮136B做出适当的选择，可以专门地选择这种操作模式，或者与PIP的重新定位和/或调整PIP大小相结合地选择。

另外，尽管上述发明是关于在电视显示器上的PIP来进行描述的，但是本发明可以适当地用于任何具有显示主图像和PIP的能力的显示装置，其中包括计算机监视器或任何其它的已知显示装置。