用于对反映用户兴趣的多媒体流进行再现的方法和设备

摘要

提供了一种用于对反映用户兴趣的多媒体进行再现的方法和设备。所述设备包括网络发射机/接收机、显示单元、重叠区域检测器以及多媒体处理器。网络发射机/接收机接收关于包括多媒体流的多内容页面的信息。所述显示单元输出所述多内容页面内的预定显示区域。所述重叠区域检测器对显示区域和多媒体流区域之间的重叠区域进行检测。所述多媒体处理器对关于多内容页面的信息进行解码，且如果所述重叠区域被检测到，则向外部服务器发送针对关于多媒体流的数据的请求。

说明书

技术领域

本发明涉及多媒体流再现。更具体地，本发明涉及用于对多媒体流进行 再现、用于对在所显示的多内容页面中通过用户界面进行显示的显示区域和 多媒体流区域之间的重叠区域进行检测、以及根据检测到的重叠区域的大小 来对关于多媒体流的数据进行请求和再现，从而阻止网络流量并阻止由不必 要的数据包传输而带来的收费或防止终端的性能下降的方法和设备。

背景技术

由于多种移动装置(诸如蜂窝电话、便携数字助手(PDA)、个人媒体 播放器(PMP)等等)具有能够支持无线因特网的完全浏览功能和通信功能， 多媒体流再现变成了基本要素。需要多种能够针对各种内容给用户带来方便 的多媒体数据控制方案。

在常规的多媒体再现方法中，如果存在到多内容页面区域的转换 (shift)，则包括在多内容页面中的多媒体流会根据再现模式被再现。所述再 现模式可以是自动再现模式，也可以是人工再现模式。在自动再现模式中， 多媒体的再现不会考虑到用户的意图。在人工再现模式中，在接收到用户的 输入时对多媒体流进行再现。在上述两种再现模式中，自动再现模式中存在 的问题是多媒体流不能按照用户的意图进行再现。在图1中，当多媒体流按 照根据常规技术的自动再现模式进行再现时，会出现问题。

图1中的(a)示出了多内容页面100内的多媒体流102未显示在用户 界面的显示区域101中的状态。图1中的(b)示出了多内容页面100内的 多媒体流102显示在用户界面的显示区域101中的状态。也就是说，图1中 的(a)所示出的状态中，多媒体流区域102未通过用户界面在显示区域101 中被显示，但可暂时被选作显示区域101。

在图1的(a)中，在以自动再现模式再现多媒体流区域102中的多媒 体流的情况下，虽然多媒体流区域102中的多媒体流没有被显示在显示区域 101中，但因为所述多媒体流被再现，所以可能由于数据请求等等导致产生 网络流量，并且还可能由于非必要的数据包传输等等产生收费，导致终端的 性能下降。同样，由于该非必要的再现，终端用户可能会感到不便。

发明内容

本发明的示例实施方式的一个方面将至少解决这些问题和/或缺点，并 至少提供下面描述的优势。从而，本发明的示例实施方式的一个方面将提供 用于再现多媒体、用于阻止网络流量产生以及阻止由非必要数据包传输带来 的收费、或防止终端的性能下降的设备和方法。

为了实现这些和其它优势，并且根据本发明的发明目的，提供了一种用 于对反映用户兴趣的多媒体进行再现的设备。该设备包括网络发射机/接收 机、显示单元、重叠区域检测器以及多媒体处理器。网络发射机/接收机接收 关于包括多媒体流的多内容页面的信息。所述显示单元基于解码后的关于所 述多内容页面的信息来输出所述多内容页面内的预定显示区域。所述重叠区 域检测器对通过所述显示单元输出的显示区域和所述多内容页面内的多媒 体流区域之间的重叠区域进行检测。所述多媒体处理器对通过所述网络发射 机/接收机接收到的关于多内容页面的信息进行解码，且如果所述重叠区域被 检测到，则向外部服务器发送针对关于多媒体流的数据的请求。

所述重叠区域检测器可以基于显示区域和多媒体流区域的坐标来检测 所述重叠区域。

如果所述重叠区域具有预定的大小或者更大，则所述多媒体处理器可以 发送针对关于多媒体流的数据的请求。

如果所述重叠区域具有预定的大小或者更大，则所述多媒体处理器可以 再现所述多媒体流。

当再现所述多媒体流时，所述多媒体处理器可以以淡入(fade-in)的方 式再现所述多媒体流之中的音频。

如果所述重叠区域不再被检测到，则所述多媒体处理器可以停止所述再 现。

根据本发明的一个方面，提供了一种用于再现反映用户兴趣的多媒体的 方法。该方法包括(a)接收关于包括多媒体流的多内容页面的信息；(b) 对所接收到的关于多内容页面的信息进行解码，并且基于解码后的关于所述 多内容页面的信息来输出所述多内容页面内的预定显示区域；(c)对所输出 的显示区域和多内容页面内的多媒体流区域之间的重叠区域进行检测；以及 (d)如果检测到所述重叠区域，则向外部服务器发送针对关于所述多媒体 流的数据的请求。

在步骤(c)中，可以基于所述显示区域和所述多媒体流区域的坐标来 对所述重叠区域进行检测。

在步骤(d)中，如果所述重叠区域具有预定大小或更大，则可以发送 针对关于所述多媒体流的数据的请求。

所述步骤(d)还可包括：如果所述重叠区域具有预定大小或更大，则 再现所述多媒体流。

所述方法还可以包括：当再现所述多媒体流时，以淡入的方式来再现所 述多媒体流之中的音频。

所述方法还可以包括：如果所述重叠区域不再被检测到，则停止所述再 现。

根据本发明的另一方面，提供了记录介质。该记录介质可由记录有用于 执行所述方法的程序的计算机来读取。

通过检测将在多媒体页面中被再现的多媒体流是否位于用户感兴趣的 区域(也就是显示区域)以及一旦所述多媒体流位于所述用户感兴趣的区域 中便对所述多媒体流进行复制，本发明能够阻止网络流量的产生、由非必要 数据包传输带来的收费、或终端的性能下降。

附图说明

本发明的上述以及其它目标、特征和优点通过下面结合附图进行详细描 述将变得更加明显，其中：

图1是示出了当根据常规技术以自动再现模式对多媒体流进行再现时所 存在的问题的图；

图2是示出了根据本发明的示例实施方式的用于再现反映用户兴趣的多 媒体的设备的构造的框图；

图3中的(a)至(e)是示出了根据本发明的示例实施方式的取决于显 示区域和多媒体流区域之间的重叠区域的大小而是否进行数据请求和音频/ 视频再现的图；

图4是用于描述根据本发明的示例实施方式的重叠区域检测的图；

图5中的(a)至(c)是示出了多媒体流区域和显示区域中的每一个的 大小的图；以及

图6是示出了根据本发明的示例实施方式的用于再现反映用户兴趣的多 媒体的方法的流程图。

在这些附图中，相同的附图标记被理解为指代相同的元素、特征和结构。

具体实施方式

现在将参考附图对本发明的示例实施方式进行详细描述。在随后的描述 中，此处所加入的已知功能和配置的详细描述为了简洁起见已被省略。

图2是示出了根据本发明的示例实施方式的用于再现反映用户兴趣的多 媒体的设备200的构造的框图。所述设备200包括用户界面201、网络发射 机/接收机202、多媒体处理器203、存储单元204、显示单元205、以及重叠 区域检测器206。

在图2中，用户界面201是用于与设备200进行交流(interfacing)的 装置。所述用户界面201从用户接收现有的再现模式或根据本发明的再现模 式的输入，并将所接收的输入传递到所述多媒体处理器203。如果从用户接 收多内容页面请求，则所述用户界面201将所述多内容页面请求传递到多媒 体处理器203，或者如果多内容页面内的显示区域301被用户改变，则将该 信息传递到所述多媒体处理器203。

在所述多媒体处理器203的控制之下，所述网络发射机/接收机202使 用诸如超文本传输协议(HTTP)或多播&多目的传输协议(MMTP)的协议 来向外部服务器(未示出)发送针对包括多媒体流的多内容页面的请求。另 外，如果在所述多媒体处理器203的控制之下从所述外部服务器(未示出) 接收关于多内容页面的信息，则所述网络发射机/接收机202将所述信息存储 在存储单元204中。这里，关于所述多内容页面的信息在本发明的示例实施 方式中可以是一般Web页面。另外，在多媒体处理器203的控制之下，所 述网络发射机/接收机202接收关于多媒体流的数据并将其存储在存储单元 204中。

所述多媒体处理器203对存储在存储单元204中的多内容页面信息进行 解码并再次将解码后的信息存储在所述存储单元204中。如果所述重叠区域 检测器206检测到重叠区域，则所述多媒体处理器203向所述外部服务器(未 示出)发送针对关于多媒体流的数据的请求。这里，重叠区域指的是在显示 区域(图3的301)和包括多媒体流的多媒体流区域(图3的302)之间重 叠的区域。在下文中结合图3对根据本发明的示例实施方式的取决于重叠区 域的大小来确定是否进行数据请求和音频/视频再现进行了详细的描述。

图3中的(a)至(e)是示出了根据本发明的示例实施方式的取决于显 示区域和多媒体流区域之间的重叠区域的大小而是否进行数据请求和音频/ 视频再现的图。附图标记“300”表示多内容页面区域，附图标记“301”表 示由显示单元205输出的显示区域，附图标记“302”表示包括多媒体流的 多媒体流区域。表1示出了与图3相关的取决于重叠区域的大小而是否进行 数据请求和音频/视频再现的示例。

图3中的(a)示出了显示区域301和所述多内容页面300中的多媒体 流区域302之间的重叠区域等于0％。在图3的(a)中，在多媒体流之中， 音频或视频处于静止状态而未被再现，并且不存在任何经网络控制去往外部 服务器(未示出)的针对关于多媒体流的数据的请求。

图3中的(b)示出了显示区域301和所述多内容页面300中的多媒体 流区域302之间的重叠区域等于10％。在图3的(b)中，在多媒体流之中， 音频或视频处于静止状态而未被再现，但存在经网络控制去往外部服务器 (未示出)的针对关于用于多媒体流再现的多媒体流的数据的请求。

图3中的(c)示出了显示区域301和所述多内容页面300中的多媒体 流区域302之间的重叠区域等于50％。在图3的(c)中，在多媒体流之中， 音频或视频被持续地再现，并且存在经网络控制去往外部服务器(未示出) 的针对关于用于多媒体流再现的多媒体流的数据的持续请求。在本发明的示 例实施方式中，音频音量被设定为“淡入”或预先设定为初始音量的 50％-100％的范围，这样便能够消除由于突然的多媒体流再现而带来的负担。

图3中的(d)示出了显示区域301和所述多内容页面300中的多媒体 流区域302之间的重叠区域等于100％。在图3的(d)中，在多媒体流之中， 音频或视频被持续地再现，并且存在经网络控制去往外部服务器(未示出) 的针对关于用于多媒体流再现的多媒体流的数据的持续请求。音频音量和初 始音量一样。

图3中的(e)示出了显示区域301和所述多内容页面300中的多媒体 流区域302之间的重叠区域等于0％。图3中的(e)表示用户兴趣与多媒体 流区域302相距甚远，从而正在再现的多媒体流(即音频或视频)不被再现 而停止。多媒体数据请求的网络控制也被停止，从而减少由针对关于多媒体 流的数据的请求引起的网络流量、由数据包请求引起的收费等等。根据本发 明的示例实施方式，音频音量可被设定为“淡出”，而不与图3中的(c)一 样。

表1

  条件   重叠区域   音频控制   视频控制   网络控制   图3中的(a)   0％   停止   停止   无请求   图3中的(b)   10％   停止   停止   请求   图3中的(c)   50％   淡入   再现   请求   图3中的(d)   100％   音量为100％   再现   请求   图3中的(e)   0％   淡出   停止   无请求

在图3的(a)至(e)中，作为示例，描述是使用具体数值作出的，但 这只是为了理解方便而并不意在限制本发明的范围。所述重叠区域可被实现 为各种数值5％、12％等等。反过来讲，即使当从图3中的(e)开始到图3 中的(a)时，也以前述方式进行。然而，根据本发明的示例实施方式，构 成可以是这样的，如果多媒体流在再现期间被停止，则从用户上次被提供的 时间开始执行再现。

所述存储单元204对在经过网络发射机/接收机202从所述外部服务器 (未示出)接收到的关于包括多媒体流的多内容页面的信息进行存储，并对 由所述多媒体处理器203进行解码的关于多内容页面的信息进行存储。所述 存储单元204对从所述外部服务器(未示出)接收的关于所述多媒体流的数 据进行存储。在本发明中，预先假设所有的信息或数据都存储在存储单元204 中，但很明显本领域技术人员能够根据本发明的示例性实施方式来进行实时 操作而并不需要单独的存储单元204。

显示单元205是诸如液晶显示器(LCD)的装置。所述显示单元205基 于解码后的关于多内容页面的信息来显示多内容页面内的预定显示区域(图 3的301)。

所述重叠区域检测器206对通过显示单元205输出的显示区域(图3的 301)和多内容页面300内的多媒体流区域302之间的重叠区域进行检测， 并将所述重叠区域传递到所述多媒体处理器203。下面将参考图4详细描述 对根据本发明的示例实施方式的重叠区域进行检测。

图4是用于描述根据本发明的示例实施方式的重叠区域检测的图。首先， 重叠区域可基于显示区域301和多媒体流区域302的坐标被检测。参见图4， 显示区域301具有四组坐标(A1，B1)、(A2，B1)、(A1，B2)和(A2， B2)，且多媒体流区域302具有四组坐标(X1，Y1)、(X2，Y1)、(X1，Y2) 和(X2，Y2)。因而，如果A1和A2之间存在多媒体流区域302的任何一 个坐标X1或X2，则可以确定存在重叠区域。同样的，如果B1和B2之间 存在多媒体流区域302的任何一个坐标Y1或Y2，也可以确定存在重叠区域。

在图4中，重叠区域301的大小可以按照(X2-X1)×(Y1-B2)来计 算，且多媒体流区域302的大小等于(X2-X1)×(Y1-Y2)，这样重叠区域 301可用百分比来表示。对本领域技术人员来说显而易见的是，上述重叠区 域检测和大小计算只是示例性的实施，可以根据系统构造的不同采用不同的 方法来执行所述计算过程。

图5中的(a)至(c)示出了根据本发明的示例实施方式的多媒体流区 域和显示区域中的每一个的大小。图5中的(a)示出了显示区域301和多 媒体流区域302具有相同的大小。图5中的(b)示出了显示区域301的大 小大于多媒体流区域302的大小。图5中的(c)示出了显示区域301的大 小小于多媒体流区域302的大小。如此，可以以不同的方式对显示区域301 和多媒体流区域302的大小进行修改和实现。

图6是示出了根据本发明的示例实施方式的用于再现反映用户兴趣的多 媒体的方法的流程图。为了便于描述本发明，图1至5以及重复的描述都被 省略了。

首先，在步骤600中，多媒体处理器203基于由用户通过用户界面201 输入的键值(key value)来确定是否以现有的再现模式再现多媒体流。如果 确定以现有的再现模式再现所述多媒体流，则多媒体处理器203进入步骤 606并以现有的再现模式再现多媒体流。否则，多媒体处理器203进入步骤 601。

在步骤601中，多媒体处理器203通过网络发射机/接收机202向外部 服务器(未示出)发送针对多内容页面的请求，并将从所述外部服务器(未 示出)接收的包括多媒体流的多内容页面信息存储在存储单元204中。

在步骤602中，多媒体处理器203读取存储在存储单元204中的包括多 媒体流的多内容页面信息，并进行解码，以及将所述多内容页面信息存储在 所述存储单元204中。

在步骤603中，所述重叠区域检测器206如上所述检测显示区域和多媒 体流区域之间的重叠区域、计算重叠区域的大小并将所计算出的大小传递给 所述多媒体处理器203。

在步骤604中，多媒体处理器203按照表1中的方法根据所述重叠区域 的大小向外部处理器(未示出)发送针对关于多媒体流的数据的请求。

之后，在步骤605中，所述多媒体处理器203按照表1中的方法根据所 述重叠区域的大小来再现所接收的多媒体流数据。

本发明可以在计算机可读记录介质中使用计算机可读代码来被实现。所 述计算机可读记录介质包括存储可由计算机系统读取的数据的所有种类的 记录装置。例如，计算机可读记录介质可以是只读存储器(ROM)、随机存 取存储器(RAM)、光盘(CD)-ROM、磁带、软盘、光数据存储装置等等。 计算机可读记录介质被分布在联网的计算机系统中，以及计算机可读代码能 够以分布式进行存储和执行。

虽然本发明是参照特定的优选实施方式来被示出和描述的，对本领域技 术人员来说，应该理解到在不偏离由附带的权利要求所限定的本发明的精神 和范围的情况下，可以对本发明作出各种形式和细节的修改。