首页> 中国专利> 在IPTV系统中使用低比特率流的视频数据丢失恢复

在IPTV系统中使用低比特率流的视频数据丢失恢复

摘要

提出了一种从数据丢失中恢复的系统和方法,包括:监控第一比特率视频数据比特流,以确定是否存在帧丢失或损坏;复用第二比特率视频数据比特流的解码参数、第二比特率视频数据比特流以及第一比特率视频数据比特流;如果存在帧丢失或损坏,则对第一比特率视频数据比特流和第二比特率视频数据比特流进行解复用;对第一比特率视频数据比特流进行解码;从第一比特率视频数据比特流中移除损坏的帧;对第二比特率视频数据比特流进行解码;如果所述处理后的第二比特率视频数据比特流具有比所述处理后的第一比特率视频数据比特流低的分辨率,则对来自所述处理后的第二比特率视频数据比特流的帧进行上采样;以及将来第二比特率视频数据比特流的帧与来自第一比特率视频数据比特流的帧合并。

著录项

  • 公开/公告号CN101584221A

    专利类型发明专利

  • 公开/公告日2009-11-18

    原文格式PDF

  • 申请/专利权人 汤姆森研发基金公司;

    申请/专利号CN200680056746.8

  • 申请日2006-12-20

  • 分类号H04N7/66(20060101);H04N7/24(20060101);

  • 代理机构11021 中科专利商标代理有限责任公司;

  • 代理人戎志敏

  • 地址 美国印第安纳州

  • 入库时间 2023-12-17 23:01:37

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-06-19

    专利权的转移 IPC(主分类):H04N7/66 登记生效日:20200602 变更前: 变更后: 申请日:20061220

    专利申请权、专利权的转移

  • 2013-07-03

    授权

    授权

  • 2010-02-17

    实质审查的生效

    实质审查的生效

  • 2009-11-18

    公开

    公开

说明书

政府许可权

依据美国国家标准和技术研究签订的合同No.70NANB3H3053的条款,美国政府对本发明拥有费用已偿清的许可,并且拥有在特定情况下要求本专利的所有者以合理条款将本专利许可给他方的权利。

技术领域

本发明总体上涉及网络电视(IPTV),具体地涉及使用低比特率比特流从IPTV系统中的视频数据丢失中恢复。

背景技术

诸如运动图像专家组(MPEG2)或H.264高级视频编码(AVC)之类的高级视频编解码器(CODEC)使用帧内编码和帧间编码预测来实现高压缩率。帧间编码图像使用来自其他图像的信息来压缩。因此,压缩图像中的分组/帧丢失不仅会使图像本身的质量变差,而且影响使用该图像作为帧间编码预测参考的所有图像的质量。例如,I帧的分组丢失可能对图像组(GOP)中的所有图像造成不利影响。

在商业数字TV广播系统中,如图1a所示,将视频数据流从头端(head-end)流服务器通过主干网发送至多个组播交换机,从组播交换机将视频数据流组播至多个多个驻留机顶盒。主干传递中的数据完整性是非常重要的。如图1b所示,主干传递中的任何分组丢失都会传播至所有下游机顶盒。

在实时流中,通常使用用户数据报协议(UDP)来传递流。UDP本身不保证服务的质量。为了提供高质量的商业视频服务(例如,99.999%的时间没有错误),在主干网中分组丢失率应当非常低(小于1×10E-6),远小于ITU Y.1541中0级网络服务(最佳)中定义的分组丢失率1×10E-3。前向纠错(FEC)或选择重传技术能够显著地降低有效分组丢失率。但是在实际系统中,出于各种原因仍会发生分组丢失。

当发生分组丢失时,重要的是减少呈献给最终用户的主观视频伪像。错误隐藏技术通常用于该目的。错误隐藏利用来自时间或空间邻域的的信息来隐藏被破坏的区域或帧中的错误。然而,在丢失的分组包括参考帧(I或P)数据时,或在大量连续帧全部丢失时,错误隐藏通常不具有良好性能。

之前已作出努力来降低组播主干网中的分组丢失率。FEC是一种显著提高服务质量(QoS)的切实可行的方式。一些最新研究已集中于改进FEC算法。然而,强FEC通常要求高计算能力,并在视频数据流传递中引入显著的附加等待时间,而弱FEC通常对于延长的中断期(例如,>2秒)不具有适当的性能。自适应FEC使用双向通信来动态地调整FEC的强度,但是系统的复杂性会更高。

一些IPTV系统(例如,最大服务电视(MSTV))使用重传来执行丢失恢复。存在两种类型的组播数据丢失恢复方案,即,基于源的恢复和分布式恢复。分布式组播数据丢失恢复方案通常在效率和恢复等待时间方面优于基于源的视频数据丢失恢复方案,其中效率和等待时间对于大规模视频组播来说是非常重要的。但是分布式丢失恢复方案需要布置在分级网络拓扑不同等级的多个节点处的主动丢失恢复组件。基于源的恢复方案较容易实现并在网络中需要较少的主动组件,但是特别在大规模布置中效率低。此外,服务器可能被大量重传请求所充斥,即,否定应答(NAK)内爆(implosion)问题。

需要严格QoS等级的一些商业系统使用针对主干传送的冗余路径;一个用作主路径,另一个用作备用路径。这样的系统具有该可靠性,但是在网络传递方面的成本几乎加倍。

本发明解决了上述问题。

发明内容

在本发明中,将视频数据帧编码进低比特率和正常/标准比特率视频数据比特流中。如这里所使用的,“/”用于指示相同组件或构思的选用名。视频服务器将这两种流通过两个单独组播组中的主干网传送至与一个或多个组播交换机相连接的代理服务器,然后从一个或多个组播交换机将视频数据比特流选择性地组播至多个视频终端(例如,机顶盒)。在正常条件下,低比特率视频数据比特流不消耗组播交换机和机顶盒之间连接路径的任何带宽。

代理服务器监控正常视频数据比特流的分组丢失。如果检测到分组丢失事件,则代理服务器将低比特率视频数据比特流的解码参数(例如,序列参数集合(SPS)和图像参数集合(PPS))以及与正常比特率视频数据比特流的丢失部分相对应的低比特率视频数据比特流复用为正常视频数据流的组播组。接收机顶盒然后对低比特率和正常比特率视频数据比特流进行解复用,并且使用从低比特率视频数据比特流解码的帧来隐藏正常比特率视频数据比特流中丢失的或损坏的帧。相同的低比特率视频数据比特流可以用于快速频道改变以及画中画或马赛克视图。马赛克视图类似于照片的缩略图。它在一个屏幕上同时显示多个视频频道(例如,12个)。

描述了一种从数据丢失中恢复的系统和方法,包括:监控第一比特率视频数据比特流,以确定是否存在帧丢失或损坏;复用第二比特率视频数据比特流的解码参数、第二比特率视频数据比特流以及第一比特率视频数据比特流;如果存在帧丢失或损坏,则对第一比特率视频数据比特流和第二比特率视频数据比特流进行解复用;对第一比特率视频数据比特流进行解码;从第一比特率视频数据比特流中移除损坏的帧;对第二比特率视频数据比特流进行解码;如果所述处理后的第二比特率视频数据比特流具有比所述处理后的第一比特率视频数据比特流低的分辨率,则对来自所述处理后的第二比特率视频数据比特流的帧进行上采样;以及将来第二比特率视频数据比特流的帧与来自第一比特率视频数据比特流的帧合并。

附图说明

根据结合附图阅读的以下详细描述,将更好地理解本发明。附图包括以下简要描述的图:

图1是传统多组IPTV系统的示意图。

图2是用于快速频道改变的低比特率视频数据比特流的示例。

图3是用于恢复标准(正常)比特率视频数据比特流中的数据丢失的示例。

图4示出了对视频/数据劣化事件开始和结束的标记。

图5是由代理服务器执行的丢失检测方法的流程图。

图6是执行流接收、解复用、解码和帧恢复的机顶盒的详细示意图。

图7是将传统数据恢复与根据本发明的视频恢复相比较的详细示意图。

图8示出了使用较短图像组的低比特率比特流的优点。

具体实施方式

在本发明中,对低比特率(例如,200Kbps)和短GOP大小(例如,0.5秒)的视频数据流进行编码并伴随正常视频数据流传送所述低比特率和短GOP大小的视频数据流。低比特率视频流可以具有较低的分辨率(例如,CIF)或具有与正常视频流相同的分辨率但是比正常视频流低的视频质量。图2A示出了在频道改变期间正常视频数据比特流和低比特率视频数据比特流的传递,图2B示出了在频道改变后正常视频数据比特流的传递(传递过程中没有低比特率视频数据比特流)。在图2A中还示出了从低比特率视频数据比特流中解码的、所显示的帧。正常和低视频数据比特率流的传送可以是以零时移同时播放的,或者是以固定或可配置的时间距离(例如,2秒)交错播放的。交错播放使得一个网络假信号在相同媒体时间引起两个流中的分组丢失的可能性最小化,从而成为优选方法。在交错播放的情况下,低比特率视频数据比特率流可以使正常流提前或延时一定时间距离(例如,2秒)。

在正常条件下,将两个视频数据比特流发送至两个不同的组播组,以使最终用户可以独立地加入、使用、或不使用每一视频数据比特流。这降低了在组播交换机与机顶盒之间的网络的最后段中的带宽。在数字订户线(DSL)布置中,最后段是DSL接入复用器(DSLAM)与机顶盒之间的本地回路,通常是IPTV系统中的带宽瓶颈。因此,重要的是减少DSLAM带宽的使用。

本发明的优点在于,低比特率视频数据比特流可以用于画中画(PIP)显示或快速频道改变。在那些应用中,仅在STB请求低比特率视频数据比特流时,才向该STB播放该低比特率视频数据比特流。图2示出了频道改变应用中的流动。

本发明提供了存在于主干网与组播交换机之间的代理服务器。代理服务器在一定时间段内(例如5秒)接收并缓冲/存储(存储器存储设备)正常比特率视频数据比特流和低比特率视频数据比特流。解码参数(例如,针对H.264流的SPS、PPS)也被存储在代理服务器中。代理服务器针对任何分组丢失(QOS)监控正常比特率视频数据比特流。如果代理服务器检测到分组丢失或损坏的分组,则该代理服务器将首先确定与视频劣化事件的开始相对应的媒体呈现时间戳(Tb)。在不允许B图像的视频编码(例如H.264基准简档编码)中,Tb是最后接收到的完好帧的媒体呈现时间。在具有B图像的视频编码中,如果将Tb编码为开放GOP,则Tb是最后接收的完好B帧的媒体呈现时间,如果将Tb编码为闭合GOP,则Tb是最后接收的完好B或I帧的媒体呈现时间。时间戳Tb标记了分组丢失事件的开始。代理服务器对存储于其本地缓冲器中的低比特率视频数据比特流以及输入流进行搜索,以发现时间戳正好在Tb之前的I帧。设计代理服务器中缓冲器的大小,使得在多数情况下可以找到该I帧。随后,如图3所示,代理服务器发送低比特率视频数据比特流的解码参数,并然后将从该I帧开始的低比特率视频数据比特流转发至正常比特率视频数据比特流的组播组中作为不同节目。应当注意,“修复”低比特率视频数据比特流分组不与正常比特率视频数据比特流结合,但是可以作为正常比特率视频数据比特流组播传递组内的单独流而被传送。在机顶盒处执行:将“修改”低比特率视频数据比特流实际合并到正常比特率视频数据比特流中。

代理服务器然后搜索视频劣化事件的结束。代理服务器将与视频劣化事件的结束相对应的呈现时间戳记录为Te。代理服务器传送所有低比特率视频数据比特流分组,直到检测到呈现时间戳正好大于Te的低比特率I帧为止。这可以确保代理服务器传送呈现时间戳小于Te的所有低比特率视频数据比特流分组,从而复用后的低比特率视频数据比特流分组覆盖正常比特率视频数据比特流的整个丢失部分。

分组丢失的结束通常并不意味着视频劣化的结束。这是由于丢失或损坏的图像可能被后续图像用作参考图像。通常,将正常比特率视频数据比特流中下一个接收到的完好I帧(针对MPEG2和H.264)或中间数据率(IDR)帧(针对H.264)视作视频劣化事件的结束。图4示出了视频劣化时间戳的结束。特别地,在情况A下,并不将B帧编码进正常比特率视频数据比特流中,正好在识别出的丢失的P帧前面紧邻的P帧之前标记视频劣化事件的开始Tb。相应地,正好在下一个I帧之前标记视频劣化事件的结束Te。

在B情况下,B帧存在于正常比特率视频数据比特流中。以解码顺序传送视频帧。丢失的正常比特率视频数据比特流帧是18、20、22、32和26,它们是依解码顺序连续的。正好在识别出的丢失的P帧前面紧邻的B帧之前标记视频劣化事件的开始Tb。相应地,正好在下一个I帧之前标记视频劣化事件的结束Te。按照数字顺序呈现视频帧,其中将低比特率帧嵌入在呈现顺序显示中,其中低比特率视频数据比特流帧没有按照解码顺序中的连续顺序。

图5是由代理服务器对正常比特率视频数据比特流的帧执行的丢失检测方法的流程图。一旦检测到丢失的帧并且标记了视频劣化事件(Tb、Te),则将低比特率视频数据比特流复用为正常比特率视频数据比特流。在505处,执行测试以确定是否已检测到分组/帧。如果尚未检测到分组/帧丢失,则重复该动作。如果已检测到分组/帧丢失,则在510处,标记并记录视频劣化事件的开始Tb。在515处,执行向后搜索。向后搜索在缓冲器中查找低比特率视频数据比特流中时间戳小于或等于Tb的第一I帧。在520处测试是否定位了低比特率视频数据比特流中的I帧。如果没有定位I帧,则在525处在输入低比特率视频数据比特流中搜索小于或等于Tb的第一I帧。在530处,执行检查以确定是否定位了低比特率视频数据比特流中的I帧。如果没有定位I帧,则在535处执行测试以确定是否已存在超时。如果尚未存在超时,则在525处重复该测试。如果已存在超时,则重复动作505。如果在动作520处定位了低比特率视频数据比特流I帧,则在540处将低比特率视频数据比特流帧复用为正常比特率视频数据比特流。在545处,执行测试以确定是否检测到视频劣化丢失的结束。如果还没有检测到视频劣化丢失的结束,则重复540。如果已检测到视频劣化丢失的结束,则在550处确定视频劣化丢失结束时间戳Te。在555处执行测试以确定最后的低比特率视频数据比特流I帧的时间戳是否大于Te。如果该时间戳不大于Te,则在560处继续将低比特率视频数据比特流的分组复用为正常比特率视频数据比特流。如果时间戳大于Te,则停止复用并重复动作505。

将低比特率视频数据比特流复用为正常比特率视频数据比特流组播组是重要的。这允许STB在无需主动请求的情况下接收低比特率视频数据比特流。否则,STB必须发送组播加入命令(例如,互联网组管理协议(IGMP)加入)以接收低比特率视频数据比特流。分组丢失事件将触发调到该节目的所有STB同时向组播交换机发送组播加入命令,该组播交换机可能会被这些命令所充斥。在本发明中,STB仅接收来自正常频道的数据。代理服务器在检测到正常比特率视频数据比特流中的丢失或损坏时,主动地将低比特率视频数据比特流与正常比特率视频数据比特流一起转发至正常频道(但是作为不同的节目)。如图6所示,STB从正常频道接收这两个节目,并且基于节目编号解复用为两个节目,然后分别对它们进行解码。针对正常比特率视频数据比特流的解码器对视频流进行解码,并消除已损坏的视频帧。纠错模型将已解码的低比特率视频数据比特流帧合并到解码的正常比特率视频数据比特流中。如果低比特率视频数据比特流具有比正常比特率视频数据比特流低的分辨率,则纠错模型还对已解码的低比特率视频数据比特流帧执行上采样,以使它们具有与已解码的正常比特率视频数据比特流帧相同的分辨率。

图7是用于恢复正常比特率视频数据比特流中数据丢失的低比特流视频数据比特流的使用的详细示意图。特别地,图7是现有技术与本发明之间的比较。如图7所示,如果低比特率视频数据比特流具有比正常比特率视频数据比特率流低的分辨率,则对已解码的低比特率视频数据比特流帧进行上采样,以与正常比特率视频数据比特流的分辨率相同,并且使用已解码的低比特率视频数据比特流帧来替换或修复正常比特率视频数据比特流中丢失的或损坏的帧。然后将替换后的或修复后的帧发送至显示设备。在现有技术中,数据丢失引起正常比特率视频数据比特流中的帧丢失。在本发明中,通过用低比特率视频数据帧替换正常比特率视频数据比特流中丢失的帧,将数据丢失恢复。

使用低比特率视频数据比特流帧而非FEC、奇偶或空间可缩放编码作为冗余数据的优点在于,相同的低比特率视频数据比特流可以用于画中画、马赛克视图或快速频道改变流。

重要的是,替换正常比特率视频数据比特流的损坏的或丢失的帧是在解码后执行的。因此,本发明无需中断任一流的解码过程。同样,本发明能够替换正常比特率视频数据比特流的单个帧,而不改变相同GOP中的其他帧。

还重要的是,低比特率视频数据比特流的GOP大小比正常流的大小短。当正常比特率视频数据比特流的一部分丢失或损坏时,代理服务器仅需要将低比特率视频数据比特流的相应GOP转发至STB。图4的情况A示出了当不存在B帧时,视频劣化事件的持续时间可以比正常比特率视频数据比特流的GOP大小短。因此,需要覆盖劣化时间段的低比特率视频数据比特流帧的“修复”可以比正常比特率视频数据比特流的GOP大小短。这是在图8中示出的,其中,正常比特率视频数据比特流中被破坏的部分是没有颜色/阴影的部分。错误恢复仅需要低比特率视频数据比特流的GOP4。

应当理解的是,本发明可以以各种形式的硬件、软件、固件、专用处理器、或其组合的形式来实现。优选地,本发明是以硬件和软件的组合来实现的。此外,软件优选地是以有形地体现在程序存储单元上的应用程序来实现的。该应用程序可以被上载到包括任意适合体系结构的机器,并由该机器来执行。优选地,该机器是在计算机平台上实现的,所述计算机平台具有诸如一个或更多个中央处理单元(CPU)、随机存取存储器(RAM)、以及输入/输出(I/O)接口等的硬件。该计算机平台还包括操作系统和微指令代码。这里描述的各种过程和功能可以是微指令代码的一部分,或是应用程序的一部分(或是它们的组合),其可以由CPU来执行。另外,可以将多种其他外围设备连接至计算机平台相连,例如附加的数据存储设备和打印设备。

还将理解,由于附图所示的构成系统组件和方法步骤当中的一些优选地是以软件来实现的,所以系统组件(或过程步骤)之间的实际连接可能根据编程本发明的方式而有所不同。在这里给出的教义的前提下,相关技术领域中的技术人员将能够想到本发明的这些和类似的实现或配置。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号