一种弱信号环境下提高终端播放性能的终端、系统及方法

摘要

本发明提供了一种弱信号环境下提高终端播放性能的终端、系统及方法，该方法包括：网络侧生成标准音视频帧同时生成对应的冗余音视频帧，并将生成的标准音视频帧及冗余音视频帧下发至终端，终端收到标准音视频帧及冗余音视频帧后，若标准音视频帧出现异常，终端处理并播放对应的冗余音视频帧。采用本发明，使得终端在处理高质量的音视频遇到丢包或错包时，可以使用对应的质量较低的冗余音视频帧，从而消除视频中的马赛克和音频中的停顿。

说明书

技术领域

本发明涉及手机电视领域，具体来说，涉及一种弱信号环境下提高终端播放性能的终端、系统及方法。

背景技术

手机电视(移动多媒体广播)是国内外正在推广和普及的一种多媒体广播技术。通过手机电视终端，用户可以通过手机接收手机电视信号，随时随地观看喜欢的电视节目。

由于各种各样的原因，手机电视网络会存在弱信号的覆盖区域。如偏远地区的某些区域，信号不能很好地覆盖；如在快速移动的交通工具上，由于多普勒效应，信号的质量也会受到影响；如在隧道、或电梯或某些建筑物中，信号质量也会有较大地衰减。

弱信号会导致手机电视数据包的丢包率和误包率的上升。而丢包和误包则会直接导致播放性能的降低，如出现大量马赛克，声音断续，从而导致无法正常收看手机电视节目。

发明内容

本发明要解决的技术问题是提供一种弱信号环境下提高终端播放性能的终端、系统及方法，使得终端在处理高质量的音视频遇到丢包或错包时，可以使用对应的质量较低的冗余音视频帧，从而消除视频中的马赛克和音频中的停顿。

为了解决上述问题，本发明提供了一种弱信号环境下提高终端播放性能的方法，包括：网络侧生成标准音视频帧同时生成对应的冗余音视频帧，并将生成的冗余音视频帧下发至终端，终端收到标准音视频帧及冗余音视频帧后，若所述标准音视频帧出现异常，所述终端处理并播放对应的冗余音视频帧。

进一步地，所述网络侧还为生成的冗余音视频帧设置对应的控制信息，包括以下内容：冗余视频段指示、冗余音频段指示、冗余视频段长度、冗余视频流总数、冗余音频段长度及冗余音频流总数。

进一步地，网络侧将所述冗余音视频帧的控制信息添加到中国移动多媒体广播(CMMB)复用子帧头的扩展区。

进一步地，所述终端收到CMMB复用帧后从中获取冗余音视频帧的控制信息，若所述控制信息指示存在冗余音视频帧，则解析并保存所述冗余音视频帧的数据，并当标准音视频帧存在丢包或者解码错误时，选择与所述标准音视频帧相对播放时间相符的冗余音视频帧进行解码并播放。

进一步地，所述网络侧将冗余音视频帧与对应的标准音视频帧封装在同一复用帧的相同子帧中进行传送，或将冗余音视频帧与对应的标准音视频帧封装在不同的复用帧中进行传送，或将冗余音视频帧与对应的标准音视频帧封装在同一复用帧的不同子帧中进行传送。

进一步地，所述网络侧生成冗余音视频帧时，根据网络冗余带宽选择压缩率，保证根据所述压缩率生成的冗余音视频帧在所述网络冗余带宽支持的范围内。

本发明还提供一种弱信号环境下提高终端播放性能的系统，包括网络侧及终端；所述网络侧包括编码器及发送模块；所述终端包括接收模块、解析模块、存储模块、解码模块及播放模块；

所述编码器用于生成标准音视频帧的同时生成对应的冗余音视频帧；

所述发送模块用于将生成的冗余音视频帧下发至终端；

所述接收模块，用于接收网络侧生成的标准音视频帧及冗余音视频帧；

所述解析模块，用于解析冗余音视频帧，并将解析出的冗余音视频帧发送至存储模块；

所述存储模块，用于存储解析后的冗余音视频帧；

所述解码模块，用于当标准音视频帧出现异常时解码对应的冗余音视频帧；

所述播放模块，用于播放解码后的冗余音视频帧数据。

进一步地，所述网络侧还包括控制信息生成模块，用于为生成的冗余音视频帧设置对应的控制信息；

所述控制信息包括以下内容：冗余视频段指示、冗余音频段指示、冗余视频段长度、冗余视频流总数、冗余音频段长度及冗余音频流总数。

进一步地，所述网络侧还包括复用模块，用于将冗余音视频帧的控制信息添加到中国移动多媒体广播(CMMB)复用子帧头的扩展区。

进一步地，所述复用模块还用于将冗余音视频帧与对应的标准音视频帧封装在同一复用帧的相同子帧中，或将冗余音视频帧与对应的标准音视频帧封装在不同的复用帧中，或将冗余音视频帧与对应的标准音视频帧封装在同一复用帧的不同子帧中。

进一步地，所述编码器生成冗余音视频帧时，是根据网络冗余带宽选择压缩率，保证根据所述压缩率生成的冗余音视频帧在所述网络冗余带宽支持的范围内。

进一步地，所述接收模块还用于收到CMMB复用帧后从中获取冗余音视频帧的控制信息，以及当所述控制信息指示存在冗余音视频帧时，通知所述解析模块解析所述冗余音视频帧；

所述与标准音视频帧对应的冗余音视频帧是指与所述标准音视频帧相对播放时间相符的冗余音视频帧。

本发明还提供一种弱信号环境下提高终端播放性能的终端，包括接收模块、解析模块、存储模块、解码模块及播放模块；

所述接收模块，用于接收网络侧生成的标准音视频帧及冗余音视频帧；

所述解析模块，用于解析冗余音视频帧，并将解析出的冗余音视频帧发送至存储模块；

所述存储模块，用于存储解析后的冗余音视频帧；

所述解码模块，用于当标准音视频帧出现异常时解码对应的冗余音视频帧；

所述播放模块，用于播放解码后的冗余音视频帧数据。

进一步地，所述接收模块还用于收到中国移动多媒体广播(CMMB)复用帧后从中获取冗余音视频帧的控制信息，以及当所述控制信息指示存在冗余音视频帧时，通知所述解析模块解析所述冗余音视频帧；

所述与标准音视频帧对应的冗余音视频帧是指与所述标准音视频帧相对播放时间相符的冗余音视频帧。

综上所述，本文提供了一种弱信号环境下提高终端播放性能的终端、系统及方法，在广播流中添加了较低质量的音视频冗余音视频帧，使得终端在处理高质量的音视频遇到丢包或错包时，可以使用对应的质量较低的冗余音视频帧，来代替高质量的音视频帧。也就是说，只要在对应的冗余音视频帧不出现丢包和错包的情况下，就能够消除视频中的马赛克和音频中的停顿。通过这种技术，可以较大概率地消除弱信号下的马赛克和声音断续，从而达到了提高手机电视终端播放性能的目的。而且本发明与常用的出错重传机制相比，更加适用于广播信道；与前向纠错相比，本发明对终端软件的复杂度要求更低，因此更容易实现。

附图说明

图1是本发明系统结构示意图；

图2是本发明网络侧的处理流程；

图3是本发明终端侧的处理流程；

图4是本发明支持冗余音视频数据的CMMB复用子帧示意图。

具体实施方式

本实施例提供一种弱信号环境下提高终端播放性能的系统，如图1所示，包括网络侧及终端；

网络侧包括编码器、控制信息生成模块、复用模块及发送模块；

终端包括接收模块、解析模块、存储模块、解码模块及播放模块；

编码器用于生成标准音视频帧的同时生成对应的冗余音视频帧；

上述标准音视频帧是指为保证正常的播放质量时生成的音视频帧，正常的播放质量指播放质量大于或等于预设门限值，通常情况下即不出现坏帧时的播放质量，而播放质量低于上述门限值则为一般情况下不能接受的播放质量，此处的门限值可以根据需要设置，本发明对此不作限制。

发送模块用于将生成的标准音视频帧及冗余音视频帧下发至终端；

接收模块，用于接收网络侧生成的标准音视频帧及冗余音视频帧；

解析模块，用于解析冗余音视频帧，并将解析出的冗余音视频帧发送至存储模块；

存储模块，用于存储解析后的冗余音视频帧；

解码模块，用于当标准音视频帧出现异常时解码对应的冗余音视频帧；

播放模块，用于播放解码后的冗余音视频帧数据。

控制信息生成模块，用于为生成的冗余音视频帧设置对应的控制信息；

控制信息包括以下内容：冗余视频段指示、冗余音频段指示、冗余视频段长度、冗余视频流总数、冗余音频段长度及冗余音频流总数。

复用模块，用于将冗余音视频帧的控制信息添加到CMMB复用子帧头的扩展区。

复用模块还用于将冗余音视频帧与对应的标准音视频帧封装在同一复用帧的相同子帧中，或将冗余音视频帧与对应的标准音视频帧封装在不同的复用帧中，或将冗余音视频帧与对应的标准音视频帧封装在同一复用帧的不同子帧中。

编码器生成冗余音视频帧时，是根据网络冗余带宽选择压缩率，保证根据所述压缩率生成的冗余音视频帧在网络冗余带宽支持的范围内。

接收模块还用于收到CMMB复用帧后从中获取冗余音视频帧的控制信息，以及当所述控制信息指示存在冗余音视频帧时，通知所述解析模块解析所述冗余音视频帧；

与标准音视频帧对应的冗余音视频帧是指与标准音视频帧的相对播放时间相符的冗余音视频帧。

本实施例提供一种弱信号环境下提高终端播放性能的终端，包括接收模块、解析模块、存储模块、解码模块及播放模块；

接收模块，用于接收网络侧生成的标准音视频帧及冗余音视频帧；

解析模块，用于解析冗余音视频帧，并将解析出的冗余音视频帧发送至存储模块；

存储模块，用于存储解析后的冗余音视频帧；

解码模块，用于当标准音视频帧出现异常时解码对应的冗余音视频帧；

播放模块，用于播放解码后的冗余音视频帧数据。

接收模块还用于收到CMMB复用帧后从中获取冗余音视频帧的控制信息，以及当控制信息指示存在冗余音视频帧时，通知解析模块解析所述冗余音视频帧；

与标准音视频帧对应的冗余音视频帧是指与标准音视频帧的相对播放时间相符的冗余音视频帧。

本实施例提供一种弱信号环境下提高终端播放性能的方法，网络侧生成标准音视频帧同时生成对应的冗余音视频帧，并将生成的标准音视频帧及冗余音视频帧下发至终端，终端收到音视频帧后，若标准音视频帧出现异常，终端处理并播放对应的冗余音视频帧。

如图2所示是本发明方法网络侧的处理流程；

步骤101：网络侧的编码器在生成标准音视频帧的同时，生成对应的冗余的音视频帧。

上述标准音视频帧是指为保证正常的播放质量时生成的音视频帧，正常的播放质量指播放质量大于或等于预设门限值，通常情况下即不出现坏帧时的播放质量，而播放质量低于上述门限值则为一般情况下不能接受的播放质量，此处的门限值可以根据需要设置，本发明对此不作限制。这里的冗余音视频帧的压缩率要比标准音视频帧要高很多，因此冗余音视频帧的大小要比标准音视频帧要小很多。

编码器根据网络冗余带宽选择压缩率，保证该压缩率生成的冗余音视频帧在网络冗余带宽支持的范围内，即该网络冗余带宽能够传输该冗余音视频帧。从而达到带宽和弱信号播放性能之间的折中。网络冗余带宽充裕时冗余音视频流的压缩率可以低一些，网络冗余带宽不够时可以使用高压缩率来减少冗余音视频流的大小。网络冗余带宽指编码器生成标准音视频帧后剩余的网络带宽。

编码器可以选择一些关键帧来生成冗余音视频帧，不一定需要对每帧音视频都压缩生成相应的冗余音视频帧。

步骤102：网络侧服务器为生成的冗余音视频帧设置相应的控制信息，该控制信息包括：

冗余视频段指示：表示是否有冗余视频段长度与冗余视频流总数参数；可以用1bit表示，如可以但不限于用1(或0)表示有，用0(或1)表示没有。

冗余音频段指示：表示是否有冗余音频段长度与冗余音频流总数参数；可以用1bit表示，如可以但不限于用1(或0)表示有，用0(或1)表示没有。

冗余视频段长度：表示冗余视频段的总长度，可以用21bit表示，如果视频段长度为0，表示没有视频段。

冗余视频流总数：表示视频段中视频流的数量总和；可以用3bit表示。

冗余音频段长度：表示冗余音频段的总长度，可以用21bit表示，果音频段长度为0，表示没有音频段。

冗余音频流总数：表示音频段中音频流的数量总和；可以用3bit表示。

网络侧服务器可以将上述冗余音视频帧的控制信息可以添加到CMMB(中国移动多媒体广播)复用子帧头的扩展区，如图4所示；

通过上面的冗余音视频流的控制信息，终端可以知道复用子帧中是否存在冗余视频段或冗余音频段，以及相应的长度。

步骤103：网络侧将冗余音视频帧复用到CMMB复用帧中下发至终端。

如图4所示，将冗余视频段和冗余音频段的数据在复用子帧的数据段之后进行传输。这样扩充有着较好地兼容性，可以使得不支持冗余音视频帧的终端也能够正确解析复用子帧。

冗余视频段的具体格式和CMMB复用协议中视频段的格式一样；冗余音频段的格式和CMMB复用协议中音频段的格式一样。这种一致的格式，使得终端能够很方便地采用解析标准音视频帧一样的方法来解析冗余音视频帧。

需要注意，网络侧也可以将冗余音视频帧与标准音视频帧封装在不同的复用帧中进行传送，还可以将冗余音视频帧与标准音视频帧封装在同一复用帧的不同子帧中进行传送。以来降低冗余音视频帧与标准音视频帧同时出错的概率。不管网络侧采用哪种方式传输冗余音视频帧，该冗余音视频帧与其控制信息总是位于同一CMMB复用帧中的同一复用子帧中。

如图3所示是终端侧利用冗余音视频帧提高播放性能的处理流程；

步骤201：终端从CMMB网络接收CMMB复用帧，并从复用帧中获取冗余音视频帧的控制信息。

步骤202：根据冗余音视频帧的控制信息判断是否存在冗余音视频帧，是则执行步骤203，否则执行步骤204；

步骤203：终端从复用帧中解析出冗余音视频帧的数据，并保存冗余音视频帧的数据。

步骤204：终端尝试解析和解码复用帧中的标准音视频帧，如果能够正确解码标准音视频帧，则执行步骤205；如果标准音视频帧出现异常，即有丢帧或者标准音视频帧解码错误，则执行步骤207。

步骤205：终端丢弃相对播放时间比当前标准音视频帧小的冗余音视频帧，即丢弃已播放过的标准音视频帧对应的冗余音视频帧。这样终端可以通过比较相对播放时间，来判断冗余音视频帧是否还有必要保留，并丢弃过期的冗余音视频帧。

步骤206：在标准音视频帧可用的情况下，终端播放标准音视频帧。返回步骤201。

步骤207：在标准音视频帧存在丢包或者解码错误的情况下，判断是否存在和丢包标准帧或解码错误标准帧的相对播放时间相符的冗余音视频帧，是则执行步骤208；否则返回步骤201。

步骤208：尝试解码冗余音视频帧，如果解码正确，则执行步骤209，否则返回步骤201。

步骤209：用解码后的冗余音视频帧代替丢失或错误的标准音视频帧进行播放。之后返回步骤201。