上行蜂窝视频通信中自适应的传输方法及系统

摘要

一种无线多媒体通信技术领域的上行蜂窝视频通信中自适应的传输方法及系统，所述方法为：基于反馈的信道有效传输带宽感知；根据感知的有效传输带宽，调整数据流的发送速率，发送速率的调整以改变数据流的包长度来实现；基于缓存清理和编码器码率控制的两级信源码率控制。所述装置包括发送端、传输网络、接收端，发送端包括视频编码单元和传输控制单元，接收端包括传输控制单元和视频解码单元，发送端和接收端通过传输网络传输信息。本发明的发送速率能同信道带宽的变化自动适应，降低因无线信道带宽波动而导致的丢包事件发生的概率，实现在网络运行条件不断变化的情况下使客户端获得尽可能好的播放质量。

说明书

技术领域

本发明涉及一种通信技术领域的方法及系统，具体是一种上行蜂窝视频通信中自适应的传输方法及系统。

背景技术

目前，无线蜂窝网络(2G/2.5G/3G)作为移动通信接入标准已经被世界大多数国家和地区采纳，也为无处不在的移动多媒体通信提供了可能。以视频和音频为主的移动多媒体通信作为今后蜂窝网络的主流业务，将为人们提供随时随地的多媒体通信服务。基于蜂窝网络的无线视频通信，其传输网络包括收发终端到移动基站的无线信道，和移动基站之间或基站到视频服务器的骨干网(如因特网)。为了实现对不同介质网络的屏蔽，视频流在这种混合网络上的传输往往采用基于IP的分组(也称为“包”)交换策略。此时，无线信道上的超出信道保护能力的比特错误将造成整个分组的丢失。因为当前的视频编码技术绝大多数采用预测编码架构，造成图像帧之间严重的时域依赖性。一旦视频流中出现数据包丢失造成当前帧的解码错误，这个误差将会沿着预测线路传递到后续的图像帧中。因此压缩后的视频流对于数据分组的丢失十分敏感。

为了增强分组视频传输的鲁棒性，人们做了大量研究工作，现有的抗误码容错技术包括：第一方面，信源压缩域的容错技术。在信源编码端，通过码流中增加冗余来阻止/降低差错传播，以缓解数据丢失造成的视频质量急剧下降，或尽可能减少丢失造成的损失范围。常见的编码端容错工具，根据其使用网络可分为用于电路交换信道“bit”差错的容错方法和用于分组交换信道(如IP网络)的容错方法。第二方面，信道传输域的容错技术。采用信道编码对多媒体数据进行编码保护。但是信道编码保护会增加传输多媒体数据所需的带宽，而且无线信道的突发误码会大大降低编码保护的有效性。在突发误码期间，即使很强的信道编码也无法实现有效保护；而在随机误码期间，过强的信道编码保护又将降低传输效率。另外，重传也常用来进行传输域的错误控制。但针对蜂窝视频端到端的跨网传输，重传将因为时延的不可预测和较大的抖动，以及额外网络负担，往往难以采用。

经对现有技术的文献检索发现，中国专利公开号CN1468001A，专利名称为“基于因特网的多媒体流自适应传输方法”，该专利通过建立RTP/RTCP协议结构，来进行网络带宽的实时检测、反馈及控制；通过建立基于发送端的拥塞控制结构，运用可扩展的自适应编码、选择性丢帧等来动态地调整媒体码流的传输，最终实现在网络运行条件不断变换的情况下使客户端获得尽可能好的播放质量。该专利为视频等媒体流在因特网上的自适应传输提供了一个系统的解决方法。考虑到因特网上数据包的丢失大都是因为网络拥塞造成的，而蜂窝视频通信往往跨越蜂窝无线信道和有线骨干网(如因特网)，其中端到端的数据包丢失主要集中在发送端蜂窝无线信道上。蜂窝网络无线信道常常因信号衰落、多径干扰等突发性信道误码，这些误码直接导致IP传输中整个协议包的丢失。因此，蜂窝视频中的丢包，并不是真正意义上的网络拥塞造成的。所以该专利提出的传输方法，通过降低发送码率来解除网络拥塞，主要用于解决因特网上拥塞造成的丢包问题。对蜂窝视频通信中的突发丢包，因为其丢包是信号衰减等信道误码原因造成的，减少发送码率并不能降低丢包的概率，该方法并不能有效地解决蜂窝视频通信中的丢包问题。

发明内容

本发明的目的在于克服上述现有技术的不足之处，提出了一种上行蜂窝视频通信中自适应的传输方法及系统，使其能在动态感知无线信道误码状况及有效传输带宽基础上，通过采用新的信道自适应传输方法和系统，以相对较小的系统复杂度实现有效的抗误码性丢包效果，在提高无线信道带宽利用率的同时增强多媒体通信的鲁棒性。

本发明是通过以下技术方案实现的：

本发明所述的上行蜂窝视频通信中自适应的传输方法，包括如下步骤：

步骤一，基于反馈的信道有效传输带宽感知：建立RTP/UDP/IP协议结构，该协议结构的数据平面负责传输使用RTP打包的视频流，而该协议结构的控制平面同时利用RTCP反馈信道的丢包统计信息，使发送端能通过包(即RTP分组)丢失的统计信息，估算出信道的有效传输带宽，用以控制编码端的发送码率，使其能够与信道带宽的波动相适应；

所述的使控制编码端的发送码率与信道带宽的波动相适应，是指：发送端将压缩后的视频流按RTP/UDP/IP(实时传输协议/数据报协议/因特网协议)结构打包，通过传输网络发送到接收端，接收端按IP/UDP/RTP顺序接收、解包，经缓存同时送入解码器和反馈控制模块，反馈控制模块根据RTP头部中的序号，进行包丢失率估计，并根据RTCP(实时传输控制协议)生成QoS反馈信息：RTCP协议包，RTCP协议包经下行信道发送到接收端的码率控制单元，码率控制单元根据接收到的丢包率统计信息，进行信道有效传输带宽的估计，如果丢包率P_Loss大于或等于设定的门限值P_TH，则认为发生了信道出现误码，有效传输带宽下降形成“网络拥塞”；如果丢包率P_Loss小于设定的门限值P_TH，则信道传输质量良好，网络拥塞没有发生。

步骤二，根据步骤一感知的有效传输带宽，调整数据流的发送速率，发送速率的调整通过改变数据流的包发送间隙来实现；

所述调整数据流的发送速率，具体为：通过建立端到端的反馈系统，利用实时传输控制协议RTCP，将接收端检测到的丢包信息反馈给发送端，发送端根据反馈信息估计信道的误码状况和有效传输带宽。当检测到信道有效传输带宽发生变化时，通过发送端的传输控制单元启动拥塞控制，对发送速率进行调整：在丢包率较高、信道有效传输带宽下降时，通过加大分组的发送间隔进行信道误码回避；在丢包率较低、信道有效传输带宽上升时，通过减小分组发送间隙，提升码率以充分利用信道带宽；同时，通过对编码器和发送缓存的码率控制，使信源码率动态适应信道有效传输带宽的波动，防止因网络拥塞引起丢包或因发送码率过低造成带宽资源浪费。

所述发送速率的调整通过改变数据流的包发送间隙来实现，具体为：采取固定UDP包长加上固定发送间隙的数据流发送方法，即每隔一个固定的时间间隔，发送一个UDP包，UDP包的包长根据信道有效传输带宽来设定，这样发送速率的调整就通过改变UDP包长来实现：当信道检测模块根据反馈信息检测到信道有效传输带宽发生变化时，通过增加或减少UDP包的包长，来实现对发送速率的调整，以适应信道有效传输带宽的波动。

步骤三，基于缓存清理和编码器码率控制的两级信源码率控制：通过对缓存内视频流的选择性丢帧和编码器的动态码率控制，将信源码率迅速调整到与信道有效传输带宽相一致，防止缓存的上、下溢。

所述的将信源码率迅速调整到与信道有效传输带宽相一致，是指：首先是对发送端缓存的清理，将缓存中受到丢失包污染的包丢弃，避免无效数据的发送而浪费带宽；其次是对编码模块的编码码率进行控制，通过修正量化参数、图像帧率及图像分辨率等措施联合实现，使编码模块编码比特速率与估算到的目标码率相匹配。

所述对编码模块的编码码率进行控制，具体为：根据用户对图像质量的要求，设定可调整的量化参数范围，在此范围内对编码码率进行与信道可用带宽相适应的调整；当达到量化参数范围的门限，仍无法满足码率调整要求时，采取基于查表法的图像帧率调整，根据可用带宽，通过查表得到相对应的目标帧率；若还需满足用户对图像的差异化的需求，在修正量化参数、调整图像帧率的基础上，根据用户对图像质量的要求，通过反馈信道，对图像分辨率进行实时调整。

本发明所述的上行蜂窝视频通信中自适应的传输系统，包括：发送端、传输网络、接收端，发送端包括视频编码单元和发送端传输控制单元，接收端包括视频解码单元和接收端传输控制单元，发送端和接收端通过传输网络传输信息，其中：

视频编码单元完成视频的采集和压缩，压缩后的比特流送入发送端传输控制单元；

发送端传输控制单元包括：发送缓存、发送速率控制模块、码率控制模块、带宽检测模块、无线收发模块，其中：发送缓存接收视频编码单元发送的比特流并缓存，带宽检测模块通过无线收发模块接收来自接收端的包丢失等反馈信息，并根据这些信息统计得到当前的可用信道带宽，设定发送速率和信源目标码率，发送速率控制模块根据带宽检测模块检测到的信道带宽，按带宽检测模块给出的发送速率将发送缓存中的比特流送入无线收发模块，无线收发模块将该比特流发送出去，经传输网络传送到接收端，码率控制模块根据带宽检测模块给定的信源目标码率，通过发送缓存管理，计算得到编码器目标编码码率，并将该目标码率传送给视频编码单元，视频编码单元以此目标码率为依据，指导视频编码单元的码率控制，得到与信道带宽相适应的编码码率；

接收端传输控制单元包括：无线或有线收发模块、接收缓存、信道检测模块，其中：无线或有线收发模块接收传输网络传送过来的比特流并送入接收缓存，再送入视频解码单元解码显示。信道检测模块对接收缓存中的比特流(RTP流)进行解析，根据包头序号的连续性，统计丢包情况，并根据RTCP协议产生反馈RTCP包传输给无线或有线收发模块，通过无线或有线收发模块和传输网络发送至发送端；

所述传输网络包括蜂窝无线网络和骨干网，蜂窝无线网络为CDMA(码分多址)或GPRS(通用无线分组业务)，骨干网为因特网。

与现有技术相比，本发明具有如下有益效果：本发明的发送速率能同信道带宽的变化自动适应，降低因无线信道带宽波动而导致的丢包事件发生的概率，实现在网络运行条件不断变化的情况下使客户端获得尽可能好的播放质量。本发明的方法在多项实验测试中，取得了平均丢包率下降最大可达30％的效果。采用本发明所述方法和系统的蜂窝视频系统，与现有技术相比本发明能够获得更为连续和清晰的图像质量，同时比未采用本发明的同类系统高出15％的抗误码性能。

附图说明

图1本发明基于端到端反馈的自适应传输方法协议结构示意图；

图2本发明的自适应传输方法发送速率调整的流程图；

图3本发明中上行蜂窝视频自适应传输装置结构框图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例基于CDMA(码分多址)2000-1X网络的移动视频监控系统，该系统采用嵌入式数字信号处理芯片TMS320DM642作为视频编解码单元的主处理芯片，实现基于H.264标准的视频编解码；采用ARM中央处理芯片，实现发送端/接收端的传输控制单元功能；利用现有的公用移动通信网络CDMA2000-1X，作为蜂窝无线传输网络。该样本实施例，可用于点对点和点对多点的蜂窝视频通信，为移动视频监控提供可行的解决方案，使视音频监控系统不再受到地域范围的限制。

本实施例涉及的上行蜂窝视频通信中自适应的传输方法，包括如下具体步骤：

步骤一，基于反馈的信道有效传输带宽感知：如图1所示，建立RTP/UDP/IP(实时传输协议/数据报协议/因特网协议)结构，该协议结构的数据平面负责传输使用RTP打包的视频流，而该协议结构的控制平面同时利用RTCP(实时传输控制协议)反馈信道的丢包统计信息，使发送端能通过包丢失的统计信息来，估算出信道的有效传输带宽，用以控制编码端的发送码率，使其能够与信道带宽的波动相适应；

所述RTP，是一个轻量级的协议，其建立在UDP之上，RTP数据报头部中的序号、时间戳、同步源标识等信息为差错恢复、包丢失率估计、传输复用等监测手段提供了可能性。

所述UDP是TCP的替代协议，与IP协议一起称为UDP/IP，提供面向事务的简单不可靠信息传送服务。与TCP不同，UDP并不提供对IP协议的可靠机制、流控制以及错误恢复等功能。由于UDP比较简单，便于节省处理时间，因此替代TCP用于实时性要求较高的视频等多媒体信息在IP网上的传输。

与RTP相配合的RTCP，其功能是提供关于QoS(服务质量)的信息反馈，网络终端系统根据反馈信息来适应不同的网络状况，RTCP控制包共有5种类型，其中用于提供QoS反馈的有两种：发送端报告(SR)和接收端报告(RR)，前者描述发送端的发送和接收统计数据，后者描述接收端的接收统计数据，统计数据包括发送端包和字节统计数、累计丢包数、数据包丢失比例、扩展的最高接收序列号、到达时间间隔抖动等。

如图2所示，所述的使控制编码端的发送码率与信道带宽的波动相适应，是指：发送端在将压缩后的视频流按RTP/UDP/IP协议结构打包，通过传输网络发送到接收端；接收端按IP/UDP/RTP顺序接收、解包，经缓存同时送入视频解码单元和信道监测模块；信道监测模块根据RTP头部中的序号，进行包丢失率估计，并根据RTCP协议生成QoS反馈信息：RTCP协议包，RTCP协议包经下行信道发送到发送端的带宽检测模块，带宽检测模块根据接收到的丢包率等统计信息，进行信道有效带宽的估计，如果丢包率P_Loss大于或等于门限值P_TH，P_TH＝5％，则认为发生了信道出现误码，有效带宽下降形成“网络拥塞”；如果丢包率P_Loss小于门限值P_TH，那么认为信道传输质量良好，网络拥塞没有发生。

步骤二，根据步骤一感知的有效传输带宽，采用改变数据包长度和发送间隔的方法来调整数据流的发送速率；

传统的传输方法大多采用探测性的线性增加乘性减少(AIMD)方法，即如果包丢失率P_Loss小于门限值P_TH，则将发送码率增加一个增量ΔR(但增加后的码率不能大于设定的传输码率上限MaxR)；反之，P_Loss大于或等于门限值P_TH，发送码率将迅速下降为α·R(0＜α＜1)，即乘性减少，可将其表述为：

如果P_Loss＜P_TH则R＝min{(R+ΔR)，MaxR}；

否则R＝max{(α·R)，MinR}；

其中：P_Loss就是数据包的实际丢失率，P_TH、MinR、MaxR分别为数据包丢失率的阀值P_TH和传输速率的范围[MinR，MaxR]，这些都是决定收端视频质量的关键参数；R是源端的发送速率，ΔR是线性增加的速率，α为减性因子(0＜α＜1)，数据包的丢失率P_Loss是源端根据收端的反馈报告计算出来的。

如图2所示，所述采用改变数据包长度和发送间隔的方法来调整数据流的发送速率，具体为：

第一步，初始化：设定初始的UDP包长L_UDP和初始的信源码率R_s。为均衡包头带来的负载和MTU(最大传输单元)的限制，设定L_UDP为1024Byte，并将该值赋为当前时刻的UDP包长度L_c；R_s根据实际所用信道的带宽进行设置，如目前的CDMA2000-1X的可用带宽可设为80kbps，同时，将R_s赋为信道可用带宽R_c；

第二步，以固定发送间隙发送，具体为：对编码后的RTP数据流，按照设定的UDP包长度进行UDP打包；为降低I帧的丢失概率，设定每个UDP包不能同时包含I帧和P帧(I帧分割后不足整数个UDP包的部分，以实际剩余数为UDP实际负载长度，该包此时不受固定包长的限制)。相邻两个包的发送间隙固定，数据流的发送速率由每秒中发送的UDP包个数而定，发送的间隙T_dur根据UDP包的长度和信道带宽按下式设定：

T_dur＝R_c/L_UDP

其中R_c为信道可用带宽，L_UDP为UDP包长度；

第三步，通过更改UDP包长度，来增加或降低发送速率，具体为：当信道有效带宽发生变化、需要进行发送码率改变时，通过修改UDP包的长度，实现对发送码率进行相应的修正。假定发送目标码率为R_t，则UDP包长的修正量ΔL根据下式计算得到：

ΔL＝R_t/T_dur-L_c

其中，L_c为当前时刻的UDP包长度，T_dur为发送间隙。

下一时刻的UDP包长修正为

L_n＝L_c+ΔL。

步骤三，基于缓存清理和编码器码率控制的两级信源码率控制：通过对缓存内视频流的选择性丢帧和编码器的动态码率控制，将信源码率迅速调整到与信道有效传输带宽相一致，防止缓存的上、下溢。

所述的将信源码率迅速调整到与信道有效传输带宽相一致，是指：首先是对发送端缓存的清理，将缓存中受到丢失包污染的包丢弃，避免无效数据的发送而浪费带宽；其次是对编码模块的编码码率进行控制，通过修正量化参数、图像帧率及图像分辨率等措施联合实现，使编码模块编码比特速率与估算到的目标码率相匹配。

所述缓存清理，是指：在基于时域预测的GOP(图像组)编码结构中，前一帧图像的丢失将造成同一GOP中后续图像因参考帧的丢失而出现失真，严重情况下将导致视频质量的急剧恶化，这些因丢包而受到污染的帧，对视频的解码重构意义不大。基于此，这些受污染的无效帧可以在发送端进行清除以提高带宽的利用率，当码率控制模块根据带宽检测模块得到的信道丢包情况，对缓存中是否有未发送的受污染帧进行检测，并把检测到的无效帧从缓存中移出，不再发送，根据清理后的缓存充盈程度，码率控制模块重新计算、设定编码器的编码码率，并通知视频编码单元依此码率作为目标码率进行编码码率控制。

所述编码器码率控制，具体为：

步骤一，帧级量化参数调整：采用JVT(联合视频工作组)提案中的码率控制方案G012，根据缓冲区的充盈度和目标码率进行帧级比特分配，并根据预测的MAD(平均绝对误差)值利用二项式码率模型进行量化级的计算，再用这个量化级进行率失真优化宏块模式判别，考虑到图像质量的保证，通过设定一个量化参数的范围，限制由于该参数的调整导致图像质量的不可接受；

步骤二，图像帧率调整：当步骤一中的量化参数在可接受的范围内调整后仍难以达到目标码率时，可通过图像帧率的调整来进一步降低编码码率，从而达到信源码率控制的目的。帧率的调整，通过预先设置的带宽-帧率对应表查表得到，带宽-帧率对应表通过基于对不同码率情况下图像的质量情况得到，可由用户根据需要进行调整或重新设置。本实施例中，采用表1所示的带宽-帧率调整对应范围，表中R_T为检测到的信道可用带宽，CIF分辨率为352像素x288像素，D1分辨率为704像素x576像素。

          表1不同带宽下的编码帧率范围

  CIF分辨率  D1分辨率  R_T≥80kbps  9-15帧/秒  3-5帧/秒  60≤R_T＜80kbps  6-9帧/秒  1-3帧/秒  40≤R_T＜60kbps  3-6帧/秒  不支持  R_T＜40  3帧/秒  不支持

步骤三，空间分辨率调整：在CIF和D1(仅在码率大于60kbps时支持)两种分辨率之间进行切换。在方式一和方式二的基础上，可根据用户的需求自主选择该方式的切换。在具体实现的实施例中，空间分辨率的调整可通过服务器端远程控制，即根据用户的需要来动态改变编码图像的空间分辨率；也可以根据信道可用带宽自适应切换。用户的动态调整命令，可由下行信道，采取TCP/IP协议等方式，实时馈送至编码器。

如图3所示，本实施例所涉及的上行蜂窝视频通信中自适应的传输系统，包括：发送端、传输网络、接收端，发送端包括视频编码单元和发送端传输控制单元，接收端包括视频解码单元和接收端传输控制单元，发送端和接收端通过传输网络传输信息，其中：

视频编码单元完成视频的采集和压缩，压缩后的比特流送入发送端传输控制单元；

发送端传输控制单元包括：发送缓存、发送速率控制模块、码率控制模块、带宽检测模块、无线收发模块，其中：发送缓存接收视频编码单元发送的比特流并缓存，带宽检测模块通过无线收发模块接收来自接收端的包丢失等反馈信息，并根据这些信息统计得到当前的可用信道带宽，设定发送速率和信源目标码率，发送速率控制模块根据带宽检测模块检测到的信道带宽，按带宽检测模块给出的发送速率将发送缓存中的比特流送入无线收发模块，无线收发模块将该比特流发送出去，经传输网络传送到接收端，码率控制模块根据带宽检测模块给定的信源目标码率，通过发送缓存管理，计算得到编码器目标编码码率，并将该目标码率传送给视频编码单元，视频编码单元以此视频码率为依据，指导视频编码单元的码率控制，得到与信道带宽相适应的编码码率；

接收端传输控制单元包括：无线或有线收发模块、接收缓存、信道检测模块，其中：无线或有线收发模块接收传输网络传送过来的比特流并送入接收缓存，再送入视频解码单元解码显示，信道检测模块对接收缓存中的比特流(RTP流)进行解析，根据包头序号的连续性，统计丢包情况，并根据RTCP协议产生反馈RTCP包传输给无线或有线收发模块，通过无线或有线收发模块和传输网络发送至发送端；

所述传输网络包括蜂窝无线网络和骨干网，蜂窝无线网络为CDMA(码分多址)或GPRS(通用无线分组业务)，骨干网为因特网。

下面对采用与未采用本实施例所述自适应的传输方法的两个系统的性能进行了测试比较。在测试中，采用本实施例中视频编码标准等参数如表2所示，测试结果如表3所示。表3所示结果为同一地区(上海市陆家嘴某小区)多次实地测试的平均值：同一时间段每天测试一次，共测试50次，丢包率为50次测试的平均值。这种多次实际测试的统计平均保证了实验结果一定程度上的公正性(因为实际环境的不可复制性，绝对的公正性是不可能实现的)。表3中对三种传输方法下的丢包率和主观质量进行了比较。测试中通过人为措施(拔掉无线模块天线、用屏蔽罩将终端部分屏蔽等)来设置信道恶化等的情景，如表3中的测试时间段2和4。

通过表3中大量测试结果的比较，可以看出：与采用较高恒定速率的传输方法(方案1)相比，能在视频质量下降不明显的情况下显著提高连续性；而与采用较低恒定速率的传输方法(方案2)相比，具有类似的连续性同时，通过信道自适应码率控制提高信道利用率，取得了更高的视频质量(主观上更为清晰)。同时，在表3所示的实际测试结果中，本实施例取得了平均丢包率下降最大可达30％的效果(时间段4)和能够对抗丢包率达20％(时间段2)的抗误码性能。

表2本实施例中CDMA移动视频监控系统参数设置情况

  参数名称  数值  视频编码标准  H.264baseline  L_UDP  1024bytes  R_s  80kbps  P_TH  5％

表3本实施中CDMA移动视频监控系统在不同传输方案下的数据收发测试结果

  时间段(每  个时间段为  30分钟)  方案1：未采用自适应的  传输方法(发送速率恒定  为80kbps)  方案2：未采用自适应  的传输方法(发送速  率恒定为40kbps)  方案3：采用自适应的  传输方法(具体参数见  表2)  丢包率  主观质量  丢包率  主观质量  丢包率  主观质量  1  ＜1％  图像清晰  内容连续  ＜1％  图像较模糊  内容连续  ＜1％  图像清晰  内容连续  2  约20％  图像清晰  内容断续  ＜1％  图像较模糊  内容连续  ＜1％  图像清晰  内容连续  3  ＜1％  图像清晰  内容连续  ＜1％  图像较模糊  内容连续  ＜1％  图像清晰  内容连续  4  约33％  图像清晰  部分时间处  阻塞状态  ＜1％  图像较模糊  内容偶尔出  现断续  约3％  图像较清晰内  容偶尔出现断  续  5  ＜1％  图像清晰  内容连续  ＜1％  图像较模糊  内容连续  ＜1％  图像清晰  内容连续