一种联合端系统和中继节点网络编码的鲁棒视频传输方法

摘要

本发明公开了一种联合端系统和中继节点网络编码的鲁棒视频传输方法：设计可伸缩视频编码的不平等保护算法，可伸缩码流优先级划分方法，视频流交织打包算法，以及视频质量失真模型，并通过对视频质量失真模型优化求解得到最优的冗余分配方案；发送端在待传输的压缩信源码流中通过随机线性网络编码添加适当冗余，从端系统角度保证视频传输的可靠性；中继节点通过随机线性网络编码减少了网络带宽资源消耗，并且提高了视频传输的效率和抗差错性能。本发明保证了接收端按可伸缩码流重要性顺序获得分层码流，提高了视频传输质量，并能够适应网络中不同终端的带宽、计算能力和分辨率的需求。

说明书

技术领域

本发明将随机线性网络编码技术应用于可伸缩视频传输的不平等保 护，通过在端系统和中继节点设计合理的网络编码策略，以解决网络丢包 对视频传输带来的不利影响，从而提高视频传输的可靠性和效率。

背景技术

随着网络技术的发展，一方面，网络上的视频应用越来越受到人们的 喜爱和关注，而另一方面，大多数网络却工作在丢包环境，且没有服务质 量保证；而视频传输的一个关键问题是需要将视频服务质量维持在一个可 以接受的级别，因此，如何在不可靠的网络上提供可靠、高效以及具有伸 缩性的实时视频流传输，意义重大且面临诸多挑战。

对于实时视频流传输，传统基于重传的ARQ方法不是一个切实可行 的方案，一方面由于重传需要额外的时间开销，不能满足实时需要；另一 面，如果采用ARQ方法，在视频多播通信中会引起反馈风暴问题。利用 网络编码(Network Coding，NC)技术可以有效地避免以上问题，缩减重发 的数据包数目，提高网络链路带宽利用率、降低网络延迟、提高网络吞吐 量。在端系统通过网络编码添加冗余的方法可以解决视频传输的可靠性问 题；中继节点通过随机线性网络编码来提高视频传输的抗差错性能和网络 带宽利用率，可以解决视频传输的效率问题。申请人经过查新，未检索本 发明相关的专利。但是找到相似的几篇文献，分别是：

[1]Thomos N,Frossard P.Raptor network video coding[C],Proceedings of  the International workshop on mobile video,2007:19-24.

[2]Thomos N,Frossard P.Network coding of rateless video in streaming  overlays[J].IEEE Transactions on Circuits and Systems for Video Technology, 2010,20(12):1834-1847.

[3]Fujimura A,Oh SY,Gerla M.Network coding vs.erasure coding:reliable  multicast in ad hoc networks[C].IEEE Military Communications  Conference(MILCOM),2008:1-7.

[4]Wang H,Kuo CCJ,Robust video multicast with joint network coding and  AL-FEC[C].IEEE International Symposium on Circuits and Systems,Seattle: IEEE,2008:2062-2065.

[5]Matsuda T and Takine T.Multicast communications with reed  solomon/network joint coding in wireless multihop networks[J].Journal of  Communications,2009,4(11):856-864.

目前，针对联合端系统和中继节点的编码来提供可靠、高效的视频传 输的理论和实践方面，国内外关注的重点不同。到目前为止，大多数对端 系统和中继节点的联合编码的研究只是一个简单的叠加过程。文献[1][2] 对联合端系统前向纠错码(Packet Level Forward Error Control，PL_FEC)和 中继节点网络编码的视频传输方案与只在端系统或中继节点编码的方案进 行比较，证明了联合端系统和中继节点编码的方案性能更优，但没有考虑 端系统PL_FEC和中继节点网络编码的相互干扰，只是对两种编码简单叠 加后的性能进行比较。文献[3][4][5]针对网络编码和应用层FEC应用到视 频多播通信中的联合设计方法进行探索，将FEC和网络编码分别实现在端 系统和中继节点，接收端根据由RS编码的校验矩阵和线性网络编码解码 矩阵两次解码完成对源视频的恢复，提高了视频传输的可靠性，但没有考 虑编码的复杂度、优化、变化的服务质量等问题。

发明内容

本发明的目的在于提供一种联合端系统和中继节点网络编码的鲁棒视 频传输方法。

为达到上述目的，本发明采用了以下技术方案。

第一步：发送端按视频质量失真模型优化求解出冗余分配方案，然后 按照冗余分配方案对可伸缩视频流排序、建立可伸缩视频流交织打包格式、 构造编码包并生成冗余包，然后将编码包和冗余包发送到网络上；

所述视频质量失真模型是基于可伸缩视频流特性和网络编码约束的视 频传输优化模型，如下式所示：

$D_{\mathrm{overall}}=\underset{i=0}{\overset{T-1}{\Sigma }}\underset{j=0}{\overset{Q-1}{\Sigma }}{\sigma }_{i,j}·{\rho }_{i,j}\left(w_{i,j}\right)$

$W=\left(\begin{array}{cccc}{w}_{\mathrm{0,0}}& w_{\mathrm{0,1}}& ...& w_{0,Q-1}\\ w_{1,0}& w_{\mathrm{1,1}}& ...& w_{1,Q-1}\\ ...& ...& ...& ...\\ w_{T-\mathrm{1,0}}& w_{T-\mathrm{1,1}}& ...& w_{T-1,Q-1}\end{array}\right)$

，优化的目标是考虑可伸缩视频流自身特性、编码特性以及网络容量限制， 合理的安排可伸缩视频流的冗余分配，从而保证视频质量失真最小，如下 式所示：

min{D_overall(W)}

s.t.

$\underset{i=0}{\overset{T-1}{\Sigma }}\underset{j=0}{\overset{Q-1}{\Sigma }}{h}_{i,j}+H\le M$

w_i,j≤w_i+1,j,i=0,1,......,T-2,j=0,1,......,Q-1

w_i,j≤w_i,j+1,i=0,1,......,T-1,j=0,1,......,Q-2

$\underset{i=0}{\overset{T-1}{\Sigma }}\underset{j=0}{\overset{Q-1}{\Sigma }}{h}_{i,j}·(N+r)\le B_{\mathrm{tot}}$

其中，

D_overall是视频传输总的失真；

W是分层码流的宽度，用可扩展单元宽度分配矩阵表示，优化的目地 就是确定一个最优的W，使得视频质量失真最小；

H是分层码流的高度，由数据缓冲区的大小和码流的数据量决定；

M是数据包的长度；

w_i,j为一个GOP中可扩展单元SU(i,j)的宽度，w_i,j直接决定可扩展单元 SU(i,j)分配的冗余量；

ρ_i,j(w_i,j)为可扩展单元SU(i,j）的宽度为w_x,j时数据包丢失的概率；

σ_i,j为可扩展单元SU(i,j）的重要程度；

h_i,j为一个GOP中可扩展单元SU(i,j)的高度；

T和Q分别为时间层和质量层；

N为可伸缩码流排序后生成的总的数据包数目；

r为添加的冗余包数目；

B_tot为分配给一个GOP的总的码流；

第二步：网络中继节点执行随机线性网络编码生成编码包；

第三步：接收端对从网络中继节点接收的编码包采用高斯-约旦消元法 分层解码得到视频数据包，从视频数据包中提取视频数据，利用视频数据 恢复出原始的可伸缩视频流。

所述建立可伸缩视频流交织打包格式包括如下具体步骤：

1）求解视频传输优化模型，得到可伸缩码流中最优的分层码流的高度 和宽度，根据最优的分层码流的高度和宽度将不同层的码流划分成不同大 小的数据块；

2）采用交织读取的方式提取数据块，计算数据块在数据包中的填充位 置，然后将数据块填充到对应的数据包位置中。

所述构造编码包并生成冗余包包括以下步骤：用最优的分层码流的宽 度除以缓存区总的宽度，求解出冗余包的添加比例，然后对填充好的数据 包执行随机线性网络编码，生成编码包和冗余包。

网络中继节点执行随机线性网络编码的流程包括如下步骤：

1）中继节点从输入链路接收来自同一组的数据包，然后将来自同一条 输入链路的数据包存储到同一个缓存；

2）缓存中的数据包个数大于编码最小上限时，在有限域中随机的选择 编码系数构成编码矩阵并对缓存中的数据包进行线性组合生成新的编码 包；

3）将生成的新的编码包发送到该中继节点的输出链路；

所述编码矩阵是基于梯形分割的下三角全局编码矩阵，当第i-1层的 码流不能正确解码时，不采用将第i-1层的码流直接丢失，而是等待第i 层码流到达后继续解码。

根据最优的分层码流的高度和宽度，确定编码矩阵的行数和列数，然 后用有限域中的基本运算构建基于梯形分割的下三角全局编码矩阵，该矩 阵是一种稀疏矩阵，矩阵从左到右依次存放重要程度递增的码流，重要的 码流存放在矩阵的靠右的部分，不重要的码流存放在矩阵的靠左的部分， 这样可以提高重要的码流参与网络编码的概率；提取基于梯形分割的下三 角全局编码矩阵编码向量，用编码向量乘以同组数据包的数据构成的矩阵 生成编码包。

用高斯-约旦消元法分层解码的过程为：

1）接收端从输入链路上接收编码包，对于同一组中的编码包，根据可 扩展单元的高度和宽度提取收到的编码包中的可扩展单元的编码块和编码 向量，并分别存储到编码包缓存和编码向量缓存中；

2）在有限域中计算可扩展单元的编码向量构成的矩阵的秩，当该矩阵 的秩等于可扩展单元的宽度，即可扩展单元的编码向量构成的矩阵满秩时， 在有限域中用高斯-约旦消元法求解出可扩展单元的编码向量构成的矩阵 的逆矩阵M；

3）用逆矩阵M乘以可扩展单元编码块矩阵解码出原始的可扩展单元， 按码流重要性顺序，即根据可扩展单元中时间层和质量层ID号循环完成 下一个可扩展单元的解码过程。

本发明与现有技术主要有以下几方面的不同：

1）为实施基于网络编码的视频流不平等保护策略，现有的视频失真模 型没有考虑中继节点的网络编码对源视频数据包的丢失概率的影响，而本 发明方法建立了基于网络编码的视频质量失真模型。

2）现有技术对端系统和中继节点的联合编码的研究只是一个简单的叠 加过程，接收端需要两次解码完成对源视频的恢复；而本发明方法将端系 统和中继节点的网络编码过程统一，接收端只需要一次解码即可恢复源视 频。

3）在端系统和中继节点网络编码的联合设计方面，现有技术没有明确 给出端系统如何构造有效的冗余包方法

本发明的有益效果为：本发明公开了一种联合端系统和中继节点网络 编码的鲁棒视频传输方法，主要解决如何在不可靠的网络上提供可靠、高 效以及具有伸缩性的视频流传输。该方法包括：设计可伸缩视频编码的不 平等保护算法，可伸缩码流优先级划分方法，视频流交织打包算法，以及 视频质量失真模型，并通过对视频质量失真模型优化求解得到最优的冗余 分配方案；发送端在待传输的压缩信源码流中通过随机线性网络编码添加 适当冗余，从端系统角度保证视频传输的可靠性；中继节点通过随机线性 网络编码减少了网络带宽资源消耗，并且提高了视频传输的效率和抗差错 性能。本发明保证了接收端按可伸缩码流重要性顺序获得分层码流，提高 了视频传输质量，并能够适应网络中不同终端的带宽、计算能力和分辨率 的需求。

附图说明

图1为本发明的总流程图；

图2为可伸缩视频流交织打包格式示意图；

图3为可伸缩视频流交织打包子流程图；

图4为建立视频质量失真模型子流程图；

图5为三种基于UEP策略的网络编码矩阵示意图；其中图5a为块对 角全局编码矩阵BDGCM，图5b为梯形全局编码矩阵LGCM，图5c为本 发明基于梯形分割的下三角全局编码矩阵LTGCM；M表示视频数据，k 表示数据的宽度，r表示数据的冗余度。

图6为中继节点随机线性网络编码子流程图；

图7为接收端网络解码子流程图；

图8为在不同的丢包率和不同的网络编码策略的情况下视频重建质量 仿真图；其中，图8（a）为利用只在端系统编码（RNC）方法、一般的随 机线性网络编码方法（RLNC）和本发明方法(R²NC)分别对coastguard视频 序列进行仿真得到的峰值信噪比仿真图；图8（b）为利用只在端系统编码 （RNC）方法、一般的随机线性网络编码方法（RLNC）和本发明方法(R²NC) 分别对Forman视频序列进行仿真得到的峰值信噪比仿真图；

图9为在丢包率为15%的情况下，采用不同的网络编码策略，接收端 收到的主观视频质量；其中，图9（a）为原始视频图像；图9（b）为利用 本发明方法对coastguard_qcif视频序列进行仿真得到的主观视频质量；图 9（c）为利用只在端系统编码的方法对coastguard_qcif视频序列进行仿真 得到的主观视频质量；图9（d）为利用一般的随机线性网络编码方法对 coastguard_qcif视频序列进行仿真得到的主观视频质量。

具体实施方式

下面结合附图对本发明作进一步的详细描述。

本发明将网络编码应用于可伸缩视频传输保护，通过在端系统和中继 节点设计合理的网络编码策略，以解决网络丢包对视频传输带来的不利影 响，从而提高视频传输的可靠性和效率。参照图1，本发明联合端系统和 中继节点网络编码的鲁棒视频传输方法，包括如下步骤：

第一步：发送端对可扩展视频流排序、打包，再构造编码包并按视频 质量失真模型优化求解后的冗余分配方案生成冗余包：

（1）合理的安排可伸缩视频流可以有效的降低网络丢包对接收端视频 质量的影响；

（2）设计基于网络编码的不平等保护策略，对不同重要性的码流打包， 实施不同程度的保护。

基于可扩展单元的可伸缩视频流交织打包格式如图2所示：其中可伸 缩码流被分为T个时间层和Q个质量层，根据时间层和质量层将视频流组 成一个可扩展单元。图中白色部分的数据EP_SU(i,j)为对可伸缩视频流的可扩 展单元SU(i,j)进行网络编码后的编码包，而灰色部分的数据RP_SU(i,j)为对 SU(i,j)通过网络编码添加的冗余包，总的编码包数目为N个，而冗余包数 目为r个。其中h_i,j为可扩展单元SU(i,j)的高度，而w_i,j为可扩展单元SU(i, j)的宽度。接收端根据可扩展单元的宽度解码，当接收端收到w_i,j以上个数 的数据包后，可扩展单元SU(i,j)可以解码。其中重要性高的可扩展单元由 较少的数据包组成，即可扩展单元的宽度较小时可以获得更多的保护，接 收端只需要较少数量的数据包就可以完成解码，从而保证在接收端可以获 得更高的解码概率。

基于可扩展单元的可伸缩视频流交织打包流程如图3所示，包括如下步 骤：

a）求解视频传输优化模型，得到可伸缩码流中最优的分层码流的高度 H和宽度W。根据最优的分层码流的高度H和宽度W将不同层的码流划 分成不同大小的数据块；

b）采用交织读取的方式提取数据块，计算数据块在数据包中的填充位 置，然后将数据块填充到对应的数据包位置中；

c)根据最优的分层码流的高度H和宽度W，用最优的分层码流的宽 度W处以缓存区总的宽度，求解出冗余包的添加比例，然后对填充好的数 据包执行随机线性网络编码，生成编码包和冗余包。

（3）建立基于可伸缩视频流特性和网络编码约束的视频传输优化模 型，优化的目标是考虑可伸缩视频流自身特性、编码特性以及链路容量限 制，合理的安排可伸缩视频码流和端系统的冗余分配，从而保证视频质量 失真最小。其中建立视频质量失真模型的流程如图4所示，包括如下步骤：

（a）端系统通过实验预测的方法获得可伸缩视频流可扩展单元SU丢 失后的视频PSNR值，再计算出可扩展单元丢失造成的视频流PSNR下降 值，用来确定该可扩展单元的重要性δ_i,j；

（b）通过实验仿真计算出接收端收不到该视频流可扩展单元SU的概 率，即得到可扩展单元丢失的概率表达式；

（c）当获得一个GOP中所有可扩展单元的以上两项值后，构建总体 视频质量失真模型D_overall。

所述视频质量失真模型是基于可伸缩视频流特性和网络编码约束的视 频传输优化模型，建立的视频质量失真模型优化的目标是通过寻找最优的 冗余分配和码流安排方法使得视频质量失真最小。对于可伸缩视频传输系 统，采用端到端系统性能优化判据主要以接收端重建视频的峰值信噪比 PSNR值度量。为建立视频质量失真模型，将可伸缩码流分为T个时间层 和Q个质量层，根据时间层和质量层将视频流组成一个可扩展单元。用i 代表时间层编号，j代表质量层编号，其中i取值从0到T-1，j取值0到 Q-1，每个可扩展单元SU(i,j)的宽度为w_i,j，可扩展单元的高度为h_i,j，如 下式所示：

$D_{\mathrm{overall}}=\underset{i=0}{\overset{T-1}{\Sigma }}\underset{j=0}{\overset{Q-1}{\Sigma }}{\sigma }_{i,j}·{\rho }_{i,j}\left(w_{i,j}\right)$

$W=\left(\begin{array}{cccc}{w}_{\mathrm{0,0}}& w_{\mathrm{0,1}}& ...& w_{0,Q-1}\\ w_{1,0}& w_{\mathrm{1,1}}& ...& w_{1,Q-1}\\ ...& ...& ...& ...\\ w_{T-\mathrm{1,0}}& w_{T-\mathrm{1,1}}& ...& w_{T-1,Q-1}\end{array}\right)$

，优化的目标是考虑可伸缩视频流自身特性、编码特性以及网络容量限制， 合理的安排可伸缩视频流的冗余分配，从而保证视频质量失真最小，如下 式所示：

min{D_overall(W)}

s.t.

$\underset{i=0}{\overset{T-1}{\Sigma }}\underset{j=0}{\overset{Q-1}{\Sigma }}{h}_{i,j}+H\le M$

w_i,j≤w_i+1,j,i=0,1,......,T-2,j=0,1,......,Q-1

w_i,j≤w_i,j+1,i=0,1,......,T-1,j=0,1,......,Q-2

$\underset{i=0}{\overset{T-1}{\Sigma }}\underset{j=0}{\overset{Q-1}{\Sigma }}{h}_{i,j}·(N+r)\le B_{\mathrm{tot}}$

其中，

D_overall是视频传输总的失真，即一个GOP中总体可扩展单元丢失造成 的视频质量下降值；

W是分层码流的宽度，用可扩展单元宽度分配矩阵表示，优化的目地 就是确定一个最优的W，使得视频质量失真最小；

H是分层码流的高度，由数据缓冲区的大小和码流的数据量决定；

M是数据包的长度；

w_i,j为一个GOP（画面组）中可扩展单元SU(i,j)的宽度，w_i,j直接决定 可扩展单元SU(i,j)分配的冗余量；

ρ_i,j(w_i,j)为可扩展单元SU(i,j）的宽度为w_i,j时数据包丢失的概率，即考 虑应用网络编码对视频传输进行保护时可扩展单元SU(i,j)丢失的概率，而 此概率同源端使用随机线性网络编码时为SU（i，j）视频数据所添加的冗 余量直接相关；

σ_i,j为一个GOP中可扩展单元SU(i,j）的重要程度；

h_i,j为一个GOP中可扩展单元SU(i,j)的高度，与具体的视频内容和编 码方式有关；

T和Q分别为时间层和质量层；

N为可伸缩码流排序后生成的总的数据包数目；

r为添加的冗余包数目；

B_tot为分配给一个GOP的总的码流；

第二步，考虑可伸缩码流特性，设计网络中继节点的网络编码策略：

（1）设计一种梯形全局编码矩阵用于中继节点的网络编码策略；

设计了一种基于梯形分割的下三角全局编码矩阵（LTGCM）如图5（c） 所示，该编码矩阵不但保证了图5（b）矩阵的优势，当第i-1层的码流不 能正确解码时，不采用将第i-1层的码流直接丢失，而是等待第i层码流到 达后继续解码，而且需要更少的冗余，编码向量之间具有很高的线性无关 性，提高了接收端的解码概率。

所述基于梯形分割的下三角全局编码矩阵的构造方法为：

根据最优的分层码流的高度H和宽度W，确定编码矩阵的行数和列数， 然后用有限域中的基本运算构建基于梯形分割的下三角全局编码矩阵，该 矩阵是一种稀疏矩阵，矩阵从左到右依次存放重要程度递增的码流，重要 的码流存放在矩阵的靠右的部分，不重要的码流存放在矩阵的靠左的部分， 这样可以提高重要的码流参与网络编码的概率。

（2）中继节点执行随机线性网络编码的流程如图6所示，包括如下步 骤：

（a）中继节点从输入链路接收来自同一组的数据包，并将来自同一条 输入链路的数据包存储到同一个缓存；

（b）缓存中的数据包个数大于编码最小上限时，在有限域中随机的选 择编码系数构成编码向量，使之符合基于梯形分割的下三角全局编码矩阵 的形式，然后对缓存中的数据包进行线性组合生成新的编码包；线性组合 的过程为：提取基于梯形分割的下三角全局编码矩阵编码向量，用编码向 量乘以同组数据包的数据构成的矩阵生成编码包。

（c）将生成的编码包发送到该中继节点的输出链路。

第三步：接收端对收到的编码包采用高斯-约旦消元法分层解码并将其 恢复成原始的视频序列，流程图如图7所示，包括如下步骤：

Step1、接收端对同一组中的数据包，根据可扩展单元的高度和宽度， 提取编码块和编码向量；

Step2、在有限域中计算可扩展单元的编码向量构成的矩阵的秩，当矩 阵满秩时，在有限域中用高斯-约旦消元法求解出可扩展单元的编码向量构 成的矩阵的逆矩阵M；

Step3、用全局编码矩阵的逆矩阵M乘以可扩展单元编码块矩阵解码 出原始的可扩展单元；

Step4、按码流重要性顺序，循环完成下一个可扩展单元的解码过程。

本发明的效果可以通过以下对Forman序列和Coastguard序列的仿真 结果进一步说明：

（1）利用不同网络编码方法在丢包率为0～0.35的情况下，对峰值信噪 比值进行仿真，其结果如图8中所示，图8表明，采用本发明方法与其他两 种网络编码方法相比，接收端收到的视频的平均峰值信噪比值最高。随着 网络丢包率的增加，本发明方法在接收端收到的视频质量缓慢下降，并不 随着丢包率增大而显著下降。可见本发明方法的抗差错性能最强。

（2）在丢包率为15%的情况下，采用不同的网络编码策略，接收端 收到的第187帧coastguard_qcif视频图像如图9所示。图9表明，在丢包 率为15%的情况下，利用本发明方法与其他两种编码方法相比，接收端收 到的coastguard_qcif视频图像比较清晰。

以上所述仅为本发明的较佳实例而已，并不构成对本发明的限制，凡 在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应 包含在本发明的保护范围之内。