分布式视频编码中基于时空相关性的不等差错保护方法

摘要

本发明公开了一种分布式视频编码中基于时空相关性的不等差错保护方法，其特征在于，包括：在编码端，包括如下步骤：步骤一：将视频序列分为K帧和WZ帧；步骤二：对WZ块进行分类，得到WZ块的类信息，将WZ块的类信息传输至不等差错保护编码器；步骤三：对WZ块进行DCT变换，量化，提取比特面，编码；在解码端，包括如下步骤：步骤四：对K帧进行解码生成边信息，DCT变换、量化、比特面抽取，生成边信息系数带；进行相关噪声模型参数估计，码率估计；步骤五：进行联合解码；步骤六：WZ帧系数带，得到WZ帧的解码重构图像。本发明提高了系统的率失真性能。

说明书

技术领域

本发明涉及一种分布式视频编码中基于时空相关性的不等差错保护方法，本发明属于通 信技术领域。

背景技术

随着科学技术的发展，传统的视频编码技术已经不能满足人们现代生活的需求，一种新 的编码技术—分布式视频编码随之产生，分布式视频编码能将传统编码技术编码端的复杂度 转移到解码端，从而适用于手机，无线摄像头等编码端复杂度受限，但解码端拥有大量资源 的设备。

分布式视频编码是一种基于Slepian-Wolf无损信源编码理论和Wyner-Ziv有损信源编码 理论的视频压缩方法。目前分布式视频编码有基于像素域和基于变换域两种，基于变换域的 分布式视频编码能够利用空间统计相关性，得到更好的率失真性能，所以目前大部分的研究 工作都是在基于变换域的分布式视频编码上进行的。基于变换域的分布式视频编码主要工作 过程如下：在编码端，对WZ帧进行4×4或者8×8的DCT变换，然后将变换系数进行量化， 提取相同重要性的比特位组成比特面，接着将比特面按位高低顺序送入Turbo编码器进行编 码，每个比特面经过编码后会产生校验比特，校验比特一部分直接传给解码端，一部分存放 在缓存区，等解码器请求时再传。在解码端，利用运动估计内插生成边信息，将边信息进行 同样的DCT变换，利用边信息和对应的比特面的校验码来解码比特面，最后利用解码完成的 比特面和边信息进行重构。在分布式视频编码中，边信息生成质量的好坏对系统的率失真性 能起着至关重要的作用，在已有的研究成果中对视频图像数据采用统一的信道编解码方式， 没有结合视频图像数据的特性来选取相应的信道编解码方法，这样容易导致图像的信噪比下 降或者系统的时延性和复杂度大大提高，不利于视频数据的传输。

不等差错保护技术是根据信息数据对信道的噪声敏感程度不同，或者信息数据的重要性 不同，将信息数据分成不同的类型，分别采用不同的编解码方式进行传输，使得需要保护的 信息数据得到充分保护，采用不等差错保护方法，不仅能够保证信息数据的解码质量，而且 在一定程度上能够减少系统的复杂度。目前不等差错保护技术在很多方面得到广泛应用，如 在移动通信中，不同的信息元对无线信道中的噪声的敏感程度是不一样的，所以根据信息元 对噪声的敏感程度不同，将信息元分为不同的类型，采用不同的编解码方式，使得在资源有 限的情况下让信息元数据得到更加充分的保护。另外在视频图像的传输中，人们对图像的感 兴趣区域不同，根据感兴趣区域不同，将图像进行分类并采用不同的编解码方式进行传输， 使得感兴趣区域的图像得到重点保护，得到一个更好的感兴趣区域图像恢复质量。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种分布式视频编码中基于时空相关性 的不等差错保护方法。

为了实现上述目标，本发明采用如下的技术方案：

分布式视频编码中基于时空相关性的不等差错保护方法，其特征在于，包括：

在编码端，包括如下步骤：

步骤一：将视频序列分为K帧和WZ帧，并将每个帧分为若干个像素块，对K帧采用 传统编码形式进行编码；

步骤二：对WZ块进行分类，得到WZ块的类信息，将WZ块的类信息传输至不等差错 保护编码器，所述WZ块为WZ帧中的像素块；

步骤三：对WZ块进行DCT变换，将DCT变换的变换系数进行量化，提取相同重要性 的比特位组成比特面，将比特面的数据按位高低顺序送入不等差错保护编码器，不等差错保 护编码器根据WZ块的类信息对比特面的数据进行编码；

在解码端，包括如下步骤：

步骤四：对K帧进行解码，对已经解码的相邻K帧，通过运动补偿内插生成边信息， 并对边信息依次进行DCT变换、量化、比特面抽取，生成不同系数的边信息系数带；根据边 信息帧和解码的K帧之间的残差进行相关噪声模型参数估计，根据相关噪声模型参数进行码 率估计；

步骤五：不等差错保护解码器根据接收到的WZ块的类信息，利用缓存器中的校验码结 合对应的边信息系数带进行联合解码，当译码误比特率大于实验设置的阈值T₃时，不等差错 保护解码器向缓存器中请求更多的校验码流，直至误比特率小于实验设置的阈值T₃时解码退 出；

步骤六：利用解码得到的数据和边信息重构WZ帧系数带，再进行IDCT变换得到WZ 帧的解码重构图像。

前述的分布式视频编码中基于时空相关性的不等差错保护方法，其特征在于，所述步骤 一包括：将每个图像分为若干个8*8的像素块，所述传统编码形式为H.264编解码方式。

前述的分布式视频编码中基于时空相关性的不等差错保护方法，其特征在于，所述步骤 二包括：

步骤2a：对WZ帧和所述WZ帧的前一K帧的同位置像素块进行绝对误差和计算；

步骤2b：对WZ帧采用边缘检测算子提取边缘特征，并按块统计边缘特征像素点个数；

步骤2c：利用计算所得的绝对误差和及边缘特征像素点个数组成判决矩阵，根据设置的 阈值对判决矩阵进行判断，对像素块分类。

前述的分布式视频编码中基于时空相关性的不等差错保护方法，其特征在于，所述绝对 误差和的计算公式为：其中(i,j)表示像素点的坐标位置，WZ(i,j) 表示WZ帧的像素点对应的像素点值，B(i,j)表示所述WZ帧的前一K帧的像素点对应的像 素点值，M表示WZ帧中像素块的长度，N表示WZ帧中像素块的宽度，a表示像素块的序 号，SAD_a表示序号为a的像素块的绝对误差和。

前述的分布式视频编码中基于时空相关性的不等差错保护方法，其特征在于，WZ帧中 序号为a的像素块的边缘像素点个数记为NOE_a，利用计算所得的SAD_a值和NOE_a组成WZ帧 中序号为a的像素块的判决矩阵P_a，P_a＝[SAD_a,NOE_a]，将所述像素块分为3类：如果SAD_a值 小于阈值T₁，则所述像素块为第一类；如果SAD_a值大于等于阈值T₁且NOE_a值小于阈值T₂，则 所述像素块为第二类；如果SAD_a值大于等于阈值T₁且NOE_a值大于等于阈值T₂，则所述像素块 为第三类。

前述的分布式视频编码中基于时空相关性的不等差错保护方法，其特征在于，所述步骤 三包括：对WZ块进行8×8的DCT变换，所述不等差错保护编码器进行编码的步骤包括：

步骤3a：若所述像素块类型为第一类，则选择分组交织器作为编码器；选择删余矩阵为 M₁，

$M_1=\left(\begin{array}{cccc}1& 1& 1& 1\\ 1& 0& 0& 0\\ 0& 0& 1& 0\end{array}\right);$

步骤3b：若所述像素块类型为第二类，，则选择随机交织器作为编码器；选择删余矩阵 为M₂，

$M_2=\left(\begin{array}{ccc}1& 1& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right);$

步骤3c：若所述像素块类型为第三类，则选择S型交织器作为编码器；选择删余矩阵为 M₃，

$M_3=\left(\begin{array}{cccc}1& 1& 1& 1\\ 1& 0& 1& 0\\ 0& 1& 0& 1\end{array}\right).$

前述的分布式视频编码中基于时空相关性的不等差错保护方法，其特征在于，所述步骤 五包括：对边信息依次进行8×8DCT变换、量化、比特面抽取，不等差错保护解码器进行解 码的步骤包括：

步骤5a：若WZ块为第一类，则选择sova算法进行译码；

步骤5b：若WZ块为第二类，则选择max-log-map算法进行译码；

步骤5c：若WZ块为第三类，则选择log-map算法进行译码。

本发明的有益之处在于：本发明在分布式编码系统中，WZ帧中的像素块时空相关性不 同所产生的边信息质量不同，根据时空相关性对WZ块进行分类，利用了图像数据本身的特 性；此外，本发明根据不等差错保护的思想，不同类型像素块数据对信道的噪声敏感程度不 同，对不同类型的像素块采用不同的编码策略和译码算法，即采用信道编码和信息数据特性 相结合的方法，提高了系统的率失真性能。

附图说明

图1是本发明中基于时空相关性不等差错保护方法的系统框图；

图2是本发明基于时空相关性的像素块分类示意图；

图3是本发明基于时空相关性的不等差错保护编码器构造示意图；

图4是本发明基于时空相关性的不等差错保护解码器构造示意图；

图5是采用标准测试序Coastguard序列时列本发明与DISCOVER分布式编码器的率失 真性能对比图；

图6是采用标准测试序Foreman序列时列本发明与DISCOVER分布式编码器的率失真 性能对比图；

图7是采用标准测试序Hall序列时列本发明与DISCOVER分布式编码器的率失真性能 对比图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

编码端，如图1所示：

步骤1：将视频序列分为关键帧（即K帧）和非关键帧（即WZ帧），并将每个图像分 为若干个8×8的像素块，其中关键帧采用传统的H.264编解码方式，或其他传统的编解码方 式；本实施例中的像素块大小为8×8，但是本发明不限制像素块可以采用其他大小。

步骤2：对WZ帧中像素块（WZ块）进行分类（见图2），并将像素块的类信息进行编 码传输至不等差错保护编码器；

步骤3：对WZ块进行8×8的DCT变换，然后将变换系数进行量化，提取相同重要性 的比特位组成比特面（如图1所示中的biplane，有多个，从biplane1到biplaneM，M为正整 数），接着将比特面数据按位高低顺序送入不等差错保护编码器，不等差错保护编码器根据块 的类信息对比特面数据进行不同类型的编码（见图3）；

解码端（见图1）：

步骤1：利用相邻关键帧的已解码帧通过运动补偿内插生成边信息，并对边信息进行8 ×8DCT变换、量化、比特面抽取，生成不同系数的边信息系数带，根据边信息帧和解码关 键帧之间的残差进行相关噪声模型参数估计，根据相关噪声模型参数进行码率估计；

步骤2：不等差错保护解码器根据接收到的WZ块类型信息，对不同类型的块，利用缓 存器中的校验码结合对应的边信息系数个带采用不同的解码方式（见图4），当译码误比特率 大于实验设置的阈值T₃时，解码器向缓存器中请求更多的校验码流，直至误比特率小于实验 设置的阈值时解码退出；

步骤3：利用解码得到的数据和残差信息重构WZ帧系数带，再进行IDCT(离散余弦反 变换）变换得到WZ帧的解码重构图像。

下面结合图2对WZ块分类过程做详细说明。

步骤210：对当前WZ帧和前一关键帧的同位置像素块进行绝对误差和(SAD)的计算， 其计算公式如下：

${\mathrm{SAD}}_a=\underset{i=1}{\overset{M}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}|\mathrm{WZ}(i,j)-B(i,j)|---\left(5\right)$

其中(i,j)表示每个像素点值的坐标位置，WZ(i,j)和B(i,j)分别表示当前WZ帧和前一关 键帧每个对应的像素点值，M、N分别表示像素块的长度和宽度，a表示像素块的序号， SAD_a表示序号为a的像素块的绝对误差和。

步骤220：对计算所得SAD_a的值进行判断，SAD_a值，越小，则说明第a个WZ块与前一 关键帧相同位置像素块的相关性，即时间相关性越强。

步骤230：然后对WZ帧采用sobel边缘检测算子提取图像的边缘特征，并按块统计其 边缘特征像素点，第a块的边缘像素点个数记为NOE_a。NOE_a值越小，表明第a个WZ块空 间越平坦，像素变化比较少，空间相关性越强。

步骤240：利用计算所得的SAD_a值和NOE_a组成WZ帧中序号为a的像素块的判决矩阵P_a， P_a综合了图像的运动特性和边缘特性，其矩阵形式如下：

P_a＝[SAD_a,NOE_a]    (6)

根据设置的阈值对P_a进行判断，将像素块分为3类：如果P_a的第一列值（SAD_a值）小于 T₁则为第一类(即Class₁)即运动平缓块；如果P_a的第一列值大于等于T₁且P_a的第二列值（NOE_a值）小于T₂则为第二类即(Class₂)即运动激烈但不含边缘的块；如果P_a的第一列值大于等于T₁且P_a的第二列值大于等于T₂则为第三类(即Class₃)即运动激烈且包含边缘的块。块类型判决公 式如下：

$\mathrm{Mode}=\left(\begin{array}{cc}{\mathrm{Class}}_1& {\mathrm{SAD}}_a<T_1\\ {\mathrm{Class}}_2& {\mathrm{SAD}}_a\ge T_1,{\mathrm{NOE}}_a<T_2\\ {\mathrm{Class}}_3& {\mathrm{SAD}}_a\ge T_1,{\mathrm{NOE}}_a\ge T_2\end{array}\right)---\left(7\right)$

其中T₁和T₂是通过实验预先设定的门限值。

下面结合图3对DVC中基于时空相关性的不等差错保护方法的Turbo编码器做详 细说明。

Turbo编码器对3种不同块类型Class₁，Class₂和Class₃，选择不同的删余矩阵：当块类型 为Class₁时选择删余矩阵为M₁，即经过删余后的Turbo码率为为高码率Turbo码（即 删除的校验码最多）;当块类型为Class₂时选择删余矩阵为M₂，即经过删余后的Turbo码率为 为中等码率Turbo码（即删除的校验码适中）;当块类型为Class₃时选择删余矩阵为M₃， 即经过删余后的Turbo码率为为低码率Turbo码（即删除的校验码最少）。

步骤310：若该块类型为Class₁，则转至步骤320；

步骤320：Class₁块选择性能一般，但是复杂度最低的分组交织器；

步骤330：Class₁块选择删余矩阵为M₁，其中M₁为：

$M_1=\left(\begin{array}{cccc}1& 1& 1& 1\\ 1& 0& 0& 0\\ 0& 0& 1& 0\end{array}\right)---\left(8\right)$

Class₁块为运动平缓块，产生边信息的质量最高，信道的噪声敏感程度最低， 因此采用复杂度最低的分组交织器和高码率的Turbo码，对重构质量基本不影响的情况下 大大降低了编码复杂度和码率。

步骤340：若该块为Class₂，则转至步骤350；

步骤350：Class₂类选择性能较好，复杂度一般的随机交织器；

步骤360：Class₂类选择删余矩阵为M₂，其中M₂为：

$M_2=\left(\begin{array}{ccc}1& 1& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right)---\left(9\right)$

Class₂块为运动激烈但不含边缘的块，产生边信息的质量较高，信道的噪声敏感程度中 等，因此采用复杂度一般的随机交织器和码率适中的Turbo码，对重构质量基本不影响的情 况下较大地降低了编码复杂度和码率。

步骤370：若该块为Class₃，则转至步骤380；

步骤380：Class₃选择性能最好，复杂度最高的S型交织器；

步骤390：Class₃类选择删余矩阵为M₃，其中M₃为：

$M_3=\left(\begin{array}{cccc}1& 1& 1& 1\\ 1& 0& 1& 0\\ 0& 1& 0& 1\end{array}\right)---\left(10\right)$

Class₃块为运动激烈且包含边缘的块，产生边信息的质量一般，信道的噪声敏感程度最 高，因此采用复杂度最高的S型交织器和低码率的Turbo码，保证了系统的重构质量。

因此对3种不同类型的块选择不同编码性能和复杂度的交织器，可以减少系统编码端的 复杂度，而选择不同类型的删余矩阵，不仅可以降低系统码率，同时也可以保证解码性能。

利用M₁，M₂，M₃3种不同的删余矩阵，分别对3种不同类型块在Turbo编码端所生成 的校验码进行删余，并将进行删余后所得的校验码流存入到Turbo缓存器中。

下面结合图4对DVC中基于时空相关性的不等差错保护方法的Turbo解码器做详 细说明。

步骤410：解码器根据不同的块类别信息选择不同的译码算法。

步骤420：若该块为Class₁，则转至步骤430；

步骤430：Class₁类选择性能一般，但是算法复杂度最低的sova算法；

步骤440：若该块为Class₂，则转至步骤450；

步骤450：Class₂类选择译码性能较好，算法复杂度一般的max-log-map算法；

步骤460：若该块为Class₃，则转至步骤470；

步骤470：Class₃类选择译码性能最好，但算法复杂度最高的log-map算法；

Turbo解码器根据不同的块类型选择不同复杂度的译码算法，对于Class₁块可以基本不下 降重构质量的基础上大大减少运算复杂度；对于Class₂块可以基本不下降重构质量的基础上较 多地减少运算复杂度，从而使解码端运算复杂度总体下降。

我们对本发明提出的基于分布式视频编码的不等差错保护方法做了实验，采用标准 测试序列：Hall、Foreman和Coastguard序列做输入视频，以QCIF分辨率进行测试。将实验 结果与经典DISCOVER的峰值信噪比（PSNR）和码率作比较，测试结果比较如图5所示。 可以看出，和经典的DISCOVER分布式编码器相比较，本发明算法在保证图像质量基本不受 影响和基本不增加运算复杂度的情况下可以使系统码率减少约3.23%～10.11%，提高了系统的 性能。本专利在编码过程中利用了序列的时空相关性，根据边信息的生成质量不同对块进行 了分类，并对不同块采用不同的编解码策略，其中hall序列运动比较平缓，相关性较强，所 以改进效果较明显，由于coastguard序列运动比较剧烈且相关性比较弱，所以改善效果没有 其他序列明显。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解， 上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案， 均落在本发明的保护范围内。