一种联合SPIHT压缩与不等差错保护编码的码流传输方法

摘要

本发明设计了一种联合SPIHT压缩与不等差错保护编码的码流传输方法，在发送端，该方法将SPIHT码流分成了LSP、LIP、LIS三种类型，并按照门限值对各种码流依次进行提取、打包，再按其类型予以经本文码率优化算法输出的信道编码码率进行保护，有五大步骤；在接收端，该方法根据SPIHT解码特点尽可能多地接收了有效的解码码流，有四大步骤；因此本发明方案保持了SPIHT码流的嵌入式特性，也实现了码率的优化以及充分考虑了SPIHT码流在解码时的特性。它在无线通信技术领域具有较好的实用价值和广阔的应用前景。

说明书

(一)技术领域：

本发明涉及联合信源信道编码中一种码流传输方法，特别涉及与图像或视频等无线多媒体数据传输有关的一种联合小波多级树集合分裂图像压缩与不等差错保护编码的码流传输方法，该方法适用于在复杂的无线信道中实现高速数据的高效可靠传输，属于无线通信技术领域。

(二)技术背景：

随着无线通信技术的飞速发展和无线通信业务的不断扩充，未来无线通信系统要求支持更高速率数据业务，特别是多媒体数据业务(图像，音频和视频等)的高效可靠传输。在带宽受限条件下，传输大数据量的多媒体信息会产生很大的延迟，传输效率也会下降，因而，现有系统广泛采用高压缩比的数据压缩技术，如基于小波变换的小波多级树集合分裂(SPIHT-Set Partitioning In Hierarchical Trees)技术和JPEG2000技术，以减少大部分冗余数据，提高系统传输效率。然而，高压缩比势必会减少信源间的冗余，也即降低了信源码流的抗误码性能，尤其是在复杂的无线通信信道环境下，更要求信源码流具有一定的抗差错能力，经典的差错控制方法是采用有效的信道编码技术，人为地对信源压缩码流增加部分冗余信息，以增加其抗误码性能，保证传输质量，而这又是以降低传输效率为代价的。随着日益增长的无线多媒体数据业务对传输效率及传输质量的要求，这种信源信道编码分离设计势必无法满足发展的需求，如何综合考虑信源及信道特点，设计一种最优化的编码方法即联合信源信道编码方法，有效解决传输效率与传输质量之间的矛盾，已经成为无线多媒体通信领域技术研究的热点课题之一。

联合信源信道编码是一种兼顾数据传输效率和质量的优化编码技术，能够根据信道条件或其他资源限制改变信源编码参数，或根据信源特性选择信道编码、调制及网络参数，从而使系统性能达到整体最优。可见，分析信源特性并对其加以区分，以方便选择信道编码码率及设计接收过程，对于联合信源信道编码研究至关重要，这也将是本发明的出发点和切入点。基于离散小波变换技术的信源压缩编码是现有多媒体压缩技术中最热门最有效的一种解决方案，尤其是JPEG2000和MPEG-4引入了小波变换技术后，越来越多的专家和学者开始关注小波变换技术在无线多媒体通信领域中的应用。基于小波变换的联合信源信道编码，特别是小波变换与不等差错保护技术的结合是当前联合编码领域的主要研究方向之一。如基于SPIHT算法的联合编码方法“适用于噪声信道的新型EZW图像编码方法”(Robust EZWimage coding for noisy channels)，该算法采用了有效的空间方向树结构和比特平面编码方法，不仅能够获得很高的压缩编码效率，而且产生的码流是嵌入式的，支持解码器的多码率解码，有利于图像的渐进传输，但是该算法产生的码流具有重要性不同的特性且对误差的敏感性不同，如果采取分离编码设计方案势必会降低系统性能，而不等差错保护技术是根据信源码流的重要性不同，对其采用不同码率的信道编码加以保护。因此如何分析和利用SPIHT码流重要性特点从而有效地分配码流以适应信道编码，并在此基础上优化信道编码码率及制定信道解码时的丢包策略是制约基于不等差错保护的联合信源信道编码性能的关键技术。文献“多级树集合分裂的图像编码码流的不等差错保护”(Unequal Error Protection of SPIHTEncoded Image Bit Streams)在对SPIHT码流分析的基础上，将所有码流分成位置比特流和信息比特流两部分，然后用不同码率信道编码对其进行保护，但该方法使得图像不能进行嵌入式图像传输。而文献“用于编码彩色图像的多级树集合分裂算法的差错恢复技术”(Error Reilient Technique for SPIHT Coded Color Images)虽然可以在一定程度上解决上述不能进行嵌入式图像传输的缺点，但其在解码丢包策略和码率优化方面没有进行分析。因此设计保持嵌入式传输而又能提高联合信源信道编码性能的码流传输方案是本发明的研究内容。

(三)发明内容：

1、目的：为实现图像或视频等多媒体数据在无线信道上的高效可靠传输，将联合小波SPIHT编码与不等差错保护技术有效地应用于无线多媒体通信系统中，以提高无线多媒体通信系统的整体性能。然而，在将SPIHT码流与不等差错保护结合的过程中涉及到码流的分配问题，选取何种码率对相应的码流进行保护，以及解码过程中的丢包策略都会影响这种联合信源信道编码技术的性能。传统的码流分配是将SPIHT的细化信息和符号信息统一看待，而子树及系数重要性信息单独分类，这种分类方式充分利用了SPIHT码流的特点，却失去了原有的嵌入式传输的特点；码率最优化算法的设计是指在信道容量一定的情况下，如何对信源码流分配不同的信道编码码率以使总失真最小或者收到的正确比特数最多。传统的码率最优化算法复杂、实现难度大是制约其应用的瓶颈，而传统的丢包策略只是简单地对错误包及其之后的所有包都丢弃，并未考虑SPIHT解码过程的特点。为了提高基于小波SPIHT的不等差错保护编码性能，本发明的目的是提供一种联合SPIHT压缩与不等差错保护编码的码流传输方法，它在信源编码端依据比特平面将SPIHT码流分成LIS(不重要子集集合)、LIP(不重要像素集合)、LSP(重要系数集合，本发明中还包含LIP中重要系数的符号比特位)三种类型，通过分析这三种类型码流的特点予以相应的保护程度，同时保证了原有的嵌入式传输的特性，在信道解码时充分考虑SPIHT算法解码过程的特点，通过改变丢包策略使接收的可用解码比特数更多，从而提高联合编码性能。而在码率优化算法中，本发明主要根据码流分配的特殊性，将同一比特平面的码流分配相同码率的信道编码予以保护，从而在很大程度上降低了算法的复杂度。

2、技术方案：本发明的主要特征在于：编码端：通过分析SPIHT算法的特点可知，LSP码流的错误并不会影响解码的同步；LIP码流的错误会影响当前比特平面的LIP扫描，LIS扫描和后续比特平面各扫描过程的同步性；LIS码流的错误会影响当前比特平面的LIS扫描和后续比特平面各扫描过程的同步性。但是本发明通过对这三种输出码流进行基于比特平面的打包隔离，可以减少LIP码流的错误对当前比特位平面LIS扫描的影响(允许有部分不影响解码同步的错误)。解码端：由于编码端对码流分配的特殊性，当收到的错误数据包属于LIP码流时，可以继续接收当前比特平面的数据包，从而增加解码的接收比特数。码率优化：通过对SPIHT码流进行基于比特平面的打包隔离，可以近似认为同一比特平面的LIP码流具有相同的重要性，LIS码流也是如此，而由于LSP码流的特殊性，可以不对其进行保护或者只进行固定很弱的保护，因此码率优化算法在码率决策的过程中可给以同一比特平面的LIP或者LIS数据包相同的信道编码码率进行保护，而不是对每个数据包都进行码率决策。

图1给出了本发明发送端码流分配后发送数据包的顺序示意图。数据发送顺寻依次是：数据流总包头，其后依次是门限值按最大到最小的LSP数据包，LIP数据包，LIS数据包。发送端的基本步骤为：

步骤1：按照SPIHT编码的信息初始化数据包头，只是初始化最大门限值，但是数据包头中各信道编码码率还没有确定；

步骤2：按照三种数据流的类型及门限值递减的顺序依次提取SPIHT编码码流；

步骤3：对所有提取的码流进行下文描述码率优化算法，从而确定各门限值对应数据包所需要信道编码码率；

步骤4：将第三步优化后的码率依次填充至数据包头对应的位置；

步骤5：按照图1发送数据码流的顺序，对数据包进行其对应码率的信道编码再依次发送出去。

图2给出了本发明发送端数据包头的格式示意图。数据包头信息作用：

数据包头长：根据数据包长可以确定编码码流含有多少个门限值的码流。

最高门限值T：用于SPIHT解码时初始化化。

信道编码码率：用于信道解码端的解码。

各数据流类型包数：在接受端对数据包进行计数，从而可以判断对应的数据包是否接受完成。

将信道编码码率与各数据类型包数结合在一起可以减少门限值的表示，从而将少数据包头的总长。

图3给出了本发明发送端LIP数据包格式说明图。其中LIP重要系数个数是用于与LSP类型包中符号位同步。而LIS数据包则完全包含着实际编码码流数据。

基于本发明中数据流分配方法，结合图4，采用如下码率优化算法进行码率选择：

假设信道总容量为R_t，图像矩阵大小为M×M，信道编码码率集合为R_c＝{R₁，R₂，....R_K}，其中R₁＜R₂＜...＜R_K，SPIHT算法最大门限值为T＝2^N，初始化门限值的增量i＝0即T＝2^N-i且信道总发送比特数L＝R_t×M×N，则码率优化步骤如下：

步骤1：对于最大门限值T＝2^N，提取其对应的LSP数据流并计算其码流比特数L_LSP₀，判断L＝L-L_LSP₀，若小于0，则跳至步骤5，否则提取其对应的LIP和LIS数据，计算它们的码流比特数L_LIS_LIP₀，则对于信道R_c码率集每个码率计算L＝L-L_LIS_LIP₀/R_j，j＝1，2...K，若结果大于0则产生该码率对应的分支，否则不产生该码率对应的分支，最后增加i＝i+1即更新门限值。

步骤2：提取当前门限值T的LSP数据，统计当前门限值LSP码流比特数L_LSP_i，对于前面产生的每个分支，判断L＝L-L_LSP_i的大小，若不大于0，则该分支停止分支。否则执行步骤3。

步骤3：提取当前门限值T的LIP和LIS数据，计算它们的码流比特数L_LIS_LIP_i，对于前面每个可以分解码率分支，从信道编码码率集R_c中选择所有满足如下原则的码率R，选择码率的原则是：所选择的码率必须不小于当前分支前一门限值对应的码率，如图4是不受总码率限制的情况下，数据流随门限值自上而下码率分支示意图，码率R_i从左到右是依次增加的，即当前门限值所能选择的码率必须不小于该分支对应的前一门限值的码率，如图4所示(带黑体)在门限值T＝2^N经码率R₂产生的分支上，由门限值T＝2^N-1继续分解的分支上的所有码率都要不小于R₂。假设码率总数为K，最大门限值为T＝2^N，码率分支总数与K和N有关。对每个码率分支，选择了所有满足条件的码率R后，则计算所需信道比特数为(L_LIS_LIP_i/R)，则计算并判断L＝L-L_LIS_LIP_i/R的大小，若大于0则按此码率可以继续产生一个分支，否则此码率不能再产生分支，若对于当前门限值的所有分支，所有符合条件的码率都不能再产生码率分支，则跳出步骤4。

步骤4：更新i＝i+1，重新开始执行步骤2。

步骤5：提取所有分支的上所对应的码率，计算所有码率分支对应的总失真值，从中选取具有最小失真值的分支中的码率作为各门限分配的码率。

图5给出了本发明接收端流程方框示意图，本接收流程假设数据包头完全正确且各数据包到达接收端的顺序不变。其大体过程如下：

步骤1：首先确定数据包头完成正确，并依据数据包头信息进行接收流程的初始化。

步骤2：开始接收码流，判断数据包的类型，并依据数据包的类型按照图4的处理方法进行处理。

步骤3：在继续接收条件成立的情况下，循环接收码流包，直至数据包接收完成或继续接收条件不满足的情况下。

步骤4：停止接收数据包，SPIHT算法只用已接收的数据流进行解码。

综上所述，本发明一种联合SPIHT压缩和不等差错保护编码的码流传输方法，它在信源编码端依据比特平面将SPIHT码流分成三种类型，而后根据码流分配的特殊性，对SPIHT码流进行基于比特平面的打包隔离，将同一比特平面的码流分配相同码率的信道编码予以保护，在保证嵌入式传输特性的同时实现了码率的优化。在信道解码时则充分考虑SPIHT算法解码过程的特点，根据数据包的类型进行不同的处理，通过改变丢包策略使接收的可用解码比特数更多，以提高联合编码性能。

3、优点及功效：

本发明提出的这种新的一种联合SPIHT压缩与不等差错保护编码的码流传输方法，不仅解决了传统基于SPIHT码流分配方法中失去了嵌入式传输的缺点，而且充分利用了SPIHT解码过程中对于不同数据流处理方法不同的特点，有效地将各种类型的数据流通过基于门限值的打包方式将它们隔离开，以使得各数据流相互间的影响减少，另一方面经过分析可知，利用本发明的码流分配方法，同一门限值的LIP和LIS码流会使后续门限值的解码失同步，但几乎不会影响本门限的解码同步或者只有很小的失真，LSP则不会影响解码的同步，因此可以将同一门限值的LIP和LIS码流视为同样重要的，因此在码率优化算法中可以分配相同的编码码率，而LSP码流可以不进行保护或者进行固定的高码率保护，从而可以减少码率优化算法的复杂度。最后，解码端在接收数据包时，会根据数据包的类型进行不同的处理，如LSP数据包有错时可以接收数据包，LIP数据包有错时记录起当前门限值但是可以继续接收数据包，LIP数据包有错时直接停止接收数据包，而不是用传统的方法当有接收数据包错误就立刻停止接收所有的数据包，可见本发明方法可以尽可能地接收数据包用于解码，从而提高系统的整体性能。

因此，本发明适用于图像或视频信息在无线信道上的高效可靠传输，同时也适用于感兴趣区域的图像传输。本发明一种联合SPIHT压缩和不等差错保护编码的码流传输方法具有以下几个主要优点：

1.发送端按SPIHT码流的分成LIP、LSP、LIS三种类型，并依次对它们进行打包，在一定程度上可以隔离各数据流的错误对解码同步的影响，从而可以提高系统性能。

2.对数据包头进行了特殊的设计，减少了数据包头的总长度，从而可以尽可能减少数据包头对码率优化算法的影响。

3.经过分析可知，利用本发明的码流分配方法，同一门限值的LIP和LIS码流会使后续门限值的解码失同步，但几乎不会影响本门限的解码同步或者只有很小的失真，LSP则不会影响解码的同步，因此可以将同一门限值的LIP和LIS码流视为同样重要，因此在码率优化算法中可以分配相同的编码码率，而LSP码流可以不进行保护或者进行固定的很弱保护，从而可以减少码率优化算法的复杂度。

4.根据发送端对数据码流的特殊分配处理，按照图5所示对发送端数据包进行接收，可以尽可能多地接收同一门限值的数据包，因此可以在一定程度上避免传统接收端遇到错误就丢弃后续所有包的缺点，从而提高系统的整体性能。

5.从发送端和接收端对数据包进行按门限值的处理流程可以看出，本发明依然保留了传统的SPIHT码流嵌入式传输的特点。

(四)附图说明：

图1本发明方法中数据包发送顺序的示意图。

图2本发明方法中数据包头格式说明图。

图3本发明方法中LIP数据包格式说明图。

图4本发明方法中码率选择随门限值和码率大小进行对应分支示意图。

其中R₁，R₂，....R_K为信道编码码率且R₁＜R₂＜...＜R_K，N为最大门限值对应的指数值。示意图从上到下的方向为门限值减小的方向，各分支从左到右的方向是码率增加的方向。

图5本发明方法中接收端对同一个门限值接收数据包处理流程图。

图6本发明方法的流程框图。

图中符号说明如下：

Tn：表示第n个门限值的大小

LIP：不重要像素列表

LSP：重要系数列表

LIS：不重要系数子集列表

Rn：第n个码率大小

N：最高位比特平面

K：总共可选的码率个数

TRUE：表示为真

FALSE：表示为假

(五)具体实施方式

下面结合图1，2，3，4，5，并假设信道容量为R_t bpp(bit per pixel)，图像大小为512X512，R_c＝{R₁，R₂，....R_K}为信道编码码率集合，其中R₁＜R₂＜...＜R_K，则可以由此计算出可以发送的总比特数L＝R_t*512*512，T＝1024＝2¹⁰，即N＝10，

发送端：

步骤1：按照图2所示的数据包头的格式并根据SPIHT算法的参数填充数据，此时只可以填充最大门限值。

步骤2：按照本发明方法将SPIHT数据流分成LSP、LIP、LIS三种类型，比如可以为不同类型的数据流创建文件来存储。

步骤3：按门限值依次提取各类型的数据流，并对所有三种类型数据流进行本发明方法中的码率优化算法进行码率选取，则输出可表示为R_i，P_LSP_i，P_LIP_i，P_LIS_i，其中i表示门限值的序号即T＝2^N-i，R_i为对应门限值分配的信道编码码率，P_LSP_i为对应门限值LSP型数据包的个数，P_LIP_i为对应门限值LIP型数据包的个数，P_LIS_i为对应门限值LIS型数据包的个数，其中每个数据包都是未经编码的数据流，且每个包都定长，因此对于不同的码率对数据包进行编码后得到的编码后的包长是不同的。

步骤4：按照步骤3的输出，依次填充数据包包头。

步骤5：并按照图1的顺序对各数据包进行相应码率的信道编码并发送。

基于本发明中数据流分配方法，结合图4和本实施方式的假设，采用如下码率优化算法进行码率选择：

初始化门限值的增量i＝0即T＝2^N-i，则码率优化步骤如下：

步骤1：对于最大门限值T＝2^N，提取其对应的LSP数据流并计算其码流比特数L_LSP₀，判断L＝L-L_LSP₀，若小于0，则跳至步骤5，否则提取其对应的LIP和LIS数据，计算它们的码流比特数L_LIS_LIP₀，则对于信道编码码率集R_c中的每个码率计算L＝L-L_LIS_LIP₀/R_j，j＝1，2...K，若结果大于0则产生该码率对应的分支，否则不产生该码率对应的分支，最后增加i＝i+1即更新门限值。

步骤2：提取当前门限值T的LSP数据，统计当前门限值LSP码流比特数L_LSP_i，对于前面产生的每个分支，判断L＝L-L_LSP_i的大小，若不大于0，则该分支停止分支。否则执行步骤3。

步骤3：提取当前门限值T的LIP和LIS数据，计算它们的码流比特数L_LIS_LIP_i，对于前面每个可以分解码率分支，从信道编码码率集R_c中选择所有满足如下原则的码率R，选择码率的原则是：所选择的码率必须不小于当前分支前一门限值对应的码率，如图4是不受总码率限制的情况下，数据流随门限值自上而下码率分支示意图，码率R_i从左到右是依次增加的，即当前门限值所能选择的码率必须不小于该分支对应的前一门限值的码率，如图4所示(带黑体)在门限值T＝2^N经码率R₂产生的分支上，由门限值T＝2^N-1继续分解的分支上的所有码率都要不小于R₂。假设码率总数为K，最大门限值为T＝2^N，码率分支总数与K和N有关。对每个码率分支，选择了所有满足条件的码率R后，则计算所需信道比特数为(L_LIS_LIP_i/R)，则计算并判断L＝L-L_LIS_LIP_i/R的大小，若大于0则按此码率可以继续产生一个分支，否则此码率不能再产生分支，若对于当前门限值的所有分支，所有符合条件的码率都不能再产生码率分支，则跳出步骤4。

步骤4：更新i＝i+1，重新开始执行步骤2。

步骤5：提取所有分支的上所对应的码率，计算所有码率分支对应的总失真值，从中选取具有最小失真值的分支中的码率R_i，以及该码率对应的P_LSP_i，P_LIP_i和P_LIS_i，作为各门限分配的码率及该门限各种类型数据流的包数，作为填充数据包包头的输入。

接收端(假设接收数据包头完全正确和接收的数据包顺序与发送端相同)：

步骤1：读取数据包的信息，并对接收流程初始化，主要记录最高门限值T＝2^N，各门限值的码率，各数据包类型的包数，并初始化话标记为TRUE和i＝0(表示上一门限值LIP数据包没有发生错误)。

步骤2：开始接收门限T＝2^N-i的数据包，根据步骤1中初始化信息，即当前门限值的各数据包类型数目来判断数据包类型(可以开启计数器当计数器的值与当前门限值对应数据包类型的数据包相等则认为此类数据包接收完成，可以接收同一门限的其他类型数据包或者下一门限的数据包)：

如果是同一门限LSP类型数据包，则判断当前标记是否是TURE，如果不是则停止接收跳至步骤4，如果是TRUE且没有接收完成所有数据包，则跳至步骤2进行继续接收，且对应的计数器要增1，否则停止接收跳至步骤4；

如果是同一门限LIP类型数据包，则进行解码，如果存在接收错误，将标记设置为FALSE，然后在所有数据都没有接收完成下，将对应计数器增1并跳至步骤2进行继续接收，否则停止接收跳至步骤4；

如果是同一门限LIS类型数据包，则进行解码，若存在接收错误，则停止接收数据包跳至步骤4，如果没有错误，则对应计数器增1，如果当前门限值的LIS包接收完成，则跳至步骤3执行，否则跳至步骤2继续进行接收。

步骤3：更新i，即i＝i+1，接着跳至步骤2执行接收过程；

步骤4：停止接收数据包，将已接收的数据包放入SPIHT解码器中进行解码。

综上所述，本发明一种联合不等差错保护技术和SPIHT的码流传输方法，一方面能够利用SPIHT算法解码过程的特殊性，用基于门限的数据包隔离方法改善小波SPIHT数据码流对信道误差的敏感性强的缺点；另一方面利用本发明码流分配方法，对SPIHT数据码流进行了一次基于门限值的重新组合，经分析可以认为同一门限值的LIP、LIS类型数据流具有相同的重要性，于是在码率优化的时候可以对同一门限值的数据给以相同的门限值进行保护，而不是对每个数据包都进行一次码率选择，从而可以减少码率优化算法的复杂性；最后根据对码流分配的分析和SPIHT解码过程的分析，在接受端采取了容忍部分错误，接收大部分的正确的方法即在SPIHT解码流程不失同步的情况下，尽可能地接收数据包，即是接收的过程中出现少部分的局部细化信息错误。此外本发明的码流分配方法依然支持嵌入式图像传输的特点，即继承了很多有关SPIHT的优点。因此本发明方法能够充分利用SPIHT算法解码过程的特性，能够在无线信道下进行有效的图像传输，具有相当广的应用范围和较高的应用价值。