视频或图像压缩中准能量守恒变换的方法和装置

摘要

本发明公开了一种运用于视频或图像压缩的准能量守恒变换的方法和装置。本发明通过采用能量不精确守恒的二维变换，使不同位置的数据采用相同归一化处理，降低了计算复杂度，以及编解码装置的存储复杂度。本发明并不限于视频或图像编解码领域，还可以推广至其他信号处理的应用中。

说明书

技术领域

本发明涉及一种电数字数据处理技术，特别地，涉及一种运用于视频或图像压缩的准能量守恒变换的方法和装置。

背景技术

传统的视频编码标准如国际电信联盟ITU制定的H.261，H.263，H.26L，H.264标准以及国际标准化组织ISO的运动图像专家组织MPEG制定的MEPG-1，MPEG-2，MPEG-4等都是基于混合编码Hybrid Coding框架之上的。所谓混合编码框架是综合考虑预测，变换以及熵编码的方法的编码框架，有以下主要特点：1、利用预测去除时间域的冗余度；2、利用变换去除空间域的冗余度；3、利用熵编码去除统计上的冗余度。

上述视频编码标准都具有帧内编码帧，即I帧，和帧间编码帧，即P帧，I帧和P帧采用不同的编码方法。I帧的编码过程如下：对原始图像数据或帧内预测得到的残差块进行二维变换；然后在变换域中对变换系数进行量化；对量化所得的二维变换系数块作扫描，使之成为一维的变换系数序列；最后进行熵编码，即Huffman编码或者算术编码等。P帧的编码过程如下：采用运动估计得到运动矢量，然后采用基于运动补偿的帧间预测，接着对帧间预测得到的残差块进行二维变换，再对变换域系数进行量化，对量化所得的二维残差块系数作扫描，使之成为一维的残差系数序列，最后进行熵编码。

二维n×m变换的作用是改变n×m数据块的能量分布。正变换将输入的时域数据变换到频域，使能量集中，便于熵编码；逆变换是正变换的逆过程，将频域数据还原到时域，使数据能量分散。在现有的视频压缩标准中，普遍采用的二维变换是离散余弦变换(DCT)，其正变换能有效集中能量，同时正、逆变换都能保持能量守恒。但是由于DCT的核矢量中包含无理数，所以采用有理数或整数实现时会导致编解码失配，降低解码图像质量。为了实现能量集中，同时又避免编解码适配，H.264标准采用了整数变换(ICT)，其核矢量中只包含整数。但是由于ICT的核矢量不是归一化的，所以ICT必须与归一化处理相结合才能保证能量守恒。当ICT各个核矢量的模，即核矢量中各个系数的平方和，不完全相同时，参与ICT的数据块的不同位置的数据的归一化处理不完全相同，从而导致计算复杂度以及编解码设备的存储复杂度相对增加。

发明内容

本发明的目的是提供一种运用于视频或图像压缩的准能量守恒变换的方法和装置。本发明通过采用核矢量的模十分接近的变换矩阵，允许二维变换前后能量不精确守恒，从而达到不同位置的数据采用相同归一化处理的目的。

为了达到上述目的，本发明采用的技术方案如下：一种运用于视频或图像压缩的准能量守恒变换的方法，该方法为：

输入尺寸为n×m的数据块，对其做二维n×m变换，输出尺寸为n×m数据块，该二维变换是正变换或逆变换；

如果做正变换，变换过程为：输入数据块X_n×m经如下矩阵相乘处理，得到Y_n×m′，

                                        Y_n×m′＝T_n×n×X_n×m×S_m×m

其中T_n×n＝[α₀，α₁，…α_n-1]^T，S_m×m＝[β₀，β₁，…β_m-1]；α_i＝[p₀，p₁，…p_n-1]^T，i＝0，1，…n-1，β_j＝[q₀，q₁，…q_m-1]^T，j＝0，1，…m-1，列向量α_i，β_j均为正变换矩阵的核矢量；上标T表示矩阵转置；Y_n×m′经归一化处理得到正变换的输出数据块Y_n×m；

如果做逆变换，变换过程为：输入数据块Y_n×m先经过归一化处理，得到Y_n×m″，Y_n×m″经如下矩阵相乘处理得到逆变换的输出数据块X_n×m′，

X_n×m′＝U_n×n×Y_n×m″×V_m×m

其中U_n×n＝[γ₀，γ₁，…γ_n-1]，V_m×m＝[ν₀，ν₁，…ν_m-1]^T；γ_i＝kα_i，i＝0，1，…n-1，ν_j＝lβ_j，j＝0，1，…m-1，列向量γ_i，ν_j均为逆变换矩阵的核矢量，k，l为有理数；上标T表示矩阵转置；

其特征在于：

U_n×n的各个核矢量的模不完全相同或者V_m×m的各个核矢量的模不完全相同，其中U_n×n和V_m×m核矢量的模分别表示为 $>>|>>\gamma >i>>|>=>|>k>|>\underset{}{\overset{}{}}sup>>p>k>2sup>\; >,>>>$ >>|>>\nu >j>>|>=>|>l>|>\underset{}{\overset{}{}}sup>>q>k>2sup>\; >;>>>$$

在正变换或逆变换中，所述对尺寸为n×m的数据块的归一化处理，包括：不同位置的系数采用同样的处理方法，正变换的处理方法为每个系数都乘以同一个整数C，并且都右移A位，逆变换的处理方法为每个系数都乘以同一个整数D，并且都右移B位，其中，A、B均为整数，C、D均不为2的整数次幂；

在正变换中，所述对尺寸为n×m的数据块的归一化处理，存在整数N，满足：(C×|α_i|×|β_j|/2^N)大于0.81并小于1.21，i＝0，1，…n-1，j＝0，1，…m-1；

在逆变换中，所述对尺寸为n×m的数据块的归一化处理，存在整数M，满足：(D×|γ_x|×|ν_y|/2^M)大于0.81并小于1.21，x＝0，1，…n-1，y＝0，1，…m-1。

一种应用权利要求1所述的准能量守恒变换的方法的正变换装置，其特征在于，它包括：

一用于将X_n×m转化到Y_n×m′的变换装置1；

一用于完成归一化处理的归一化处理装置3；

变换装置1读入输入信号X_n×m，变换装置1与归一化处理装置3相连，归一化处理装置3输出信号Y_n×m。

一种应用权利要求1所述的准能量守恒变换的方法的逆变换装置，其特征在于，它包括：

一用于将Y_n×m″转化到X_n×m′的变换装置2；

一用于完成归一化处理的归一化处理装置4；

变换装置2读入输入信号Y_n×m，变换装置2与归一化处理装置4相连，归一化处理装置4输出信号X_n×m′。

本发明与背景技术相比，具有的有益效果：二维变换前后的能量基本守恒，保证编码效率与采用背景技术时的效率相当。不同位置的数据采用相同的归一化处理，降低了计算复杂度，以及编解码装置的存储复杂度。本发明并不限于视频编码或图像编码领域，还可以推广至其他信号处理的应用中。

附图说明

图1是目前现有整数变换的正变换装置框图；

图2是目前现有整数变换的逆变换装置框图；

图3是本发明实施例的正变换装置框图；

图4是本发明实施例的逆变换装置框图；

图5是现有的一种归一化装置的框图；

图6是本发明实施例的一种归一化装置的框图。

具体实施方式

附图1示出了现有整数变换的正变换装置，包括存储装置1、变换装置1、归一化处理装置1。

X_n×m输入变换装置1，做如下矩阵相乘处理，得到Y_n×m′，

                  Y_n×m′＝T_n×n×X_n×m×S_m×m，

其中T_n×n＝[α₀，α₁，…α_n-1]^T，S_m×m＝[β₀，β₁，…β_m-1]；α_i＝[p₀，p₁，…p_n-1]^T，i＝0，1，…n-1，β_j＝[q₀，q₁，…q_m-1]^T，j＝0，1，…m-1，列向量α_i，β_j均为正变换矩阵的核矢量；上标T表示矩阵转置；变换装置1与归一化处理装置1相连，将Y_n×m′输入归一化处理装置1，归一化处理装置1逐一对Y_n×m′中的各个系数k_i，j′(i，j表示k_i，j′在Y_n×m′中的位置，i＝0，1，…n-1，j＝0，1，…m-1)做归一化处理，即将系数的位置信息(i，j)输入存储装置1，存储装置1根据这一信息查找k_i，j′的归一化系数γ_i，j，并输入归一化处理装置1，归一化处理装置1对k_i，j′做如下操作，得到Y_n×m，

                  k_i，j＝(k_i，j′×γ_i，j)＞＞A，

其中A为整数，＞＞A表示右移A位，k_i，j是Y_n×m中位置为(i，j)的系数。归一化处理装置1输出Y_n×m。

附图2示出了现有整数变换的逆变换装置，包括存储装置2、变换装置2、归一化处理装置2。

Y_n×m输入归一化处理装置2，归一化处理装置2逐一对Y_n×m中的各个系数k_i，j(i，j表示k_i，j在Y_n×m中的位置，i＝0，1，…n-1，j＝0，1，…m-1)做归一化处理，即将系数的位置信息(i，j)输入存储装置2，存储装置2根据这一信息查找k_i，j的归一化系数t_i，j，并输入归一化处理装置2，归一化处理装置2对k_i，j做如下操作，得到Y_n×m″，

                    k_i，j″＝(k_i，j×t_i，j)＞＞B，

其中B为整数，＞＞B表示右移B位，k_i，j″是Y_n×m″中位置为(i，j)的系数。归一化处理装置2与变换装置2相连，将Y_n×m″输入变换装置2。Y_n×m″经如下矩阵相乘处理得到X_n×m′，

                    X_n×m′＝U_n×n×Y_n×m″×V_m×m，

其中U_n×n＝[γ₀，γ₁，…γ_n-1]，V_m×m＝[ν₀，ν₁，…ν_m-1]^T；γ_i＝kα_i，i＝0，1，…n-1，ν_j＝lβ_j，j＝0，1，…m-1，列向量γ_i，ν_j均为逆变换矩阵的核矢量，k，l为有理数，上标T表示矩阵转置。变换装置2输出X_n×m′。

图5示出了现有的一种归一化装置的框图。该框图同时体现了图1中归一化装置1以及图2中归一化装置2的特征。将n×m数据块输入归一化处理装置，并存储于暂存装置，逐一对暂存装置中的各个系数做归一化处理，即将系数的位置信息(i，j)输出到存储装置，该存储装置在正变换装置中为存储装置1，在逆变换装置中为存储装置2。根据这一位置信息在存储装置中查找相应的归一化系数，并输入归一化处理装置，通过乘法器使之与(i，j)位置的系数相乘。乘法器与移位装置相连，将计算结果输出到移位装置。移位装置对输入数据做移位操作，正变换时右移A位，逆变换时右移B位，输出归一化处理的结果。

现有方法的不足之处是作归一化处理时，不同位置的系数，其归一化系数也不同，从而引入了存储装置，以及在存储装置中查找的过程，增加了运算复杂度以及编解码设备的存储复杂度。针对现有方法的不足，本发明在作归一化处理时，不同位置的系数采用相同的归一化系数，因而只需将这一归一化系数存储于归一化处理装置中即可，省去了存储装置，也省去了从存储装置中查找的过程。下面参照附图详细说明本发明。

实施例1

本实施实例给出了本发明的变换方法和目前视频或图像编码中的量化方法相结合的方案。

附图3示出了一种运用于视频或图像压缩的准能量守恒变换的方法的正变换装置，包括变换装置1，归一化处理装置3。

X_4×4输入变换装置1，做如下矩阵相乘处理，得到Y_4×4′，

$>sup>>Y>>4>\times >4>>\prime sup>>=>\begin{array}{}>>6>>6>>6>>6>\; >>8>>3>>->3>>->8>\; >>6>>->6>>->6>>6>\; >>3>>->8>>8>>->3>\; >\; >>>\times >X>>>4>\times >4>>>\times >\begin{array}{}>>6>>8>>6>>3>\; >>6>>3>>->6>>->8>\; >>6>>->3>>->6>>8>\; >>6>>->8>>6>>->3>\; >\; >,>>>\end{array}\end{array}$

变换装置1与归一化处理装置3相连，将Y_4×4′输入归一化处理装置3，归一化处理装置3中存储了归一化系数C，C为10356，它对Y_4×4′中的各个系数k_i，j′(i，j表示k_i，j′在Y_4×4′中的位置，i＝0，1…3，j＝0，1，…3)做统一的归一化处理，A为25，得到Y_4×4，

                 k_i，j＝(k_i，j′×10356)＞＞25，

其中k_i，j是Y_4×4中位置为(i，j)的系数。归一化处理装置3输出Y_4×4。

附图4示出了一种运用于视频或图像压缩的准能量守恒变换的方法的逆变换装置，包括变换装置2，归一化处理装置4。

Y_4×4输入归一化处理装置4，归一化处理装置4中存储了归一化系数D，D为20，它对Y_4×4中的各个系数k_i，j(i，j表示k_i，j在Y_4×4中的位置，i＝0，1…3，j＝0，1，…3)做统一的归一化处理，B为7，得到Y_4×4″，

                   k_i，j″＝(k_i，j×20)＞＞7，

其中k_i，j″是Y_4×4″中位置为(i，j)的系数。归一化处理装置4与变换装置2相连，将Y_4×4″输入变换装置2。Y_4×4″经如下矩阵相乘处理得到X_4×4′，

$>sup>>X>>4>\times >4>>\prime sup>>=>\begin{array}{}>>6>>8>>6>>3>\; >>6>>3>>->6>>->8>\; >>6>>->3>>->6>>8>\; >>6>>->8>>6>>->3>\; >\; >>\times sup>>Y>>4>\times >4>>>\prime >\prime >sup>>>\times >\begin{array}{}>>6>>6>>6>>6>\; >>8>>3>>->3>>->8>\; >>6>>->6>>->6>>6>\; >>3>>->8>>8>>->3>\; >\; >,>>>\end{array}\end{array}$

变换装置2输出X_4×4′。

实施例2

附图3示出了一种运用于视频或图像压缩的准能量守恒变换的方法的正变换装置，包括变换装置1，归一化处理装置3。

X_4×4输入变换装置1，做如下矩阵相乘处理，得到Y_4×4′，

$>sup>>Y>>4>\times >4>>\prime sup>>=>\begin{array}{}>>7>>7>>7>>7>\; >>9>>4>>->4>>->9>\; >>7>>->7>>->7>>7>\; >>4>>->9>>9>>->4>\; >\; >>>\times >X>>>4>\times >4>>>\times >\begin{array}{}>>7>>9>>7>>4>\; >>7>>4>>->7>>->9>\; >>7>>->4>>->7>>9>\; >>7>>->9>>7>>->4>\; >\; >,>>>\end{array}\end{array}$

变换装置1与归一化处理装置3相连，将Y_4×4′输入归一化处理装置3，归一化处理装置3中存储了归一化系数C，C为10164，它对Y_4×4′中的各个系数k_i，j′(i，j表示k_i，j′在Y_4×4′中的位置，i＝0，1…3，j＝0，1，…3)做统一的归一化处理，A为21，得到Y_4×4，

                 k_i，j＝(k_i，j′×10164)＞＞21，

其中k_i，j是Y_4×4中位置为(i，j)的系数。归一化处理装置3输出Y_4×4。

附图4示出了一种运用于视频或图像压缩的准能量守恒变换的方法的逆变换装置，包括变换装置2，归一化处理装置4。

Y_4×4输入归一化处理装置4，归一化处理装置4中存储了归一化系数D，D为11，它对Y_4×4中的各个系数k_i，j(i，j表示k_i，j在Y_4×4中的位置，i＝0，1，…3，j＝0，1，…3)做统一的归一化处理，B为11，得到Y_4×4″，

                   k_i，j″＝(k_i，j×11)＞＞11，

其中k_i，j″是Y_4×4″中位置为(i，j)的系数。归一化处理装置4与变换装置2相连，将Y_4×4″输入变换装置2。Y_4×4″经如下矩阵相乘处理得到X_4×4′，

$>sup>>X>>4>\times >4>>\prime sup>>=>\begin{array}{}>>7>>9>>7>>4>\; >>7>>4>>->7>>->9>\; >>7>>->4>>->7>>9>\; >>7>>->9>>7>>->4>\; >\; >>\times sup>>Y>>4>\times >4>>>\prime >\prime >sup>>>\times >\begin{array}{}>>7>>7>>7>>7>\; >>9>>4>>->4>>->9>\; >>7>>->7>>->7>>7>\; >>4>>->9>>9>>->4>\; >\; >,>>>\end{array}\end{array}$

变换装置2输出X_4×4′。

实施例3

附图3示出了一种运用于视频或图像压缩的准能量守恒变换的方法的正变换装置，包括变换装置1，归一化处理装置3。

X_4×4输入变换装置1，做如下矩阵相乘处理，得到Z_4×4，

$>>>Z>>4>\times >4>>>>=>\begin{array}{}>>7>>7>>7>>7>\; >>9>>4>>->4>>->9>\; >>7>>->7>>->7>>7>\; >>4>>->9>>9>>->4>\; >\; >>>\times >X>>>4>\times >4>>>\times >\begin{array}{}>>7>>9>>7>>4>\; >>7>>4>>->7>>->9>\; >>7>>->4>>->7>>9>\; >>7>>->9>>7>>->4>\; >\; >,>>>\end{array}\end{array}$

为了便于变换装置1的数据存储，以及变换装置1到归一化处理装置3的数据传输，需将Z_4×4的动态范围转换到16位以内，即对Z_4×4作如下操作，得到Y_4×4′

                   k_i，j′＝k_i，j″＞＞3，

其中，k_i，j′，k_i，j″分别表示Y_4×4′，Z_4×4中位置为(i，j)的系数。变换装置1与归一化处理装置3相连，将Y_4×4′输入归一化处理装置3，归一化处理装置3中存储了归一化系数C，C为10164，它对Y_4×4′中的k_i，j′做统一的归一化处理，如下，得到Y_4×4，

                   k_i，j＝(k_i，j′×10164)＞＞18，

其中k_i，j是Y_4×4中位置为(i，j)的系数。归一化处理装置3输出Y_4×4。本正变换实施例中先后右移3位和18位，一共右移21位，与实施例2正变换中的A一致。

附图4示出了一种运用于视频或图像压缩的准能量守恒变换的方法的逆变换装置，包括变换装置2，归一化处理装置4。

Y_4×4输入归一化处理装置4，归一化处理装置4中存储了归一化系数D，D为11，它对Y_4×4中的各个系数k_i，j(i，j表示k_i，j在Y_4×4中的位置，i＝0，1…3，j＝0，1，…3)Y_4×4做统一的归一化处理，如下，得到Y_4×4′，

                        k_i，j′＝k_i，j×11，

其中k_i，j′是Y_4×4′中位置为(i，j)的系数。归一化处理装置4与变换装置2相连，将Y_4×4′输入变换装置4。Y_4×4′经如下矩阵相乘处理得到Z_4×4′，

$>sup>>Z>>4>\times >4>>\prime sup>>=>\begin{array}{}>>7>>9>>7>>4>\; >>7>>4>>->7>>->9>\; >>7>>->4>>->7>>9>\; >>7>>->9>>7>>->4>\; >\; >>\times sup>>Y>>4>\times >4>>\prime sup>>,>>>>\end{array}$

对Z_4×4′作如下操作，得到X_4×4″，

                l_i，j＝k_i，j″＞＞2，

其中，k_i，j″，l_i，j分别为Z_4×4′，X_4×4中位置为(i，j)的系数，X_4×4经如下矩阵相乘处理得到X_4×4″，

$>sup>>X>>4>\times >4>>>\prime >\prime >sup>>=sup>>X>>4>\times >4>>>\prime >\prime >\prime >sup>>\times >\begin{array}{}>>7>>7>>7>>7>\; >>9>>4>>->4>>->9>\; >>7>>->7>>->7>>7>\; >>4>>->9>>9>>->4>\; >\; >,>>>\end{array}$

对X_4×4″作如下操作，得到X_4×4′，

l_i，j′＝l_i，j″＞＞9，

其中，l_i，j″，l_i，j′分别为X_4×4′，X_4×4中位置为(i，j)的系数，变换装置2输出X_4×4。本逆变换实施例中先后右移2位和9位，一共右移11位，与实施例2逆变换中的B一致。

实施例4

附图3示出了一种运用于视频或图像压缩的准能量守恒变换的方法的正变换装置，包括变换装置1，归一化处理装置3。附图4示出了一种运用于视频或图像压缩的准能量守恒变换的方法的逆变换装置，包括变换装置2，归一化处理装置4。图6示出了本发明的一种归一化装置的框图。该框图同时体现了附图3中归一化装置3以及附图4中归一化装置4的特征，做正变换时该装置可以作为归一化装置3；做逆变换时该装置可以作为归一化装置4。

做正变换时，X_n×m输入变换装置1，做如下矩阵相乘处理，得到Y_n×m′，

                  Y_n×m′＝T_n×n×X_n×m×S_m×m，

其中T_n×n＝[α₀，α₁，…α_n-1]^T，S_m×m＝[β₀，β₁，…β_m-1]；α_i＝[p₀，p₁，…p_n-1]^T，i＝0，1，…n-1，β_j＝[q₀，q₁，…q_m-1]^T，j＝0，1，…m-1，列向量α_i，β_j均为正变换矩阵的核矢量，上标T表示矩阵转置。变换装置1与归一化处理装置3相连，将Y_n×m′输入归一化处理装置3，并存储于其暂存装置。采用归一化系数C对暂存装置中的各个系数做归一化处理，该归一化系数存储于寄存器，通过乘法器使寄存器中的C与各系数相乘。乘法器与移位装置相连，将计算结果输出到移位装置。移位装置对输入数据做右移A位操作。归一化处理装置3输出Y_n×m。

做逆变换时，Y_n×m输入归一化处理装置4，并存储于暂存装置。采用归一化系数D对暂存装置中的各个系数做归一化处理，该归一化系数存储于寄存器，通过乘法器使寄存器中的D与各系数相乘。乘法器与移位装置相连，将计算结果输出到移位装置。移位装置对输入数据做右移B位操作。归一化处理装置4与变换装置2相连，将Y_n×m″输入变换装置2。Y_n×m″经如下矩阵相乘处理得到X_n×m′，

                 X_n×m′＝U_n×n×Y_n×m″×V_m×m，

其中U_n×n＝[γ₀，γ₁，…γ_n-1]，V_m×m＝[ν₀，ν₁，…ν_m-1]^T；γ_i＝kα_i，i＝0，1，…n-1，ν_j＝lβ_j，j＝0，1，…m-1，列向量γ_i，ν_j均为逆变换矩阵的核矢量，k，l为有理数，上标T表示矩阵转置。变换装置2输出X_n×m′。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。