修改参考图像的参考块的方法、借助参考块编码或解码图像的块的方法及其装置,以及承载借助于修改后的参考块而编码的块的存储介质或信号

摘要

本发明涉及一种修改参考图像(I_REF)的参考块(RFBL)的方法。也就是说，该方法包括：将参考块(RFBL)变换(TRF)为第一组系数(REF(u，v))，借助于一个或者多个权重(TR(u，v))修改该第一组系数(REF(u，v))，以及对修改后的第一组系数进行逆变换(ITR)，其中借助于当前图像(I_CUR)的一个或者多个另外的像素以及借助于参考图像(I_REF)的一个或多个另外的参考像素来确定所述权重(TR(u，v))。使用当前图像的另外的像素以及参考图像的另外的参考像素允许确定谱权重使得它们反映混合效果。特别地，如果参考帧由两个被交叉混合的帧组成，而所述两个被交叉混合的帧中的一个帧应借助于所述参考帧来预测，则谱域加权允许分离这两个帧的关联性。

说明书

技术领域

本发明涉及一种修改参考图像的参考块的方法。本发明进一步涉及一种借助于修改后的参考块来编码或解码图像的块的方法以及对应的装置。此外，本发明涉及一种承载借助于修改后的参考块而编码的块的存储介质或信号。

背景技术

在包括交叉混合(cross-fading)的图像和未被混合(unfaded)的图像的图像序列中，难以借助于未被混合的图像之一对所述交叉混合的图像之一进行互预测(inter-prediction)，反之亦然。这是因为，未被混合的图像与交叉混合的图像显著不同。因此，对所述交叉混合的图像之一和未被混合的图像之一之间的残差进行编码需要高比特率。

H.264-AVC视频编码标准提出了通过对参考图像进行加权来修改它们并且作为两个或者更多个被这样加权的不同参考图像之和来形成预测。如果参考图像之一包括交叉混合，则对应的权重可能是负的。

H.264-AVC视频编码标准没有规定应怎样确定权重。因此，不得不将所述权重作为辅助信息(side information)而传送。

存在对有助于改进在交叉混合情况下的编码效率的参考图像修改方法和装置的需求。

发明内容

这通过修改参考图像的具有参考像素的参考块的方法而实现，其中所述修改后的参考块专用于预测当前图像的像素块，并且所述方法包括权利要求1的特征。

也就是说，该方法包括：将参考块变换为第一组系数，借助于一个或者多个权重修改该第一组系数，并且对修改后的第一组系数进行逆变换，其中借助于当前图像的一个或者多个另外的像素以及借助于参考图像的一个或多个另外的参考像素来确定所述权重。

使用当前图像的另外的像素以及参考图像的另外的参考像素允许确定谱权重使得它们反映混合效果。特别地，如果参考帧是两个或者更多个帧的交叉混合的结果，所述两个或者更多个帧中的一个帧应借助于交叉混合后的参考帧来预测，则谱域中的加权允许分离被混合的帧的关联性。

在所述方法的进一步的实施例中，借助于所述另外的像素来预测所述块，借助所述另外的参考像素来预测所述参考块，并且所述预测的块和所述预测的参考块被进一步用于确定所述权重。

在所述方法的又一实施例中，所述预测的参考块与所述另外的参考像素一起被变换为第二组系数，所述预测的块与所述另外的像素一起被变换为第三组系数，并且借助于所述第二组系数和所述第三组系数来确定所述权重。

该方法的所述进一步实施例还可以包括：测试第二组中的系数是否超过阈值，并且还测试第三组中的对应系数是否超过阈值。如果所测试的系数中的至少一个不超过阈值，则将对应的权重确定为零。否则，将对应的权重确定为来自第二组的系数除以第三组的所述对应系数的商。

本发明还涉及一种借助于参考图像的参考块来编码或者解码图像块的方法。所述方法包括：根据该方法用于修改参考图像的参考块的实施例之一来修改参考块，以及使用所述修改后的参考块作为块的预测以便编码或者解码所述块。

特别是，这允许解码借助于交叉混合的块所预测的块，而不需要专用于交叉混合的辅助信息。

本发明还涉及一种借助于修改后的参考图像来编码或解码图像的装置。

所述装置包括：用于将参考图像的参考块变换为第一组系数的部件，用于确定一个或者多个权重的部件，用于借助于所述权重对第一组系数加权的部件和用于对加权后的第一组系数进行逆变换的部件，其中借助于当前图像的一个或者多个另外的像素以及借助于参考图像的一个或多个另外的参考像素来确定所述权重。

在所述装置的进一步的实施例中，所述用于确定权重的部件被适配为：借助于所述另外的像素来预测所述块，借助所述另外的参考像素来预测所述参考块，并且进一步使用所述预测的块和所述预测的参考块来确定所述权重。

存在所述装置的又一进一步的实施例，其中所述用于变换的部件进一步被适配为将所述预测的参考块与所述另外的参考像素一起变换为第二组系数，所述用于变换的部件进一步被适配为将所述预测的块与所述另外的像素一起变换为第三组系数，并且所述用于变换的部件进一步适配为借助于所述第二组系数和所述第三组系数来确定所述权重。

所述装置的所述又一进一步实施例可以进一步包括：用于测试第二组中的系数是否超过阈值以及用于测试第三组中的对应系数是否超过阈值的部件，以及用于将值分配给对应的权重的部件。如果所测试的系数中的至少一个不超过阈值，则所述值为零。否则，所述值与将来自第二组的系数除以第三组中的所述对应系数的商成比例。

所确定的权重的数目可以对应于第一组中系数的数目。

此外，所述参考块可以与所述另外的参考像素一起进行变换。

此外，本发明还涉及一种承载图像的编码块的信号或者存储介质，所述块是根据用于借助于参考图像的参考块来编码或者解码图像块的所述方法而编码的。

附图说明

在附图中图示本发明的示例性实施例并且在以下描述中更详细地进行解释。

在附图中：

图1描绘用于修改参考块的方法的示例性概要；

图2描绘参考块或者当前块的中间预测的示例性实施例；以及

图3描绘示例性的交叉混合的图像、以及借助本发明的用于修改参考块的示例性实施例而重构的两个被混合的图像之一。

具体实施方式

图1描绘用于修改参考块的方法的示例性概要。

参考图像I_REF中的具有n*m个像素的参考区域RFRA1包括参考图像I_REF的参考块RFBL以及另外的参考像素。通过变换TRF将包括例如若干参考块的参考区域RFRA1变换为第一组系数REF1(u，v)，u＝0...n-1，v＝0...m-1。然后通过一个或多个权重TR(u，v)对所述第一组系数REF1(u，v)进行加权。变换TRF可以是离散余弦变换、小波变换或者任何其他谱变换。优选地，每个系数被单独地加权，即，每个系数存在一个权重，这允许最大的加权灵活性。但是，如果应限制计算强度，则用于两个或者更多个系数的公共权重可能是有利的。

为了确定所述权重TR(u，v)，借助于在参考区域RFRA1中包括的另外的参考像素来生成参考块RFBL的参考预测PRFB。然后，形成包括参考预测PRFB和所述另外的参考像素的虚拟参考区域RFRA2。也就是说，虚拟参考区域RFRA2与参考区域RFRA1的不同在于由所述参考预测PRFB来替代参考块RFBL。通过向参考区域RFRA1施加的相同变换TRF来对虚拟参考区域RFRA2进行变换。这得到第二组系数REF2(u，v)，u＝0...n-1，v＝0...m-1。

确定权重进一步包括生成在当前图像I_CUR中包括的当前块CRBL的当前预测PCRB，其中应借助于所述参考图像I_REF对所述当前块CRBL进行帧间编码。借助于在当前区域CRRA1中包括的另外的当前像素来形成当前预测PCRB，所述当前区域CRRA1进一步包括所述当前预测PCRB并且所述当前区域CRRA1被包括在当前图像I_CUR中。以与根据所述另外的参考像素来形成所述参考预测PRFB的方式完全相同的方式，根据所述另外的像素来形成所述当前预测PCRB。当前区域CRRA1在垂直和水平扩展(extension)方面对应于第二参考区域RFRA2。

然后，形成包括当前预测PCRB和另外的当前像素的虚拟当前区域CRRA2。也就是说，虚拟当前区域CRRA2与当前区域CRRA1的不同在于由所述当前预测PCRB来替代当前块CRBL。通过向参考区域RFRA1和向虚拟参考区域RFRA2施加的相同变换TRF来对虚拟当前区域CRRA2进行变换。这得到第三组系数CURR(u，v)，u＝0...n-1，v＝0...m-1。

借助于第二组系数和第三组系数，确定一组权重TR(u，v)。优选地，权重TR(u，v)被确定为：对于u＝0...n-1，v＝0...m-1，

其中thrf和thcr是自由选择的阈值，其优选地被设置为1。

优选地，对于第一组REF1(u，v)中的每个系数，在该组权重TR(u，v)中存在对应的权重。然后，通过将第一组REF1(u，v)(u＝0...n-1，v＝0...m-1)中的每个系数乘以其对应的权重，形成一组修改后的系数MREF(u，v)：

MREF(u，v)＝REF1(u，v)*TR(u，v)    (2)

将这组修改后的系数MREF(u，v)逆变换ITR为具有修改后的参考像素的修改后的参考区域MRRA。

具有修改后的参考像素的修改后的参考区域MRRA包括具有修改后的像素的修改后的参考块MRFB，所述修改后的参考块MRFB在修改后的参考区域MRRA中位于与参考块在参考区域RFRA中的相对位置对应的相对位置处。修改后的像素块在修改后的参考区域MRRA中的相对位置还对应于参考预测PRFB在虚拟参考区域RFRA2中的相对位置。

然后使用所述修改后的参考块MRFB作为所述当前块CRBL在帧间编码情境下的预测。

也就是说，优选地在用于所述当前块CRBL的帧间编码的编码器和用于再次解码帧间编码块的解码器中以相同的方式来确定修改后的参考块MRFB。

为使得这被允许，必须在解码当前块CRBL时，已经解码了用于确定权重TR(u，v)的另外的当前像素。在从图像的左上侧顶点至右下侧顶点进行顺序解码时，已经解码了当前块的左侧的块、上方的左侧的块和至右边界的块，并且当前块CRBL的下边界与当前区域CRRA1的下边界或(respectively)右边界重合，如图1中所描绘的。

将单个像素的样本考虑作为列、行或者矩形中的两个或更多个像素的函数。有用的函数是可以被进一步加权的平均数或者平均值。然后，可以借助于当前图像I_CUR或者参考图像I_REF的样本来分别确定当前预测PCRB和参考预测PRFB，其中，所述样本邻近于当前块或参考块的上侧边界或者左侧边界。

可以对所述邻近样本求平均并且作为结果的平均值可以被分配给当前预测PCRB或参考预测PRFB中的所有像素。

或者，当前预测PCRB中的像素被确定为各邻近样本中与要确定的像素位于相同列中的一个邻近样本和各邻近样本中与要确定的像素位于相同行中的一个邻近样本的平均数。

在图2中描绘了该预测的构思。例如，将像素11确定为样本C和样本iii的平均数，其中这两个样本可以这样确定：如果该样本邻近该块的左边界，则通过将对应行中的两个或者更多个像素求平均而进行确定，或者如果该样本邻近该块的上边界，则通过将对应列中的两个或者更多个像素求平均而进行确定。类似地，像素8被确定为样本D和样本ii的平均数，而像素2被确定为样本B和样本i的平均数。在实施例中，没有借助样本A和i，而是借助样本Q来确定像素1，这是因为还考虑了可以由当前块CRBL的左上侧的块的像素矩形形成像素1。

如果将交叉混合的图像用作被交叉混合的两个或者更多个图像中的一个图像的参考，则本发明特别有用。这在图3中进行了示例性描绘。右侧图像是修改后的参考图像，所述修改后的参考图像是借助于本发明的在谱域中进行加权而从左侧的示例性的两个图像的交叉混合生成的。