一种可适用于VVC编码标准的帧间图像编码方法与系统

摘要

本发明公开了一种可适用于VVC编码标准的帧间图像编码方法，涉及图像处理技术领域，主要包括步骤：获取帧间图像中待预测编码块的邻域像素点的像素值以及像素点坐标信息，并构建线性预测模型；根据邻域像素点对应的像素值和像素点坐标信息，基于线性回归均方差最小化获取线性预测模型的目标参数；通过模型参数确定后的线性预测模型作为待预测编码块中各像素点的像素值预测方法进行帧间图像编码。本发明利用帧间图像空域相关性的特性，在通过线性回归的方式重建已编码的邻域像素块的同时，更好的适配VVC编码标准中多帧内预测模式的特点，使得像素值的预测转换为线性求解的问题，从而大大提高了编码效率。

说明书

技术领域

本发明涉及图像处理技术领域，具体公开了一种可适用于VVC编码标准的帧间图像编码方法与系统。

背景技术

现如今，多媒体上互联网的流量消耗正在快速增长，而在未来几年，更是预计将有80%的互联网流量以视频内容为主。此外，随着新技术的出现，人们对具有更高分辨率、更高帧速率和动态范围的图像和视频内容的需求也与日俱增，这些都突出了高效视频压缩算法在互联网数据传输过程中的重要性。

当前，H.266/VVC（Versatile Video Coding，通用视频编码）是国际上最新一代视频编码标准，它由VCEG和MPEG联合成立视频探索小组（Joint Video Exploration Team，JVET）开发，并于2020年7月6日最终确定的视频压缩标准。H.266/VVC中的帧内预测所遵循的原则与上一代标准视频编码(H.265/HEVC)类似。但为了使模型纹理的粒度更好，其角度数量与H.265/HEVC（帧内预测模式为33种模式）相比，帧内预测模式增加到65种。H.266/VVC的另一重要方面与帧内预测模式有关，其中，最可能预测模式列表的数量(most probablemode，MPM)从H.265/HEVC中的3个MPM增加到6个MPM。H.266/VVC中还采用了其它新工具用于进一步改进编解码器的帧内预测效果。

虽然H.266/VVC在帧内预测效果方面有了改进，但其为了捕获自然场景视频中更多的边缘方向，VVC的帧内角度预测模式数从HEVC的33种增加到65种。因此整体帧内编码效率有所下降，因此，如何解决帧内角度预测模式数增加带来的编码效率降低问题，就是本发明所要解决的问题。

发明内容

针对现有VVC编码技术中存在的编码效率降低问题，基于视频帧间图像存在空域相关性这一特点，本发明利用当前帧中已编码部分像素点的像素值来预测待预测像素点的像素值，提出了一种可适用于VVC编码标准的帧间图像编码方法，包括步骤：

S1：获取帧间图像中待预测编码块的邻域像素点的像素值以及像素点坐标信息，并构建线性预测模型；

S2：根据邻域像素点对应的像素值和像素点坐标信息，基于线性回归均方差最小化获取线性预测模型的目标参数；

S3：通过模型参数确定后的线性预测模型作为待预测编码块中各像素点的像素值预测方法进行帧间图像编码。

进一步地，所述线性预测模型的公式表达式如下：

式中，x和y为待预测像素点位置处的坐标值，P

进一步地，根据所述线性回归均方差导数为零时的模型参数作为目标参数，线性回归均方差的公式表达式如下：

式中，MSE为线性均方差的值，N为邻域像素点的数量，k为表示像素点排序的常数，P为邻域像素点实际的像素值，P’为根据线性预测模型获得的邻域像素点的预测像素值。

进一步地，所述线性回归均方差公式中的模型参数由中间变量进行矩阵计算获取，其中，中间变量可表示为如下公式：

式中，W

进一步地，所述模型参数由中间变量进行矩阵计算获取可表示为：

式中，A和B

本发明还提出了一种可适用于VVC编码标准的帧间图像编码系统，包括：

模型构建单元，用于获取帧间图像中待预测编码块的邻域像素点的像素值以及像素点坐标信息，并构建线性预测模型；

参数确值单元，用于根据邻域像素点对应的像素值和像素点坐标信息，基于线性回归均方差最小化获取线性预测模型的目标参数；

图像编码单元，用于通过模型参数确定后的线性预测模型作为待预测编码块中各像素点的像素值预测方法进行帧间图像编码。

进一步地，所述线性预测模型的公式表达式如下：

式中，x和y为待预测像素点位置处的坐标值，P

进一步地，根据所述线性回归均方差导数为零时的模型参数作为目标参数，线性回归均方差的公式表达式如下：

式中，MSE为线性均方差的值，N为邻域像素点的数量，k为表示像素点排序的常数，P为邻域像素点实际的像素值，P’为根据线性预测模型获得的邻域像素点的预测像素值。

进一步地，所述线性回归均方差公式中的模型参数由中间变量进行矩阵计算获取，其中，中间变量可表示为如下公式：

式中，W

进一步地，所述模型参数由中间变量进行矩阵计算获取可表示为：

式中，A和B

与现有技术相比，本发明至少含有以下有益效果：

（1）本发明所述的一种可适用于VVC编码标准的帧间图像编码方法与系统，针对VVC编码标准中为了提升细粒度质量导致帧间编码效率降低的问题，利用帧间图像空域相关性的特性，在通过线性回归的方式重建已编码的邻域像素块的同时，更好的适配VVC编码标准中多帧内预测模式的特点；

（2）通过模型参数确定后的线性预测模型对待预测像素点的像素值进行预测，利用空域相关性的特点，使得像素值的预测转换为线性求解的问题，从而大大提高了编码效率；

（3）针对今后视频编码标准的改动，无论今后帧内预测模式的数量怎样增多，本发明依旧适用，也即是，针对多帧内预测模式的视频编码标准，本发明适用性更强。

附图说明

图1为一种可适用于VVC编码标准的帧间图像编码方法的方法步骤图；

图2为一种可适用于VVC编码标准的帧间图像编码系统的系统结构图；

图3为VVC编码标准的多帧内预测模式示意图；

图4为VVC编码标准的多帧内预测模式示意图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例一

为了更好的理解本发明的发明点，首先要对最新一代的视频编码标准H.266/VCC（Versatile Video Coding，通用视频编码）相较前代视频编码标准H.265/HEVC有一个整体的了解。

首先，在HEVC中，由于帧内预测块都是正方形的，所以各个角度预测模式使用的概率是相等的，因此帧内预测仅采用包括Planar、DC模式和33种帧内角度预测模式即可（如图3所示，需要说明的是，一个帧内角度预测模式对应一个邻域编码块）。因为视频帧存在有空域相关性，相邻像素点（编码块）之间的像素值存在有线性关系。但由于有限的帧内角度预测模式，在VVC中，邻域编码块之间的直连线对待预测编码块内像素点的连接缺失概率大幅增加，因此无法通过像素点间像素值的线性关系进行待预测编码块内像素点像素值的预测。

而在VVC中，虽然沿用了上一代视频编码标准中的Planar和DC模式，但其将帧内角度预测模式增加到了65种，帧内预测模式达到了67种。同时，由于帧内预测块可能是矩形块，对于水平类的块（宽大于高）上边的参考像素使用概率大于左边参考像素的使用概率，对于垂直类的块（高大于宽）上边的参考像素使用概率小于左边参考像素的使用概率，因此还引入了宽角度预测模式（如图4所示，模式2~66表示传统的帧内角度预测模式，模式1~-14以及模式67~80表示宽角度预测模式）。

通过上述分析可以知道，在整体上，VVC的帧内预测模式方面主要改进就是将整体预测模式和MPM加倍（单边达到33种），因此其邻域编码块之间的直连线可以包含更多待预测编码块中的像素点，能够更好利用相邻像素点之间像素值的线性关系对待预测编码块中的某一像素点进行像素值预测。

因此，针对现有VVC编码技术中存在的编码效率降低问题，基于视频帧间图像的空域相关性以及VVC编码标准的自身特性，如图1所示，本发明利用当前帧中已编码部分像素点的像素值来预测待预测像素点的像素值，并提出了一种可适用于VVC编码标准的帧间图像编码方法，包括步骤：

S1：获取帧间图像中待预测编码块的邻域像素点的像素值以及像素点坐标信息，并构建线性预测模型；

S2：根据邻域像素点对应的像素值和像素点坐标信息，基于线性回归均方差最小化获取线性预测模型的模型参数；

S3：通过模型参数确定后的线性预测模型作为待预测编码块中各像素点的像素值预测方法进行帧间图像编码。

其中，本发明所构建的线性预测模型其公式表达式如下：

式中，x和y为待预测像素点位置处的坐标值，P

而为了求解线性预测模型中的参数，减少求解过程中的误差，本发明选用线性回归均方差进行最小化求解，将求解结果作为最终参数。之所以选用线性回归均方差作为求解手段，是因为其求解相对方便，且能保证求解结果的相对准确性。直观上看，均方差表达的是欧几里得距离，表示的是预测点到原来点的距离，这个距离越小，表明预测越准确。因此，当对线性回归均方差进行求导，当导数为零时也即是线性回归均方差值最小的时候，此时的线性回归均方差中的参数即为目标参数。其中，线性回归均方差的公式表达式如下：

式中，MSE为线性均方差的值，N为邻域像素点的数量，k为表示像素点排序的常数，P为邻域像素点实际的像素值，P’为根据线性预测模型获得的邻域像素点的预测像素值。

同时，为了更好的进行求解，将模型参数与已知邻域编码块的位置信息和像素值信息联系起来，本发明通过中间变量，将目标参数用已知信息进行表示出来，具体地，中间变量可表示为如下公式：

式中，W

而后线性预测模型的模型参数所述模型参数由中间变量进行矩阵计算获取，可表示为：

式中，A和B

将b

实施例二

为了更好的对本发明的技术点进行了解，如图2所示，本发明提出了一种可适用于VVC编码标准的帧间图像编码系统，包括：

模型构建单元，用于获取帧间图像中待预测编码块的邻域像素点的像素值以及像素点坐标信息，并构建线性预测模型；

参数确值单元，用于根据邻域像素点对应的像素值和像素点坐标信息，基于线性回归均方差最小化获取线性预测模型的目标参数；

图像编码单元，用于通过模型参数确定后的线性预测模型作为待预测编码块中各像素点的像素值预测方法进行帧间图像编码。

进一步地，线性预测模型的公式表达式如下：

式中，x和y为待预测像素点位置处的坐标值，P

进一步地，，根据线性回归均方差导数为零时的模型参数作为目标参数，线性回归均方差的公式表达式如下：

式中，MSE为线性均方差的值，N为邻域像素点的数量，k为表示像素点排序的常数，P为邻域像素点实际的像素值，P’为根据线性预测模型获得的邻域像素点的预测像素值。

进一步地，线性回归均方差公式中的模型参数由中间变量进行矩阵计算获取，其中，中间变量可表示为如下公式：

式中，W

进一步地，所述模型参数由中间变量进行矩阵计算获取可表示为：

式中，A和B

综上所述，本发明所述的一种可适用于VVC编码标准的帧间图像编码方法与系统，针对VVC编码标准中为了提升细粒度质量导致帧间编码效率降低的问题，利用帧间图像空域相关性的特性，在通过线性回归的方式重建已编码的邻域像素块的同时，更好的适配VVC编码标准中多帧内预测模式的特点。

通过模型参数确定后的线性预测模型对待预测像素点的像素值进行预测，利用空域相关性的特点，使得像素值的预测转换为线性求解的问题，从而大大提高了编码效率。

针对今后视频编码标准的改动，无论今后帧内预测模式的数量怎样增多，本发明依旧适用，也即是，针对多帧内预测模式的视频编码标准，本发明适用性更强。

需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。