一种AVS编码器快速帧间模式选择方法及装置

摘要

本发明公布了一种AVS编码器快速帧间模式选择方法，包括：采用视觉感知判决模型和像素点边缘信息从16x16模式、16x8模式、8x16模式和8x8模式中预先选择出最优模式；便于硬件实现的快速帧间模式选择算法，突破帧间模式选择数据依赖，使帧间模式选择无需等待相关的重构数据，成为高效无中断模式选择流水线实现的前提；设计面向硬件可实现的高效率计算率失真代价的5级流水算法，使基于率失真代价的帧间模式选择实际硬件应用推广成为可能；最后，根据预选最优模式、direct模式和intra模式这三种候选模式的带价值确定最优模式。本发明还公布一种AVS帧间模式选择装置，显著提高了硬件编码器的编码性能。

说明书

技术领域

本发明涉及数字视频编解码技术领域，尤其涉及一种AVS编码 器快速帧间模式选择方法及装置。

背景技术

视频压缩技术在多媒体及其传输系统中占有重要的地位，随着 多媒体技术的不断发展，高效的压缩技术成为大家研究的热点。 AVS(Advanced Audio Video Coding Standard)标准是由中国数字音视 频编解码技术标准工作组(简称AVS工作组)提出，具有自主知识产权 的数字音视频编解码技术标准。AVS与H.264在编码性能上相当，而 算法复杂度明显低于H.264，因此成为数字媒体领域里的一支极具竞 争力的力量。无论对于AVS还是H.264，率失真优化(RDO)都占有 举足轻重的作用。RDO是一个综合考量编码水平的指标，它对编码 质量和码流大小给出了一个综合评价。一般来讲，采用RDO判据能 够平均带来0.5dB左右的增益，尽管全RDO判据对编码器性能有显 著的提高，但是高复杂度阻碍了其应用。通常而言，需要经过运动 估计(ME)、离散余弦变换(DCT)、量化、反量化、反变换和熵编 码等环路才能得到重构像素和真实的码流大小，因此RDO具有较高 的运算复杂度。所以，率失真优化对编码器来说是一个不小的挑战。

对于上述问题，现有技术中一般有两类解决方法。其一是减少 候选模式数；其二是简化率失真计算模型，通过近似计算D和R的方 法来简化计算复杂度。然而现有的方法往往单纯从算法的角度来看 待这个问题，并没有针对硬件的可实现性对算法进行改造，导致上 述两类解决方案仅仅停留在理论阶段，没有太大的实际应用价值。

发明内容

本发明解决的技术问题在于如何在能够保证高率失真性能的前 提下，显著降低硬件实现复杂度。

为了解决以上问题，本发明公开了一种AVS编码器快速帧间模 式选择方法，包括：

步骤一、提取每个像素点的最小可分辨视觉亮度差JND，根据视觉感 知判决模型提取出每个像素点的最小可分辨亮度差，此亮度差用于 步骤三中计算边缘点的个数；

步骤二、计算每个像素点的梯度值，根据Sobel算子提取出每个像素 点的水平和垂直梯度值，此梯度值用于步骤三中计算边缘点的个数， Sobel算子在图像处理中用于提取像素边缘信息值；

步骤三、计算边缘点个数，通过比较步骤一中得到的每个像素点的 JND和步骤二中得到的每个像素点的梯度值，可以获取边缘点的个 数，边缘点分为三类，分别是：宏块边缘点MLEP，水平边缘点HEP 和垂直边缘点VEP；

步骤四、帧间模式选择，根据步骤三计算得到的三类边缘点的个数， 可以从16x16、16x8、8x16和8x8这四种宏块划分模式中选取出最佳 模式；

步骤五、确定流水线调度策略，基于快速帧间模式选择算法，采用5 级流水算法，前级模式决策MD模块优先从16x16，16x8，8x16和8x8这 4种模式中计算并预选出最优模式，将最优模式传递给运动估计ME 模块，ME模块将计算出的direct模式和最优模式的原始像素值和预 测值绝对差之和SAD和运动向量MV传递给后级MD模块，同时， 后级MD模块从帧内预测IP模块获取intra模式的预测值，根据计算 得到3个候选模式的率失真代价，比较各种模式的率失真代价，选取 率失真最小的模式为最终的最优模式。

进一步，作为一种优选，所述提取每个像素点的最小可分辨视 觉亮度差JND包括：判决当前编码帧类型，如果当前编码帧为I帧， 则跳过不处理；如果当前编码帧为P、B帧，则根据视觉感知判决模 型提取出像素点的JND。

进一步，作为一种优选，所述计算每个像素点的梯度值包括： 通过Sobel算子分别提取出每个像素点的水平梯度值和垂直梯度值。

进一步，作为一种优选，所述计算边缘点个数包括：根据已求 出的每个像素点的JND及其水平梯度值和垂直梯度值，分别统计宏 块边缘点个数，水平边缘点HEP个数和垂直边缘点VEP个数，所述 的统计宏块边缘个数，具体步骤为：比较计算出的每个像素点的JND 和水平梯度值的大小，以及JND和垂直梯度值的大小，如果像素点 的水平梯度值大于JND，或者垂直梯度值大于JND，则此像素点为一 个宏块边缘点MLEP。所述的统计水平边缘点个数，具体步骤为：比 较计算出的每个像素点的JND和水平梯度值的大小以及JND和垂直 梯度值的大小，如果像素点的水平梯度值大于JND，并且垂直梯度值 小于等于JND，则此像素点为一个水平边缘点HEP，所述的统计垂直 边缘点个数，具体步骤为：比较计算出的每个像素点的JND和水平 梯度值的大小以及JND和垂直梯度值的大小，如果像素点的垂直梯 度值大于JND，并且水平梯度值小于等于JND，则此像素点为一个垂 直边缘点VEP。

进一步，作为一种优选，所述帧间模式选择步骤为：首先，判 断统计出的MLEP是否小于等于10，如果MLEP小于10，选择16x16 模式为最佳帧间模式；其次，判断统计出的MLEP是否大于10并且 小于等于128，如果MLEP大于10并且小于等于128，则最佳模式从 16x8和8x16这两种模式之间选择；最后，判断统计出的MLEP是否 大于128，如果MLEP大于128，则最佳模式为8x8；对于MLEP介于10 和128之间的情况，此时需要判断HEP和VEP的大小；如果HEP大于 VEP，则最佳模式为16x8；如果VEP大于HEP，则最佳模式为8x16。

进一步，作为一种优选，所述确定流水线调度策略步骤为：基 于快速帧间模式选择算法，采用5级流水算法，前级模式决策MD预 判模块优先从16x16，16x8，8x16和8x8这4种模式中计算出最优模式， 并将最优模式传递给ME模块，ME模块将计算出的direct模式和最 优模式的RDO传递给后级MD模块，同时，后级MD模块从帧内预测 IP模块获取intra模式的预测值。根据计算得到的3个候选模式的率 失真代价，比较各种模式的率失真代价，选取率失真最小的模式为 最终的最优模式。

同时本发明还公开了一种AVS编码器快速帧间模式选择装置， 所述快速帧间模式选择装置包括前级模式选择预判模块，利用快速 算法优先从16x16、16x8、8x16和8x8模式中选出最优模式，减少了 PB帧中的宏块级候选模式，降低后级模式选择的复杂度；ME模块， 用于计算预选出的最优模式和direct模式的原始像素值和预测值绝对 差之和SAD和运动向量MV；帧内预测模块，用于产生帧内模式的预 测值，此模块用重构值进行预测；率失真代价计算及后级模式选择 模块，用于计算各个模式的率失真代价，并同时进行模式选择；模 式选择输出模块，本模块用于输出最优模式的模式信息以及重构值， 熵编码信息。

进一步，作为一种优选，所述前级模式选择预判模块结构，包括 JND提取运算电路、梯度值提取运算电路、基于比较的边缘点提取 电路和最优模式选择电路。

相对于现有技术而言，本发明具有如下优势：(a)、通过算法级 优化，将算法改造成易硬件实现的算法，在不显著降低性能的前提 下，大幅降低编码器的硬件实现复杂度，很好地把算法和结构融合 起来(b)、巧妙安排流水线调度策略，合理划分处理单元，提高电 路的并行度，最终实现了一种基于率失真的高性能模式决策装置。 (c)、在计算率失真代价的过程中把熵编码的信息存储下来，在输 出阶段进行输出，避免编码阶段又进行熵编码处理，提高了硬件的 共享，降低了硬件资源。(d)、本发明的装置能够使编码器在极端环 境中保持很强的鲁棒性，在低带宽环境中维持较高的编码质量，并 同时能满足实时性要求；而在带宽充足的环境中能够保证视频图像 的高质量。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更 好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明 的附图用来提供对本发明的进一步理解，构成本发明的一部分，本 发明的示意性实施例及其说明用于解释本发明，并不构成对本发明 的不当限定，其中：

图1是本发明AVS快速帧间模式选择算法流程图；

图2是基于视觉感知韦伯曲线建立的数学模型函数图；

图3是像素点背景亮度提取示意图；

图4是模式选择装置的模块结构示意图；

图5是前级模式选择的模块结构图；

图6A是FME两路并行前向处理结构示意图；

图6B是FME两路并行后向处理结构示意图。

具体实施方式

以下参照图1-6对本发明的实施例进行说明。

为使上述目的、特征和优点能够更加明显易懂，下面结合附图 和具体实施方式对本发明作进一步详细的说明。

参照图1，为本发明的快速帧间模式选择算法流程图。具体包含 如下步骤：

模式选择初始化步骤S100，在初始化的过程中，给模式选择配 置需要的参数，如图1所示，需要配置的参数有：编码帧类型、量化 步长；执行流程S101，根据提取到的原始像素值，可以统计出每个宏 块中的MLEP、HEP和VEP的大小；根据判决条件S102，确定模式 选择的分支，如果MLEP不大于10，则执行流程S103，选择16x16为 最佳模式，否则，进入判决条件S104，继续确定模式选择的分支， 如果MLEP大于10且不大于128，则进入判决条件S105，继续确定模 式选择的分支，否则，执行流程S106，选择8x8为最佳模式；一旦进 入判决条件S105，如果HEP大于VEP，则执行流程S107，选择16x8 为最佳模式，否则执行流程S108，选择8x16为最佳模式；然后进入 基于率失真的代价计算S109，计算最佳模式、Direct模式和帧内模式 的率失真代价，最后，基于率失真代价进行模式选择S110，并把相 关结果输出。

为了清楚地说明本发明的方法和装置，下面以AVS为例进行说 明。在前面所述的模式选择方法中，对于AVS来说，候选模式生成 具体为：从16x16模式、16x8模式，8x16模式，8x8模式中基于快 速算法选出一种最佳预测模式Candidate，进而从ME获得Direct模式 和Candidate的SAD和MV，从IP获得Intra模式的预测值，则候选模 式为Intra模式，Direct模式和Candidate。最后选择三种候选模式中 率失真最小者为最佳模式。

参照图2，为基于视觉感知韦伯曲线建立的数学模型函数图。其 中I是一个像素点的背景亮度值，ΔI是最小可分辨视觉亮度差(JND)， ΔI/I是韦伯比。根据图2所建立的数学模型，可以得到如下表达式：

$\mathrm{\Delta I}=\left(\begin{array}{ccc}-{0.016I}^2+I& I\le 50& \left(a\right)\\ 0.2I& 50<I\le 200& \left(b\right)\\ 0.016I^2-3I& I>200& \left(c\right)\end{array}\right)---\left(1\right)$

为降低硬件计算复杂度，本发明将方程组(1)中的二次曲线进 行线性拟合，得到方程组(2)：

$\mathrm{\Delta I}=\left(\begin{array}{cc}{\beta }_{1}I+{\gamma }_1& I\le a\\ {\beta }_{2}I+{\gamma }_2& a<I\le b\\ \mathrm{\alpha I}& b<I\le c\\ {\beta }_{3}I+{\gamma }_3& I>c\end{array}\right)---\left(2\right)$

方程组(2)中，I是原始像素亮度值，其大小介于0和255之间。 a取值31，b取值50，c取值200。其中α取值1/5，β₁取值0.5，γ₁取值2.5； β₂取值-0.3，γ₂取值26；β₃取值4.25，γ₃取值-815。

参照图3，为本发明的像素点背景亮度提取示意图，具体的提取 过程说明如下：(a)是一个3x3大小的背景亮度提取矩阵G_surround，其 表示如下：

$G_{\mathrm{surround}}=\left(\begin{array}{ccc}1& 1& 1\\ 1& 0& 1\\ 1& 1& 1\end{array}\right)---\left(3\right)$

(b)是一个3x3大小的原始像素矩阵A。通过对着两个矩阵进行卷 积操作可提取出像素点(x，y)的背景亮度值，即：

I(x，y)＝G_surround*A/8    (4)

将(4)式带入(2)式即可求出一个像素点的JND。

利用Sobel算子提取像素点水平梯度向量G_x和垂直梯度向量G_y的 过程如下：

$G_{x\_\mathrm{grad}}=\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 1\\ -1& 0& 1\end{array}\right)*A---\left(5\right)$

$G_{y\_\mathrm{grad}}=\left(\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right)*A---\left(6\right)$

G_x＝|G_{x_grad}|/4    (7)

G_y＝|G_{y_grad}|/4    (8)

其中$\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right)$和$\left(\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right)$分别为Sobel水平梯度算子 和垂直梯度算子。

A为3x3大小的原始像素矩阵，运算符*为卷积运算。

参照图4，为本发明的模式决策装置的结构图，该装置包含快速 预选MD1模块400、整像素运动估计(IME)模块401、分像素运动 估计(FME)模块402、帧内预测模块403、基于率失真代价计算及 模式选择模块404、bit流生成(BG)模块405、去块效应模块(DBK) 模块406。其中：

快速预选MD1模块400，基于本发明的快速帧间模式选择算法， 根据原始像素值直接从16x16模式、16x8模式、8x16模式和8x8模 式中选择一个最佳模式；IME模块401与快速预选MD1模块400相 连，并同时与FME模块402相连，用于计算当前宏块的最佳模式运 动向量(MV)传递给后级FME模块，减少帧间候选模式的数目， 降低了模式选择的复杂度；FME模块402的输入连接于FME模块401 的输出，同时该模块的输出连接到帧内预测(IP)模块403和率失真 代价计算及模式选择模块404，用于计算最优模式和direct模式的 SAD；帧内预测模块403，一边连接于FME模块402，另一边连接于 率失真代价计算及模式选择模块404，用于对帧内模式进行预测，把 预测的像素值输出给率失真代价计算及模式选择模块404；率失真代 价计算及模式选择模块404的输入与FME模块402及帧内预测模块 403分别相连，输出与BG模块405和DBK模块406相连，用于计算 最佳模式、direct模式和intra模式这三种候选模式的率失真代价，同 时基于率失真代价进行模式选择，并把最优模式的相关信息传输给 BG模块405和DBK模块406；DBK模块406与率失真代价计算及模 式选择模块404相连，从404获取最优模式信息以及重构值用于去块 效应滤波。BG模块405与率失真代价计算及模式选择模块404相连， 从404获取最优模式信息以及熵编码信息用于生成bit流。

参照图5，为模式决策装置子模块模式选择预判模块400的内部 结构图，包括JND提取运算电路502、梯度值提取运算电路503、基 于比较的边缘点提取电路504和最优模式选择电路505。其中：

JND提取运算电路502连接于与模块501之间的ping-pong缓存， 用于计算当前像素值的最小可分辨视觉亮度差JND，把计算的结果存 储到后面的ping-pong缓存中；梯度值提取运算电路503连接于与模块 501之间的ping-pong缓存，用于对模块501的原始像素值进行水平梯 度计算和垂直梯度计算，并把计算得到的结果存储到后面的 ping-pong缓存中；边缘点提取电路504，分别连接于与模块502之间 的ping-pong缓存和与模块503之间的ping-ping缓存，模块504用于 比较从502得到的最小可分辨视觉亮度差(JND)和从503得到的梯 度值大小，从而得到边缘点的统计值；模块505连接于与模块504之 间的ping-ping缓存，根据模式选择策略进行模式决策，并把结果输 出。

参照图6A和图6B，为本发明装置的FME两路并行处理结构前 向和后向示意图，在所提出的FME结构中采用三级流水：二分之一 差值搜索，四分之一插值搜索，方向决策及色度差值。本发明只用 两路并行的结构，一路前向(图6A)，一路后向(图6B)。前向模式 在前向电路中运算，后向模式在后向电路中运算，双向模式和Direct 中前向和后向分别也在对应的方向上运算。这样FME的结构可总结 为：有两路并行电路组成，在一个处理周期每一路处理三个宏块(前 向或者后向的已预选的最优模式，双向的已预选最有模式和Direct 模式)，三个宏块在每一路进行三级流水处理。这种高效重用结构与 一般的FME算法结构相比，节省了60％面积，并且可减少200cycle 的处理时间。

如上所述，对本发明的实施例进行了详细地说明，但是只要实 质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领 域的技术人员来说是显而易见的。因此，这样的变形例也全部包含 在本发明的保护范围之内。