屏幕内容编码标准帧内图像码率的估计方法

摘要

一种屏幕内容编码标准帧内图像码率的估计方法，由确定视频图像纹理特征、确定视频图像颜色特征、确定图像类型、获得纹理简单图像模型参数、估计纹理简单图像码率、获得纹理复杂图像模型参数、估计纹理复杂图像码率步骤组成。由于本发明采用确定图像类型步骤、获得纹理简单图像模型参数步骤、估计纹理简单图像码率步骤、获得纹理复杂图像模型参数步骤、估计纹理复杂图像码率步骤，考虑了屏幕内容视频图像内容的纹理特征和颜色特征，解决了估计视频编码比特数的方法需要部分编码的方式来预测最终编码完毕的比特数、复杂度较高的技术问题。本发明具有码率估计准确、模型参数计算简单等优点，可用于视频编码、视频通信等技术领域。

说明书

技术领域

本发明涉及视频编码技术领域，具体涉及到屏幕视频标准帧内图像编码码率的估计方法。

背景技术

随着计算机技术和多媒体技术的快速发展，屏幕内容视频逐渐出现在人们的生活中。所谓的屏幕内容一般指信息终端设备的屏幕上显示的内容，通过录制屏幕生成屏幕内容视频。通常包括文本、图形、图表和图标等由计算机生成的图像内容，以及摄像机拍摄的自然图像内容，属于自然和计算机生成图像混合形成的一类视频。屏幕内容视频在教育、医疗、交通等领域已经得到了广泛应用，例如在线直播教学、远程医疗和路况监控系统等。考虑屏幕内容视频的内容特性，在高效视频编码标准的基础上，出现了HEVC针对屏幕内容视频的扩展标准，简称屏幕内容编码(SCC)。SCC的目的是在满足传输带宽的要求下提供具有更高质量的重建视频，在保证重建视频质量的前提下，尽可能地压缩存储或传输视频所需要的比特数。因此估计SCC编码后的比特数对于后续的拉格朗日率失真优化、码率控制、以及重建视频的质量评估具有重要的意义。

视频图像的真实编码比特数在编码完成后才可以获得，因此估计视频编码比特数的方法往往需要部分编码的方式来预测最终编码完毕的比特数，该方法主要采用量化后的变换系数、熵编码信息、预测信息等特征得到图像的码率估计值。但是这种方法由于需要部分编码操作，复杂度较高，对于实时性要求较高的应用，例如在线直播教育和远程实时医疗等应用不适用。

屏幕内容视频与自然视频在图像内容特性上具有较大不同。例如计算机生成的屏幕内容通常为包含较少的颜色，甚至会出现单色的线条，其区域的边缘也比较锋利，运动的变化通常不连续不规则等。因此现有的针对自然视频内容的码率估计方法并不适用于SCC。

SCC引入了一些新的编码技术，例如帧内块拷贝模式、调色板模式、自适应颜色变换等，这些新的编码技术要求需要针对SCC研究对应的码率估计方法。而通过检索发现目前还未见可以有效估计屏幕内容编码标准帧内图像码率的方法。

发明内容

本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种码率估计准确、模型参数计算简单、高效的屏幕内容编码标准帧内图像码率的估计方法。

解决上述技术问题所采用的技术方案是由下述步骤组成：

(1)确定视频图像纹理特征

1)确定视频图像分量标准差

输入视频，视频图像的帧宽为N

S(f,c,k)≥t(c) (3)

其中S(f,c)表示视频第f幅帧内图像第c个分量的标准差值，S(f,c,k)表示第f幅帧内图像第c个分量中第k个基本单元标准差值，分量c取1代表亮度分量Y、分量c取2代表色度分量Cb、分量c取3代表色度分量Cr，x(f,c,k,e)表示第f幅帧内图像第c个分量中第k个基本单元中第e个像素的像素值，t(c)表示第c个色度分量判断颜色复杂块的标准差阈值参数，其中色度分量Cb取值为6，色度分量Cr取值为8，f、k、e为有限的正整数，int()为下取整函数。

2)确定分量的对比度特征

将视频帧内图像的亮度分量Y、色度分量Cb、色度分量Cr围绕边界进行扩展，填充的行数和列数均为1，填充像素值与分量边界像素值相同，填充后分量的行数为N

其中D(f,c)表示视频第f幅帧内图像第c个分量的对比度值，K(f,c)表示第f幅帧内图像第c个分量上每个像素值与周围8临近像素值之差的平方和，x(f,c,i,j)第f幅帧内图像第c个分量中第i行第j列的像素值。

3)确定分量梯度特征

按式(6)、(7)、(8)确定视频图像亮度分量Y的梯度值矩阵、色度分量Cb的梯度值矩阵、色度分量Cr的梯度值矩阵：

其中T(X

4)用标准差均值、对比度均值、梯度均值确定视频图像纹理特征

按式(9)得视频图像亮度分量Y、色度分量Cb、色度分量Cr的标准差均值

其中N

(2)确定视频图像颜色特征

1)确定色度分量复杂块比例和

按式(12)确定视频图像色度分量的复杂块所占比例和P(f)；按式(13)确定色度分量Cb和色度分量Cr上复杂块所占比例P(f,c)：

P(f)＝P(f,2)+P(f,3) (12)

其中M(c)为统计的视频帧内图像中色度分量Cb和色度分量Cr上的颜色复杂块个数。

2)确定色度分量颜色等级数量和

用式(14)确定色度分量Cb和色度分量Cr的颜色等级数量和，用式(15)确定每个色度分量上满足条件的颜色等级总数，统计色度分量Cb、色度分量Cr的像素直方图，按式(16)判断色度分量c中颜色等级r所包含像素数是否大于0.0005N

Q(f)＝Q(f,2)+Q(f,3) (14)

Q(f,c,r)＝1|H(f,c,r)＞0.0005N

其中Q(f)表示视频第f幅帧内图像色度分量Cb和色度分量Cr满足条件的颜色等级数量和，Q(f,c)表示统计视频第f幅帧内图像第c个分量满足式(16)的颜色等级总数，Q(f,c,r)表示视频第f幅帧内图像第c个分量中颜色等级r包含的像素数是否大于0.0005N

(3)确定图像类型

第f幅帧内图像满足

(4)获得纹理简单图像模型参数

对于纹理简单图像，按式(17)和式(18)分别获得用于码率估计的模型参数α和模型参数θ

其中p

(5)估计纹理简单图像码率

按式(19)得到纹理简单图像的第一种码率估计值R

其中QP表示用于编码的量化参数。

按式(20)得到纹理简单图像的第二种码率估计值R

(6)获得纹理复杂图像模型参数

对于纹理复杂图像，按式(21)和式(22)分别获得用于码率估计的两个模型参数β和θ

其中q

(7)估计纹理复杂图像码率

按式(23)得到纹理复杂图像的第一种码率估计值R

R

其中exp()是以自然常数e为底的指数函数。

按式(24)得到纹理复杂图像的第二种码率估计值R

R

在本发明的确定图像类型步骤(3)中所述的Z

在本发明的获得纹理简单图像模型参数步骤(4)中，所述的p

在本发明的获得纹理复杂图像模型参数步骤(6)中，q

由于本发明采用确定图像类型步骤、获得纹理简单图像模型参数步骤、估计纹理简单图像码率步骤、获得纹理复杂图像模型参数步骤、估计纹理复杂图像码率步骤，考虑了屏幕内容视频图像内容的纹理特征和颜色特征，解决了估计视频编码比特数的方法需要部分编码的方式来预测最终编码完毕的比特数、复杂度较高的技术问题。本发明具有码率估计准确、模型参数计算简单等优点，可用于视频编码、视频通信等技术领域。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下述的实施例。

实施例1

本实施例的屏幕内容编码标准帧内图像码率的估计方法由以下步骤组成(参见图1)：

(1)确定视频图像纹理特征

1)确定视频图像分量标准差

输入视频，视频图像的帧宽为N

S(f,c,k)≥t(c) (3)

其中S(f,c)表示视频第f幅帧内图像第c个分量的标准差值，S(f,c,k)表示第f幅帧内图像第c个分量中第k个基本单元标准差值，分量c取1代表亮度分量Y、分量c取2代表色度分量Cb、分量c取3代表色度分量Cr，x(f,c,k,e)表示第f幅帧内图像第c个分量中第k个基本单元中第e个像素的像素值，t(c)表示第c个色度分量判断颜色复杂块的标准差阈值参数，其中色度分量Cb取值为6，色度分量Cr取值为8，f、k、e为有限的正整数，int()为下取整函数，本实施例的f取值为1。

2)确定分量的对比度特征

将视频帧内图像的亮度分量Y、色度分量Cb、色度分量Cr围绕边界进行扩展，填充的行数和列数均为1，填充像素值与分量边界像素值相同，填充后分量的行数变为N

其中D(f,c)表示视频第f幅帧内图像第c个分量的对比度值，K(f,c)表示第f幅帧内图像第c个分量上每个像素值与周围8临近像素值之差的平方和，x(f,c,i,j)第f幅帧内图像第c个分量中第i行第j列的像素值。

3)确定分量梯度特征

按式(6)、(7)、(8)确定视频图像亮度分量Y的梯度值矩阵、色度分量Cb的梯度值矩阵、色度分量Cr的梯度值矩阵：

其中T(X

4)用标准差均值、对比度均值、梯度均值确定视频图像纹理特征

按式(9)得视频图像亮度分量Y、色度分量Cb、色度分量Cr的标准差均值

其中N

(2)确定视频图像颜色特征

1)确定色度分量复杂块比例和

按式(12)确定视频图像色度分量的复杂块所占比例和P(f)；按式(13)确定色度分量Cb和色度分量Cr上复杂块所占比例P(f,c)：

P(f)＝P(f,2)+P(f,3) (12)

其中M(c)为统计的视频帧内图像中色度分量Cb和色度分量Cr上的颜色复杂块个数。

2)确定色度分量颜色等级数量和

用式(14)确定色度分量Cb和色度分量Cr的颜色等级数量和，用式(15)确定每个色度分量上满足条件的颜色等级总数，统计色度分量Cb、色度分量Cr的像素直方图，按式(16)判断色度分量c中颜色等级r所包含像素数是否大于0.0005N

Q(f)＝Q(f,2)+Q(f,3) (14)

Q(f,c,r)＝1|H(f,c,r)＞0.0005N

其中Q(f)表示视频第f幅帧内图像色度分量Cb和色度分量Cr满足条件的颜色等级数量和，Q(f,c)表示统计视频第f幅帧内图像第c个分量满足式(16)的颜色等级总数，Q(f,c,r)表示视频第f幅帧内图像第c个分量中颜色等级r包含的像素数是否大于0.0005N

(3)确定图像类型

第f幅帧内图像满足

(4)获得纹理简单图像模型参数

对于纹理简单图像，按式(17)和式(18)分别获得用于码率估计的模型参数α和模型参数θ

其中p

(5)估计纹理简单图像码率

按式(19)得到纹理简单图像的第一种码率估计值R

其中QP表示用于编码的量化参数，本实施例中每个视频帧内图像QP取值分别为12,17,22,27,32,37。

按式(20)得到纹理简单图像的第二种码率估计值R

(6)获得纹理复杂图像模型参数

对于纹理复杂图像，按式(21)和式(22)分别获得用于码率估计的两个模型参数β和θ

其中q

(7)估计纹理复杂图像码率

按式(23)得到纹理复杂图像的第一种码率估计值R

R

其中exp()是以自然常数e为底的指数函数。

按式(24)得到纹理复杂图像的第二种码率估计值R

R

完成屏幕内容编码标准帧内图像码率的估计方法。

实施例2

本实施例的屏幕内容编码标准帧内图像码率的估计方法由以下步骤组成：

(1)确定视频图像纹理特征

该步骤与实施例1相同。

(2)确定视频图像颜色特征

该步骤与实施例1相同。

(3)确定图像类型

第f幅帧内图像满足

(4)获得纹理简单图像模型参数

对于纹理简单图像，按式(17)和式(18)分别获得用于码率估计的模型参数α和模型参数θ

其中p

(5)估计纹理简单图像码率

该步骤与实施例1相同。

(6)获得纹理复杂图像模型参数

对于纹理复杂图像，按式(21)和式(22)分别获得用于码率估计的两个模型参数β和θ

其中q

(7)估计纹理复杂图像码率

该步骤与实施例1相同。

完成屏幕内容编码标准帧内图像码率的估计方法。

实施例3

本实施例的屏幕内容编码标准帧内图像码率的估计方法由以下步骤组成：

(1)确定视频图像纹理特征

该步骤与实施例1相同。

(2)确定视频图像颜色特征

该步骤与实施例1相同。

(3)确定图像类型

第f幅帧内图像满足

(4)获得纹理简单图像模型参数

对于纹理简单图像，按式(17)和式(18)分别获得用于码率估计的模型参数α和模型参数θ

其中p

(5)估计纹理简单图像码率

该步骤与实施例1相同。

(6)获得纹理复杂图像模型参数

对于纹理复杂图像，按式(21)和式(22)分别获得用于码率估计的两个模型参数β和θ

其中q

(7)估计纹理复杂图像码率

该步骤与实施例1相同。

完成屏幕内容编码标准帧内图像码率的估计方法。

为了验证本发明的有益效果，发明人采用本发明实施例1的方法对屏幕内容编码标准国际制定组织推荐的4个标准视频，车内人员与数据表(PeopleInVehicle_Spreadsheet)、任务控制剪切3(MissionControlClip3)、电路布局展示(CircuitLayoutPresentation)、英语文件编辑(EnglishDocumentEditing)进行了实验，实验如下：

选择屏幕内容编码标准国际制定组织推荐的编码器HM16.17+SCM8.6，在量化参数QP分别设置为12、17、22、27、32、37，编码视频的第一幅图像，第一幅图像类型为帧内图像，编码后即可获得图像的真实码率值。使用本发明实施例1的方法得到不同视频在不同量化参数设置下的估计码率值。

方法运行的主要软硬件环境为：Windows 10操作系统，内存8.00GB。

采用式(25)、(26)所示的PR

其中R

采用式(27)、(28)所示的PR

其中R

从式(19)(20)和(23)(24)可以看出，两个码率指标像素每比特bpp、比特bit之间是等比例换算关系，对于同样的一幅视频图像在同样的量化参数设置下，本发明实施例1的方法在像素每比特bpp、比特bit两个指标下对应的两个码率估计准确度是一样的，即PR

采用运行时间评判方法的复杂度，如式(29)、(30)所示，采用RTB

其中RT

如式(31)、(32)所示，采用RTB

其中RT

使用实施例1的方法，对车内人员与数据表、任务控制剪切3、电路布局展示、英语文件编辑进行图像类型判断，车内人员与数据表和任务控制剪切3的第一幅图像被判定为纹理简单图像，而电路布局展示和英语文件编辑的第一幅图像被判定为纹理复杂图像，实验结果见表1、2。

表1纹理简单图像对应的码率估计准确度

由表1可见，对于纹理简单的图像，本发明实施例1的方法对应的PR

表2纹理复杂图像对应的码率估计准确度

由表2可见，实验数据也能得到表1类似结论，对于纹理复杂的图像，本发明实施例1的方法对应的PR