一种视频主观质量的无参评估方法

摘要

本发明公开了一种视频主观质量的无参评估方法，它包括以下三个方面：1）对压缩视频中包含的噪声的可视性进行定量评估，建立噪声可视性与主观视觉质量之间的联系，实现对视频主观质量的评价；2）对不同聚焦的视频质量利用钝化模糊评估算法进行定量评估，建立聚焦与主观视觉质量之间的联系，实现对视频主观质量的评价；3）对不同对比度的图像质量进行定量估计，建立对比度与主观视觉质量之间的联系，实现对视频主观质量的评价。本发明在没有原始视频序列参考的情况下，解决了对图像像素间的相干性关系精确建模的关键技术，实现对视频序列的主观质量进行无参数评估。

说明书

技术领域

本发明涉及一种视频主观质量的无参评估方法，更具体地说，涉及一种对 监控视频序列进行视频主观质量的无参数评估的方法。

背景技术

国际公认的评价视频质量最可靠的方法是主观评价方法，因为在大多数视 频应用过程中，视频的最终接受者是人的眼睛，因此，评估视频的主观质量尤 为重要。目前，对视频进行主观评价时，业内大多依靠多位专业评估人员利用 专业经验对视频进行人工打分，视频主观质量的结果为多位评估人员对视频所 打分数的平均值。因为是人工进行打分，所以视频主观质量评估结果不可避免 的受到人为因素的影响、干扰；同时，由于待评估的视频过多，评估人员评估 每个视频时都需要将该视频全面看完，评估所花费的时间也较长。

发明内容

本发明的目的在于提供一种创新的、高效的视频主观质量无参评估体系， 在无人为干预的情况下，实现对视频主观质量的评估，依据人眼视觉模型技术、 先验知识，建立噪声可视性、聚焦、对比度与主观视觉质量之间的联系来度量 视频的主观质量是本领域亟需解决的技术问题。利用本发明对视频的主观质量 进行无参评估，可减少人为因素对评估结果的干扰，大大提高了评估的速度和 结果的公正性。

本发明所解决的技术问题可以采用以下技术方案来实现：

一种视频主观质量的无参评估方法，它包括以下三个方面：

1）对压缩视频中包含的噪声的可视性进行定量评估，建立噪声可视性与主 观视觉质量之间的联系，实现对视频主观质量的评价；

2）对不同聚焦的视频质量利用钝化模糊评估算法进行定量评估，建立聚焦 与主观视觉质量之间的联系，实现对视频主观质量的评价；

3）对不同对比度的图像质量进行定量估计，建立对比度与主观视觉质量之 间的联系，实现对视频主观质量的评价。

2.根据权利要求1所述的一种视频主观质量的无参评估方法，其特征在于， 所述建立噪声可视性与主观视觉质量之间的联系通过图像结构相似度算子 SSIM来实现；所述SSIM指数包括：

图像亮度比较方程：$l(x,y)=\frac{{2\mu }_x{\mu }_y+C_1}{{\mu }_x^2+{\mu }_y^2+C_1},$

其中μ_x和μ_y分是图像x和y的均值，C₁是在接近零时的稳定常数；

对比度比较方程：$c(x,y)=\frac{{2\sigma }_x{\sigma }_y+C_2}{{\sigma }_x^2+{\sigma }_y^2+C_2},$

其中σ_x和σ_y分别是图像x和y的方差，C₂是在接近零时的稳定常数；

图像x和y的结构相关度方程:

其中σ_xy是图像x和y的相关度，C₃是稳定常数；

由以上三个方程组成：

SSIM(x，y)=[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ。

在本发明的一个实施例中，所述建立聚焦与主观视觉质量之间的联系通过 Spatial Sharpness Map关系来实现；定义Spectral sharpness map如下：

$S_1\left(I\right)=1-\frac{1}{1+e^{-3(a_I-2)}};$

在Spatial Measure of Sharpness中空间域总的变化量被用来衡量图像的锐度 和模糊度，一个图像块I_b的总的变化量（The Total Variation）v(I_b)可以通过如下 式子计算得到：其中I_bi和I_bj为I_b的八领域；

v(I_b)有效地显示了图像块I_b与其偏移块的绝对差的总和，由此我们定义 spatial sharpness map如下：

$S_2\left(I\right)=\frac{1}{4}{\max }_{\tau \in I}v\left(I_b\right);$

用S₃(I)中1%最大值的平均来衡量图像的质量：

$S_{3\_\mathrm{INDEX}}=\frac{1}{N}\underset{k=1}{\overset{N}{\Sigma }}{\tilde{S}}_3\left(K\right)$

其中为S₃(I)的降排序，N为图像像素数量值的1%。

在本发明的一个实施例中，所述建立对比度与主观视觉质量之间的联系通 过总对比度函数来实现；

$D_{n-1}=\frac{1}{N_{\mathrm{pix}}(N_{\mathrm{pix}}-1)}\underset{i=0}{\overset{M-2}{\Sigma }}\underset{j=i+1}{\overset{M-1}{\Sigma }}{H}_{n-1}\left(i\right)H_{n-1}\left(j\right)(j-i)i,j\in [0,M-1];$

所述[0,M-1]是图像的灰度范围，N_pix是图像的像素点的个数，H(i)是图像 灰度i在直方图中的幅度。

附图说明

图1为本发明所述的一种视频主观质量的无参评估方法的示意图。

图2为本发明所述的8×8块移动范围的示意图。

图3为本发明所述的钝化模糊评估算法的示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解， 下面结合具体实施方式，进一步阐述本发明。

如图1所示，本发明所述的一种视频主观质量的无参评估方法，包括以下 步骤：

步骤1：对压缩视频中包含的噪声的可视性进行定量估计，将估计出的噪声 可视性量纲与图像的主观质量评估相拟合，建立噪声可视性与主观视觉质量之 间的联系，即图像结构相似度算子SSIM，利用这一内在关系，实现对视频主观 质量的评价。

步骤2：对不同聚焦的视频质量利用钝化模糊评估算法进行定量估计，建立 聚焦与主观视觉质量之间的联系，即建立Spatial Sharpness Map关系，利用这一 内在关系，实现对视频主观质量的评价。

步骤3：基于Center-surround模型，对不同对比度的图像质量进行定量估计， 建立对比度与主观视觉质量之间的联系，即总对比度函数，利用这一内在关系， 实现对视频主观质量的评价。

众所周知，我们可以应用压缩图像的一些冗余信息来预测原始图像的信息， 而压缩图像与原始图像的结构相似度可以反映图像在人眼视觉感知上对图像质 量的评价。这个过程也与人主观评价图像的过程相似。在1860年代，Hermann von  Helmholtz就已经发现人对可视物体的评价涉及复杂的心理和生理过程。根据他 的结论，我们假设认为人脑有一个内部生成模型，这个模型可以使用non-local 的信息来推断原图的推理信息。同时，人将外部输入和内部推断的差距作为对 图像质量的一种评价。在步骤1中The shifted window based filtering algorithm用 来描述人脑内部生成模型，通过衡量图像结构相似度的算子SSIM来衡量外部输 入和由生成模型所推断出来的原图信息的差距。

如图1所示，我们移动每一个图像块在预先设定的区间内去寻找相似块。 而相似块又是通过判断两个图像块之间的Mean Absolute Error(MAE)是否小于 预定值。通常情况下，我们移动每一个8×8的块在[-8，8]的范围内，如上图所 示。

由于块的不连续是由量化表所引起，在这个我们选择了一个优化过的MAE （MAXMAE）来评价块相似，MAXMAE如下所示：

$\mathrm{MAXMAE}=\frac{1}{8}\mathrm{qt}\left(\mathrm{0,0}\right)\exp (1-\underset{u=0}{\overset{7}{\Sigma }}\underset{v=0}{\overset{7}{\Sigma }}\mathrm{qt}(u,v)/L),$

其中qt(u,v)为量化表。L=255是最大的灰度量化步长。

则相似块的集合可以用下式表示：

$\Theta (a,b)=\left\{(i,j)\right|\frac{1}{64}\underset{i=0}{\overset{7}{\Sigma }}\underset{j=0}{\overset{7}{\Sigma }}|f_{(a,b)}^{(i,j)}(n,m)-f_{(a,b)}(n,m)|\le \mathrm{MAXMAE}\}$

其中(i，j)是块的移动参数,-8≤i，j≤8.(n，m)为块(a，b)中像素的索引值。

最后重建图像f'(a,b)(x，y)的定义如下：

${f^{\prime }}_{(a,b)}(n,m)=\frac{1}{N\left(\Theta (a,b)\right)}\underset{i,j\in \Theta (a,b)}{\Sigma }{f}_{(a,b)}^{(i,j)}(n,m).$

关于SSIM评价标准的算法如下所示。

SSIM主要是用来衡量图像结构相似度的一个算法，它由三个部分组成：

图像亮度比较方程：其中μ_x和μ_y分是图像x和y的均 值。C₁是在接近零时的稳定常数。

对比度比较方程：其中σ_x和σ_y分别是图像x和y的方 差。C₂是在接近零时的稳定常数。

图像x和y的结构相关度方程:其中σ_xy是图像x和y的 相关度，C₃是稳定常数。

SSIM指数就有上面三个方程组成：

SSIM(x，y)=[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ。

通常情况下我们用MSSIM来代替SSIM index，以提高计算速度。

$\mathrm{MSSIM}(x,y)=\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}\mathrm{SSIM}(x_i,y_i),$

其中M是局部窗的数量.x_i和y_i是图像x和y第i个窗的内容。

由上面的两个部分，我们可以推导出关于块效应评价的新方法：

${\mathrm{MSSIM}}_{\mathrm{NF}}=\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}\mathrm{SSIM}(f_i^{\prime },f_i),$

其中为预测出来的原始图像。

如图2所示，步骤2的图像模糊的算法由两个部分组成，一是测量局部幅 度谱的斜率，二是测量空间域的局部最大变化量。众所周知，图像高频分量的 遗失导致了图像的模糊。测量这种影响的一个很好的方式就是测量图像幅度谱 的M(f)，因为其与频率成反比例下降。例如M(f)∝f^-a，在这儿f为频率。虽 然对于幅度谱斜率的评价可以用来衡量图像的锐度或者模糊程度，但是这种方 法并没有考虑图像的对比度，实验表明图像的对比度对图像的锐度和模糊度有 直接的影响。为了将对比度对图像锐度和模糊度的影响考虑进来，我们将通过 测量空间域的局部最大变化量来衡量对比度对图像锐度和模糊度的影响。将这 两部分有效的结合可以很好的衡量图像的模糊度。

在Spectral sharpness map中我们对图像I(x，y)做DFT变化得到I_DFT(u,v)， 然后将I_DFT(u,v)转化为极坐标方程I_DFT(f，θ)，其中m为局部块的大小。

接下来我们计算同一频率下所有方向上幅度的总和，如下：

$Z_I\left(f\right)=\underset{\theta }{\Sigma }\left|I_{\mathrm{DFT}}(f,\theta )\right|.$

图像I(x，y)的幅度谱斜率定义为-a_I，可以由-alogf+logβ的斜率计算得 到，其数学表达式如下：

$a_I=\arg \underset{a}{\min }{\left|\right|\beta f^{-a}-Z_I\left(f\right)\left|\right|}^2.$

由上式可知当-a_I越大时图像的高频内容越少，图像越模糊。在此，定义 Spectral sharpness map如下：

$S_1\left(I\right)=1-\frac{1}{1+e^{-3(a_I-2)}}.$

在Spatial Measure of Sharpness中空间域总的变化量被我们用来衡量图像的 锐度和模糊度。一个图像块I_b的总的变化量（The Total Variation）v(I_b)可以通过 如下式子计算得到：

$v\left(I_b\right)=\frac{1}{255}\underset{i,j}{\Sigma }|I_{\mathrm{bi}}-I_{\mathrm{bj}}|.$

其中I_bi和I_bj为I_b的八领域。

v(I_b)有效地显示了图像块I_b与其偏移块的绝对差的总和。由此我们定义 spatial sharpness map如下。

$S_2\left(I\right)=\frac{1}{4}{\max }_{\tau \in I}v\left(I_b\right),$

其中τ为I中2×2的块。

我们用下式将空间域和频域所得的匹配图综合为一个新的匹配：

S₃(I)=S₁(I)^γ×S₂(I)^1-γ。

我们用S₃(I)中1%最大值的平均来衡量图像的质量：

$S_{3\_\mathrm{INDEX}}=\frac{1}{N}\underset{k=1}{\overset{N}{\Sigma }}{\tilde{S}}_3\left(K\right),$

其中为S₃(I)的降排序，N为图像像素数量值的1%。

步骤3主要是基于局部带通滤波器的应用和中央-周边接受区模型 （center-surround retinal receptive field model）。生理研究中有关色差对人眼对图 像对比敏感度影响的一些观点，以及sub- & supra-threshold contrast perception的 观点也都被考虑在我们的算法当中。考虑到人眼存在多频谱通道，我们的算法 将工作在多频谱通道之上，然后将不同通道上的所得到的关于对比度的值通过 Lp范数综合为一个关于图像对比度的一个标量。

我们认为在灰度图中的对比度可以被看作为局部变化和局部平均的比值。 同时通过分析weber&Michelson关于对比度的定义，我们用局部带限的对比度 来度量负责图像的对比度。

局部带限对比度的定义如下：

$c(x,y)=\frac{\beta (x,y)}{\lambda (x,y)}$

其中：

β(x，y)=f(x，y)*b(x，y)

λ(x，y)=f(x，y)*l(x，y)

f(x，y)为图像在坐标(x，y)处的灰度值，b为一个带通滤波器，l为一个低通 滤波器，*为卷积操作。

我们简单的考虑人眼视网膜的感知现象，两种主要的图像接收神经元为杆 状体和锥状体，有视网膜中的光传导产生的信号将产生兴奋场和抑制场，而兴 奋场和抑制场又导致了center-surround视觉接受场。DOG这个又可以用来对 center-surround视觉接受场建模。

O(x，y)=C(x，y)-S(x，y)

其中，

C(x，y)=f(x，y)*g₁

S(x，y)=f(x，y)*g₂

这人O(x，y)是基于center-surround模型DoG的输出，C代表Center，S代 表surround。g₁和g₂是两个高斯方程，我们现在用下面的DoG来套上面的理论 有下面这个式子：

$C(x,y)=\frac{\beta (x,y)}{\lambda (x,y)}=\frac{O(x,y)}{S(x,y)}$

此时考虑人眼的是多通道的，为了模拟人眼的这个特性，我们设置

${\sigma }_{g_1}=\frac{2\log \left(\frac{1}{M^2}\right)}{v^2(1-M^2)},$$v=\frac{72\pi }{80},\frac{69\pi }{80},...,\frac{6\pi }{80},\frac{3\pi }{80}$

为g₁的标准方差，同时通常情况下我们设置M＝3。这样我 们构建了24个通道。这样我们得到的关于图像的对比度就一个多值得标准，为 了得到一个单值的标定值，我们使用多维范数将多通道的值综合在一起。

$C_L(x,y)=\underset{{\sigma }_{g_1}}{\Sigma }{(P^{-1}\times {\left|c_{{\sigma }_{g_1}}(x,t)\right|}^{\left(p\right)})}^{\left(\frac{1}{p}\right)}$

由于1-norm主要反映subthreshold contrast perception，此时p＝1，max-norm 主要反映supra-threshold contrast perception，此时p＝∞，所以我们主要考虑这个 两个范数，

则整幅图象的局部带限对比度（LBPC）为

LBPC=std(C₁)+std(C_∞)

为了更好的衡量的图像的对比度，除了考虑局部对比度，我们也通过常规 的图像直方图的方差来考虑全局对比度，我们在我们的发明中应用了以下方式 来评价全部对比度：

$D_{n-1}=\frac{1}{N_{\mathrm{pix}}(N_{\mathrm{pix}}-1)}\underset{i=0}{\overset{M-2}{\Sigma }}\underset{j=i+1}{\overset{M-1}{\Sigma }}{H}_{n-1}\left(i\right)H_{n-1}\left(j\right)(j-i)i,j\in [0,M-1]$

这儿，[0,M-1]是图像的灰度范围，N_pix是图像的像素点的个数，H(i)是图 像灰度i在直方图中的幅度。选D作为评价标准的理由是：越大的D就说明了直 方图里面的每个灰度元素之间的距离更大，从一个侧面上说明了图像的对比度 更大。

本发明提出的视频主观质量的无参评估方法与传统的视频主观质量评估方 法比较，具有以下优点：

1、采用无参数的评估技术。在对视频质量进行评估时，不需要参考原始视 频序列，适用于大多数得不到原始视频序列的应用场景，例如，公安行业中用 到的高速公路视频监控系统、网吧视频监控系统等；

2、由于采用主观算法进行视频质量的无参评估，无需人工干预，使得评价 结果不受人为主观因素影响，更具客观性；

3、由于采用计算机代替评价者，可以更快速的对数据量很大、时间很长的 视频序列进行全面的、统计的评估。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业 的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中 描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明 还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本 发明要求保护范围由所附的权利要求书及其等效物界定。