一种视频图像质量主观评价方法及系统

摘要

本发明属于计算机数字视频图像处理领域，公开了一种视频图像质量主观评价方法及系统。所述评价方法包括：确定评价人员、评分标准和观看条件，选择符合要求的测试序列；对于选定的测试序列组，利用所述评价系统进行测试；保存测试结果，进行数据统计与分析。所述评价系统实现对评价人员信息的记录、评价结果的数据统计与分析及控制整个评价流程，包括：用户管理模块，素材管理模块，序列播放模块，数据管理模块。本发明将多刺激评价方式、类双刺激连续质量评价方式和双屏显示三种评价方式有效地结合在一起对视频图像质量进行主观评价，扩大了主观评价方法适用范围。当评价质量上难以分辨的序列时，本发明提高了评价结果的稳定性和可靠性。

说明书

技术领域

本发明属于计算机数字视频图像处理领域，涉及一种视频图像质量主观评价方法及系统。 

背景技术

随着视频业务的发展，人们对视频图像质量的要求越来越高。由于视频图像数据在采集、压缩、传输、处理、存储、恢复过程中不可避免地会影响到图像质量，因此视频图像质量的准确评价成为视频图像研究领域的关键技术之一。视频图像质量的评价方法可分为两大类：客观评价和主观评价。客观评价方法易操作、可重复性强，但可能会存在评价结果与人的主观感觉并不完全一致的问题。而主观评价方法较为直接，结果可靠，并且准确可靠的主观评价结果也可用于指导客观评价算法的研发。因此，主观评价环节已长期被应用于实践中，而主观评价方法的研究也成为目前视频图像质量评价研究领域的热点之一。 

主观评价方法在国际上已经有成熟的技术和国际标准，根据不同的测试环境和测试目的，常用的视频图像主观质量评价方法包括：双刺激损伤标度法、双刺激连续质量标度法、单刺激法和多刺激法等。 

当前诸多文献对特定应用环境下的主观评价方法做了特定的单一选择和相应软件系统设计。董文辉等人于2008年在《广播与电视技术》上发表的论文“CMMB图像质量主观评价研究”中，提出了中国移动多媒体广播（China Mobile Multimedia Broadcasting，CMMB）图像质量主观评价可采用双刺激评价方法或单刺激评价方法，现场主观评价一般采用单刺激的方法；李原于2011年在《电视技术》上发表的论文“CMMB图像质量主观评价方法研究”中，提出了一种以多刺激评价方法为原则的CMMB图像质量主观评价系统；章化冰于2011年在《中国有线电视》上发表的论文“视频图像质量主观评价辅助系统的设计与应用”中，提出了一种以双刺激连续质量标度法为标准的视频图像质量主观评价软件系统。 

上述文献中的视频图像质量主观评价大多是采用单一的主观评价方法及相应软件系统，几乎没有涉及到两种或多种主观评价方法结合使用的情况。但是，在参考了大量文献和实验经验的基础上发现，常用的几种主观评价方法在适用范围方面均存在一定的局限性。例如，当被评估的图像质量损伤差别不明显时，由于多刺激方法允许评价人员反复观看源参考序列和失真测试序列，则可以获取相对单刺激法及双刺激法更精准的评价结果；而当图像质量损伤差别很大或无法一起测试失真图像与源参考图像时，单刺激方法则可快速高效地获取评价结果；此外，当评价某两个失真测试序列质量的相对好坏时，目前的评价算法很难实现。因 此，现有文献对视频图像质量的主观评价研究存在一定程度的不足，以致评价结果可能欠缺可靠性和稳定性。 

发明内容

针对目前视频图像质量的评价方法中存在的问题，为了提高图像质量主观评价的工作效率和评价结果的可靠性，本发明提出了一种视频图像质量主观评价方法及系统。 

为实现上述目的，本发明采用以下技术方案： 

一种视频图像质量主观评价方法，其特征在于包括以下步骤： 

步骤一，确定评价人员、评分标准和观看条件，选择符合要求的测试序列。 

（1）确定评价人员 

评价人员应具有正常的视力和色觉，可以不是从事图形图像学的专家。一般要求在15人以上，具体数目要根据测试过程所采用的具体方法来确定，这个数目依赖于测试过程的敏感性和可靠性。尽可能多地收集参与实验人员的信息，比如：性别、年龄范围、专业背景等，并将这些信息整理以进行更加深入的研究。 

（2）确定评分标准 

评分为百分制，但基本评价标准仍来自五级标准：优、良、中、差、劣，具体规定如下： 

优：察觉不到损伤或干扰（80-100分）； 

良：可以察觉到轻微损伤或干扰，但是不影响观看/并不令人讨厌（60-80分）； 

中：有明显损伤或干扰，令人感到讨厌（40-60分）； 

差：损伤或干扰比较严重，令人相当讨厌（20-40分）； 

劣：损伤或干扰极为严重，画面无法观看（0-20分）。 

（3）确定观看条件 

需要在电脑上运行仿真软件，视频图像序列均应完整地显示在屏幕上的程序界面视窗内，屏幕背景要求为50%的灰色。本发明要求的观看条件如表1所示。 

表1主观评价方法观看条件 

表1中显示器背景亮度与峰值亮度之比和背景房间的亮度这两个值，根据实际应用情况，可以在一定程度上由评价人员偏好决定；对于计算机显示器而言，其背景色应该尽可能地接近显示器“白点”的色度。 

（4）选择测试序列 

测试序列应涵盖待测应用环境中可能出现的视频图像内容。所选视频图像一般应包含运动画面（包含水平方向运动或垂直方向运动）、人脸画面、镜头拉伸摇移的画面等，并且细节丰富、能被有效检测到应用环境中参数变化对其画面质量较明显的影响。 

步骤二，对于选定的测试序列组，利用主观评价系统进行测试。 

为避免评价人员的个体差异并保证其测试过程不受干扰，利用主观评价系统，评价人员可以完全自主掌握测试流程和控制评价进展。待测试序列以组为单位，按序列顺序依次进行评价。评价人员每测试完一组序列，可以切换下一组序列继续测试。根据实验目的与要求，选择合适的评价方式。 

本发明评价方法基于ITU-R BT.1788SAMVIQ（Subjective Assessment of Multimedia Video Quality，多媒体视频主观评价方法）中所定义的“隐藏原始序列的多刺激视频主观评价方法”，测试环境参考ITU-R BT.500-11和ITU-R BT.1788这两个标准中的相关规定。本发明评价方法的核心在于结合了三种评价方式，分别为多刺激评价方式、类双刺激连续质量评价方式和双屏显示评价方式，并由评价人员完全控制评价流程。通常以多刺激评价方式为主，类双刺激连续质量评价方式、双屏显示评价方式为辅。大多数序列可通过多刺激评价方式完成评价，少数难以分辨的序列可采用另外两种方式进行主观评价。此外，根据不同的测试目的和测试要求，本发明还允许这三种评价方式任意组合。 

类双刺激连续质量评价方式，是ITU-R BT.500中规定的双刺激连续质量标度法（Double Stimulus Continuous Quality Scale，DSCQS）的改进，不同的是类双刺激连续质量评价方式可允许用户自行选择无法判断质量的任意两个视频测试序列，可以是源序列和受损序列，也可以是两个不同程度的受损序列。任意两个测试序列均可组合循环播放，并且每个序列可重复打分。 

双屏显示评价方式，是ITU-R BT.500中规定的同时双刺激连续评价法(Simultaneous Double Stimulus for Continuous Evaluation，SDSCE)的改进，区别在于SDSCE必须引入基准条件，即基准序列和受损序列并排在监视器上显示。而本发明提出的双屏显示评价方式可由用 户自行选取两个测试序列，可以是源序列和受损序列，也可以是两个不同程度的受损序列。当多刺激评价方式和类双刺激连续质量评价方式不能有效地判断出序列质量的好坏时，可考虑采用双屏显示评价方式直观地进行比较。但由于受到屏幕的限制，若显示屏幕过小，则只适用评价分辨率较小的测试序列，如CMMB序列，CIF、QCIF格式序列等。若是屏幕分辨率足够大，则图像分辨率不受限制。 

具体方法如下： 

（1）录入评价人员信息。 

（2）载入测试系列。 

（3）进行多刺激评价打分，若评价人员能有效判别出图像质量的好坏，则提交并存储本序列的打分；否则，应选择类双刺激连续质量评价方式。 

（4）进行类双刺激连续质量评价打分，若评价人员能有效判别出图像质量的好坏，则提交并存储本序列的打分；否则，应再选择双屏显示评价方式。 

（5）进行双屏显示评价打分，提交并存储本序列的打分。 

（6）完成所有序列组评价打分。 

上述过程只是一般情况下的评价方法，三种方式结合既提高了评价结果的准确性，也提高了评价效率。另外，还允许这三种评价方式单独或任意组合使用，具体评价方法与上述过程类似。 

步骤三，保存评价人员的个人信息和测试结果数据，计算每位测试者与测试平均值之间的Pearson相关系数与Spearman等级相关系数，计算拒绝阈值，并对测试者的测试结果进行判断，最后计算每个待测视频图像的平均分、标准偏差和95%置信度区间。计算方法如下： 

（1）计算Pearson相关系数 

Pearson相关系数是描述图像质量与评价人员评分之间的线性关系的，计算这个系数的主要目的是为了验证评价人员在整个评价过程中评分的一致性。Pearson相关系数r_p(x,y)的计算公式为： 

$r_p(x,y)=\frac{\underset{i=1}{\overset{n}{\Sigma }}{x}_i{y}_i-\frac{\left(\underset{i=1}{\overset{n}{\Sigma }}{x}_i\right)\left(\underset{i=1}{\overset{n}{\Sigma }}{y}_i\right)}{n}}{\sqrt{(\underset{i=1}{\overset{n}{\Sigma }}{x}_i^2-\frac{{\left(\underset{i=1}{\overset{n}{\Sigma }}{x}_i\right)}^2}{n})(\underset{i=1}{\overset{n}{\Sigma }}{y}_i^2-\frac{{\left(\underset{i=1}{\overset{n}{\Sigma }}{y}_i\right)}^2}{n})}}$

式中，x_i为所有观测者对待测的第i个视频图像打分的平均分；y_i为某个观测者对第i个 视频图像打分的单个分值；i=1,2,…,n，n为待测视频图像的总数目。 

（2）计算Spearman等级相关系数 

Spearman等级相关系数是描述图像质量与评价人员评分之间的非线性关系的，其计算目的与计算Pearson相关系数类似。Spearman等级相关系数r_s(x,y)计算公式为： 

$r_s(x,y)=1-\frac{6\times \underset{i=1}{\overset{n}{\Sigma }}{[R\left(x_i\right)-R\left(y_i\right)]}^2}{n^3-n}$

式中，x_i为所有观测者对待测的第i个视频图像打分的平均分；y_i为某个观测者对第i个视频图像打分的单个分值；i=1,2,…,n，n为待测视频图像的总数目；R(x_i)、R(y_i)为排列次序，即x_i或y_i从大到小顺序排列的位次，取值范围为R(x_i)∈[1,n],R(y_i)∈[1,n]，若x_i数值最大，则R(x_i)=1；同理定义R(y_i)。 

（3）筛选观察者 

判断某个评价人员的打分是否可以被统计结果拒绝。判断方法如下： 

如果[均值（r）－标准差（r）]>最大相关门限，舍弃门限＝最大相关门限；否则，舍弃门限＝[均值（r）－标准差（r）]。 

如果[r（观测者i）]>舍弃门限，不放弃测试的观测者“i”；否则，放弃测试的观测者“i”。 

在以上原则中，r＝min(r_p(x,y),r_s(x,y))；均值（r）为测试的所有观测者相关的平均值；标准差（r）为测试的所有观测者相关的标准差；最大相关门限＝0.85。最大相关门限=0.85适用于SAMVIQ方法与DSCQS方法，此外最大相关门限=0.7适用于SS（Single Stimulus，单刺激）和DSIS方法（Double Stimulus Impairment Scale，双刺激损伤标度法）。 

（4）计算出每个测试图像每种状态的平均分、标准偏差和95%置信度区间 

平均分公式为： 

$U=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{u}_i$

式中，U为平均分；u_i为评价人员i的得分；N为评价人员的数目。 

标准偏差公式： 

$S=\sqrt{\underset{i=1}{\overset{N}{\Sigma }}\frac{{(U-u_i)}^2}{(N-1)}}$

式中，S为标准差。 

95%置信度区间为：[U-δ,U+δ]，其中，

一种视频图像质量主观评价系统，通过人机交互可以实现用户信息登记、视频播放模式选择、评分记录等操作，其特征在于包括：用户管理模块，素材管理模块，序列播放模块，数据管理模块。其中 

用户管理模块，包括用户信息添加和用户信息删除两个子模块，用于实现对用户信息的添加、删除等管理。 

素材管理模块，包括素材导入和编号管理两个子模块，用于实现待测视频序列的导入、编号管理。 

序列播放模块，包括普通播放、组合播放、双屏播放三个子模块，分别用于实现普通播放、组合播放、双屏播放三种播放方式，这三种播放方式分别对应视频图像质量主观评价方法中的多刺激评价方式、类双刺激评价方式、双屏显示评价方式。三种播放方式分别为： 

（1）普通播放：播放可播放序列，播放同时可对当前序列进行打分。 

（2）组合播放：选择打分不太确定的任意两个序列循环播放，用户可以对目前正在播放的序列打分。 

（3）双屏播放：选择打分不太确定的任意两个序列进行左右并排同时播放，用户可在双屏播放的界面上进行打分。 

数据管理模块，包括评价打分、数据保存和结果分析三个子模块，分别为： 

（1）评价打分：允许评价人员对当前观看的视频进行打分和修改操作。 

（2）数据保存：将原始打分结果保存成数据文件。 

（3）结果分析：对所有打分数据执行拒绝原则，输出最终打分结果及评价人员的信息。 

本发明的有益效果是：对比现有文献和专利提出的主观评价方法，本发明的视频图像质量主观评价方法结合了三种评分方式，有效地扩大了主观评价方法适用范围，改善了现有主观评价方法的缺陷和不足。特别是对于评价质量上只有微小差异的失真序列时，本发明所提出的类双刺激评价方法和双屏显示评价方法可以有效提高评价结果的稳定性和可靠性。此外，借助主观评价系统，可以实现对主观评价流程的全方位控制，以确保评价人员在评价过程中可以不受干扰，并有效避免主观评价过程中的个体差异。该评价系统的使用可节约人力成本，提高工作效率。 

附图说明

图1是视频图像质量主观评价方法的流程图； 

图2是视频图像质量主观评价系统结构框图； 

图3是视频图像质量主观评价系统的主界面； 

图4是视频图像质量主观评价系统的双屏播放界面； 

图5是第一组测试序列主观打分结果，（a）为多刺激主观打分结果；（b）为类双多刺激主观打分结果；（c）为双屏显示主观打分结果； 

图6是两个测试序列三种方式主观打结果，（a）为gouhuo序列主观打分结果；（b）为chunwan序列主观打分结果。 

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。 

视频图像质量主观评价主要通过软件系统来实现，图2是所述软件系统的组成框图，包括用户管理模块、素材管理模块、序列播放模块和数据管理模块。其中，用户管理模块，包括用户信息添加和用户信息删除两个子模块，用于实现对用户信息的添加、删除等管理；素材管理模块，包括素材导入和编号管理两个子模块，用于实现素材序列的导入、编号管理；序列播放模块，包括普通播放、组合播放、双屏播放三个子模块，分别用于实现普通播放、组合播放、双屏播放三种播放方式，这三种播放方式分别对应视频图像质量主观评价方法中多刺激评价方式、类双刺激评价方式、双屏显示评价方式；数据管理模块，包括评价打分、数据保存和结果分析三个子模块，用于实现评分数据的记录、保存和结果统计分析。图3为系统主界面，通过人机交互可以实现用户信息登记、视频播放模式选择、评分记录等操作。图4是视频图像质量主观评价系统的双屏播放界面。 

一种视频图像质量主观评价方法，流程图如图1所示，包括以下步骤： 

步骤一，确定评价人员和评分标准，选择符合要求的电脑显示器及测试序列。 

首先选择10个原始测试序列，这些测试序列为YUV格式，分辨率320×240，色度采样格式4:2:0。序列说明如表2所示。每个序列被压缩为200kbps、250kbps、300kbps、340kbps、400kbps共五种不同码率。这样可以得到十组测试序列，每组序列包括7个（源、隐藏源、五种不同码率：200kbps，250kbps，300kbps,340kbps,400kbps）。为保证测试时间控制在半个小时之内，将这10个序列分成两组，考虑到每组内需兼顾不同的序列类型，故两组所包含的序列分别为： 

第一组：chunwan、haitun、jingfan、laoshil、penshui； 

第二组：gouhuo、huanghua、niaochao、pubu、shanzi。 

表2主观评价测试序列说明 

其次，选取15名评价人员，大多数均来自中国传媒大学信息工程学院数字电视技术方向，对于视频图像处理及图像质量评价有一定了解，也曾参加多次视频图像质量的主观评价实验。在主观评价系统登陆界面，对评价人员的姓名、性别、年龄、专业背景等进行统计，以用于后续的研究。 

步骤二，对于选定的测试序列组，利用主观评价系统进行测试。具体实现步骤如下： 

（1）将软件系统和包含了待测试序列的文件夹（起名为“测试序列”）拷贝至同一路径下。 

（2）打开程序，填写用户名（建议用自己的名字或拼音，统计时便于分辨），密码任意。填写性别、年龄、专业背景。关于专业背景的填写，若在图像质量评价领域已进行了长时间的研究，则填写“专业人士”；若对图像质量评价有一定了解，填写“了解图像质量评价”；若完全不了解，不知道图像质量评价的，则填“不了解图像质量评价”。 

（3）登陆后，点击“源”按钮选择序列源，在“测试序列”文件夹中找到“第一组.txt”打开（此操作只需一次，txt中包含了六组序列的名称，程序会自动读取测试的六组序列）。此外，为了确保个人评价结果不受他人影响，对于每个评价人员，该系统会按随机次序读取待测试序列。 

（4）通过三种序列播放模式进行打分。三种播放模式分别为：普通播放、组合播放和双 屏播放，分别对应视频图像质量主观评价方法中多刺激评价方式、类双刺激评价方式和双屏显示评价方式。 

普通播放：点击辅助系统界面上“源”按钮或1-6号按钮，点击播放可播放序列，播放同时可控制滑竿对当前序列进行打分。“源”对应源序列，该序列不需打分，默认为100分。1-6号中包含一个隐藏源和五种不同码率（200kbps，250kbps，300kbps，340kbps，400kbps），这6个序列顺序是打乱的，并非一一对应，且不同组序列的1-6号也对应不同码率。 

组合播放：对于打分不太确定的某两个序列，可使用组合播放。用户可分别对这两个视频（如A和B），点击“组合播放”，系统会按照“A-B-A-B…”循环播放，辅助系统界面右上方的“序列号”即为目前正在播放的序列编号，用户可以对该序列打分。其中，A和B的选择按照用户最后点击的两个序列号按钮对应的序列确定，并显示在“组合播放”按钮的右边。 

双屏播放：若是在循环播放中仍然未能观察出某两个序列（如A和B）的质量差异，用户可进一步对A和B序列进行左右并排同时播放，即，选择“双屏播放”。A和B的选择方式同组合播放，所选序列也显示在“组合播放”按钮的右边。用户可在双屏播放的界面上进行打分，如图4所示。对这两个序列的打分完成后，分数会传回主界面对应区域。 

大多数序列可以通过“普通播放”来完成打分环节，只有少数在质量上难以分辨的序列会采用另外两种方式进行打分。 

（5）在每组6个序列全部打分完毕后进行下一组的打分，直至把所有五组序列分数全部打完。这时点击“下一组”按钮会提示测试结束，点击“退出”结束打分。 

步骤三，将测试结果数据保存在excel表格中，参考ITU-R BT.1788建议的多媒体图像质量主观评价结果统计方法和ITU-R BT.500建议书附件2第2节中所述的结果分析方法，计算每位测试者与测试平均值之间的Pearson相关与Spearman等级相关，计算拒绝阈值，并对测试者的测试结果进行判断，最后计算每个待测视频图像的主观评价平均分、标准偏差和95%置信度区间。 

为了验证引入类双刺激连续质量评价方式和双屏显示评价方式对主观评价方法带来的有效性与可靠性，对两组序列分别单独采用了多刺激评分方式、类双刺激评分方式、双屏显示评分方式进行实验测试，总共得到6组实验数据。为了便于统计分析，对两组序列分别对多刺激评分、类双刺激评分、双屏显示评分这三种方式进行比较分析。 

对于第一组测试序列，在数据处理过程中三次打分的差别比较明显，根据拒绝原则，多刺激剔除了5个观察者，类双刺激剔除了4个，双屏只剔除了1个观察者，说明增加了类双刺激和双屏以后，观察者的评分可靠性还是有改进的。第一组测试序列的打分示意图如图5 所示。由图5的三幅示意图中可以看出，各序列所有码率图像质量下降平均值仍然遵循了码率越低，质量下降程度越大的规律。另外，对比三次结果，从主观打分示意图可以看出，双屏结果的趋势更符合主观结果。 

将两组测试序列的三次结果放在一张图上进一步分析比较，如图6所示。以gouhuo序列和chunwan序列为例，双屏的折线上升趋势明显优于另外两种评价方式，这一点与直接观看的视觉感受也较为一致。可见，本发明引入类双刺激评价方式和双屏评价方式后，明显提高了主观评价结果的可靠性。