首页> 中国专利> 一种具有尺度鲁棒性的图像质量盲评价方法

一种具有尺度鲁棒性的图像质量盲评价方法

摘要

本发明提供一种具有尺度鲁棒性的图像质量盲评价方法,包括:采集待评价图像的表征图像特征和图像原始尺度特征;根据在多尺度空间内采集的表征图像特征,获取最佳尺度特征;根据所述最佳尺度特征与图像原始尺度特征建立图像质量评价模型;对所述图像质量评价模型进行训练,通过训练后的图像质量评价模型对图像质量进行评估;本发明可以针对不同分辨率的图像进行图像质量评估,具有尺度鲁棒性,可以有效的区分不同尺度上的相同特征,避免特征混淆导致的图像质量评估性能的降低,适用于对不同的监控视频设备拍摄出的不同分辨率的图像质量进行评估,也适用于对同一图像在不同分辨率的移动终端上进行展示时的质量进行评估。

著录项

  • 公开/公告号CN108629771A

    专利类型发明专利

  • 公开/公告日2018-10-09

    原文格式PDF

  • 申请/专利权人 重庆瑞景信息科技有限公司;

    申请/专利号CN201810431217.6

  • 发明设计人 孙斌;

    申请日2018-05-08

  • 分类号

  • 代理机构上海光华专利事务所(普通合伙);

  • 代理人尹丽云

  • 地址 400000 重庆市九龙坡区凤笙路15号附1号

  • 入库时间 2023-06-19 06:44:48

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-03-26

    授权

    授权

  • 2018-11-02

    实质审查的生效 IPC(主分类):G06T7/00 申请日:20180508

    实质审查的生效

  • 2018-10-09

    公开

    公开

说明书

技术领域

本发明涉及信息处理领域,尤其涉及一种具有尺度鲁棒性的图像质量盲评价方法。

背景技术

图像/视频作为信息的主要载体,在日常生活中有着广泛的应用。图像获取、压缩及存储过程都不可避免的在图像中引入一定程度的降质,进而降低图像的质量。人是图像/视频的最终消费者,所以人对图像质量的主观感受在设计图像/视频的获取、压缩及其处理等子系统时有着重要意义。然而由人对图像进行评价的过程费时费力,并且无法实时的应用在图像/视频处理中,所以基于计算机的图像质量客观评价方法被提出来解决图像质量的评价问题。

目前,图像质量评价算法通常分为3类:有参评价算法、半参考评价算法和无参考评价算法。无参考评价算法又被称为图像质量的盲评价方法。有参评价算法需要无失真的相同内容的图像作为参照物,通过图像特征的比对,确定图像质量。该类算法主要用于视频压缩等可以获得无降质图像作为参考的场合。然而,多数多媒体系统,如以磁盘或者光盘存储的、或通过网络传输的图像/视频信号,均无法获得无降质图像作为基准,所以半参考或无参考图像质量评价方法被提出解决该类问题。与半参考图像质量评价相比,无参考图像质量评价对图像附加信息的需求更低,所以应用也更加广泛。

无参考图像质量不以无失真图像作为参考,而是以无失真图像的广义先验知识作为参考,即不以具体图像为参考,而是以众多无失真图像的共性知识作为参考。通常无参质量评价算法的性能要劣于有参评价算法。无失真图像的先验知识较为敏感,受图像分辨率影响较大。当对图像缩放时,图像特征即先验知识随之变化,导致评价的图像质量分数发生变化,而此时的图像的主观质量无明显变化,即图像质量评价不再准确。当前图像质量盲评价方法研究的对象均为相似图幅的图像,即训练图像图幅与待检测的图像图幅相似。如果待检测的图像图幅与训练图像图幅相差较大时,图像质量评价的准确度将显著降低。生活中的常用的图像图幅从4000*3000到300*200,图幅相差超过100倍,当前的图像质量盲评价算法的性能往往无法适用于如此宽广的图幅范围。

发明内容

鉴于以上所述现有技术的缺点,本发明提供一种具有尺度鲁棒性的图像质量盲评价方法,以解决上述技术问题。

本发明提供的具有尺度鲁棒性的图像质量盲评价方法,包括:

采集待评价图像的表征图像特征和图像原始尺度特征;

根据在多尺度空间内采集的表征图像特征,获取最佳尺度特征;

根据所述最佳尺度特征与图像原始尺度特征建立图像质量评价模型;

对所述图像质量评价模型进行训练,通过训练后的图像质量评价模型对图像质量进行评估。

进一步,对待评价图像进行尺度变换处理,构建尺度空间,所述尺度变换处理包括将二维待评价图像的尺度空间转换为尺度可变的尺度空间,通过所述尺度可变的尺度空间,获取唯一表征该待评价图像中图像块的尺度,并以该尺度下的图像特征作为最佳尺度层视觉特征。

进一步,对待评价图像进行连续降采样处理,获取多个尺寸依次递减的图像,将原始图像作为底层,按图像大小由下至上依次排列,将所有通过降采样处理获取的图像组成金字塔模型,通过所述金字塔模型对待评价图像进行尺度变换处理。

进一步,对每张待评价图像的多个尺寸依次递减的图像使用不同参数分别进行高斯模糊处理,将处理后的多张高斯模糊图像合并为一组,预先定义金字塔模型的初始尺度,根据初始尺度坐标获取金字塔模型中每组不同层内各图像的尺度坐标。

进一步,根据高斯差分尺度空间和金字塔模型构建DOG金字塔模型,通过所述DOG金字塔模型每组中上下相邻两层图像相减,获取高斯差分图像,进行极值检测,获取局部极值点,根据所述局部极值点获取待评价图像的特征点。

进一步,通过对获取的局部极值点进行检验处理,完成对特征点的定位,所述检验处理包括对比度处理和边缘响应处理;

对比度处理包括对尺度空间DOG函数进行曲线拟合,根据相对插值中心的偏移量,对局部极值点进行筛选;

边缘响应处理包括:当

时,将特征点保留,否则,则剔除该特征点;

其中,Tr(H)为矩阵H的对角线元素之和,Det(H)为矩阵H的对角线的行列式,r为常数。

进一步,采集所述特征点所在高斯金字塔图像邻域窗口内像素的梯度和方向分布特征,获取每个特征点的基准方向;根据特征点的方向范围预先进行分组,再根据分组对每个特征点的基准方向进行归类,将金字塔模型中高层的特征点映射到原始图像范围的像素域,根据所有高层特征点映射的像素域组成的图像块,获取最佳尺度层。

进一步,通过广义高斯分布模型拟合空域图像的MSCN系数,获取失真图像最佳尺度层下的第一特征集合;通过非对称广义高斯分布模型拟合空域图像的MSCN系数的经验分布,获取失真图像最佳尺度层下的第二特征集合,所述失真图像最佳尺度层下的第一特征集合和第二特征集合构成失真图像在最佳尺度层下的视觉特征;

通过广义高斯分布模型拟合空域图像的MSCN系数,获取原始图像的第一特征集合;通过非对称广义高斯分布模型拟合空域原始图像的相邻MSCN系数乘积的经验分布,获取原始图像的第二特征集合,所述原始图像的第一特征集合和第二特征集合构成原始分辨率图像层下的视觉特征;

将所述失真图像在最佳尺度层下的视觉特征与原始分辨率图像层下的视觉特征相组合,形成失真图像的基本特征集合,通过该基本特征集合进行图像质量的评估。

进一步,所述根据特征点的方向范围预先进行分组包括分为水平方向、垂直方向、主对角线和副对角线方向;

沿四个方向上的特征点的MSCN系数的经验分布进行建模,获取最佳尺度层上图像的MSCN分布,并通过非对称广义高斯分布模型沿着四个方向上的参数来进行最优拟合,获取失真图像最佳尺度层的特征参数;

沿四个方向上的相邻MSCN系数乘积的经验分布进行建模,获取原始分辨率图像的MSCN分布,并通过非对称广义高斯分布模型沿着四个方向上的参数来进行最优拟合,获取原始分辨率图像的特征参数;

将所述失真图像最佳尺度层的特征参数和原始分辨率图像的特征参数相结合,形成失真图像的基本特征集合。

进一步,还包括对所述图像质量评价模型进行交叉验证,交叉验证具体包括从原始图像中随机选择部分样本并将其设置为训练集,构建训练模型,再将原始图像中剩余部分的图像分别与不同分辨率的图像集合进行混合,获取混合分辨率的图像集合,再分别从混合分辨率的图像集合中随机选取部分图像构成不同混合分辨率的测试集,通过所述训练模型对不同分辨率的图像进行盲质量评估。

本发明的有益效果:本发明中的具有尺度鲁棒性的图像质量盲评价方法,可以针对不同分辨率的图像进行图像质量评估,在多尺度内寻找能够唯一表征该图像中图像块的尺度,并在该尺度上计算特征,具有尺度鲁棒性,可以有效的区分不同尺度上的相同特征,避免特征混淆导致的图像质量评估性能的降低,适用于对不同的监控视频设备拍摄出的不同分辨率的图像质量进行评估,也适用于对同一图像在不同分辨率的移动终端上进行展示时的质量进行评估。

附图说明

图1是本发明实施例中具有尺度鲁棒性的图像质量盲评价方法的高斯金字塔的构建示意图。

图2是本发明实施例中具有尺度鲁棒性的图像质量盲评价方法的高斯差分金字塔的生成示意图。

图3是本发明实施例中具有尺度鲁棒性的图像质量盲评价方法的空间极值点的检测示意图。

图4是本发明实施例中具有尺度鲁棒性的图像质量盲评价方法的特征点方向划分示意图。

图5是本发明实施例中具有尺度鲁棒性的图像质量盲评价方法的流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。

需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。

如图5所示,本实施例中的具有尺度鲁棒性的图像质量盲评价方法,包括:

采集待评价图像的表征图像特征和图像原始尺度特征;

根据在多尺度空间内采集的表征图像特征,获取最佳尺度特征;

根据所述最佳尺度特征与图像原始尺度特征建立图像质量评价模型;

对所述图像质量评价模型进行训练,通过训练后的图像质量评价模型对图像质量进行评估。

在本实施例中,提供了一种在最佳空间尺度寻找图像特征的方法,通过本实施例中的方法可以在多尺度内寻找能够唯一表征该图像中图像块的尺度,并在该尺度上计算特征。该特征具有尺度鲁棒性,可以有效的区分不同尺度上的相同特征,避免特征混淆导致的图像质量评估性能的降低。

在本实施例中,在对图像进行质量评价之前,需要建立图像特征与图像质量之间的关系,即训练图像质量评价模型,再基于该模型对待检测图像的质量进行评价。图像质量评价模型建立于带质量标定的图像集之上。图像集中包含超高分辨率图像,其分辨率大于等于待测图像的最高分辨率。通过对图像钝化、注入高斯噪声以及压缩,产生超高清图像的降质样本,并对这些图像样本进行主观质量标定。本实施例中的具有尺度不变性的图像质量评价模型的建立步骤如下:

步骤1:选取表征图像的最佳尺度特征。

在本实施例中,对待评价图像进行尺度变换处理,构建尺度空间,所述尺度变换处理包括将二维待评价图像的尺度空间转换为尺度可变的尺度空间,通过所述尺度可变的尺度空间,获取唯一表征该待评价图像中图像块的尺度,并以该尺度下的图像特征作为最佳尺度层视觉特征。具体包括:对图像进行方差连续高斯核滤波及采样产生图像的多尺度描述、构建高斯差分金字塔、在多尺度空间内检测最佳描述尺度及最佳描述点、提取最佳特征点在最佳描述尺度中的特征描述;

步骤2:选取图像原始尺度下的特征。

步骤3:融合最佳尺度特征与原始尺度特征形成具有视觉特性及尺度鲁棒性的降质描述特征;

步骤4:通过支持向量机学习上述特征与图像主观质量之间的关系,建立具有尺度鲁棒性的图像质量评价模型。

在本实施例中,对待评价图像进行连续降采样处理,获取多个尺寸依次递减的图像,将原始图像作为底层,按图像大小由下至上依次排列,将所有通过降采样处理获取的图像组成金字塔模型,通过金字塔模型对待评价图像进行尺度变换处理,再通过使用不同参数对所述金字塔模型每组图像进行高斯模糊处理,使得金字塔的每组获取多张高斯模糊图像,即将所述多张高斯模糊图像合并为一组,预先定义金字塔模型的初始尺度,根据初始尺度坐标获取金字塔模型中每层组不同层内各图像的尺度坐标。

本实施例中,为了在尺度空间检测到稳定的特征点,需要利用高斯差分尺度空间(DOGscale-space)构建高斯差分金字塔,即DOG金字塔模型,通过DOG金字塔模型每组中上下相邻两层图像相减,获取高斯差分图像,进行极值检测,获取局部极值点,根据所述局部极值点获取待评价图像的特征点,通过对获取的局部极值点进行检验处理,完成对特征点的定位,检验处理主要包括对比度处理和边缘响应处理。

在本实施例中,采集所述特征点所在高斯金字塔图像邻域窗口内像素的梯度和方向分布特征,获取每个特征点的基准方向;根据特征点的方向范围预先进行分组,再根据分组对每个特征点的基准方向进行归类,将金字塔模型中高层的特征点映射到原始图像范围的像素域,根据所有高层特征点映射的像素域组成的图像块,获取最佳尺度层。通过广义高斯分布模型拟合空域图像的MSCN系数,获取失真图像最佳尺度层下的第一特征集合;通过非对称广义高斯分布模型拟合空域图像的MSCN系数的经验分布,获取失真图像最佳尺度层下的第二特征集合,所述失真图像最佳尺度层下的第一特征集合和第二特征集合构成失真图像在最佳尺度层下的视觉特征;通过广义高斯分布模型拟合空域图像的MSCN系数,获取原始图像的第一特征集合;通过非对称广义高斯分布模型拟合空域原始图像的相邻MSCN系数乘积的经验分布,获取原始图像的第二特征集合,所述原始图像的第一特征集合和第二特征集合构成原始分辨率图像层下的视觉特征;将所述失真图像在最佳尺度层下的视觉特征与原始分辨率图像层下的视觉特征相组合,形成失真图像的基本特征集合,通过该基本特征集合进行图像质量的评估。

下面列举一个具体实施例来进行进一步说明:

步骤一:构建尺度空间

在本实施例中,将一副二维图像的尺度空间定义为一个尺度可变的的高斯函数G(x,y,σ)与原图像I(x,y)的卷积:

L(x,y,σ)=G(x,y,σ)*I(x,y)

其中*表示卷积运算,(x,y)表示图像的像素位置;G(x,y,σ)是尺度可变高斯函数,且σ是尺度空间因子,σ大小决定图像的平滑程度,值越小表示图像被平滑的越少,值越大表示图像被平滑的越多;大尺度对应图像的概貌特征。

步骤二:构建金字塔模型

本实施例中的尺度空间在实现时需要使用金字塔模型表示,本实施例中的金字塔模型为高斯金字塔,高斯金字塔的过程可分为两步:

(1)对图像做不同尺度的高斯模糊;

(2)对图像做降采样。

首先,将原始图像不断降采样,得到一系列大小不一的图像,由大到小,从下到上构成的塔状模型。原图像为金字塔的第一层,每次降采样得到的新图像为金字塔的一层,每层一张图像,每个金字塔共n层。金字塔的层数根据图像的原始大小和塔顶图像的大小共同决定,其计算公式如下:

n=log2{min(M,N)}-t

其中,M,N为原图像的大小,t为塔顶图像的最小维数的对数值。

为了使尺度连续,对降采样图像作高斯滤波。如图1所示,将图像金字塔每层图像使用不同参数做高斯模糊,使得金字塔的每层含有多张高斯模糊图像,将金字塔每层多张图像合称为一组,也称为一个八度。

在上述金字塔尺度空间中,组O和层S的关系如下:

其中σ0是初始尺度,o为组索引,s为组内层的索引,关键点的尺度坐标σ是按关键点所在的组和组内的层利用上式计算而来。

在构建高斯金字塔时,组内每层的尺度坐标按如下公式计算:

其中,表示组内总层数的倒数,组内下一层图像是由前一层图像按σ(s)进行高斯模糊所得,这样可以保持尺度的连续性。本发明取初始尺度σ0=1.6,S=3,即将高斯金字塔分为3组5层。

步骤三:DOG金字塔模型的构建

为了在尺度空间检测到稳定的特征点,需要利用高斯差分尺度空间(DOG scale-space)构建DOG金字塔模型(高斯差分金字塔)。

尺度规范化的LoG(Laplacian of Gaussian)算子与高斯核函数的差有直接关系。DOG(Difference of Gaussians)利用不同尺度的高斯差分核与图像卷积生成,具有尺度不变性:

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)

=L(x,y,kσ)-L(x,y,σ)

对应DOG算子,构建DOG金字塔。如图2所示,使用高斯金字塔每组中相邻上下两层图像相减,得到高斯差分图像,进行极值检测。

步骤四:空间极值点检测

本实施例中的特征点是由DOG空间的局部极值点组成的,特征点的初步探查是通过同一组内各DOG相邻两层图像之间比较完成的。为了寻找DOG函数的极值点,每一个像素点要和它所有的相邻点比较,看其是否比它的图像域和尺度域的相邻点大或者小。如图3所示,中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较,以确保在尺度空间和二维图像空间都检测到极值点。

在极值比较的过程中,每一组图像的首末两层是无法进行极值比较的,为了满足尺度变化的连续性,高斯金字塔每组需有S+3层图像,DOG金字塔每组需有S+2层图像,其中S指的是组内层数。

步骤五:特征点定位

由于DOG值对噪声和边缘较敏感,因此,在上面DOG尺度空间中检测到局部极值点还要经过进一步的检验才能精确定位为特征点。

a)去除低对比度的极值点

为了提高特征点的稳定性,需要对尺度空间DOG函数进行曲线拟合。利用DOG函数在尺度空间的Taylor展开式:

其中X=(x,y,σ)T,求导并让方程等于零,可以得到极值点的偏移量为:

对应极值点,方程的值为:

此公式用来去除那些对比度较低的不稳定极值点。

其中,代表相对插值中心的偏移量,当它在任一维度上的偏移量(x或y或σ)大于0.5时,意味着插值中心已经偏移到它的邻近点上,所以必须改变当前特征点的位置。同时在新的位置上反复插值直到收敛,或者超出所设定的迭代次数或者超出图像边界的范围,此时这样的点应该删除。

b)去除边缘响应

DOG函数在图像边缘有较强的边缘响应,为了提高稳定性,除了需要去除低对比度的极值点,还需要排除边缘响应。

DOG函数的峰值点在横跨边缘的方向有较大的主曲率,而在垂直边缘的方向有较小的主曲率。主曲率可以通过计算在该点位置尺度的2x2的Hessian矩阵得到,导数由采样点相邻差来估计:

Dxx表示DOG金字塔中某一尺度的图像x方向求导两次。D的主曲率和H的特征值成正比,为了避免直接的计算这些特征值,而只是考虑它们之间的比率。

假设H在x和y方向的梯度由特征值α和β表示。则

Tr(H)=Dxx+Dyy=α+β

Det(H)=Dxx+Dyy-(Dyy)2=αβ

其中,Tr(H)和Det(H)分别表示矩阵H对角线元素之和及行列式。

令α为最大特征值,β为最小的特征值,则有α=rβ,

其中r表示常数,在两特征值相等时达最小且随r的增长而增长。本实施例中将r值取10。

当时将特征点保留,反之剔除。

步骤六:特征点方向分配

为了使特征点具有旋转不变性,需要利用图像的局部特征为给每一个特征点分配一个基准方向。本实施例中使用图像梯度的方法求取局部结构的稳定方向。对于在DOG金字塔模型中检测出的特征点,采集其所在高斯金字塔图像邻域窗口内像素的梯度和方向分布特征。梯度的模值和方向如下:

梯度幅值:

梯度方向:θ(x,y)=tan-1(((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y))))

其中,L为特征点所在的尺度空间。

在完成特征点的梯度计算后,使用直方图统计邻域内像素的梯度和方向。方向直方图的峰值则代表了该特征点处邻域梯度的方向,以直方图中最大值作为该特征点的主方向。本实施例中特征点的方向划分范围为[0,2π]。

至此,一幅图像n个特征点key提取完毕,所有特征点集合定义为:

K={key1=(x’,y’,θ,σ),……,keyi=(x’,y’,θ,σ)}

其中,x′表示特征点的横坐标,y′表示特征点的纵坐标,θ表示特征点的方向角度,σ表示特征点所在的尺度,i∈{1,......,n},n指的是特征点的总个数。

步骤七:划分特征点方向

上述步骤提取出的特征点的方向范围为[0,2π],将这些特征点划分为4个大的方向,方向划分示意图如图4所示,划分规则为:

将金字塔高层的特征点映射到金字塔底层图像(即原始图像)3*1.5σ范围的像素域,用keyB表示,则:

其中,(x′,y′)∈I(x′,y′),I(x,y)表示原始图像素点,(x′,y′,θ,σ)∈keyi

步骤八:归一化MSCN系数

用表示归一化之后空域图像的MSCN系数,对图像的归一化消除了相邻系数之间的相关性。空域图像的MSCN系数表示如下:

x∈1,2..M,j∈1,2..N是空间索引,M,N分别表示图像的高度和宽度;ω={ωk,l|k=-K,,...,K,l=-L,...,L}是高斯加权函数;I(i,j)表示图像在其像素域坐标(x,y)中的亮度;C是一个常量,以防止除数为零的情况;局部均值μ(x,y)以及方差σ(x,y)分别用来表示图像的平均亮度以及对比度。

步骤九:确定GGD模型的参数

本发明采用GGD的模型来描述失真图像更广的频谱,GGD表达式为:

其中:

α表示GGD函数的形状参数,σ2表示GGD函数的方差。

步骤十:确定AGGD模型参数

在高斯系数模型下,假设MSCN系数是零均值和单位方差,这些MSCN系数在没有失真的情况下服从以下分布:

其中:f是不对称概率密度函数,ρ表示相邻系数的相关系数,K0是第二类的修正bessel函数。但是该模型仅具有单个参数,并且不能提供对来自失真图像MSCN系数的经验分布的良好拟合。此外,它在原点处不是有限的。

因此,上述MSCN系数的经验分布,可用如下AGGD模型来拟合:

其中:

v反映AGGD分布的形状,σl、σr分别为AGGD分布的左方差、右方差,分别控制向两边的延伸程度。

步骤十一:最佳尺度层下的特征计算

将金字塔高层图像上特征点映射到金字塔底层(即原始图像)3*1.5σ范围的像素域上。所有这些高层特征点映射下来的像素域组成的图像块,构成了本发明所提出的图像多尺度下的最佳尺度层。

用GGD模型拟合空域图像的MSCN系数,提取失真图像最佳尺度层下的第一个特征集合。

GGD分布的参数(α,σ2)可以通过矩匹配方法有效估算。使用GGD分布的参数模型来拟合最佳尺度层的MSCN分布。通过估算GGD分布的两个参数(α,σ2)来拟合MSCN系数,以此作为用来提取最佳尺度层的第一个特征集合。

用AGGD模型拟合空域图像的MSCN系数的经验分布,提取失真图像最佳尺度层下的第二个特征集合。

本发明依据步骤七所划分的四个方向,即水平方向(KeyH)、垂直方向(KeyV)、主对角线(KeyD1)以及副对角线(KeyD2)四个方向,对相应方向特征点的MSCN系数的经验分布进行建模。用步骤十中的AGGD模型来确定最佳尺度层上图像的MSCN分布。抽取AGGD分布沿着四个方向上的参数来进行最优拟合,每个方向上的参数(ν,σl,σr,η)可以通过矩匹配方法得到可靠的估算值,其中:

由于最佳尺度层中特征点映射的图像块共有四个方向,且每个方向上MSCN系数的AGGD分布由四个参数拟合,所以总共有4*4=16个参数,这16个参数构成了用来提取失真图像最佳尺度层下的第二个特征集合。因此失真图像最佳尺度层共有2+16=18个特征参数。

步骤十二:原始分辨率图像的特征计算

用GGD模型拟合空域图像的MSCN系数,提取原始分辨率图像的第一个特征集合

GGD分布的参数(α,σ2)可以通过矩匹配方法有效估算。

使用GGD分布的参数模型来拟合原始分辨率图像MSCN分布。通过估算GGD分布的两个参数(α,σ2)来拟合MSCN系数,以此作为用来提取原始分辨率图像的第一个特征集合。

用AGGD模型拟合空域原始分辨率图像的相邻MSCN系数乘积的经验分布,提取原始分辨率图像的第二个特征集合

针对原始分辨率图像的特征计算,本发明沿着四个方向上的相邻MSCN系数乘积的经验分布进行建模,分别为水平方向(H)、垂直方向(V)、主对角线(D1)以及副对角线(D2)四个方向,具体如下:

用步骤十中的AGGD模型来确定原始分辨率图像的MSCN分布,确定提取图像失真的第二个特征集合。

抽取AGGD分布沿着四个方向上的参数来进行最优拟合,每个方向上的参数(ν,σl,σr,η)可以通过矩匹配方法得到可靠的估算值,其中:

对于MSCN系数在四个方向上的经验分布,由于每个方向有四个参数所以总共有4*4=16个参数,这16个参数构成了原始分辨率图像的第二个特征集合。因此,原始分辨率图像共有2+16=18个特征参数。

步骤十三:确定失真图像的基本特征集合

将失真图像在最佳尺度层下的视觉特征与原始分辨率图像层下的视觉特征相组合,形成新的对尺度鲁棒的视觉特征,以此来构成失真图像的基本特征集合。因此,该特征集合共有18+18=36个特征参数,以此来确定图像失真的基本特征集合以及进行图像质量的评估。

步骤十四:图像质量评估

训练过程:

a1)图像素材的选取

为增强系统的适用性,本实施例所采用的分析及学习素材均来源于现实视频监控工程。实现过程中,本专利随机选取了640张分辨率在1280*1280至1920*1920之间的图像。在训练素材的选取过程中,为了保证结果的准确性,失真图像包含1到5个点的不同失真。这些图像的MOS分数评估由视觉信息保真度(Visual Information Fidelity,VIF)算法生成。

a2)提取失真图像的特征集合

为了防止同一个图像被重复用于训练和测试,采用交叉验证方法来确保合理的训练结果。训练过程中针对上述图像库中失真图像,分别提取在最佳尺度层及原始分辨率层下各自GGD分布的参数对(α,σ2)以及AGGD分布沿着四个方向上的参数(v,σl,σr,η),据此可得该失真图像的36个拟合特征参数,并以此作为描述图像质量的基本特征。

训练时,依据上述步骤得到的新的对尺度鲁棒的视觉特征,使用SVR来建立该视觉特征与MOS值之间的映射关系;最后基于图像库中原始分辨率图像的视觉特征与MOS值之间的映射关系构建SVM训练模型。

测试过程:

将图像库中原始分辨率图像分别降采样为原来的1/2、1/3、2/3、2/5得到四种不同分辨率的图像集合,然后分别提取不同分辨率图像集合在最佳尺度层和原始分辨率层下的36个特征参数。

使用交叉验证的方法,实现时从上述原始分辨率图像数据库中随机选择80%的样本并将其设置为训练集。根据步骤十三得到的对尺度鲁棒的视觉特征,使用SVR来建立该视觉特征与MOS值之间的映射关系;最后基于图像库中原始分辨率图像的视觉特征与MOS值之间的映射关系构建SVM训练模型。

将原始分辨率图像数据库中剩余的20%的图像分别与上述四种不同分辨率的图像集合进行混合,得到四种混合分辨率的图像集合。然后分别从混合分辨率的图像集合中随机选取20%的图像构成四种不同混合分辨率的测试集。最后使用训练阶段构建的训练模型,对不同分辨率的图像进行盲质量评估。通过实验验证,本实施例中的质量评价算法在分辨率存在显著差异的图像集上的评价准确度较其它图像质量评价算法显著提高,较传统评价算法高13%左右。

上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号