一种基于深度特征与结构加权LBP特征的图像质量评价方法

摘要

本发明公开了一种基于深度特征与结构加权LBP特征的图像质量评价方法，具体为：将原始图像和失真图像转变为YCrCb颜色空间；提取梯度特征，并将YCrCb空间的图像反变换，得到增强图像；将增强图像作为预训练的VGG16深度模型的输入，计算图像相似度，得到相似性深度图；提取频域相位特征，并与失真图像的梯度特征进行融合，得到结构图，然后提取LBP特征，得到基于结构加权的LBP特征；分别提取每个相似性深度图的均值，提取颜色相似性特征的均值、标准偏差、熵，并与50维的基于结构加权的LBP特征进行多特征融合，生成373维特征向量；将373维特征向量以及平均主观分数MOS值采用随机森林RF策略训练IQA模型，训练好的模型对彩色失真图像质量的准确预测和评估。

说明书

技术领域

本发明属于图像质量评价方法技术领域，涉及一种基于深度特征与结构加权LBP特征的图像质量评价方法。

背景技术

随着数字媒体技术的飞速发展，各行各业对数字图像的质量都提出了越来越高的要求，在医学成像领域中，高质量的医学图像有助于医生准确的判断病人的病情，做到及时对症下药；在图像识别中，高质量的图像是确保图像识别准确性和可靠性的关键因素；在军事领域中，战场监视和精确打击的效果取决于无人机等航拍设备所拍摄到的图像或视频的质量。

然而，图像在经过获取、处理、传输和存储等各个环节，由于各种因素的影响，如成像设备、内嵌的图像处理方法、传输介质、编码压缩技术等的不完善，会导致图像质量发生退化现象，无法忠实的还原原始图像，不仅影响其视觉可观性，同时影响其实际应用效果。

目前，大多数图像质量评价方法仅提取图像的空域特征、频域特征或统计特征，没有考虑到将这些传统特征与使用深度模型(如：VGG16网络)提取的深度特征进行融合，这些深度特征涵盖了图像从低维到高维的特征，与其它特征组合能够更全面的描述图像的失真效应。另外，很多方法仅能在一个图像数据库中表现良好，但不适用于所有数据库，模型的泛化性有待加强，对图像质量评价的准确性方面也需进一步提高。

发明内容

本发明的目的是提供一种基于深度特征与结构加权LBP特征的图像质量评价方法，通过提取图像的颜色特征、结构加权LBP特征与使用VGG16深度模型提取的深度特征进行融合，实现对彩色失真图像质量的精确预测和评估。

本发明所采用的技术方案是，一种基于深度特征与结构加权LBP特征的图像质量评价方法，具体按照以下步骤实施：

步骤1、转换图像的颜色空间，将原始图像和失真图像由RGB颜色空间转变为YCrCb颜色空间；

步骤2、在亮度通道Y中提取原始图像和失真图像的梯度特征，将梯度特征与图像的亮度通道进行融合，并将YCrCb空间的图像反变换，得到基于梯度域的RGB增强图像；

步骤3、将原始图像和失真图像的RGB增强图像分别作为预训练的VGG16深度模型的输入，并计算五个池化层下的图像相似度，得到相似性深度图；

步骤4、在亮度通道Y中提取失真图像的频域相位特征，并与失真图像的梯度特征进行融合，得到失真图像的结构图，然后在该结构图中提取LBP特征，得到失真图像的50维的基于结构加权的LBP特征；

步骤5、计算原始图像和失真图像分别在两个色度通道Cr、Cb中的相似性，两者乘积即为提取的图像颜色相似性特征；

步骤6、分别提取每个相似性深度图的均值，提取颜色相似性特征的均值、标准偏差、熵，并与50维的基于结构加权的LBP特征进行多特征融合，生成一个表征其失真效应的373维的特征向量；

步骤7、将图像数据库中所有图像提取的373维特征向量以及相应的平均主观分数MOS或DMOS值采用随机森林RF策略训练IQA模型，训练好的模型即可实现对彩色失真图像质量的准确预测和评估。

步骤1中Y表示明亮度，Cr和Cb表示色度；对于一幅RGB图像，其颜色空间转变过程可表示为：

实现将图像的亮度通道和色度通道进行分离。

步骤2具体为：

步骤2.1、选择大小为5×5并包含0°、90°、45°及135°四个方向的高通滤波模板分别对原始图像的Y通道图像做卷积运算来提取梯度特征，具体操作如下：

其中：(x,y)表示图像中像素点的坐标，G

步骤2.2、用步骤2.1得到的四个梯度分量G

其中：G

步骤2.3、将计算得到的梯度特征GMap

步骤2.3具体为：

步骤2.3.1、将原始图像的梯度特征与亮度通道Y

Y

Y

其中：等式左边的Y

步骤2.3.2、将原始图像和失真图像的颜色空间进行反变换，由YCrCb颜色空间转换为RGB颜色空间，转换过程为：

其中：等式右边的亮度通道Y即为使用式(4)和(5)进行融合后原始图像和失真图像的亮度通道。

步骤3具体为：

调整原始图像和失真图像的大小为(224,224)，并分别作为预训练的VGG16深度模型的输入；该模型总共有五个池化层，分别对应有64、128、256、512和512个通道数量；取每个池化层前64个通道的特征图像，计算原始图像和失真图像分别对应于每一个通道下的图像相似度，计算过程如下：

其中：X表示像素点，

步骤4具体为：

步骤4.1、在亮度通道Y中提取失真图像的频域相位特征，在频域中使用Log-Gabor滤波器对图像做卷积运算；具体的，对图像进行2DLog-Gabor变换，函数表达式如下：

其中：σ

接下来，使用尺度为n的相互正交的even(e

其中：θ

然后，计算局部幅度值：

其中：

最后，计算频域相位信息，计算公式如下：

其中：n为尺度大小，j表示方向大小，λ＝0.0001，防止分母为零而造成PC(X)的不稳定；得到失真图像的频域相位特征，记为PC

步骤4.2、对失真图像的梯度特征进行归一化，得到归一化的梯度幅度值，具体为：

GMap

其中：GMap

再通过频域相位特征和归一化梯度幅度特征建立失真图像的结构图，选取每一个像素点处的频域相位值和归一化梯度幅度值的较大者作为该像素点处的结构值，具体为：

PG

得到失真图像的结构图PG

步骤4.3、在该结构图中使用LBP算子，计算失真图像的基于结构加权的LBP特征，LBP算子的计算如下：

其中：(X

接着计算失真图像的基于结构加权的LBP特征：

其中：N表示图像像素点的数量，w

在5个尺度下提取图像的LBP特征以模拟HVS由粗到精的感知图像边缘的特性，最终得到失真图像的50维的基于结构加权的LBP特征。

步骤5具体为：

其中：X表示图像中像素点的坐标，Cr

步骤6中，将RF中决策树的数量ntree和节点预选变量个数mtry设置为(ntree,mtry)＝(500,2)。

本发明的有益效果是：

1)本发明，采用VGG16深度模型提取池化层由低维到高维的深度特征，并提取在5个尺度下的基于梯度加权的LBP特征，以模拟HVS由粗到精的理解图像边缘的特性，最后，将深度特征、LBP特征与颜色相似性特征进行多特征融合，实现了与人眼主观判断的高度一致性。

(2)本发明，在IQA数据库中的实验结果表明，与其他FR-IQA方法相比，本发明在图像质量的预测准确性方面显示出绝对优势，在模型计算复杂度和预测性能上实现了较好的平衡。

(3)本发明，使用具有优越泛化性的随机森林RF策略建立IQA模型，所建立的模型不仅鲁棒性好，同时具有较好的跨数据库交叉运行能力。

附图说明

图1是本发明基于深度特征与结构加权LBP特征的图像质量评价方法流程框图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

如图1所示，实施过程主要包含两个部分：建立IQA模型和失真图像质量的回归预测。

首先，建立IQA模型。将图像数据库中RGB颜色空间的原始图像和失真图像转换到YCrCb空间中，在两个色度通道Cr和Cb中计算原始图像和失真图像的颜色相似性特征；在亮度通道Y中计算原始图像和失真图像的梯度特征，并将梯度特征与亮度信息进行融合，经颜色空间反变换后，得到原始图像和失真图像的基于梯度域的RGB增强图像。将增强图像作为VGG16深度模型的输入，以提取图像从低维到高维的深度特征；在失真图像的亮度通道Y中计算频域相位特征，与梯度特征进行融合后，提取基于结构加权的LBP特征。经池化策略和多特征融合后，每一幅失真图像将生成一个表征其失真效应的373维的特征向量，结合平均主观分数MOS或DMOS值，采用随机森林RF策略训练回归模型，从而建立IQA模型。

其次，失真图像质量的回归预测。经上述过程建立的IQA模型即可实现对待评价的失真图像的质量进行预测和评估。用相同的特征提取方法在待评价的失真图像及其对应的原始图像中提取373维相似性特征向量，将该特征向量输入到训练好的RF回归模型中，输出结果即为对该失真图像质量的准确预测。

一种基于深度特征与结构加权LBP特征的图像质量评价方法，具体按照以下步骤实施：

步骤1、转换图像的颜色空间，将原始图像和失真图像由RGB颜色空间转变为YCrCb颜色空间；

步骤2、在亮度通道Y中提取原始图像和失真图像的梯度特征，将梯度特征与图像的亮度通道进行融合，并将YCrCb空间的图像反变换，得到基于梯度域的RGB增强图像；

步骤3、将原始图像和失真图像的RGB增强图像分别作为预训练的VGG16深度模型的输入，并计算五个池化层下的图像相似度，得到相似性深度图；

步骤4、在亮度通道Y中提取失真图像的频域相位特征，并与失真图像的梯度特征进行融合，得到失真图像的结构图，然后在该结构图中提取LBP特征，得到失真图像的50维的基于结构加权的LBP特征；

步骤5、计算原始图像和失真图像分别在两个色度通道Cr、Cb中的相似性，两者乘积即为提取的图像颜色相似性特征；

步骤6、分别提取每个相似性深度图的均值，提取颜色相似性特征的均值、标准偏差、熵，并与50维的基于结构加权的LBP特征进行多特征融合，生成一个表征其失真效应的373维的特征向量；

步骤7、将图像数据库中所有图像提取的373维特征向量以及相应的平均主观分数MOS或DMOS值采用随机森林RF策略训练IQA模型，训练好的模型即可实现对彩色失真图像质量的准确预测和评估。

步骤1中Y表示明亮度，Cr和Cb表示色度；对于一幅RGB图像，其颜色空间转变过程可表示为：

上述过程即可实现将图像的亮度通道和色度通道进行分离，为后续步骤2、步骤3和步骤4的分通道特征提取做准备。进行颜色空间转换后的图像大小与变换前保持一致。

经步骤1完成后，可得到原始图像的亮度通道Y

步骤2具体为：

步骤2.1、选择大小为5×5并包含0°、90°、45°及135°四个方向的高通滤波模板分别对原始图像的Y通道图像做卷积运算来提取梯度特征，具体操作如下：

其中：(x,y)表示图像中像素点的坐标，G

高通滤波模板M

步骤2.2、用步骤2.1得到的四个梯度分量G

其中：G

步骤2.3、步骤2.1完成后，可计算得到原始图像和失真图像的梯度特征，分别记为GMap

4.根据权利要求3所述的一种基于深度特征与结构加权LBP特征的图像质量评价方法，其特征在于，所述步骤2.3具体为：

步骤2.3.1、将原始图像(失真图像)的梯度特征与亮度通道Y

Y

Y

其中：等式左边的Y

步骤2.3.2、将原始图像和失真图像的颜色空间进行反变换，由YCrCb颜色空间转换为RGB颜色空间，转换过程为：

其中：等式右边的亮度通道Y即为使用式(4)和(5)进行融合后原始图像和失真图像的亮度通道。可得到原始图像和失真图像的基于梯度域的RGB增强图像。

步骤3具体为：

调整原始图像和失真图像的大小为(224,224)，并分别作为预训练的VGG16深度模型的输入；该模型总共有五个池化层，分别对应有64、128、256、512和512个通道数量；取每个池化层前64个通道的特征图像，计算原始图像和失真图像分别对应于每一个通道下的图像相似度，计算过程如下：

其中：X表示像素点，

相位特征可以捕获图像中的角、线、纹理等信息，提取方法是在频域中使用Log-Gabor滤波器对图像做卷积运算。

步骤4具体为：

步骤4.1、在亮度通道Y中提取失真图像的频域相位特征，在频域中使用Log-Gabor滤波器对图像做卷积运算；具体的，对于一幅图像f(x,y)，(x,y)表示图像中像素点的坐标，对图像进行2DLog-Gabor变换，函数表达式如下：

其中：σ

接下来，使用尺度为n的相互正交的even(e

其中：θ

然后，计算局部幅度值：

其中：

最后，计算频域相位信息，计算公式如下：

其中：n为尺度大小，j表示方向大小，λ＝0.0001，防止分母为零而造成PC(X)的不稳定；得到失真图像的频域相位特征，记为PC

步骤4.2、对失真图像的梯度特征进行归一化，得到归一化的梯度幅度值，具体为：

GMap

其中：GMap

再通过频域相位特征和归一化梯度幅度特征建立失真图像的结构图，选取每一个像素点处的频域相位值和归一化梯度幅度值的较大者作为该像素点处的结构值，具体为：

PG

得到失真图像的结构图PG

步骤4.3、在该结构图中使用LBP算子，计算失真图像的基于结构加权的LBP特征，LBP算子的计算如下：

其中：(X

接着计算失真图像的基于结构加权的LBP特征：

其中：N表示图像像素点的数量，w

在5个尺度下提取图像的LBP特征以模拟HVS由粗到精的感知图像边缘的特性，最终得到失真图像的50维的基于结构加权的LBP特征。

步骤5具体为：

其中：X表示图像中像素点的坐标，Cr

步骤6中，经步骤5完成后，将图像数据库(如：TID2013、TID2008、LIVE、CSIQ等)中所有失真图像与对应参考图像提取的373维的特征向量‘feature’以及相应的平均主观分数MOS或DMOS值采用随机森林RF策略训练IQA模型。将RF中决策树的数量ntree和节点预选变量个数mtry设置为(ntree,mtry)＝(500,2)。

本发明首先执行将图像数据库中RGB颜色空间的原始图像和失真图像转换到YCrCb空间中，在两个色度通道Cr和Cb中计算原始图像和失真图像的颜色相似性特征；然后执行在亮度通道Y中计算原始图像和失真图像的梯度特征，并将梯度特征与亮度信息进行融合，经颜色空间反变换后，得到原始图像和失真图像的基于梯度域的RGB增强图像。将增强图像作为VGG16深度模型的输入，以提取图像从低维到高维的深度特征；接下来，执行在失真图像的亮度通道Y中计算频域相位特征，与梯度特征进行融合后，提取基于结构加权的LBP特征。经池化策略和多特征融合后，每一幅失真图像将生成一个表征其失真效应的373维的特征向量。最后，将图像数据库中提取的所有相似性特征向量及对应的平均主观分数MOS或DMOS值一同输入到随机森林RF中训练回归模型，从而建立图像质量预测模型。训练好的模型即可实现对待评价的彩色失真图像的质量进行预测和评估。

特征提取过程充分模拟人类视觉系统(HVS)对视觉场景的感知特性。使用基于梯度域的增强图像在VGG16网络中提取由低维到高维的图像深度特征，同时在5个尺度下提取基于结构加权的LBP特征以模拟HVS由粗到精的理解图像边缘的特性。采用具有强大学习能力的随机森林RF策略建立质量预测模型，训练好的模型即可实现对待评价的彩色失真图像的质量进行预测和评估。