法律状态公告日
法律状态信息
法律状态
2017-03-22
授权
授权
2016-02-24
实质审查的生效 IPC(主分类):H04N17/00 申请日:20151026
实质审查的生效
2016-01-27
公开
公开
技术领域
本发明涉及一种立体图像质量客观评价方法,尤其是涉及一种基于立体视觉感知的 全盲立体图像质量客观评价方法。
背景技术
进入二十一世纪以来,随着立体图像/视频系统处理技术的日趋成熟,以及计算机网 络与通信技术的快速发展,已引起人们对立体图像/视频系统的强烈需求。相比传统的单 视点图像/视频系统,立体图像/视频系统由于能够提供深度信息来增强视觉的真实感, 给用户以身临其境的全新视觉体验而越来越受到人们的欢迎,已被认为是下一代媒体主 要的发展方向,已引发了学术界、产业界的广泛关注。然而,人们为了获得更好的立体 临场感和视觉体验,对立体视觉主观感知质量提出了更高的要求。在立体图像/视频系统 中,采集、编码、传输、解码及显示等处理环节都会引入一定失真,这些失真将对立体 视觉主观感知质量产生不同程度的影响,因此如何有效地进行无参考质量评价是亟需解 决的难点问题。综上,评价立体图像质量,并建立与主观质量评价相一致的客观评价模 型显得尤为重要。
目前,研究人员提出了不少针对单视点图像质量的无参考评价方法,然而由于缺乏 系统理论深入研究立体视觉感知特性,因此还没有有效地无参考立体图像质量评价方 法。现有的无参考立体图像质量评价方法主要是通过机器学习来预测立体图像质量,不 仅计算复杂度较高,而且需要测试数据库(包括大量不同失真类型的失真立体图像及相 应的主观评价值),使得该无参考立体图像质量评价方法并不适用于实际的应用场合, 存在一定的局限性。因此,如何深入挖掘立体视觉感知;以及如何在无参考模型构建中 采用全盲方法,都是无参考质量评价研究中需要重点解决的技术问题。
发明内容
本发明所要解决的技术问题是提供一种基于立体视觉感知的全盲立体图像质量客 观评价方法,其能够充分考虑到立体视觉感知特性,从而能够有效地提高客观评价结果 与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种基于立体视觉感知的全盲立体 图像质量客观评价方法,其特征在于包括训练阶段和测试阶段两个过程,所述的训练阶 段过程的具体步骤如下:
①-1、选取K幅原始的无失真立体图像,其中,K≥1,原始的无失真立体图像的 宽度为M,原始的无失真立体图像的高度为N;
①-2、采用双目融合技术对每幅原始的无失真立体图像的左视点图像和右视点图像 进行融合,得到每幅原始的无失真立体图像的融合视点图像;
①-3、对每幅原始的无失真立体图像的融合视点图像进行去均值归一化操作,得到 每幅原始的无失真立体图像的融合视点图像的去均值归一化图像;
①-4、将每幅原始的无失真立体图像的融合视点图像的去均值归一化图像输入到实 证密度函数中,得到每幅原始的无失真立体图像的融合视点图像的去均值归一化图像的 纹理信息向量;
①-5、对每幅原始的无失真立体图像的融合视点图像的去均值归一化图像进行四个 方向的滤波处理,得到每幅原始的无失真立体图像的融合视点图像的去均值归一化图像 的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息 图像;然后将每幅原始的无失真立体图像的融合视点图像的去均值归一化图像的水平方 向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像输入 到非对称广义高斯分布模型中,得到每幅原始的无失真立体图像的融合视点图像的去均 值归一化图像的方向信息向量;
①-6、将所有原始的无失真立体图像的融合视点图像的去均值归一化图像的纹理信 息向量和方向信息向量作为输入参数,输入到高斯分布模型中,得到所有原始的无失真 立体图像对应的无失真高斯分布模型;
所述的测试阶段过程的具体步骤如下:
②-1、对于任意一幅尺寸大小与步骤①-1中选取的原始的无失真立体图像的尺寸大 小一致的失真立体图像,将该失真立体图像作为待评价的失真立体图像;
②-2、采用双目融合技术对待评价的失真立体图像的左视点图像和右视点图像进行 融合,得到待评价的失真立体图像的融合视点图像;
②-3、对待评价的失真立体图像的融合视点图像进行去均值归一化操作,得到待评 价的失真立体图像的融合视点图像的去均值归一化图像;
②-4、将待评价的失真立体图像的融合视点图像的去均值归一化图像输入到实证密 度函数中,得到待评价的失真立体图像的融合视点图像的去均值归一化图像的纹理信息 向量;
②-5、对待评价的失真立体图像的融合视点图像的去均值归一化图像进行四个方向 的滤波处理,得到待评价的失真立体图像的融合视点图像的去均值归一化图像的水平方 向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像;然 后将待评价的失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、 垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像输入到非对称广义 高斯分布模型中,得到待评价的失真立体图像的融合视点图像的去均值归一化图像的方 向信息向量;
②-6、将待评价的失真立体图像的融合视点图像的去均值归一化图像的纹理信息向 量和方向信息向量作为输入参数,输入到高斯分布模型中,得到待评价的失真立体图像 对应的失真高斯分布模型;
②-7、采用马氏距离公式衡量步骤①-6中得到的所有原始的无失真立体图像对应的 无失真高斯分布模型与步骤②-6中得到的待评价的失真立体图像对应的失真高斯分布 模型之间的误差,将衡量得到的误差作为待评价的失真立体图像的图像质量客观评价预 测值。
所述的步骤①-3中,将第k幅原始的无失真立体图像的融合视点图像的去均值归一 化图像记为{Gk,org,L,R(m,n)},将{Gk,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记 为Gk,org,L,R(m,n),其中,1≤k≤K,1≤m≤M, 1≤n≤N,Rk,org,L,R(m,n)表示第k幅原始的无失真立体图像的融合视点图像 {Rk,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值,μk,org,L,R表示{Rk,org,L,R(m,n)}中的 所有像素点的像素值的均值,σk,org,L,R表示{Rk,org,L,R(m,n)}中的所有像素点的像素值的方 差。
所述的步骤①-5中,将第k幅原始的无失真立体图像的融合视点图像的去均值归一 化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方 向信息图像对应记为{Hk,org,L,R(m,n)}、{Vk,org,L,R(m,n)}、{Dk,org,L,R(m,n)}和 将{Hk,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为Hk,org,L,R(m,n),将 {Vk,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为Vk,org,L,R(m,n),将 {Dk,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为Dk,org,L,R(m,n),将 中坐标位置为(m,n)的像素点的像素值记为Hk,org,L,R(m,n)=Gk,org,L,R(m,n)×Gk,org,L,R(m,n+1), Vk,org,L,R(m,n)=Gk,org,L,R(m,n)×Gk,org,L,R(m+1,n), Dk,org,L,R(m,n)=Gk,org,L,R(m,n)×Gk,org,L,R(m+1,n+1),
所述的步骤②-3中,将待评价的失真立体图像的融合视点图像的去均值归一化图像 记为{Gdis,L,R(m,n)},将{Gdis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为 Gdis,L,R(m,n),其中,1≤m≤M,1≤n≤N, Rdis,L,R(m,n)表示待评价的失真立体图像的融合视点图像{Rdis,L,R(m,n)}中坐标位置为 (m,n)的像素点的像素值,μdis,L,R表示{Rdis,L,R(m,n)}中的所有像素点的像素值的均值, σdis,L,R表示{Rdis,L,R(m,n)}中的所有像素点的像素值的方差。
所述的步骤②-5中,将待评价的失真立体图像的融合视点图像的去均值归一化图像 的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息 图像对应记为{Hdis,L,R(m,n)}、{Vdis,L,R(m,n)}、{Ddis,L,R(m,n)}和将 {Hdis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为Hdis,L,R(m,n),将{Vdis,L,R(m,n)} 中坐标位置为(m,n)的像素点的像素值记为Vdis,L,R(m,n),将{Ddis,L,R(m,n)}中坐标位置为 (m,n)的像素点的像素值记为Ddis,L,R(m,n),将中坐标位置为(m,n)的像素 点的像素值记为Hdis,L,R(m,n)=Gdis,L,R(m,n)×Gdis,L,R(m,n+1),
Vdis,L,R(m,n)=Gdis,L,R(m,n)×Gdis,L,R(m+1,n),
Ddis,L,R(m,n)=Gdis,L,R(m,n)×Gdis,L,R(m+1,n+1),
与现有技术相比,本发明的优点在于:
1)本发明方法由于充分利用了立体视觉感知特性,即获取了原始的无失真立体图 像和待评价的失真立体图像各自的融合视点图像的去均值归一化图像的纹理信息向量 和方向信息向量,充分考虑到了立体视觉纹理和方向特性,因此有效地提高了客观评价 模型的预测性能,即:可以使得到的待评价的失真立体图像的图像质量客观评价预测值 能够准确地反映人眼视觉主观感知质量,能够有效地提高客观评价结果与主观感知之间 的相关性。
2)本发明方法通过无监督学习方式构造所有原始的无失真立体图像对应的无失真 高斯分布模型和待评价的失真立体图像对应的失真高斯分布模型,这样有效地避免了复 杂的机器学习训练过程,降低了计算复杂度,并且本发明方法在训练阶段不需要预知各 训练失真立体图像及其主观评价值,因此更加适用于实际的应用场合。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于立体视觉感知的全盲立体图像质量客观评价方法,其总体实 现框图如图1所示,其包括训练阶段和测试阶段两个过程,所述的训练阶段过程的具体 步骤如下:
①-1、选取K幅原始的无失真立体图像,其中,K≥1,在本实施例中取K=20,原 始的无失真立体图像的宽度为M,原始的无失真立体图像的高度为N。
①-2、采用现有的双目融合技术对每幅原始的无失真立体图像的左视点图像和右视 点图像进行融合,得到每幅原始的无失真立体图像的融合视点图像。
①-3、对每幅原始的无失真立体图像的融合视点图像进行去均值归一化操作,得到 每幅原始的无失真立体图像的融合视点图像的去均值归一化图像。
在此具体实施例中,在步骤①-3中,将第k幅原始的无失真立体图像的融合视点图 像的去均值归一化图像记为{Gk,org,L,R(m,n)},将{Gk,org,L,R(m,n)}中坐标位置为(m,n)的像 素点的像素值记为Gk,org,L,R(m,n),其中, 1≤k≤K,1≤m≤M,1≤n≤N,Rk,org,L,R(m,n)表示第k幅原始的无失真立体图像的融 合视点图像{Rk,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值,μk,org,L,R表示 {Rk,org,L,R(m,n)}中的所有像素点的像素值的均值,σk,org,L,R表示{Rk,org,L,R(m,n)}中的所有像 素点的像素值的方差。
①-4、将每幅原始的无失真立体图像的融合视点图像的去均值归一化图像输入到现 有的实证密度函数中,得到每幅原始的无失真立体图像的融合视点图像的去均值归一化 图像的纹理信息向量。
①-5、对每幅原始的无失真立体图像的融合视点图像的去均值归一化图像进行四个 方向的滤波处理,得到每幅原始的无失真立体图像的融合视点图像的去均值归一化图像 的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息 图像;然后将每幅原始的无失真立体图像的融合视点图像的去均值归一化图像的水平方 向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像输入 到现有的非对称广义高斯分布模型中,得到每幅原始的无失真立体图像的融合视点图像 的去均值归一化图像的方向信息向量。
在此具体实施例中,在步骤①-5中,将第k幅原始的无失真立体图像的融合视点图 像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图 像和副对角线方向信息图像对应记为{Hk,org,L,R(m,n)}、{Vk,org,L,R(m,n)}、{Dk,org,L,R(m,n)}和 将{Hk,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为 Hk,org,L,R(m,n),将{Vk,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为 Vk,org,L,R(m,n),将{Dk,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为 Dk,org,L,R(m,n),将中坐标位置为(m,n)的像素点的像素值记为 Hk,org,L,R(m,n)=Gk,org,L,R(m,n)×Gk,org,L,R(m,n+1),
Vk,org,L,R(m,n)=Gk,org,L,R(m,n)×Gk,org,L,R(m+1,n),
Dk,org,L,R(m,n)=Gk,org,L,R(m,n)×Gk,org,L,R(m+1,n+1),
①-6、将所有原始的无失真立体图像的融合视点图像的去均值归一化图像的纹理信 息向量和方向信息向量作为输入参数,输入到现有的高斯分布模型中,得到所有原始的 无失真立体图像对应的无失真高斯分布模型。
所述的测试阶段过程的具体步骤如下:
②-1、对于任意一幅尺寸大小与步骤①-1中选取的原始的无失真立体图像的尺寸大 小一致的失真立体图像,将该失真立体图像作为待评价的失真立体图像。
②-2、采用现有的双目融合技术对待评价的失真立体图像的左视点图像和右视点图 像进行融合,得到待评价的失真立体图像的融合视点图像。
②-3、对待评价的失真立体图像的融合视点图像进行去均值归一化操作,得到待评 价的失真立体图像的融合视点图像的去均值归一化图像。
在此具体实施例中,在步骤②-3中,将待评价的失真立体图像的融合视点图像的去 均值归一化图像记为{Gdis,L,R(m,n)},将{Gdis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素 值记为Gdis,L,R(m,n),其中,1≤m≤M,1≤n≤N, Rdis,L,R(m,n)表示待评价的失真立体图像的融合视点图像{Rdis,L,R(m,n)}中坐标位置为 (m,n)的像素点的像素值,μdis,L,R表示{Rdis,L,R(m,n)}中的所有像素点的像素值的均值, σdis,L,R表示{Rdis,L,R(m,n)}中的所有像素点的像素值的方差。
②-4、将待评价的失真立体图像的融合视点图像的去均值归一化图像输入到现有的 实证密度函数中,得到待评价的失真立体图像的融合视点图像的去均值归一化图像的纹 理信息向量。
②-5、对待评价的失真立体图像的融合视点图像的去均值归一化图像进行四个方向 的滤波处理,得到待评价的失真立体图像的融合视点图像的去均值归一化图像的水平方 向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像;然 后将待评价的失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、 垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像输入到现有的非对 称广义高斯分布模型中,得到待评价的失真立体图像的融合视点图像的去均值归一化图 像的方向信息向量。
在此具体实施例中,在步骤②-5中,将待评价的失真立体图像的融合视点图像的去 均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副 对角线方向信息图像对应记为{Hdis,L,R(m,n)}、{Vdis,L,R(m,n)}、{Ddis,L,R(m,n)}和 将{Hdis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为 Hdis,L,R(m,n),将{Vdis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为Vdis,L,R(m,n), 将{Ddis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为Ddis,L,R(m,n),将 中坐标位置为(m,n)的像素点的像素值记为Hdis,L,R(m,n)=Gdis,L,R(m,n)×Gdis,L,R(m,n+1),Vdis,L,R(m,n)=Gdis,L,R(m,n)×Gdis,L,R(m+1,n), Ddis,L,R(m,n)=Gdis,L,R(m,n)×Gdis,L,R(m+1,n+1),
②-6、将待评价的失真立体图像的融合视点图像的去均值归一化图像的纹理信息向 量和方向信息向量作为输入参数,输入到现有的高斯分布模型中,得到待评价的失真立 体图像对应的失真高斯分布模型。
②-7、采用现有的马氏距离公式衡量步骤①-6中得到的所有原始的无失真立体图像 对应的无失真高斯分布模型与步骤②-6中得到的待评价的失真立体图像对应的失真高 斯分布模型之间的误差,将衡量得到的误差作为待评价的失真立体图像的图像质量客观 评价预测值。
为验证本发明方法的可行性和有效性,进行实验。
在此,采用LIVE立体图像库来分析利用本发明方法得到的失真立体图像的图像质 量客观评价预测值与平均主观评分差值之间的相关性。这里,利用评估图像质量评价方 法的Spearman相关系数(Spearmanrankordercorrelationcoefficient,SROCC)作为评价 指标,SROCC反映客观评价结果的单调性。
利用本发明方法计算LIVE立体图像库中的每幅失真立体图像的图像质量客观评价 预测值,再利用现有的主观评价方法获得LIVE立体图像库中的每幅失真立体图像的平 均主观评分差值。将按本发明方法计算得到的失真立体图像的图像质量客观评价预测值 做五参数Logistic函数非线性拟合,SROCC值越高,说明客观评价方法的客观评价结 果与平均主观评分差值之间的相关性越好。反映本发明方法的质量评价性能的SROCC 相关系数如表1所列。从表1所列的数据可知,按本发明方法得到的失真立体图像的最 终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很好的,表明客观评 价结果与人眼主观感知的结果较为一致,足以说明本发明方法的可行性和有效性。
表1利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分 差值之间的相关性
机译: 通过向左眼图像或右眼图像输入新的深度值和控制方法,立体视觉感知可以轻松地控制设备的立体视觉感知。
机译: 基于流形特征相似度的图像质量客观评价方法
机译: 基于数字水印的客观评估立体图像质量的方法