基于人眼视觉特性的融合图像感知清晰度评价方法

摘要

本发明涉及一种基于人眼视觉特性的彩色融合图像清晰度评价方法，属于图像处理中图像融合技术领域。本发明基于两方面主要的人眼视觉特性，即对比度敏感特性和亮度掩模特性，构造了人眼感知对比度模型，通过改进Peli对比度模型提出新的图像感知对比度算法，通过计算图像中细节边缘区域的人眼感知对比度来评价图像的感知清晰度，得到与人眼主观更加一致的图像清晰度客观评价模型。本方法主要用于衡量不同波段融合图像是否能满足特定的应用需求，即是否有利于观察者对图像场景内容的理解。

说明书

技术领域

本发明涉及一种基于人眼视觉特性的融合图像感知清晰度评价方法，属于 图像处理中融合技术领域。

背景技术

近年来，随着多波段图像传感器技术的发展，多波段图像融合技术已有实 用的系统和装备获得成功的应用。使观察者获得更准确的场景理解是融合图像 的主要目的之一，清晰的融合图像更有利于观察者对图像场景内容的理解，如 何评价融合图像的质量，成为图像融合技术和系统设计的重要环节。

图像清晰度是评价图像质量时常用的质量属性，其包含分辨率和锐度两方 面因素。分辨率反映图像细节信息，锐度则表示边缘变化的尖锐程度。清晰度 好的图像具有较丰富的细节信息，表现出边缘和纹理方面较好的辨识性。同时， 使观察者获得更准确的场景理解是融合图像的主要目的之一，清晰的融合图像 更有利于观察者对图像场景内容的理解。因此，清晰度是影响融合图像质量的 一个重要方面。对于彩色图像，清晰度主要取决于图像的亮度分量。因此，目 前大量研究均使用彩色图像的亮度分量来构造客观计算模型，评价彩色图像的 清晰度，例如，Yuan基于亮度分量的梯度信息给出彩色融合图像清晰度评价模 型S_Y；Zhang通过衡量灰度图像的局部对比度给出彩色图像清晰度评价模型S_Z； Zhu基于灰度图像局部梯度的奇异值分解，提出了彩色图像清晰度评价模型S_Zhu。 此外，Marziliano通过计算图像中边缘过渡带的宽度给出图像模糊度指标B_M(图 像越模糊则清晰度越差)；Crete利用不同清晰度图像，经相同高斯模糊后，梯度 变化量的不同，给出彩色图像模糊度评价模型B_C。

以上所述模型均利用图像的亮度分量来评价彩色图像清晰度，虽然可以方 便的衡量图像的清晰度，但是缺少考虑人眼视觉特性，以上模型在某些情况下 无法得到与人眼主观一致的评价结果。事实上，图像感知清晰度与观察者所处 的观察条件，例如观察距离，显示器屏幕每英寸的像素数等因素，以及人眼视 觉特性有密切的关系。因此，考虑特定观察条件下人眼的视觉特性来构造与人 眼主观更加一致的融合图像感知清晰度评价模型成为亟待解决的问题。

发明内容

本发明的目的是克服现有技术的上述不足，建立一种考虑人眼视觉特性的 融合图像感知清晰度的评价方法。本发明基于人眼视觉特性，提出新的图像感 知对比度算法，能够实现对彩色融合图像感知清晰度的客观评价，其评价结果 与人眼主观感受具有较好的一致性。

为达到上述目的，本发明的技术方案为：

一种基于人眼视觉特性的融合图像感知清晰度评价方法，包括如下步骤：

步骤一、设同一场景的两幅源图像分别为图像一S₁(x,y)和图像二S₂(x,y)，以 及二者的融合图像为g(x,y)，(x,y)为图像中像素位置坐标，图像一S₁(x,y)和图像 二S₂(x,y)尺寸一致，若融合后的图像为彩色图像，则将融合后的图像转换为灰 度图像g(x,y)；

步骤二、利用图像一与图像二，计算该图像场景的人眼感兴趣区域ROI，方 法如下：

201、分别计算图像一的带通图像I_bp1(x,y)和图像二的带通图像I_bp2(x,y)，即：

I_bp1(x,y)＝(φ₀-φ₁)*S₁(x,y)

I_bp2(x,y)＝(φ₀-φ₁)*S₂(x,y)

其中，“*”为卷积；φ_j为高斯核标准偏差σ_j＝2^j，j取0和 1时，分别对应φ₀和φ₁；

202、针对图像一的带通图像I_bp1(x,y)，利用最大类间方差法自动选取二值化 阈值，进行二值化处理；针对图像二的带通图像I_bp2(x,y)，同样利用最大类间方 差法自动选取二值化阈值，进行二值化处理，提取I_bp1(x,y)二值化图像矩阵和 I_bp2(x,y)二值化图像矩阵中元素值为1的点的坐标组成集合，定义为该场景图像 的人眼感兴趣区域ROI；

步骤三、针对g(x,y)进行频域的CSF滤波和OE调制，得到人眼感知图像 g'(x,y)；其中，CSF为人眼对比度敏感模型，OE为倾斜效应模型；

步骤四、在人眼感兴趣区域ROI中，计算所述g'(x,y)对应的人眼感知对比度 PC₀(x,y)之和，除以ROI的总像素数N_ROI,得到融合图像感知清晰度评价分数PS：

$\mathrm{PS}=\frac{\underset{(x,y)\in \mathrm{ROI}}{\Sigma }{\mathrm{PC}}_0(x,y)}{N_{\mathrm{ROI}}}$

其中，人眼感知对比度函数PC₀(x,y)为

${\mathrm{PC}}_0(x,y)=\left(\begin{array}{cc}\frac{({\phi }_0-{\phi }_1)*g^{\prime }(x,y)}{\mathrm{JND}\left(I\right)}& D_{\max }(x,y)\ge \mathrm{JND}\left(I\right)\\ 0& D_{\max }(x,y)<\mathrm{JND}\left(I\right)\end{array}\right)$

其中，背景灰度I＝φ₁*g'(x,y)，JND为人类视觉感知模型，是通过人眼主观实验 测量的不同灰度背景I下人眼恰可分辨差异，得到JND关于I的曲线；D_max(x,y)为 图像g'(x,y)中像素位置(x，y)处加权平均灰度变化D_n(x,y)在四个方向掩膜下的最 大值，n=1,2,3,4；

$D_{\max }(x,y)=\underset{n=\mathrm{1,2,3,4}}{\max }\left\{\right|D_n(x,y)\left|\right\}$

$D_n(x,y)=\frac{1}{16}\underset{\alpha =1}{\overset{5}{\Sigma }}\underset{\beta =1}{\overset{5}{\Sigma }}{g}^{\prime }(x-3+\alpha ,y-3+\beta )W_n(\alpha ,\beta )$

所述的四个方向掩膜W₁(α,β)～W₄(α,β)分别为：$\left(\begin{array}{cccc}0& 1& 0-& 1\\ 0& 3& 0-& 3\\ 0& 8& 0-& 8\\ 0& 3& 0-& 3\\ 0& 1& 0-& 1\end{array}\right),$$\left(\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 8& 3& 0& 0\\ 1& 3& 0& -3& -1\\ 0& 0& -3& -8& 0\\ 0& 0& -1& 0& 0\end{array}\right),$$\left(\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 0& 3& 8& 0\\ -1& -3& 0& 3& 1\\ 0& -8& -3& 0& 0\\ 0& 0& -1& 0& 0\end{array}\right),$$\left(\begin{array}{ccccc}0& 0& 0& 0& 0\\ 1& 3& 8& 3& 1\\ 0& 0& 0& 0& 0\\ -1& -3& -8& -3& -1\\ 0& 0& 0& 0& 0\end{array}\right),$W_n(α,β)表示第n 个方向掩膜中第α行、第β列的值；

ROI中PC₀越大则PS值越大，表示感知对比度越大，图像清晰度越好。

进一步地，图像一和图像二可以分别为同一场景的红外和可见光/微光源图 像。

优选地，若图像一和图像二尺寸不一致则在执行步骤二之前对图像一或图 像二进行缩放处理，使二者尺寸相同。

有益效果：

1）本方法针对peli局部频带对比度模型进行了改进，提出了新的图像感知 对比度算法，能够有效的对融合图像清晰度进行客观评价；

2）选择真实场景的120幅红外与可见光融合图像(15组红外IR与可见光 Vis源图像，每组图像使用8种不同的融合算法产生不同效果的融合图 像，共120幅实验图像)，17名观察者进行颜色协调性主观评价实验。 结果表明，与现有的五种彩色图像清晰(模糊)度的客观评价模型相比， 本发明考虑人眼视觉特性构造的感知清晰度模型计算结果与人眼主观 感受具有较好的一致性。

附图说明

图1是本发明中计算典型场景彩色融合图像感知清晰度客观评价指标流程 图；

图2是低通和带通滤波器；

图3是相同灰度差在不同灰度背景中的模拟图；

图4是不同灰度背景下的人眼可见阈值JND；

图5是计算四个方向上加权平均灰度变化的掩膜。

具体实施方式

本发明公开了一种基于人眼视觉特性的融合图像感知清晰度评价方法，本 方法在Peli提出的局部频带对比度模型基础上，考虑到人眼的亮度掩膜特性， 引入韦伯定律，对Peli对比度进行改进，得出了人眼感知对比度计算公式。并 利用该公式结合具体步骤可以对融合图像的清晰度进行评价。

下面结合附图并举具体实施例对本方法做进一步说明：

实施例(1)

本实施例针对同一场景的红外源图像与可见光源图像的彩色融合图像进行 人眼感知清晰度评价，评价步骤如下：

步骤一、设同一场景的红外源图像和可见光源图像分别为S_IR(x,y)和 S_Vis(x,y)。若二者尺寸大小不一致，则对红外源图像和可见光源图像进行缩放处 理，使其尺寸一致，以下步骤均是针对缩放处理后的红外源图像S_IR(x,y)和可见 光源图像S_Vis(x,y)进行，(x,y)为图像中像素位置坐标；

步骤二、利用步骤一所述的红外(IR)源图像与可见光源(Vis)图像确定人眼 感兴趣区域ROI，其步骤如下：

201、高频带带通图像对应图像的细节和边缘，因此人眼感兴趣区域利用高 频带带通图像来确定，分别计算IR源图像的高频带带通图像I_bp-IR(x,y)和Vis 源图像的高频带带通图像I_bp-Vis(x,y)，即：

I_bp-IR(x,y)＝(φ₀-φ₁)*S_IR(x,y)

I_bp-Vis(x,y)＝(φ₀-φ₁)*S_Vis(x,y)

其中，“*”为卷积；φ_j为高斯核标准偏差σ_j＝2^j，j取0和1 时，对应φ₀和φ₁。

202、针对IR的带通图像I_bp-IR(x,y)，利用Otsu等人提出的最大类间方差法 【参见Otsu N.,A Threshold Selection Method from Gray-Level Histograms[J],IEEE  Transactions on Systems,Man,and Cybernetics,1979,9(1):62-66.】对Ibp-IR(x,y)自动 选取二值化阈值，进行二值化处理；针对Vis源图像的带通图像I_bp-Vis(x,y)，同 样利用Otsu等人提出的最大类间方差法自动选取二值化阈值，进行二值化处理， 提取I_bp-IR(x,y)二值化图像矩阵和I_bp-Vis(x,y)二值化图像矩阵中像素值为1的坐 标位置组成集合，定义为该场景图像的人眼感兴趣区域ROI；

步骤三、计算人眼感知图像g'(x,y)，步骤如下：

301、将彩色融合图像转化为灰度图像g(x,y)；

302、对于步骤301得到的灰度图像g(x,y)，傅里叶变换得到G(u,v)，其中 (u,v)表示傅里叶频谱中的坐标。使用CSF模型进行滤并进行OE调制，得到 G'(u,v)：

G'(u,v)＝G(u,v)CSF(f)O_E(f,θ)

之后，G'(u,v)经过逆傅立叶变换得到滤波后人眼感知图像g'(x,y)。

其中，CSF(f)为人眼对比度敏感函数。本实施例使用Barten给出的CSF模 型对图像亮度分量进行滤波【参见Barten P G J,Evaluation of subjective image  quality with the square-root integral method[J],Journal of the Optical Society of America A,1990,7(10):2024-2031.】：

CSF(f)＝kaf exp(-bf)[1+c exp(bf)]^1/2

式中，k为归一化系数；b＝0.3(1+100/L)^0.15；c＝0.06；L为图像 平均亮度；ω为图像显示角，单位为度；f为空间频率，即人眼每 度视角内亮暗条纹的成像周期数，单位为周/度(cpd)。cpd的值与显示器屏幕每 英寸的像素数和观察距离有关，其计算公式为

$\mathrm{cpd}=\frac{\mathrm{ppi}}{\frac{360}{\pi }{\tan }^{-1}\frac{1}{D_V}}$

其中，ppi为显示器每英寸的像素数；D_V为人眼与显示器之间的距离，单位为 英寸。这里为了保持图像的平均灰度，将CSF带通滤波器截断为低通滤波器， 即若f_p为CSF曲线最大值CSF(f)_max对应的峰值频率，将空间频率小于f_p对应 的CSF值均调整为CSF(f)_max。O_E(f,θ)为倾斜效应模型【参见Andrew B.Watson  and Albert J．Ahumada,Jr.A standard model for foveal detection of spatial contrast[J], Journal of Vision,2005,5(9),717-740.】，由于CSF模型具有各向同性，即对图像亮 度进行滤波时并不考虑方向差异，而对于同一幅图像来说，人眼在斜方向上的 对比度敏感程度低于水平和竖直方向上的对比度敏感程度，即倾斜效应OE。本 实施例利用Watson的倾斜效应模型O_E(f,θ)，对各向同性的CSF模型进行调制， 模拟人眼视觉斜方向上敏感度的衰减

$O_E(f,\theta )=\left(\begin{array}{cc}1-(1-\exp (-\frac{f-f_0}{f_1})){\sin }^2\left(2\theta \right)& f>f_0\\ 1& f\le f_0\end{array}\right)$

其中，θ＝arctan(v/u)；f₀＝3.48cpd；f₁＝13.57cpd。

步骤四、在人眼感兴趣区域ROI中，对于步骤三得到的g'(x,y)，计算高频 带感知对比度PC₀(x,y)之和，除以ROI的总像素数N_ROI，得到融合图像感知清晰 度评价分数PS：

$\mathrm{PS}=\frac{\underset{(x,y)\in \mathrm{ROI}}{\Sigma }{\mathrm{PC}}_0(x,y)}{N_{\mathrm{ROI}}}$

其中人眼感知对比度PC₀函数为

${\mathrm{PC}}_0(x,y)=\left(\begin{array}{cc}\frac{({\phi }_0-{\phi }_1)*g^{\prime }(x,y)}{\mathrm{JND}\left(I\right)}& D_{\max }(x,y)\ge \mathrm{JND}\left(I\right)\\ 0& D_{\max }(x,y)<\mathrm{JND}\left(I\right)\end{array}\right)$

本实施例使用Peli模型，将Peli对比度分母的低通图像作为背景图像，基 于对人眼的亮度掩模特性的考虑，引入韦伯定律，对Peli对比度进行改进，得 到人眼感知对比度PC₀函数，其推导过程如下：

Peli提出的局部频带对比度【参见E.Peli,Contrast in complex images[J], Journal of the Optical Society of America A,1990,7(10):2032-2040.】，可反映图像每 一点对应不同频带的对比度，将第j频带对比度C_j(x,y)定义为该频带的带通图像 与低于这个频带的低通图像(即背景图像)之比

$C_j(x,y)=\frac{{\psi }_j*p(x,y)}{{\phi }_{j+1}*p(x,y)}=\frac{({\phi }_j-{\phi }_{j+1})*p(x,y)}{{\phi }_{j+1}*p(x,y)}---\left(1\right)$

式中，p(x,y)为输入图像，在本实施例中p(x,y)为人眼感知图像g'(x,y)；“*”为卷 积；φ_j为第j(j=0,1,…,N)级低通滤波器，本发明采用常用高斯核 标准差σ_j＝2^j；ψ_j为第j频带的带通滤波器，常取ψ_j＝φ_j-φ_j+1。

图2即为高频带(j＝0)的低通和带通滤波器图。

根据韦伯定律【参见A.N.Nettravali and B.G.Haskell.Digital pictures: Representation and compression[M],Plenum Press,2nd edition,New York，USA,1988: 266-269.】，在均匀背景亮度L中存在一个亮度为L+△L的目标，只有当△L超过一 定阈值时，人眼才能分辨出背景中的目标，该现象也称为人眼的亮度掩模特性。

在一定背景亮度范围内，△L与L的比值为常数：

$\frac{\mathrm{\Delta L}}{L}=K---\left(2\right)$

式中，K为韦伯比，满足这一关系的背景亮度变化区域为Weber’s Law区域。

在显示器上显示的图像，其灰度和输出亮度存在非线性关系，表现出指数特 性(称为γ特性)

$L_d=L_0{\left(\frac{I_d}{I_{\max }}\right)}^{\gamma }---\left(3\right)$

式中，L_d为显示亮度，单位cd/m²；L₀为显示器最大亮度；I_d为像素灰度，I_max为最大灰度；对于8bit量化的数字图像，I_d的取值范围为[0,I_max=255]；γ为常 数，对于CRT显示器，通常γ=2.2。

若图像目标的亮度为L_t对应的灰度为I_t，代入式(3)得：

$L_t=L_0{\left(\frac{I_t}{I_{\max }}\right)}^{\gamma }---\left(4\right)$

图像的背景亮度为L，对应的灰度分别为和I，代入式(3)得：

$L=L_0{\left(\frac{I}{I_{\max }}\right)}^{\gamma }---\left(5\right)$

由式(4)和式(5)得

$\frac{L_t}{L}={\left(\frac{I_t}{I}\right)}^{\gamma }---\left(6\right)$

由式(2)和式(6)得

$\frac{I_t-I}{I}=\frac{\mathrm{\Delta I}}{I}={(K+1)}^{1/\gamma }-1=K^{\prime }---\left(7\right)$

因此，在Weber’s Law区域，图像背景灰度I与人眼恰可分辨灰度差ΔI之比 近似为常数K'。但是在过亮或过暗背景时，K'值变大，人眼对亮度差异的辨别 能力下降。如图3所示，不同灰度背景(灰度分别为1，64，128，192，250)上存 在灰度差为5的亮目标。在较亮(I=250)和较暗(I=1)的背景上，人眼难以区分目 标和背景。Chou等通过人眼主观实验测量了不同灰度背景I下人眼恰可分辨差 异称为JND(Just Noticeable Difference)【参见C.H.Chou,Y．C.Li,Perceptually  tuned subband image coder based on the measure of just-noticeable-distortion profile[J], IEEE Trans.Circuits Syst.Video Technol.1995,5(6):467-476.】，给出了I和JND之间 的关系曲线，如图4。

将Peli高频带对比度(j=0)分母的低通图像作为背景图像，综合式(1)和式(7)， 考虑人眼的亮度掩模特性，对Peli对比度进行改进，得到人眼感知对比度PC函 数

${\mathrm{PC}}_0(x,y)=\left(\begin{array}{cc}\frac{({\phi }_0-{\phi }_1)*g^{\prime }(x,y)}{\mathrm{JND}\left(I\right)}& D_{\max }(x,y)\ge \mathrm{JND}\left(I\right)\\ 0& D_{\max }(x,y)<\mathrm{JND}\left(I\right)\end{array}\right)$

其中，背景灰度I＝φ₁*g′(x,y)，对应的JND(I)使用图4中给出的数据；D_max(x,y)为 图像像素(x,y)处加权平均灰度变化D_n(x,y)在四个方向(n=1,2,3,4)中的最大值【参 见C.H.Chou,Y．C.Li,Perceptually tuned subband image coder based on the measure of  just-noticeable-distortion profile[J],IEEE Trans.Circuits Syst．Video Technol.1995, 5(6):467-476.】

$D_{\max }(x,y)=\underset{n=\mathrm{1,2,3,4}}{\max }\left\{\right|D_n(x,y)\left|\right\}$

$D_n(x,y)=\frac{1}{16}\underset{\alpha =1}{\overset{5}{\Sigma }}\underset{\beta =1}{\overset{5}{\Sigma }}{g}^{\prime }(x-3+\alpha ,y-3+\beta )W_n(\alpha ,\beta )$

其中，四个方向掩膜W_n(α,β)如图5所示，W_n(α,β)表示第n个方向掩膜中第α行、 第β列的值。

当人眼无法感知到图像灰度变化时，PC₀计算结果为0；处于人眼亮度差异 最敏感的区域时，PC₀计算结果最大，与人眼主观感受一致。PC₀越大则PS值 越大表示感知对比度越大，图像清晰度越好。

实施例(2)

本实施例针对IR源图像与Vis源图像的灰度融合图像进行人眼感知清晰度 评价，本实施例的具体过程与实施例(1)相同，不同之处在于：第二步中，图像 融合时选择灰度融合，则直接得到灰度融合图像g(x,y)，使用于以后的各步骤， 即可得到灰度融合图像的清晰度评价分数。

实施例(3)

本实施例针对其他波段图像的彩色融合图像或灰度融合图像进行人眼感知 清晰度评价，评价步骤如下：

本发明不仅适用于红外源图像(IR)与可见光源图像(Vis)的彩色融合图像的 清晰度评价，同样适用于除红外和可见光之外的其他任意两波段间图像融合之 后的清晰度评价，用于其他任意两波段间图像融合的感知清晰度评价时，其具 体评价步骤与实施例(1)或实施例(2)相似。