图像纹理复杂度的视觉感知响应强度检测装置

摘要

本发明公开了一种针对图像纹理复杂度的视觉感知响应强度检测装置及方法，视频图像经视频采集器采集并存放在图像缓存器中，再依次经过边缘检测器、方向复杂度检测器、初始视觉感知响应强度生成器和视觉感知响应强度抑制器处理得到纹理复杂度感知图。本发明的视觉感知响应强度检测装置及检测方法，利用图像区域的边缘方向信息来模拟人类视觉系统对图像纹理复杂度的感知工作机制，采用的操作步骤简洁，处理效率高效，在视觉和视频信号的许多处理领域都具有应用价值，例如客观视觉质量评价系统和基于区域的视频编码系统。

说明书

技术领域

本发明涉及视觉和视频信号处理领域，具体来说是指一种根据人类视觉系统工作机制，针对图像纹理复杂度的视觉感知响应强度检测装置。

背景技术

光线从人眼进入到视网膜后，再经过视神经和视交叉进入外膝体，然后到达视皮层，经过视皮层以及脑部其它区域的进一步处理后，形成了对视频场景的感知结果。人类视觉系统实际的视觉通路和感知机制远较上述过程描述的复杂。可以把大脑对视频场景的视觉感知分为三个不同的处理区域。低级视觉区域主要是处理诸如亮度和纹理等初级视觉信息，中级视觉区域关注的是对象形状、空间关系等视觉信息，而在高级视觉区域中，主要涉及对视频场景内容的识别、理解等更高层次的视觉处理。

在人类视觉系统的众多视觉处理机制中，视觉信号的空间对比度感知是人类视觉系统最为基本的视觉处理机制，是人类视觉系统感知纹理等空间形状的必要条件。空间对比敏感度表征了人类视觉系统对视觉信号的敏感程度，定义为观察者能检测出测试激励的最小对比度值的倒数，它会受视觉信号的空间频率因素影响。时域静止的视觉信号空间对比敏感度在空间频率为4-5周期每度处达到峰值，并且随着频率的进一步升高，人类视觉系统对视觉信号的敏感度会快速地下降。另外，当视觉信号运动时，其时域频率也会对对比敏感度产生影响。视觉信号不同频率导致的对比敏感度变化，称之为视觉敏感度感知机制。人类视觉系统另外一个较为重要的感知机制为视觉掩盖效应，是指另外一个视觉信号的存在会降低人类视觉系统对目标视觉信号的敏感度，比如纹理复杂的图像区域相对于纹理简单的图像区域对视觉信号失真具有更强的掩盖能力。

一方面，由于人类视觉系统的频率分辩能力和视觉选择特性，人类视觉系统在关注视频场景时，会优先注意边缘方向单一的结构化纹理区域，而对边缘方向种类多的随机纹理区域的关注度较低；另一方面，由于人类视觉系统的视觉掩盖效应感知机制，随机纹理区域中的视觉信号失真难以被人类视觉系统察觉，而结构化纹理区域和平滑区域对视觉信号失真具有较低的掩盖能力，因此容易被人类视觉系统注意。因此，综合上面两个因素，人类视觉系统对结构化纹理区域具有最高的视觉感知响应强度，而对随机纹理区域的视觉感知响应强度应该最低。

现有技术中，Tang C W，Chen C H，Yu Y H等人的文章“Visualsensitivity guided bit allocation for video coding”(《IEEE Transactions onMultimedia》2006，8(1)：11-18)中对视觉感知响应强度做了报道，但该技术中操作步骤非常复杂，也没有考虑边缘方向和抑制检测，检测效果和处理效率都比较低。

发明内容

本发明提供了一种根据人类视觉系统工作机制，针对图像纹理复杂度的视觉感知响应强度检测装置。

一种针对图像纹理复杂度的视觉感知响应强度检测装置，包括：

用于读取并检测视频图像的边缘的边缘检测器；

用于将视频图像划分为若干个单位图像区域，并根据得到的边缘数据检测单位图像区域的纹理方向复杂度的方向复杂度检测器；

用于计算单位图像区域初始视觉感知响应强度的初始视觉感知响应强度生成器；

用于抑制某些单位图像区域视觉感知响应强度的视觉感知响应强度抑制器；

从外部采集的视频图像依次经过边缘检测器、方向复杂度检测器、初始视觉感知响应强度生成器和视觉感知响应强度抑制器处理得到纹理复杂度感知图。

所述的从外部采集的视频图像可以通过现有技术的各类视频采集器进行采集，采集后缓存在图像缓存器中，边缘检测器从图像缓存器中读取视频图像数据。

本发明还提供了一种针对图像纹理复杂度的视觉感知响应强度检测方法，包括以下步骤：

(1)视频采集器采集视频场景图像，并存入到图像缓存器中；边缘检测器从图像缓存器中获取视频场景图像，计算视频场景图像中每个像素点的点边缘方向类型。

计算时使用四组不同方向的高通滤波器，分别计算出像素点在{0°或者180°，45°或者135°，90°或者270°，135°或者315°}四类边缘方向上的边缘强度；对于任意像素点，当在四个边缘方向上计算得到的边缘强度都小于阈值t_s(t_s可以取1～25)时，认为该点不包含边缘；否则，当四个边缘方向上的边缘强度至少有一个方向上的边缘强度大于等于阈值时，把四个边缘方向上的边缘强度中的最大值所对应的边缘方向作为该像素点的点边缘方向类型。

若出现多个上的边缘强度相同，取最初选取的边缘方向作为该像素点的点边缘方向类型。

(2)将视频图像均匀划分为若干个N×N像素大小的单位图像区域，根据每个单位图像区域中具有某种点边缘方向类型的边缘点的个数，统计每个单位图像区域中的纹理边缘方向类型个数和总边缘点数；

将视频图像划分为若干个N×N(N可以取6～32)像素大小的单位图像区域，判断每个单位图像区域中具有某种点边缘方向类型的边缘点的个数是否大于给定阈值e_c，当每种点边缘方向上的边缘点数大于给定阈值e_c时，就认为该单位图像区域存在与这种点边缘方向同类型的纹理边缘方向；阈值e_c的取值和N的大小有关，取[0.5N，2N]之间的一个数值。

(3)初始视觉感知响应强度生成器计算每个单位图像区域的初始视觉感知响应强度；

根据每个单位图像区域中纹理边缘方向类型个数和总边缘点数确定该单位图像区域的初始视觉感知响应强度。

计算出的整个图像的初始视觉感知响应强度称作初始纹理复杂度感知图，用T_C表示。

(4)视觉感知响应强度抑制器对每个单位图像区域的初始视觉感知响应强度执行抑制检测后得到抑制后的视觉感知响应强度，将所有单位图像区域的抑制后的视觉感知向应强度输出得到纹理复杂度感知图。

视觉感知响应强度抑制器仅在只包含有一种纹理边缘方向类型的单位图像区域执行抑制检测。

执行抑制检测时，以当前单位图像区域为中心在其周边确定一个包含有若干个单位图像区域的邻域图像区域，邻域图像区域的大小可以是包含有3×3、5×5、7×7或更多个个单位图像区域。

在邻域图像区域中统计与当前单位图像区域中纹理边缘方向类型相同的单位图像区域的个数，该个数超过阈值d_c(d_c可以取4～8)时，则当前单位图像区域的初始视觉感知响应强度被抑制成最低的视觉感知响应强度。执行抑制检测后的纹理复杂度感知图用P表示，P为本发明装置最终输出的视觉感知响应强度检测结果。

本发明的视觉感知响应强度检测装置及检测方法，利用图像区域的边缘方向信息来模拟人类视觉系统对图像纹理复杂度的感知工作机制，采用的操作步骤简洁，处理效率高效。本发明在视觉和视频信号的许多处理领域都具有应用价值，例如客观视觉质量评价系统和基于区域的视频编码系统。

附图说明

图1为采用本发明视觉感知响应强度检测装置结构框图；

图2为本发明方法中每个单位图像区域的初始视觉感知响应强度计算算法流程图；

图3为本发明方法获得的纹理复杂度感知图的示意图；

图4为本发明方法中高通滤波器的示意图。

具体实施方式

如图1所示，本发明针对图像纹理复杂度的视觉感知响应强度检测装置，包括：

用于读取并检测图像边缘的边缘检测器130；

用于将视频图像划分为若干个单位图像区域，并根据得到的边缘数据检测单位图像区域的纹理方向复杂度的方向复杂度检测器140；

用于计算每个块图像区域初始视觉感知响应强度的初始视觉感知响应强度生成器150；

用于抑制某些块图像区域视觉感知响应强度的视觉感知响应强度抑制器160。

视频图像利用现有技术经视频采集器110采集并存放在图像缓存器120中，图像缓存器120中的数据被本发明视觉感知响应强度检测装置读取后依次经过边缘检测器130、方向复杂度检测器140、初始视觉感知响应强度生成器150和视觉感知响应强度抑制器160处理得到纹理复杂度感知图。

采用本发明装置检测针对图像纹理复杂度的视觉感知响应强度，包括以下步骤：

(1)视频采集器110采集视频场景图像，并存入到图像缓存器120中；边缘检测器130从图像缓存器120中获取图像，计算图像每个像素点的点边缘方向类型：使用四组不同方向的高通滤波器，分别计算出像素点在0°或者180°；90°或者270°；45°或者135°；135°或者315°四类边缘方向(即水平、垂直和±45°这四个方向)上的边缘强度；对于任意像素点，当在四个边缘方向上计算得到的边缘强度都小于阈值t_s(t_s可以取1～25)时，认为该点不包含边缘；否则，把边缘强度最大值所对应的边缘方向作为该像素点的点边缘方向类型；若出现多个上的边缘强度相同，取最初选取的边缘方向作为该像素点的点边缘方向类型；

(2)方向复杂度检测器140将视频图像均匀划分为若干个N×N(N可以取6～32)像素大小的单位图像区域，统计每个单位图像区域的纹理边缘方向种类数和总边缘点数：当每种点边缘方向上的边缘点数大于给定阈值e_c时，就认为该单位图像区域存在与这种点边缘方向同类型的纹理边缘方向；阈值e_c的取值和N的大小有关，取[0.5N，2N]之间的一个数值；总共拥有的纹理边缘方向数用c_d表示；同时统计每个单位图像区域的总边缘点数，如果总边缘点数大于给定阈值s_e，阈值s_e的取值和N的大小有关，取[N，5N]之间的一个数值，则置标号c_e为s1，否则置它为s0，并且s1的取值要大于s0的取值；

(3)初始视觉感知响应强度生成器150计算每个单位图像区域的初始视觉感知响应强度：按图2所示的算法流程图计算每个单位图像区域的初始视觉感知响应强度，具体过程为：获得一个单位图像区域的c_d和c_e，如果c_d等于0，则置该单位图像区域的初始视觉感知响应为v1；如果c_d等于1，则置该单位图像区域的初始视觉感知响应为v2；如果c_d等于2，则置该单位图像区域的初始视觉感知响应为v2减去c_e；如果c_d等于3，则置该单位图像区域的初始视觉感知响应为v1减去c_e；如果c_d等于其他值，则置该单位图像区域的初始视觉感知响应为v0。并且满足如下约束条件：v2要大于v1，而v1要大于v0，v2和v1都要大于等于c_e，计算出的最小初始视觉感知响应强度为v0。计算出的整个视频图像的初始视觉感知响应强度称作初始纹理复杂度感知图，用T_C表示；

(4)视觉感知响应强度抑制器160对只包含一种纹理边缘方向类型的单位图像区域进行处理。

执行抑制检测时，以当前单位图像区域为中心在其周边确定一个包含有若干个单位图像区域的邻域图像区域。

在邻域图像区域中统计与当前单位图像区域中纹理边缘方向类型相同的单位图像区域的个数，该个数超过阈值d_c(d_c可以取4～8)时，则当前单位图像区域的初始视觉感知响应强度被抑制成最低的视觉感知响应强度v0。执行抑制检测后的纹理复杂度感知图用P表示，P为本发明装置最终输出的视觉感知响应强度检测结果。

在所述的检测方法中，阈值具体取值的一个例子如下表所示：

  N  t_s e_c s_e  s0  s1  v2  v1  v0  d_c  8  2  5  24  0  1  2  1  0  5

采用上述阈值的取值，检测得到的纹理复杂度感知图的一个例子如图3所示。其中，左侧子图为视频图像；右侧子图为纹理复杂度感知图，黑色区域的视觉感知响应强度为0，灰色区域的视觉感知响应强度为1，靠近白色区域的视觉感知响应强度为2。

如图4所示，高通滤波器410用于0°或者180°边缘方向上的高通滤波操作；高通滤波器420用于45°或者135°边缘方向上的高通滤波操作；高通滤波器430用于90°或者270°边缘方向上的高通滤波操作；高通滤波器440用于135°或者315°边缘方向上的高通滤波操作。