视觉显著性的时空特性分析及其应用研究

摘要

随着信息技术的快速发展，图像和视频数据日益膨胀，人们希望能够从中快捷地获取有用信息。近年来，人类视觉注意机制引起了国内外学者的广泛关注。它是指人类在分析视觉场景时，能够迅速地、有选择地找到“感兴趣的”部分，忽略冗余信息的一种认知能力，从而着重处理海量视野信息中最重要的部分。因此，在图像或视频处理中，加入视觉显著性，对于提高处理效率和准确率具有重要的意义。鉴于此，本文构建了一种基于时空运动显著性的跟踪方法。依据视皮层中的运动信息层次处理机制，提取运动信息，实现运动显著性的度量;在粒子滤波框架下，利用时空运动显著图和颜色直方图预测目标状态，从而完成跟踪。另外，针对聚集效应对显著性机制的影响，重点关注影响聚集显著性的人脸特征，并将人脸特征和其他底层特征相结合，通过多核学习框架，实现聚集场景人脸显著性检测。
　　本文主要开展了以下工作:
　　(1)总结分析了当前视觉显著性时间特性和空间特性的研究现状，概述了视觉显著性的经典计算模型。阐述了人类视觉系统中的运动信息处理机制，包括视觉通路层次结构、简单细胞和复杂细胞建模等，为仿生运动特征建模奠定基础。
　　(2)从大脑视皮层对运动信息的层次处理机制出发，构建了一种视频序列的时空运动信息表征方式，即通过3D时空滤波器完成对运动信号的底层编码、最大化汇集算子完成运动特征的局部编码;再利用前后帧之间的时间关联性实现运动显著性度量，即在运动显著性的度量过程中加入历史帧信息和衰落因子，使得历史帧对当前帧的影响随时间逐渐增强，使得较早历史信息对跟踪的干扰较小;
　　(3)在时空运动显著图的基础上，设计了一种融合时空运动显著性的目标跟踪方法，首先为了弥补运动信息中色彩信号的损失，将其与通过对立色计算生成色彩显著图进行整合，生成视频帧的最终显著图;最后，在粒子滤波框架下，将最终显著图与颜色直方图相结合，用来衡量不同预测状态与观测状态之间的相关性，进行目标跟踪。在目标跟踪过程中加入视觉显著性，能够增强显著的目标区域，抑制干扰区域，提升跟踪性能;
　　(4)分析了聚集场景下的显著性机制，关注四个影响聚集显著性的人脸特征:人脸大小、密度、姿态、遮挡。结合人脸特征和底层的对立色特征，通过多核学习方法，实现聚集场景显著性检测，这对于聚集场景的目标行为检测、跟踪和场景建模都有很好的作用，是一项基础和有意义的工作。

目录

声明

致谢

摘要

第一章 绪论

1．1 研究背景及意义

1．2 视觉显著性研究现状

1．2．1 空间显著性

1．2．2 时间显著性

1．2．3 显著性评价指标

1．2．4 显著性的视觉应用

1．3 主要研究内容及文章组织结构

1．3．1 主要研究内容

1．3．2 文章组织结构

1．4 本章小结

第二章 视频显著性概述

2．1 视频显著性

2．2 空间显著性计算

2．2．1 Itti生物模型

2．2．2 统计模型

2．3 时间显著性计算

2．3．1 运动特征提取的常见方法

2．3．2 计算模型

2．4 时空显著图的融合方法

2．5 本章小结

第三章 基于时空特征显著性目标跟踪

3．1 目标跟踪概述

3．1．1 目标跟踪的难点

3．1．2 基于显著性的目标跟踪

3．2 运动信息处理机制

3．2．1 人类视觉通路

3．2．2 简单细胞建模

3．2．3 复杂细胞建模

3．3 运动显著性计算模型

3．3．1 3D时空运动信息表征

3．3．2 运动显著性度量

3．3．3 时空显著图融合

3．4．基于运动显著性的粒子滤波跟踪

3．5 实验结果及分析

3．5．1 实验设置

3．5．2 对比实验

3．5．3 运动显著性的有效性验证

3．5．4 局限性分析

3．6 本章小结

第四章 基于多核模型的视觉聚集显著性检测

4．1 视觉聚集概述

4．2 视觉聚集显著性特征

4．3 视觉聚集显著性检测

4．3．1 特征提取

4．3．2 多核学习模型

4．4 实验结果及分析

4．4．1 实验设置

4．4．2 实验结果

4．5 本章小结

第五章 总结与展望

5．1 全文总结

5．2 工作展望

参考文献

攻读硕士学位期间的学术活动及成果情况