复杂场景下基于中层语义表示的视频异常事件检测的研究

摘要

视频异常事件检测是指从视频序列中发现由监控目标（人或汽车等）引起的和期望事件模型差别较大的事件，是智能监控系统中的核心任务之一，近些年来已成为计算机视觉领域中的研究热点。视频异常事件检测的实质是分析原始视频数据获得事件在特定上下文中正常或异常的高层语义解释。事件的底层特征描述子是异常事件检测的基本视觉线索，然而，底层特征描述子的描述能力有限，与高层语义解释之间仍然存在着较大的鸿沟。为了缩小这种语义鸿沟，增强事件的描述能力，提高检测系统的性能，有必要使用中层语义模型将以底层特征描述的事件建模成简洁、鲁棒、表达性和区分性更好的中层语义表示。本论文针对复杂场景中的干扰、异常因素的多重性、事件的内在结构复杂性、不确定性、上下文依靠性、手工特征的场景依赖性等一些难点问题，研究了如何设计一个有效的事件中层语义模型以提高事件的描述能力，以及探索研究一个基于表示学习的异常事件检测系统，其主要研究思想描述如下：
　　1.提出了一种基于时空块的梯度-中心矩（Gradient-central-moments，GCM）描述子作为底层特征。GCM描述子的提取不依赖于目标检测与跟踪等在复杂场景中难以实现的操作，可以兼顾事件中的运动及表观信息，计算高效，对于复杂场景中的事件描述及异常事件检测十分有效。
　　2.设计了基于词袋（Bag-of-words，BoW）表示的异常事件检测方法。相对于底层特征描述子，BoW表示是简洁的中层语义表示，具有更好的鲁棒性、表达性与区分性。实验结果的分析与对比证明，设计的方法能够有效检测不同类型的异常事件，达到了较好的性能。
　　3.提出了一种基于结构上下文词袋（Bag-of-structural-context-words，BoSCW）表示的异常事件检测方法。事件的BoSCW表示不仅具有 BoW表示的优点，而且克服了BoW表示不能利用事件结构上下文线索的不足，具有更好的表达性。实验结果证明，本章方法较好的提升了检测系统的性能。
　　4.提出了一种基于原子特征袋（Bag-of-atomic-features，BoAF）表示的异常事件检测方法。不同于常规特征袋模型中只将一个视觉词分配给局部特征，BoAF模型使用稀疏编码将超完备字典上的多个原子以不同的权值赋予局部特征，无论局部特征类型在训练样本中是否存在，BoAF模型都能以极低的近似误差去重建，因此有效解决了不确定性问题。实验结果证明，基于BoAF表示的方法具有更好的性能。
　　5.提出了一种基于混合信息（Hybrid information，HI）表示的异常事件检测方法。考虑到异常事件的上下文依靠性，事件的HI表示能够兼顾事件的内部特征与外部关系，有效利用了空间上下文线索。实验结果分析与对比表明，由于兼顾了事件内部特征与外部关系，本文方法的性能优于仅考虑事件内部特征的方法，对于检测空间异常事件十分有效。
　　6.提出了一种基于表示学习的异常事件检测方法。考虑到手工特征的难以选择、参数调整复杂、场景依赖性强、通用性差等不足，本文设计了深度增量慢性特征分析（Deep incremental slow feature analysis，D-IncSFA）网络直接从输入视频流中在线学习出有用的多尺度事件语义表示。本文方法能够较好的检测异常事件，不依赖于手工特征，通用于不同类型的场景。

目录

声明

第一章 绪论

1.1研究背景和意义

1.2视频异常事件检测的研究现状

1.3视频异常事件检测的基本框架

1.4异常事件检测中的底层特征描述子

1.5异常事件检测中的中层语义表示

1.6视频异常事件检测中的高层事件模型

1.7异常事件检测中的难点问题

1.8本论文的创新点和组织结构

第二章 基于词袋表示的视频异常事件检测

2.1引言

2.2基于BoW表示的异常事件检测系统

2.3实验结果及性能评价

2.4 本章小结

第三章 基于结构上下文词袋表示的异常事件检测

3.1引言

3.2基于BoSCW表示的异常事件检测系统

3.3实验及结果评价

3.4本章小结

第四章 基于原子特征袋表示的异常事件检测

4.1引言

4.2稀疏表示的基本理论

4.3基于BoAF表示的异常事件检测系统

4.4实验结果及性能评价

4.5本章小结

第五章 基于混合信息表示的异常事件检测

5.1引言

5.2基于混合信息表示的异常事件检测系统

5.3实验结果及性能评价

5.4本章小结

第六章 基于表示学习的异常事件检测

6.1引言

6.2背景与动机

6.3增量慢性特征分析

6.4基于表示学习的异常事件检测系统

6.5实验结果及性能评价

6.6本章小结

第七章 总结与展望

7.1论文工作总结

7.2研究展望

参考文献

攻读博士学位期间发表、录用和完成的学术论文

攻读博士学位期间科研情况

致谢