视频事件结构化描述方法研究

摘要

随着视频事件描述的发展，基于文本的描述方式与基于内容的描述方式由于其存在的缺陷，已经不再适用于描述交通监控视频中发生的事件。本文的研究内容是交通视频中事件的描述与识别，其是针对视频的无结构性提出的，旨在提供对视频内容的层次化表达。目标是针对交通监控视频内容按照语义关系，利用深度学习、本体论、逻辑描述语言等处理手段，组织成可供计算机和人能理解的信息。具体的研究内容如下：
　　首先，针对视频内容的无结构性的特点，设计了一种新型的丰富语义模型，即视频事件结构化描述模型（VSD）。该模型提取了视频中的对象、属性及关系等信息，构成视频本体，能够有效地描述视频内容，以减少低级别语义（特征）和高级别语义（事件）之间的差距。对于交通视频本体的实际创建过程，提出了利用Protege软件和从数据库转换两种构建方法，并对从关系数据库到领域本体的转换过程进行了详细分析。实验借助于Protege工具，进行了交通视频事件结构化描述模型的实现，这为下文事件描述研究提供实例创建。最后将此描述模型利用相关规则进行评分，直观地展示了所提出模型的优越性。
　　其次，在对象描述方面，研究了模式识别和描述逻辑两个领域，即从交通对象识别检测和对象关系映射推理两个方面来进行对象语义表示。在视频对象识别检测研究过程中，探索了卷积神经网络的结构特点，提出了一个适用于交通对象识别的网络结构，对其进行参数优化，结合R-CNN对象检测方法，在实验中得到了良好的检测效果；在对象关系映射的研究中，给出了视频事件结构化描述模型中对象空间关系的具体定义（包括RCC空间拓扑关系和井字形空间方向关系），并利用本体逻辑语言进行对象关系描述。最后引入了对象一致性推理算法，用于进一步推测交通对象之间的语义关系。
　　最后，结合视频事件结构化描述模型和对象映射的方式，提出了基于场景上下文的事件描述方法。即预先设定了交通视频中的空间、时间、特殊值上下文，利用其与目标对象的关系提取视频中每一帧的语义信息。以此为基础，在交通事件识别上引入了事件单元概念，提出了基于贝叶斯分类器和有限状态自动机的事件识别方法，用于实现简单与复杂交通事件的识别。实验中证明了所提出的事件描述方法和识别方法的可行性。

目录

声明

专用术语注释表

第一章 绪论

1.1课题研究背景及意义

1.2国内外研究现状

1.3论文研究内容

1.4论文结构安排

第二章 视频事件描述技术基础

2.1视频事件描述模型概述

2.2视频描述技术

2.3视频结构化描述中的本体技术

2.4深度学习识别技术

2.5本章小结

第三章 视频事件结构化描述模型研究

3.1视频事件结构化描述模型设计思路

3.2交通视频事件结构化模型

3.3基于领域本体的交通结构化模型的实现

3.4相关实验及分析

3.5本章小结

第四章 交通对象识别检测方法与逻辑描述研究

4.1交通对象语义描述问题分析

4.2基于CNN的交通对象识别检测方法

4.3基于逻辑描述的交通对象语义映射

4.4交通对象描述实验与分析

4.5本章小结

第五章 交通视频事件语义表达研究

5.1交通事件语义描述

5.2基于本体的交通事件描述识别

5.3交通事件描述实验与分析

5.4本章小结

第六章 总结与展望

6.1论文工作总结

6.2未来工作展望

参考文献

附录1 攻读硕士学位期间撰写的论文

致谢