视频语义信息提取的研究

摘要

随着计算机技术和网络的发展，产生了越来越多的视频数据。相比较于传统的文本信息，视频的内容更加丰富、直观和生动。但是视频由于其非结构化和内容的多义性，使得无法对它进行有效的检索。如何对这些视频进行有效地组织，存储，管理和检索，使用户能快速获得所需要的信息，已成为一种迫切的需求。传统的信息检索方案，因其不能自动、客观地概括视频的内容，已越来越不能满足信息技术发展的需要。20世纪90年代初，开始了一种新技术的研究，这就是目前人们普遍关注的基于内容的视频检索技术（CBVR，Content-Based Video Retrieval）。 早先的视频信息检索方案，是通常人工浏览视频、人工标注信息来实现的。但它不能客观、准确、全面地概括视频的内容。现有的内容检索技术则是基于底层特征的，它将视频序列分割为镜头，并在镜头内选择关键帧，然后提取镜头的运动特征和关键帧中的视觉特征，并存入视频数据库。最后根据用户提交的查询按照一定特征进行视频检索，将检索结果按相似性程度交给用户。这种检索方式是基于底层特征的，非语义层面的。然而，人们更习惯于使用高层概念进行相似性判断。当中存在的低层特征和高层语义之间的“语义鸿沟”问题，使得CBVR还难以适用于普通用户。如何填平“语义鸿沟”，达到语义级别的视频检索，成为最具挑战的研究内容。 为实现根据语义查询，本论文针对视频高层语义提取（或视频标注）展开研究，利用支持向量机（SVM）提取视频的语义特征。在当前普遍缺乏训练样本的前提下，将主动学习引入语义提取当中，在人工干预尽量少的情况下，获得更好的结果。然而已有的主动学习算法多采用单模态的方法，即将特征向量串联成一个大维数向量，来进行学习。考虑到视频特征的多样性和复杂性，本文提出一种基于SVM的多模态主动学习算法，在每一轮主动学习中，根据每个模态反馈的样本进行人工标注。每个模态使用SVM学习其概念。通过该方法，更充分地挖掘了人工标注的劳动，避免反馈样本局限于特定区域。 本文的主要工作如下：1、首先论述了视频检索的研究背景和研究现状；2、在研究视频检索关键技术的基础上，提出了本文所使用的特征和特征提取的方法；3、针对支持向量机的广泛应用，展开对统计模式和支持向量机原理的研究，并将SVM应用于视频标注。4、在前两步的基础上，针对上面提出的问题，设计了一种基于SVM的多模态主动学习算法，并进行了实验验证。5、最后设计了一个快速检索框架，帮助实现本文的工作。

目录

文摘

英文文摘

声明

第1章绪论

1.1研究的背景和意义

1.2基于内容的视频检索综述

1.2.1视频的结构

1.2.2基于机器学习的视频标注

1.3 国内外研究现状

1.4 章节安排

第2章视频的结构分析与特征提取

2.1视频结构分析

2.1.1镜头分割

2.1.2关键帧提取

2.2常用的特征

2.2.1颜色

2.2.2纹理

2.2.3本文提取的特征

2.3本章小节

第三章基于SVM的分类器设计

3.1统计学习理论

3.1.1机器学习

3.1.2经验风险最小化

3.1.3 VC维

3.1.4结构风险最小化

3.2支持向量机

3.2.1最优分类面的解释

3.2.2线性可分支持向量机

3.2.3线性不可分支持向量机

3.2.4核函数

3.2.5 SVM多值分类器的构造构造

3.3将SVM应用于语义提取

3.4本章小节

第四章基于SVM的多模态主动学习

4.1 主动学习

4.2基于主动学习的半自动视频标注

4.3基于多模态的主动学习

4.3.1视频的多模态特征

4.3.2多模态主动学习

4.4实验

4.4.1数据集

4.4.2特征的提取

4.4.3 性能度量

4.4.4结果与分析

4.5本章小节

第五章系统的设计

5.1数据库设计

5.2总体框架

5.2.1 建立视频的语义数据库

5.2.2设计分类器

5.2.3用户接口

5.2.4界面设计

5.3本章小节

第六章结论与展望

6.1 结论

6.2展望

参考文献

附录

致谢

攻读学位期间参加的科研项目和成果