面向感知的视频内容表示研究

摘要

视频内容分析是近年来非常活跃的一个研究方向，其基本研究目的是研制自动化的算法和系统，以便于实现对视频信息的有效组织、管理和再利用。视频内容表示是视频分析系统中的一项重要内容，已成为解决低层特征和高层语义之间的语义鸿沟问题的主要途径之一，其研究目的是通过对视频数据的处理和分析，建立具有语义表征性的内容表示模式，进而实现对视频内容的表达和描述。鉴于其重要地位和功能，论文针对视频内容表示进行了研究。 论文基于视觉认知理论的有关研究成果，构建面向感知的内容表示机制，主要包括三个方面：基于语义单元、基于事件和基于关键帧的内容表示的研究，提出了有效的算法，并用实验验证了这些算法的有效性。 在基于语义单元的表示上，将注意力机制引入视频信息的分析，针对视频序列中的图像帧，提出了一种有效的视频信息显著性分析方法，用于提取符合感知过程中受注意程度高的区域，即显著区域。 由于视频信息的时空特性，单幅图像帧的显著区域不能满足视频语义分析的要求。为了提取更为有效的语义单元，除了需要空域的区域分割外还需要进行时域的分析以获得空域和时域两方面的语义信息。通过显著区域的时空特征一致性分析，论文提出了一种基于时空显著单元的提取算法，得到一个时间段内具有内容一致性的时空区域，即时空显著单元，其内容表征能力在视频序列匹配的应用实验中得到验证。 在基于事件级的内容表示上，根据人对事件的视觉感知特点，论文构建了一个事件级内容表示模型。并在此模型基础上，针对体育视频中的特定语义事件，提出了一种有效的语义事件检测方法。 在基于关键帧的内容表示上，从度量视频序列内容变化程度这个问题出发，提出了一种基于内容冗余度和语义相关性的关键帧提取算法，用以简明扼要地总结视频信息的主要内容，为用户提供了概观视频内容的途径和非线性浏览视频的方式。

目录

文摘

英文文摘

第一章绪论

1.1 课题背景

1.2 视频内容分析研究现状

1.2.1视频内容分析的基本框架

1.2.2特征提取

1.2.3视频内容表示

1.2.4 MPEG-7与视频内容表示的关系

1.2.5其他问题

1.2.6应用前景和研究机构

1.3 发展趋势和关键问题

1.3.1发展趋势

1.3.2关键问题

1.4 论文的研究内容、成果和结构安排

1.4.1研究内容

1.4.2研究成果

1.4.3论文结构安排

第二章基于视觉注意力机制的显著区域提取

2.1 问题描述

2.2 相关工作介绍与分析

2.2.1相关工作介绍

2.2.2存在的问题

2.2.3视频信息显著性分析解决思路

2.3 模糊信息粒化的基本概念

2.3.1信息粒化

2.3.2模糊集的度量

2.3.3模糊集的贴近度

2.4 视频序列显著区域提取算法

2.4.1预处理

2.4.2可计算特征提取

2.4.3模糊信息粒化算法

2.4.4显著区域提取

2.5 实验结果与分析

2.5.1实验数据集和评价指标

2.5.2特征粒化实验结果

2.5.3显著区域提取结果与分析

2.6本章小结

第三章基于时空显著单元的视频内容表示

3.1 问题描述

3.2 相关工作介绍与分析

3.2.1基于时空域分割的内容表示方法

3.2.2相似性测度

3.3 时空显著单元提取

3.3.1方法概述

3.3.2显著区域跟踪

3.3.3子单元特征描述

3.3.4子单元合并算法

3.4 实验结果和分析

3.4.1实验数据集和评价指标

3.4.2实验结果

3.5 应用——基于时空显著单元的视频序列匹配

3.6 本章小结

第四章基于事件感知结构的事件检测和表示

4.1 问题描述

4.2 相关工作介绍

4.3 总结和分析

4.4 事件级内容表示模型

4.4.1有关事件感知的认知心理学基础

4.4.2事件级内容表示模型

4.5 体育事件检测

4.5.1视频片段的景别分类(View-Type Classification)

4.5.2基于规则的Play/Break事件检测算法

4.6 实验结果和分析

4.6.1实验数据集

4.6.2实验结果和分析

4.7 本章小结

第五章基于关键帧的内容表示

5.1 问题描述

5.2 相关工作介绍与分析

5.2.1内容描述

5.2.2关键帧选取

5.2.3阈值选取

5.2.4总结分析

5.3 关键帧提取算法

5.3.1基于内容冗余度的关键帧数目分配算法

5.3.2基于内容相关性的关键帧选取算法

5.4 实验结果与分析

5.4.1评价方法与指标

5.4.2关键帧分配算法的有效范围分析

5.4.3实验设置

5.4.4结果与分析

5.5 本章小结

第六章论文工作总结与展望

6.1 论文工作总结

6.2 进一步的工作

参考文献

攻读博士学位期间发表的学术论文(第一作者)

致谢