基于内容的视频分割与检索技术研究

摘要

随着计算机多媒体技术的发展和多媒体信息处理需求的不断增长，基于内容的视频检索技术CBVR(Content-based Video Retrieval)越来越受到人们的广泛关注，相关的视频处理研究成为当前一个重要的研究领域。 视频数据可用幕、场景、镜头、帧等描述。视频分割的一般做法是基于帧的分割，其任务主要集中于镜头(Shot)边界检测，从而将视频在时间轴上分成镜头的集合。镜头分割是视频处理的第一步，是随后的高层语义分析、分类、索引和检索的基础，其准确性将直接影响到后续处理的结果。镜头边界检测的关键是找到图像帧之间的差别，并在此基础上提取出关键帧和运动信息以供浏览和检索之用。 视频检索就是要从大量的视频数据中找到所需的视频片断，传统的视频检索只能通过快进和快退等顺序的方法人工查找，因而是一件非常繁琐耗时的工作，这显然已无法满足多媒体数据库的要求。用户往往希望只要给出例子或特征描述，系统就能自动地找到所需的视频片断点，从而实现基于内容的视频检索。 本文首先介绍了基于内容的视频分割与检索的一般理论和一些典型算法，然后提出了一个新的视频分割和检索系统的概要描述模型，通过该模型可以指导各种层次化的视频数据的处理。接着通过对压缩域视频数据的研究，本文提出了一个多模式快速镜头边界检测算法，用以在基于MPEG标准的视频流数据上进行快速的镜头分割。之后本文讨论了视频数据的特征提取、描述与检索的一般理论与方法，最后对本文的理论算法进行了实验验证与性能评价。

目录

文摘

英文文摘

声明

第一章综述

1.1研究背景及应用领域

1.1.1研究背景

1.1.2应用领域

1.2研究的发展与现状

1.2.1当前基于内容的视频分割技术研究动态

1.2.2国内外基于内容的视频检索研究成果

第二章基础理论与关键技术

2.1图像数据的压缩理论

2.1.1无损压缩

2.1.2有损压缩

2.2多媒体数字视频压缩标准

2.2.1 H.26x标准

2.2.2 MPEG-1/2标准

2.2.3 MPEG-4标准

2.2.4其它视频标准

2.3视频数据分割与检索基本理论与方法

2.3.1视频数据分割理论与方法

2.3.2视频数据检索理论与方法

2.4典型视频分割算法概述

2.4.1基于象素比较的算法

2.4.2基于直方图的算法

2.4.3基于块匹配的算法

2.4.4基于DCT系数的算法

2.4.5基于DC系数的算法

第三章视频分割与检索系统概要分析

3.1视频数据的层次化描述模型

3.1.1物理层

3.1.2数据逻辑层

3.1.3语义逻辑层

3.1.4应用层

3.2视频分割与检索系统的结构框架

3.2.1视频分析模块

3.2.2检索查询模块

3.2.3视频数据库组件

第四章基于压缩域的多模式快速镜头分割算法

4.1 MPEG视频数据的特征分析与选择

4.2 Ⅰ帧分析

4.2.1 DC亮度系数直方图差及其变化曲线

4.2.1 Ⅰ帧的分布

4.3运动分析

4.3.1双向运动向量数比

4.3.2LR(i)曲线及振荡频度

4.4算法描述

第五章基于内容的视频数据特征提取与描述

5.1视频镜头中关键帧的提取

5.1.1基于镜头的方法

5.1.2基于内容分析的方法

5.1.3基于运动分析的方法

5.1.4基于聚类的方法

5.2视频数据的特征空间提取

5.2.1基于关键帧的静态特征提取

5.2.2基于时域的运动特征提取

5.2.3视频对象的分割

第六章基于内容的视频数据检索

6.1镜头的相似性度量与视频聚类

6.1.1镜头的相似性度量

6.1.2视频聚类

6.2基于颜色、纹理、轮廓和语义特征的视频数据检索

第七章视频分割与关键帧提取实验及性能评价

7.1实验的软硬件环境介绍

7.1.1实验平台介绍

7.2实验数据的采集及其分析

7.3实验系统

7.3.1程序中关键源代码的解释

7.3.2基本功能

7.3.1实验结果

7.4性能评价

第八章结论与展望

致 谢

参考文献

攻读硕士学位期间研究成果