压缩域体育视频摘要技术研究

摘要

多媒体信息分析与检索是当前信息领域研究的热点之一。随着数字化技术的发展，数字多媒体资源特别是视频产品越来越丰富。多媒体具有蕴涵信息量大、直观和印象深刻等优点，已经逐渐成为网络和个人电脑上最重要的信息载体，传统的基于文本的信息检索技术很难对多媒体信息进行有效的结构化分析和快速检索。多媒体信息分析与检索通过对多媒体从低层特征到高层语义进行处理、分析的过程获取其内容并根据内容进行检索。由此可见，多媒体信息分析与检索具有重要的理论意义和应用价值。体育节目是观众最喜欢的视频之一，然而观众和体育专业人士在冗长的体育节目中很难定位其中的重要内容。视频摘要是对视频内容的概括，能够简洁表现视频的重要内容，目的在于帮助人们更快捷、更方便定位视频的重要内容，是多媒体信息分析与检索研究中的重要研究工作。基于压缩域处理可以实时生成视频摘要。为此，本论文从静态摘要、动态摘要和基于语义的摘要三个方面来讨论压缩域体育视频摘要技术，研究内容涉及交互式压缩域关键视频对象选择模型：压缩域摄像机运动估计和交互式压缩域关键帧选择模型；压缩域重放场景检测和基于重放场景的压缩域体育视频摘要；基于本体的压缩域语义体育视频摘要模型。在对现有方法分析的基础上，获得以下主要研究成果： 1、提出一种开放的交互式压缩域关键视频对象选择模型。引入交互计算模型将压缩域关键视频对象选择模型扩展为基于交互计算的压缩域关键对象选择模型。将压缩域关键视频对象选择算法形式化为压缩域关键视频对象选择模型，证明该模型满足归纳法准则；用紧凑和全面策略分别表示关键视频对象间内容不相关性和关键视频对象准确表达视频信息这两种行为，将用户选择这些策略的过程形式化为交互式压缩域关键视频对象选择模型，证明该交互式模型满足余归纳法准则。交互式压缩域关键视频对象选择方法是一个开放系统，不仅可以根据不同的策略选取相应的关键视频对象，而且紧凑策略的失真率比[Kirn2002]的方法低0.8％，全面策略的失真率比[Kim2002]的方法低3.8％。 2、以摄像机运动参数为特征，提出一种开放的交互式压缩域关键帧选择模型。基于M估计进行外点过滤，基于极线距离约束验证去除外点的正确性，并利用BFGS方法获得摄 像机运动参数的最佳估计。并以摄像机运动参数为特征，提出基于最短路径约束的最小化失真率方法和基于最小化失真率约束的最短路径方法，这两种方法分别对应紧凑和全 面策略。将压缩域关键帧选择算法形式化为压缩域关键帧选择模型，证明该模型满足归纳法准则；将用户选择紧凑和全面策略的过程形式化为交互式压缩域关键帧选择模型，证明该交互式模型满足余归纳法准则。用户可以根据偏好选择不同的策略，同时，紧凑和全面策略的失真率分别比[Porter2003]的方法低8.5％和9.1％。因此交互式压缩域关键帧选择方法具有良好的开放性。 3、提出一种有效的基于重放场景组织两层压缩域体育视频摘要的方法。利用压缩域的宏块、运动矢量特征进行重放场景检测，基于摄像机和颜色信息根据重放镜头检测原精彩片段，从而组织体育视频摘要。重放场景检测的查全率为91.2％，查准率为100％，而目重放场景检测算法可以识别高速摄像机产生的重放镜头，克服了[Koblal999]方法的不足。检测原精彩片段的算法主要针对文[yasugi2001]中未考虑摄像机缩放运动进行了改进。基于重放场景提出一种新的两层体育视频摘要浏览模式，第一层为关键场景，给用户提供了视频内容的概括：第二层为关键镜头，为动态和静态摘要浏览方式的结合。 4、提出一种基于本体的压缩域语义体育视频摘要模型。引入OWL本体描述语言对体育视频本体进行描述，并由此提出基于压缩域的层次化视频摘要策略。在三级层次化摘要中，关键场景展现了体育视频的全面语义信息，关键镜头展示了视频中的重要动作，关键帧显示了镜头的细节。因此三级层次化摘要能够在不同的层次表示视频的重要信息。进一步，我们对体育视频进行语义建模，运用Tableau算法进行推理，基于视频注释信息生成语义体育视频摘要。由于目前视频摘要研究侧重于基于低层语义特征，基于本体的体 育视频摘要建立了推理机制，不失为语义体育视频摘要的有益尝试，同时与文[Zhu2003]相比，我们提出的本体有两个优势：（1）、不仅描述体育视频的分类信息，而且对子类的 属性和限制以及子类之间关系进行刻画；（2）、该本体能够表示三层的层次化视频内容描 述的继承关系。 本论文在压缩域体育视频摘要技术方面做出一些研究工作，从算法和本体框架两个层次来讨论体育视频摘要的设计和实现技术，推动视频摘要技术在体育领域中的应用。

目录

文摘

英文文摘

论文说明：图表目录

声明及关于论文使用授权的说明

第一章绪论

第二章视频摘要技术综述

第三章交互式压缩域关键视频对象选择模型

第四章交互式压缩域关键帧选择模型

第五章基于重放场景的压缩域体育视频摘要

第六章基于本体的压缩域语义体育视频摘要模型

第七章结束语

参考文献

致谢

作者简历