基于内容的多层次语义视频对象提取技术研究

摘要

近年来，随着视频信号的压缩、传输和存储等方面技术的迅速发展，引发了基于内容的视频分析的研究热潮，人们对多媒体信息的需求也从简单的播放转向了以基于内容的访问、检索和操作为特征的交互式视频服务、娱乐视频应用以及各种媒体的视频点播等。 由于MPEG-4和MPEG-7等标准的提出，理解和提取语义视频对象成为一个视频压缩、检索等领域中非常重要的一个研究方向。尽管利用各种区域特征进行图片分割的研究已经取得了很大成效，但从众多视频资源中提取语义视频对象，建立具有健壮性的多层次的语义视频树还是一个亟待研究的课题。但由于特征和语义之间并不存在一一匹配的关系，传统视频内容分析方法带来了语义鸿沟问题。 如何利用现有的视频分割提取及内容分析技术，建立合理有效且更加具有一般性的语义视频信息描述模型，提出基于具体模型和内容的多层次语义视频对象提取算法是本文的主要工作。本文的主要思路是:首先在前期的研究基础上，对语义视频信息描述模型进行研究和探讨，提出一种基于内容的多层次语义视频对象描述模型，进而基于该语义视频对象提取结构框图设计和实现了一个足球视频对象提取算法。主要工作包括如下几个方面： 在语义视频对象描述与分析方面，本文在分析了基于结构建模和基于内容建模的传统语义视频对象描述模型及改进的视频语义信息层次化描述模型基础上，提出了一种适用于足球视频信息检测的多层次语义视频对象描述模型。 在语义视频对象提取方面，本文在提出的描述模型的基础上进一步提出了一个基于内容的多层次语义视频对象提取结构框图，并设计了基于多层次语义视频对象提取算法。算法具体如下：首先进行镜头边缘检测，利用光流法在一段连续的视频序列中提取关键帧。然后用高斯马尔可夫模型对其进行颜色和纹理的混合特征进行图像分割。用Normalize-cut准则，对其运动信息进行分析，分离背景，最后进行区域聚合，即得到具有语义的视频对象。本算法对于背景运动信息较丰富的序列图像取得良好的提取效果。 最后，论文还研究和预测了该技术在视频会议、视频对象监控的应用前景，并结合国家863高科技项目需求，开发出了一套“基于宽带网络的流媒体信息检测与内容监控”系统,并将具体的算法应用于系统中。