基于内容的层次视频摘要生成技术研究

摘要

随着多媒体技术和网络信息的飞速发展,数字视频信息的数量成指数级增长,如何对其进行有效的存储、管理和检索,成为目前亟待解决的问题。视频摘要是解决以上问题的一个途径,同时视频摘要也能辅助建立视频检索和索引系统。因此对于视频摘要的研究有着十分重要的意义。
　　 本文在现有的视频摘要生成方法的基础上,提出在视频的镜头级和场景级建立层次视频摘要,以满足用户对视频内容不同信息粒度的需求,并对层次视频摘要生成的相关技术进行分析完善,提出自己的算法,开发出层次视频摘要原型系统。本文的主要工作包括:
　　 (1)提出一种基于改进的k-means算法的关键帧提取方法。该方法在关键帧提取过程中,利用人工鱼群算法的自组织性对k-means进行改进优化。算法中首先采用人工鱼群算法依据特征向量进行自组织的聚类,得到k-means算法所需要的聚类个数以及初始聚类中心,然后执行k-means算法进行最终聚类,最后提取出距离每个聚类中心最近的帧作为关键帧。将提取出的关键帧按序输出,得到细粒度的镜头级视频摘要。该方法可克服传统聚类算法中需要先验知识指定初始聚类数,初始聚类中心随机性选择带来的不稳定性及容易陷入局部极值的问题。
　　 (2)提出一种基于镜头多特征融合的场景分割方法。在镜头相似度衡量中,综合考虑镜头的颜色特征、空间结构特征和镜头的运动特征,以提高场景检测的准确性。并通过双滑动窗口聚类算法将时间相近,内容相似的镜头聚集到同一场景中,在双滑动窗口聚类算法中,采用半自动的方法进行镜头相似度阈值的选取,避免了经验值的设定。
　　 (3)提出一种基于代表镜头的场景摘要生成方法。为保证场景摘要的内容完整丰富,可以吸引用户注意力,分别计算场景中每个镜头的时空域显著度和镜头的持续度,通过加权求和得到每个镜头的重要度,选取镜头重要度高的几个镜头作为该场景的代表镜头,选取代表镜头的关键帧作为场景代表帧,将场景代表帧按照时序排列输出,生成基于场景的粗粒度视频摘要。
　　 (4)采用面向对象的思想对系统进行分析设计,运用UML建模语言对系统架构进行建模,实现层次视频摘要原型系统。该系统由镜头级视频摘要生成、场景检测及场景摘要生成等功能模块组成,其中镜头级视频摘要生成包含镜头分割、关键帧提取两个部分。该系统对本文提出方法的效果进行了验证。