基于分层代表帧提取的视频摘要研究

摘要

随着视频采集、存储设备的广泛使用和网络传输性能的不断改善，国家重点支持的数字视频产业在电视、网络、手机等载体上发展迅速。面对如此繁多庞大的视频，人们期盼着出现一种快速有效的选择方法以节省时间和精力。视频摘要技术产生的视频摘要作为一种反映视频主要内容的精简版本，可以解决感兴趣视频“选择难”的问题。
　　 本文主要研究从底层特征、人物对象到说话事件的静态视频摘要生成方法，其核心技术是“代表帧”的提取，主要做了以下工作：
　　 （1）从视频帧底层颜色特征出发，改进了传统的颜色聚合向量使用固定连通阈值不能准确描述视频帧特征和基于等价关系聚类中截矩阵的固定阈值不能适应视频内容丰富变化的不足，并加入了视频的时序特征，生成一般视频摘要。其过程不需人为干预，阈值适应性强，结果也令人满意。
　　 （2）引入“人物基础帧”的概念及其提取方法，并在“混合颜色空间”中训练肤色的高斯混合模型，不仅极大地减少了人物对象的检测帧数，而且更加准确地描述了肤色的聚集特性。通过检测人物基础帧上的肤色区域生成的人物视频摘要满足了用户对视频人物的快速了解和认识。
　　 （3）结合运动对象与人脸检测，提取说话事件代表帧，生成说话事件摘要。在提取运动对象时，提出了人物基础帧与其运动对象之间对应关系的方案。在使用Haar-like特征和AdaBoost算法训练强分类器检测人脸时，通过缩减较小矩形、改变检测窗口大小来解决特征数量巨大及人脸多尺度问题，并给出特征值的具体计算表达式，弱分类器的分类阈值采用有序分段穷举法，使选择的最优弱分类器更准确。生成的说话事件摘要基本反映了视频人物的动作和行为。

目录

文摘

英文文摘

声明

第一章 绪论

第二章 视频摘要的相关概念及技术

第三章 基于代表帧提取的一般视频摘要

第四章 基于基础帧肤色提取的人物视频摘要

第五章 基于运动区域人脸检测的说话事件摘要

第六章 总结与展望

参考文献

致谢

攻读硕士学位期间发表的论文

攻读硕士学位期间参加的科研项目