基于人脸对象的简单人脸视频静态摘要的研究

摘要

传统静态视频摘要方法主要根据相邻帧之间的差异来提取视频关键帧，本文着重于对视频中的人脸对象进行分析并提取视频关键帧集合。由于视频中检测到的人脸图片数量较多且存在一定的冗余，常规的人脸特征维数又较高，从而大大影响生成视频摘要的精度和速度，为此，提出了一种针对face-track的特征描述方法，其中的face-track是指跟踪视频中的单个人脸而得到的图片集合;本文提出的face-track特征描述法通过对face-track的人脸图片集合进行特征空间变换，分析提取其中有效的信息，从而得到对于face-track的整体描述而非单张人脸的特征描述。使得视频中的人脸特征不仅在数量上而且在维度上都得到了有效压缩。实验比较了不同的特征提取方法，并采用不同的聚类算法进行了效果验证，结果表明本文提出的face-track特征描述方法在聚类时间上和准确度上都有一定的优势。
　　通过聚类算法从视频中获得关键帧，从而生成静态摘要，是一种常见的视频摘要生成方法，然而常见的聚类算法不仅需要预先确定类的个数，而且忽略了视频帧的时间顺序，导致得到的视频摘要不能准确概括视频中的重要内容。稀疏子空间聚类是一个新颖的聚类方法，该方法不需要预先制定聚类个数，本文在原有的稀疏子空间聚类的基础上，提出了基于人脸序列的稀疏子空间聚类算法，并给出了一个新颖的视频摘要生成系统。该系统不同于常规的侧重于分析整个视频帧内容的视频摘要生成方法，而是侧重于分析视频帧中的人脸对象，通过检测跟踪视频中的人脸，得到若干人脸序列，然后通过对这些人脸序列进行稀疏子空间聚类，将整个视频按照视频中出现的重要人物进行概括，当用户选中某个人时，系统则给出该人物在整个视频中的关键帧，不仅可以方便用户快速浏览视频内容，查看感兴趣人物的活动轨迹，而且可以缩短大规模视频库的检索时间。实验比较了跟本文方法接近的聚类算法以及视频摘要生成方法，结果表明本文方法可以得到较为满意的静态视频摘要。

目录

声明

摘要

第1章 绪论

1．1 研究背景及研究意义

1．2 国内外研究现状

1．2．1 基于对象的视频摘要

1．2．2 静态摘要的研究现状

1．3 研究内容

1．3．1 人脸对象的特征选取

1．3．2 对选取特征进行聚类

1．4 论文章节安排

第2章 相关理论基础

2．1 人脸检测

2．1．1 基于知识的方法

2．1．2 基于学习的方法

2．2 目标跟踪

2．2．1 一般跟踪方法

2．2．2 自适应跟踪方法

2．2．3 TLD算法框架结构

2．3 PCA降维

2．4 LBP

2．5 常用聚类方法理论介绍

2．5．1 kmeans聚类

2．5．2 子空间聚类介绍

2．6 本章小节

第3章 基于face-track的特征提取

3．1 引言

3．2 视频人脸检测与跟踪

3．3 face-track特征提取方法

3．4 分场景聚类

3．5 实验结果与分析

3．6 本章小结

第4章 基于稀疏子空间聚类的人脸视频静态摘要

4．1 引言

4．2 稀疏表示理论

4．3 稀疏表示模型

4．4 谱聚类算法

4．4 稀疏子空间聚类

4．5．1 实验数据

4．5．2 实验结果

4．6 本章小结

第5章 人脸视频静态摘要的系统实现

5．1 引言

5．2 软件系统结构设计

5．3．1 系统的开发及运行环境

5．3．2 系统主界面的设计

5．4 本章小结

第6章 总结与展望

6．1 总结

6．2 展望

参考文献

攻读学位期间发表的学术论文目录