视频中的Spatio-temporal SIFT特征点检测

摘要

近年来有关图像中的特征识别技术已经日趋成熟，并且被广泛应用于图像检索、图像识别、物体跟踪等领域；而视频中的特征识别研究则刚刚起步，有关视频检索、视频解析、动作识别等应用还存在着很多技术难点。本文以局部特征点的思想研究视频，提出一种全新的高性能视频特征识别算法。
　　 首先，回顾了局部特征点检测算法的发展历史：涵盖了从早期的Harris角点检测一直到近年来流行的SIFT等内容，并以stip算法为例介绍近年来该类方法在视频领域内的应用。
　　 随后，分析了stip算法的优缺点，归纳出局部特征点方法的一般模式。在stip和SIFT的基础上，提出把SIFT思想加以扩展来研究视频的思想，并且通过实践，逐步建立起Spatio-temporal SIFT特征点检测算法。进而从理论分析了该算法相对于stip等其他同类算法的优缺点，并且通过实验进行了验证。
　　 最后，通过研究几种流行的特征点描述算法，选取合适的方法用来描述所提出的Spatio-temporal SIFT。在此基础上，以视频中的动作识别为例初步验证了Spatio-temporal SIFT特征点检测算法的效果。
　　 本文提出的Spatio-temporal SIFT算法是一种比较基础的视频特征检测与描述算法，它不仅可以用来做动作检测和识别，同样也可以应用于视频语义解析，视频分类等多个领域，具有广泛的应用价值。

目录

文摘

英文文摘

论文说明：图表目录

声明

致谢

第1章 绪论

1.1 研究意义

1.2 本文的工作

1.3 本文的组织结构

第2章 局部特征点方法综述

2.1 二维图像中的特征点检测

2.1.1 Moravec角点检测

2.1.2 Harris角点检测

2.1.3 高斯模糊与尺度空间理论

2.1.4 Laplace算子

2.1.5 Harris-Laplacian

2.1.6 SIFT特征点

2.2 视频中的动作识别

2.2.1 常用视频识别方法

2.2.2 Spatio-temporal Interest Point

2.3 本章小结

第3章 Spatio-temporal SIFT特征点检测

3.1 二维SIFT算法详述

3.2 Spatio-temporal SIFT特征点检测

3.2.1 扩展SIFT到时间域

3.2.2 时间域上的尺度金字塔

3.2.3 时间域上的极值点求取

3.2.4 空间域上的极值点求取

3.2.5 空间域和时间域上的灰度梯度方向

3.2.6 Spatio-temporal SIFT特征点检测算法描述

3.2.7 实验结果和对比

3.3 本章小结

第4章 Spatio-temporal SIFT特征点的描述

4.1 常用局部特征点描述方法

4.1.1 SIFT描述子

4.1.2 Stip描述子

4.1.3 3d SIFT描述子

4.2 Spatio-temporal SIFT描述子

4.2.1 寻找合适的描述方法

4.2.2 s-t SIFT描述算法

4.3 本章小结

第5章 视频中的动作识别

5.1 K-means聚类算法

5.2 Bag of features表示法

5.3 视频解析和动作检测

5.3.1 动作模式定义

5.3.2 即时动作检测以及实验结果

5.4 本章小结

第6章 总结与展望

6.1.1 工作总结

6.1.2 前景展望

参考文献

作者简历