基于金字塔匹配的视频检索关键技术研究

摘要

随着互联网上视频数据的海量增长，对视频数据的组织和管理成为当下的迫切需求。由于传统的基于属性和文本的视频检索存在许多不足之处，因此直接通过视频的内容特征为索引的视频检索成为了当前研究中的一个热点，其中特征提取和特征的相似性度量是其关键技术。它可以结合文本检索技术实现更加准确的视频分类和索引，可以剔除文本检索视频中出现的重复视频，还能够解决网站视频版权的维护和界定等问题。但由于目前视频的底层特征与用户理解之间存在“语义鸿沟”问题，现有基于内容的视频检索系统的检索结果往往精度不够高，不能很好地满足用户的检索需求。
　　 本文在基于金字塔匹配的视频检索框架下，对视频的特征提取和金字塔系列相似性度量算法做了研究。首先，为了选择鲁棒的特征进行视频检索，对多种视频特征做了比较和分析，为了充分利用视频的时空信息，在传统特征提取算法的基础上，提出一种镜头高层特征提取算法，算法对视频镜头中频繁出现的时间稳定区域进行跟踪，构造一个区域关系图，并利用图的连通性和区域节点的属性选取出信息量较大的区域节点作为镜头的表示，然后代表镜头的区域中提取多类基础特征的统计作为镜头特征，该算法提取的特征可以为视频镜头的自动分类服务。同时，研究了“视觉词包模型”下的金字塔匹配算法，针对金字塔匹配算法中，特征编码使用矢量量化方法表示不够精确的问题，将生物学视觉感知中的重要研究成果稀疏编码方法融入了该方法中，使得匹配结果更加符合人眼的视觉感知判断，从而提高检索的精度。最后，在基于金字塔匹配的视频检索框架下，融合了镜头分割、特征提取、密码本训练、特征编码、相似性度量等模块，对整个检索系统进行了仿真实验。
　　 经过仿真实验表明:本文提出的融合传统特征提取算法和视频时空信息的高层镜头特征提取算法取得了较好的视频分类效果;而稠密sift特征相比颜色、纹理、边缘等特征更为鲁棒，适合作为视频检索的索引特征，运用于金字塔匹配视频检索系统中，融合稀疏编码方法可以更有效的提高检索的精度和效率。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．3 论文的主要研究工作

1．4 论文的组织和结构

第二章 关键技术及评价方法概述

2．1 基于金字塔匹配的视频检索系统框架

2．2 镜头分割及关键帧提取

2．2．1 视频的层次结构

2．2．2 常用镜头分割算法

2．2．3 常用关键帧提取算法

2．3 特征提取及评价方法

2．3．1 基础特征提取

2．3．2 高层特征提取

2．3．3 特征评价方法

2．4 相似性度量

2．4．1 向量空间模型下的方法

2．4．2 潜在语义模型下的方法

2．5 检索评价方法

2．5．1 查全率和查准率

2．5．2 NDCG@k

2．5．3 二分法判别

2．6 本章小结

第三章 视频特征提取算法研究及改进

3．1 视频的全局特征提取

3．1．1 全局颜色直方图

3．1．2 全局颜色集

3．2 视频局部特征提取

3．2．1 稠密sift特征

3．2．2 网格颜色矩

3．2．3 Gabor纹理

3．2．4 边缘方向直方图

3．3 基于关键帧的高层特征提取算法

3．3．1 JSEG图像分割算法

3．3．2 区域特征提取

3．4 基于时间稳定区域的高层特征提取算法

3．4．1 区域跟踪算法

3．4．2 区域选择算法

3．5 视频特征的编码表示

3．5．1 特征密码本训练

3．5．2 特征编码

3．6 特征比较实验

3．6．1 实验数据

3．6．2 结果及比较分析

3．7 本章小结

第四章 金字塔匹配相似性度量算法的研究与改进

4．1 金字塔匹配算法

4．1．1 空间金字塔匹配算法

4．1．2 时间均衡金字塔匹配算法

4．1．3 时空金字塔匹配算法

4．2 融合了稀疏编码的金字塔匹配算法

4．2．1 矢量量化方法和稀疏编码方法

4．2．2 算法思想

4．2．3 算法实现

4．3 视频检索实验

4．3．1 实验步骤

4．3．2 检索结果

4．3．3 比较及分析

4．4 本章小结

第五章 总结与未来工作

5．1 总结

5．2 未来工作

致谢

攻读硕士学位期间从事的科研工作及取得的研究成果

参考文献