基于时-空-内容特征的PTZ相机监控视频数据组织与检索

摘要

视频检索在安防监控等领域得到广泛应用，基于文本的视频检索只能对整段视频进行简单的文本属性检索，而基于内容的视频检索则可以对视频内容本身进行深度检索，是近年来的研究热点。目前，基于内容的监控视频检索，一般仅使用耗时的视觉内容特征匹配的方法，较少利用相机自身的地理时空信息对检索过程进行优化，难以兼顾检索效率和检索质量，在海量视频监控数据面前往往不尽如人意。PTZ（Pan/Tilt/Zoom）相机在监控领域广为使用，具有固定的空间位置和可计算的空间覆盖域。本文结合PTZ相机监控视频的时空特征、全局内容特征和局部内容特征，研究了监控视频及其特征数据的优化组织，提出了兼顾检索速度和检索质量的PTZ相机监控视频检索方法。
　　本文的主要研究成果如下:
　　(1)PTZ相机监控视频分层组织模型
　　针对PTZ相机监控视频数据的特点和高效检索的应用需求，结合键值型数据库的快速存取机制，设计了基于键值型数据库的监控视频数据分层组织模型，将监控数据分为相机、视频、镜头、关键帧四个层次，分析了不同层次数据在键值型数据库中的存储结构，同时根据PTZ相机的参数信息，计算出相机的空间覆盖域，根据视频和视频段的时间特征建立了基于区间树的时间索引，并在时间、空间和内容特征间建立了关联。
　　(2)视频结构化处理和特征提取
　　在镜头边缘检测时，采用可变滑动窗口的方式对视频帧进行比较，并利用颜色直方图检测镜头切变点，边缘轮廓法检测镜头的渐变点。在镜头分割的基础上，采用一种自适应阈值的方式进行关键帧提取，得到多个关键帧代表镜头的主要内容。为解决检索目标大小可变带来的匹配问题，将关键帧进行多粒度划分，提取了全局特征和SIFT局部特征代表子帧的主要内容，全局特征包括颜色、形状、纹理特征，采用高斯归一化公式进行归一化并进行多特征融合。
　　(3)基于时-空-内容特征的PTZ相机监控视频检索
　　采用时-空-内容特征相结合的检索方式，首先利用时空覆盖域进行快速剪枝，然后利用向量维度相对较少的全局特征进行粗查询，过滤掉匹配度低的关键帧，最后使用局部特征对候选集进行精确查询。
　　以常州市公安局提供的真实视频作为实验数据进行实验，通过对比实验表明，利用时空覆盖域和全局特征进行剪枝，减少了需要进行耗时的局部特征匹配的候选集，提升了检索速度，而局部特征匹配也确保了检索结果有效性。实验结果表明，本文提出的基于时-空-内容特征的PTZ相机监控视频数据组织和检索方法兼顾了检索效率和检索质量，达到了预期目标。

目录

声明

摘要

图目录

表目录

第1章 绪论

1．1 研究背景与意义

1．2 国内外研究现状

1．2．1 基于内容的视频检索研究现状

1．2．1 视频数据组织

1．2．3 研究现状小结

1．3 研究目标和内容

1．3．1 研究目标

1．3．2 研究内容

1．4 技术路线和研究方法

1．4．1 技术路线

1．4．2 研究方法

1．5 论文组织结构

第2章 PTZ相机监控视频数据组织

2．1 PTZ相机视频数据组织模型分析

2．2 基于键值型数据库的PTZ相机监控视频分层组织

2．2．1 PTZ相机视频数据组织模型

2．2．2 视频数据存储结构

2．3 PTZ相机空间覆盖域分析

2．4 基于区间树的时间索引构建

2．4．1 区间树原理

2．4．2 区间树构建方法

2．5 本章小结

第3章 PTZ相机监控视频内容特征提取

3．1 监控视频结构化处理

3．1．1 镜头边缘检测

3．1．2 关键帧提取

3．2 关键帧多粒度划分

3．3 全局内容特征提取

3．3．1 颜色特征提取

3．3．2 纹理特征提取

3．3．3 形状特征提取

3．3．4 多视觉特征融合

3．4 局部内容特征提取

3．5 本章小结

第4章 基于时-空-内容特征的监控视频数据检索

4．1 基于时空覆盖域的检索

4．1．1 空间覆盖域检索

4．1．2 基于区间树的时间检索

4．2 基于全局特征相似度度量的关键帧过滤

4．2．1 相似度度量

4．2．2 检索算法

4．3 基于SIFT特征点的关键帧匹配

4．4 本章小结

第5章 原型系统实现与测试

5．1．1 监控视频数据库构建子系统

5．1．2 监控视频检索子系统

5．2 界面展示

5．3 实验分新

5．3．1 测试环境

5．3．2 实验结果与分析

5．4 本章小结

第6章 结论与展望

参考文献

致谢