跨视域摄像头网络下的监控视频结构化与检索

摘要

视频监控是城市公共安全领域一项重要的监控手段。随着监控摄像头数目和监控视频数据量的急剧上升，传统基于人工操作的监控方式越来越难以满足需求，亟需发展基于智能算法的视频监控技术。
　　智能视频监控中的关键问题在于“监控视频内容结构化”与“监控对象检索”。围绕这两大关键问题，本文(1)针对监控视频内容结构化中的目标元数据获取问题，开展了群体目标跟踪的研究;(2)针对监控视频内容结构化中的目标理解与描述问题，开展了图像多属性识别的研究;(3)针对监控对象检索中的基于图像的检索问题，开展了跨视域行人群组再识别的研究。群体目标跟踪获取了每个行人的运动视频片段和运动轨迹信息，为后续分析处理提供了重要的素材。图像多属性识别为每个监控对象生成了高层语义描述信息，一方面为基于图像的检索提供了高层语义特征，另一方面为基于自然语言的检索提供了可能。跨视域行人群组再识别的研究是对单行人再识别问题的重要补充，为视频监控中基于行人外观特征（非人脸）的跨视域行人检索应用提供了重要的技术基础。
　　本论文的主要研究工作与创新成果如下:
　　(1)提出了一种基于群组关系演化的群体目标跟踪算法。该算法将低层次(Low-Level)的关键点跟踪、中层次(Mid-Level)的图像块检测及跟踪和高层次（High-Level）的群组关系演化融入一个统一框架。不同于以往的计算光流、跟踪关键点或者检测行人目标，本文提出将人群表示成一组外观独特且稳定的图像块。在低层次上，关键点跟踪提供了非常精确的局部轨迹信息，可以用于检测图像块以及推测群体的群组关系。在中层次上，采用所提出的分层树形结构对图像块之间的空间关系进行建模和学习。在高层次上，群组关系的演化使得分层树形结构可以通过分裂、合并等形式进行动态更新。实验结果表明:所提出的图像块检测方法为给定目标的跟踪提供了重要的辅助信息;所提出的动态分层树形结构能够有效学习目标之间的空间关系;所提出的基于群组关系演化的群体目标跟踪算法显著提高了群体目标跟踪的准确性。
　　(2)提出了一种基于空间几何关系的图像多属性识别算法。该算法通过一个可以“端到端”训练的深层卷积神经网络来同时学习属性之间的空间和语义关系，而仅仅利用了图像的属性标签类别信息作为训练监督信号。具体来说，对于输入图像，使用所提出的“空间正则网络”(SRN: Spatial Regularization Network)为每个可能的属性类别标签生成一个注意力图，并基于注意力图来同时学习属性之间的空间和语义关系。最后，将“空间正则网络”得到的各个属性的置信度得分与基本卷积神经网络（如:残差网络ResNet-101）得到的置信度得分进行加和，修正属性置信度得分。在多个不同类型的公开数据集上的实验结果表明:“空间正则网络”可以有效学习图像中属性之间的空间几何关系;这种空间几何关系可以显著提升图像多属性识别的准确性。
　　(3)提出了一种基于块匹配的行人群组再识别算法。相对于单行人再识别问题，行人群组再识别面临着更多的新问题，比如:群组内行人之间严重的相互遮挡、群组内行人在不同视域下发生相对位置变化等。为了解决上述问题，本文提出将行人群组再识别建模成两组图像块匹配的问题。首先，通过所提出的显著性通道滤除掉外观相似度不高或者不具判别能力的图像块匹配;然后，对于生成的候选匹配，采用所提出的空间一致性匹配进行进一步筛选，滤除掉空间匹配关系不一致的图像块匹配，最终得到两张图像的相似度。实验结果表明:所提出的算法在性能上显著超过了目前主流的目标再识别算法;所提出算法的两个部分（显著性通道和空间一致性匹配）在行人群组再识别性能的提升上相互促进。

目录

声明

摘要

算法索引

第1章 绪论

1．1 研究背景与研究意义

1．2 关键问题

1．3 研究内容、创新点与科学问题

1．4 论文组织结构

第2章 国内外研究现状

2．1 群体目标跟踪

2．1．1 多行人目标跟踪

2．1．2 基于运动模式学习的目标跟踪

2．1．3 模型无关的目标跟踪

2．2 图像从属性识别

2．2．1 从单标签分类到多属性识别

2．2．2 属性之间的语义关系

2．3 行人再识别

2．3．1 单行人再识别

2．3．2 行人群组再识别

2．4 现有工作不足分析

第3章 基于群组关系演化的群体目标跟踪

3．2 基于部件的模型

3．2．1 数学定义

3．2．2 模型求解

3．3 基于群组关系演化的群体目标跟踪算法

3．3．1 算法框架

3．3．2 图像块检测

3．3．3 群组关系演化

3．3．4 动态分层树形结构

3．4 实验与分析

3．4．1 实验数据集

3．4．2 评价指标

3．4．3 实验设置

3．4．4 实验结果

3．5 本章小结

第4章 基于空间几何关系的图像多属性识别

4．1 引言

4．2 视觉注意力机制

4．2．1 视觉注意力机制的定义

4．2．2 计算丰门视觉中的注意力机制

4．3 基于空间几何关系的图像多属性识别算法

4．3．1 网络总体结构

4．3．2 网络“主支”结构

4．3．3 基于弱监督信号的属性注意力学习

4．3．4 基于注意力图的空间几何关系学习

4．3．5 模型训练与测试

4．4 实验与分析

4．4．1 实验数据集

4．4．2 评价指标

4．4．3 实验结果

4．4．4 模型分析

4．5 本章小结

第5章 基于块匹配的跨视域行人群组再识别

5．1 引言

5．2 问题定义与分解

5．2．2 问题分解

5．3 基于块匹配的行^群组再识别算法

5．3．1 算法思想

5．3．2 无监督显著性学习

5．3．3 显著性通道

5．3．4 空间一致性匹配

5．4 实验与分析

5．4．1 实验数据集

5．4．2 评价指标与实验设置

5．4．3 实验结果

5．5 本章小结

第6章 总结与展望

6．1 论文总结

6．2 研究展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果