智能监控系统中行人重识别方法研究

摘要

近年来，监控系统的普及给传统的人工监控分析带来了巨大的挑战，从而促进了智能监控系统中自动检测、识别、分析等应用的发展。其中，基于行人重识别的智能视频分析成为计算机视觉研究领域中的重点和热点，在打击罪犯、灾难预警、安防安保中发挥着越来越重要的作用。利用深度学习、度量学习等机器学习算法解决相同身份行人的匹配问题已经成为行人重识别的主流研究方向，但是，由于视角差大、光照变化、遮挡严重等因素的影响，稳定精确地实现行人重识别仍然是亟待解决的问题。
　　本文以实现行人的鲁棒性重识别为主要研究目标，从单帧重识别、非时序多帧重识别、时序多帧重识别和视域匹配四个方面展开研究，实现了行人的稳定重识别，主要工作如下:
　　首先，在单帧重识别问题中，针对传统的特征级融合中低维度特征容易被高维度特征淹没而引起判别性能下降问题，提出一种新的决策级融合方法，通过对特征与排序的结构化输出结果构建联合特征，利用结构化支持向量机有效权衡多特征光照的不变性和辨别力，使其决策达到全局最优;针对全局度量在具有复杂光照的多峰数据上无法同时满足类内紧密性和类间可分性的问题，利用LC空间中的颜色转移不变性，进行多模式度量挖掘，更好地衡量多模分布下数据点间的距离，提高了多模光照分布下的识别率。
　　其次，在非时序多帧重识别问题中，针对如何利用多帧图片的互信息提高识别率的问题，提出了基于多示例卷积神经网的重识别方法。通过Siamese卷积神经网提取示例对判别性特征，并借助多模回归获得相似度度量，然后利用集体决策原则联合各匹配对的相似性信息在多示例卷积神经网中对包级样本进行联合优化;在此方法中，设计了M3P池化层以联合多示例特征成为包级特征，从而弱化伪样本的影响，通过反馈机制优化网络参数实现更加精确的模型学习。
　　再次，在时序多帧重识别问题中，针对外貌和运动信息匹配不同步的问题，提出了多源特征提取及度量学习方法。针对外貌和运动特征，分别通过树形结构优化和光流法优化的方法进行视频片段分割，然后利用考虑伪样本估计的多示例度量学习方法实现最优片段匹配和最佳度量的联合学习。
　　最后，在相机视域的像素级对应点匹配问题中，针对匹配点在不同相机中外部形态差异很大无法进行关键点匹配的问题，提出了基于强鲁棒性时空活动性特征的视域匹配算法，增强了特征的唯一性，提升了匹配的准确率;利用时空活动性特征和行人本质属性特征共同构建能量方程进行匹配，不依赖单应性矩阵，增强了算法实用性。
　　综上，本文通过对不同条件下行人重识别问题的深入分析，研究了鲁棒性特征的挖掘与匹配方法，在一定程度上丰富了行人重识别数据分析方法，促进了行人重识别领域的研究，具有一定的理论意义与应用价值。

目录

声明

摘要

主要符号表

英文缩略词对照表

主要术语对照表

1 绪论

1．1 课题的研究背景及意义

1．2 关键问题和技术挑战

1．2．1 关键问题

1．2．2 技术挑战

1．3 国内外研究现状

1．3．1 相机视域匹配技术

1．3．2 基于外貌的行人再识别技术

1．4 本文主要研究内容与结构安排

1．4．1 主要研究内容

1．4．2 结构安排

2 单帧条件下基于多模式度量挖掘的行人重识别方法

2．1 引言

2．2 多种颜色模型及特征表示方法

2．3 单模式光照下基于KISSME度量学习的再识别

2．3．1 马氏度量学习

2．3．2 基于KISSME度量估计的独立排序器

2．3．3 基于结构化支持向量机的综合排序器

2．4 多模式光照下基于局部度量挖掘的重识别

2．4．1 多模度量学习

2．4．2 Log-Chromaticity空间中的颜色转移不变性

2．4．3 基于颜色转移不变性的多模式挖掘

2．4．4 度量选择策略

2．5 实验与分析

2．5．1 实验数据与实验设置

2．5．2 单模光照下实验结果与分析

2．5．3 多模光照下实验结果与分析

2．6 本章小结

3 非时序多帧下基于多示例卷积神经网的重识别方法

3．1 引言

3．2 多示例学习

3．2．1 概念和数学表示

3．2．2 多示例学习算法分类

3．3 深度学习网络与卷积神经网络

3．3．1 人工神经网到深度网络

3．3．2 卷积神经网

3．4 多示例Siamese卷积神经网

3．4．1 问题定义与数学表示

3．4．2 Siamese卷积神经网

3．4．3 基于示例空间的多示例Siamese卷积神经网

3．4．4 基于嵌入空间的多示例Siamese卷积神经网

3．5 实验与分析

3．5．1 实验数据与设置

3．5．2 结果与分析

3．6 本章小结

4 时序多帧下基于多实例度量学习的重识别方法

4．1 引言

4．2 基于树形结构的视频片段分割方法和外貌特征提取

4．2．1 视频片段分割问题定义

4．2．2 基于Wang-Landau自动权值更新算法的模拟退火优化方法

4．2．3 数据驱动的状态转移提议策略

4．2．4 外貌特征提取

4．3 基于光流法的视频片段分割方法和运动特征提取

4．3．1 基于光流法的视频片段分割方法

4．3．2 HOG3D特征提取

4．4 基于多实例多标签距离度量学习的视频片段匹配方法

4．4．1 伪样本估计和检测策略

4．4．2 基于多实例多标签距离度量学习的视频片段匹配方法

4．5 实验结果与分析

4．5．1 实验数据

4．5．2 实验设置

4．5．3 实验结果与分析

4．5．4 各部分评测实验与分析

4．6 本章小结

5 基于时空活动性特征的相机视域匹配方法及其在重识别系统中的应用

5．1 引言

5．2 时空活动性特征

5．2．1 时间活动性特征及存在问题

5．2．2 时空活动性特征

5．3 基于图割的优化匹配算法

5．3．1 条件随机场模型

5．3．2 图割算法优化

5．4 实验与分析

5．4．1 实验数据与评价方法

5．4．2 结果与分析

5．4．3 计算复杂度分析

5．5 本章小结

6 结论与展望

6．1 结论

6．2 创新点

6．3 展望

参考文献

攻读博士学位期间科研项目及科研成果

致谢

作者简介