基于规整平滑及显著性加权度量学习的行人重识别研究

摘要

随着近些年视频监控设备的普及，行人重识别越来越受到重视。该技术在刑事侦查、安防监控和一些商业应用中有着很高的应用价值。目前，行人重识别有两大主流方向:特征表示和度量学习。本文针对上述两个方向，提出了多个创新方法。针对特征表示方向，提出了前期特征融合方法、后期特征融合方法、权重优化算法和基于显著性加权的特征表示方法。针对度量学习方向，提出了基于显著性加权度量矩阵的学习方法。引入规整平滑技术来增强度量矩阵的鲁棒性，并提出基于规整平滑及显著性加权的度量学习方法。 下面将本文工作总结如下: (1)基于多特征融合与权重优化的行人重识别研究: 考虑到不同特征的特性，将特征合理组合。根据特征之间的相似度，将相似度最小的两个特征组合成为新特征。特征之间相似度越小说明其区分度越大，区分度最大的特征组合在一起可以达到优势互补的效果，从而提高识别精度。基于这点，提出了前期特征融合方法。前期特征融合会产生多个新特征。紧接着，提出了后期特征融合方法，将多个新特征融合归一，并提出权重优化算法，使得融合后的相似度函数性能最佳。 (2)基于显著性加权特征表示与局部全局最优融合的行人重识别研究: 考虑到不同显著性方法的特性，采用面向全局信息的AC显著性方法提取整体行人图片的显著性值，采用面向局部信息的FT显著性方法提取行人图片局部区块的显著性值。根据这个原理，提出了基于显著性加权的特征表示方法(SWLOMO)。 SWLOMO方法提取行人图片特征时，采用AC显著性算法和FT显著性算法分别提取全局显著性和局部显著性，耗时严重。为了提高效率，提出了基于显著性加权的度量学习方法。该方法只需要在训练阶段提取行人图片的显著性值，学习一个基于显著性加权的度量矩阵。在测试阶段，直接用该度量矩阵匹配识别，从而节省了提取测试图片显著性所消耗的时间。在学习显著性加权的度量矩阵时，对两人一组的行人样本显著性值做算术平均处理，并将处理后的显著性值融入到学习度量矩阵的过程中。显著性值做算术平均处理的目的是增强同类行人样本的共性。同类行人样本的显著性会有很多相似的地方，将同类行人样本显著性值做算术平均处理可以提升同类行人样本的识别效果。 紧接着，考虑到行人图片不同局部区块之间的重要程度，将行人图片分为上下两部分，用SWLOMO方法分别提取上半部分、下半部分和整体图片的特征。最后，采用权重优化方法将上半部分局部特征、下半部分局部特征和全局特征进行融合。 (3)基于规整平滑及显著性加权度量学习的行人重识别研究: 进一步加强了第三章的显著性加权方法，将基于原始行人特征的度量矩阵引入显著性加权方法中。希望基于原始行人特征的度量学习方法和基于显著性加权的度量学习方法可以按合适的权重融合，达到提高识别精度的目的。引入规整平滑技术来修正学习度量矩阵过程中涉及的协方差矩阵。紧接着，将规整平滑技术和改进的显著性加权方法用于XQDA度量学习方法和LSSL度量学习方法中，分别得到基于规整平滑及显著性加权的XQDA度量学习方法和基于规整平滑及显著性加权的LSSL度量学习方法。采用第二章的权重优化算法将两个基于规整平滑及显著性加权的度量学习方法融合。