基于自监督人体语义解析的视频行人重识别方法

摘要

基于视频的行人重识别是计算机视觉领域中一个重要研究课题,其目的在于找到非重叠相机中的同一行人。该任务的难点在于时序外观未对准以及视觉模糊等。本文针对基于视频的行人重识别提出了自监督人体语义分析(SS-HSP)方法。该方法引入自监督学习方法,通过估计视频连续帧之间各个身体部位的运动信息和复杂的时间关联信息实现像素级人体区域分割,从而增强行人外观与动作表示。具体地,在SS-HSP中设计语义分割网络,通过构造预测后续帧的任务实现自监督学习。该网络学习准确的语义解析和连续帧之间身体部位的运动信息,从而实现在多个自定义的损失函数的帮助下预测后续帧。人体区域局部对准特征由估计的人体语义解析获取。此外,我们提出聚合网络,用于探究帧之间的关联信息以改进对行人外观与动作的表示。我们在两个视频数据集上进行了大量的实验并证实了该方法的有效性。