多层语义融合CNN的步态人体语义分割

摘要

目的 针对反恐、安防领域利用监控视频进行步态识别时由光照、拍摄角度、遮挡等多协变量引起的轮廓缺失、人体阴影和运算时间等问题,提出了一种基于RPGNet (Regin of Interest+ Parts of Body Semantics+ GaitNet)网络的步态人体语义分割方法.方法 该方法按照功能划分为R(region of interest)模块、P(parts of body semantics)模块和GNet (GaitNet)模块.R模块提取人体步态感兴趣区域,起到提升算法效率和图像去噪的作用.P模块借助LabelMe开源图像注释工具进行步态人体部位语义标注.GNet模块进行步态人体部位语义训练与分割.借鉴ResNet和RefineNet网络模型,设计了一种细节性步态语义分割网络模型.结果 对步态数据库1 380张图片进行了测试,RPGNet方法与6种人体轮廓分割方法进行了对比实验,实验结果表明RPGNet方法对细节和全局信息处理得都很精确,在0°、45°和90°视角都表现出较高的分割正确率.在多人、戴帽和遮挡条件下,实验结果表明RPGNet方法人体分割效果良好,能够满足步态识别过程中的实时性要求.结论 实验结果表明,RPGNet步态人体语义分割方法在多协变量情况下能够有效进行步态人体语义分割,同时也有效提高了步态识别的识别率.