基于局部特征与全局表征耦合的2D人体姿态估计

摘要

近年来卷积神经网络和Transformer都在人体姿态估计领域中取得进步,卷积神经网络(Convolutional neural network,CNN)擅长提取局部特征,Transformer擅长捕捉全局表征,但目前结合两者实现人体姿态估计的研究较少且效果不佳。针对此问题,提出一种耦合局部特征和全局表征的的模型CNPose(CNN-Nest Pose),该框架的局部-全局特征耦合模块利用多头注意力计算和残差结构的方式深度耦合局部特征和全局表征;还提出了局部-全局信息交流模块解决局部-全局特征耦合模块在计算过程中局部特征和全局表征数据源范围不一致的问题。在COCO-val2017和COCO-dev-test2017数据集上进行了验证,实验表明,采用了局部特征和全局表征耦合的CNPose模型相较于同类型方法有着更为优越的表现。