双分支时空关键点特征增强人体姿态迁移网络

摘要

为了充分利用动作序列之间的先验信息以提升姿态迁移模型的性能,提出了一个基于时空图卷积的双流关键点特征增强模块,即双分支时空图姿态迁移模块(dual-branch spatial temporal graph pose transfer block,DSTG-PTB)。DSTG-PTB从高帧率和低帧率2个不同的分支进行特征提取。输入的关键点数据首先经过位置嵌入和速度嵌入,然后构建人体骨骼关键点的时空图,并利用时空图卷积网络挖掘动作关键点之间的关联特征,最后将2个分支的特征进行融合并嵌入现有的姿态迁移模型中。对4个序列动作数据集进行了全面的定性和定量实验分析,结果表明,所提DSTG-PTB可以有效提升姿态迁移网络的性能,生成更符合用户审美的序列图像。