基于多任务学习CNN辅助Transformer的手部mesh重建

摘要

针对当前手势姿态估计算法未充分利用2D信息辅助3D手部mesh重建的问题,首次在手部Mask、2D热力图的基础上提出引入RGB图像的HOG特征图,通过多任务学习CNN的框架对2D信息进行特征提取,并针对手的拓扑结构进行信息融合增强。为了解决Transformer encoder中的隐层embeddings维度一致性以及参数过大问题,设计了一种新的MLP(multi-layer perception)模块嵌入Transformer encoder之间,达到embeddings的数量渐进增加以及其维度渐进减少的目的,从而完成手部mesh精细化的预测。实验结果表明该CNN与Transformer混合的新框架在FreiHAND和RHD数据集均取得了较好效果。