基于注意力机制从单幅彩色图像进行手部姿态估计的方法

摘要

本发明提供一种基于注意力机制从单幅彩色图像进行手部姿态估计的方法，包括以下步骤：通过图像获取装置获取具有手部状态的单幅彩色图像，从单幅彩色图像中裁剪出手部区域图像；根据手部区域图像提取2D关节热图；级联2D关节热图和手部区域图像并且根据注意力机制得到图像获取装置坐标系下的3D手部关节点位置和图像获取装置的旋转角；根据3D手部关节点位置和旋转角进行手部状态估计。本发明将2D关节点和RGB图像的特征在通道层面中相融合。将彩色图像和2D关节点特征级联后重新规划权重，合理规划和利用各个部分特征。本发明还引入通道注意力机制提高了不同类型特征图融合的效果。通过融合通道注意力机制对手部姿态作出准确的估计。