面向太极拳学习的人体姿态估计及相似度计算

摘要

针对当前线上太极拳学习自然交互性差、缺乏学习反馈等问题,提出一种面向太极拳学习的人体姿态估计及相似度计算方法。首先,输入太极拳视频,利用帧间差分法提取关键帧图像;然后,利用堆叠沙漏网络模型对关键帧图像进行二维关节点检测;接着,使用长短期记忆(LSTM)网络结合Sequence-to-Sequence网络模型对检测到的二维关节点序列进行二维到三维的映射,预测三维关节点的位置坐标;最后对估计的人体姿态进行二维和三维余弦相似度计算。利用该方法设计并开发了一款相关设备简便、用户体验感强的太极拳学习与反馈应用系统,并在实际中应用。该系统可以检测太极拳学员的整体动作及各肢体段动作是否标准,并给出反馈,学员可以根据反馈结果练习和改善不标准动作,达到提升学习效果的目的。