基于深度学习的实时动作捕捉和三维动画生成方法与装置

摘要

本发明提供一种基于深度学习的实时动作捕捉和三维动画生成方法与装置，包括：接收人体动作视频帧；对人体动作视频帧进行插值处理；通过三维人体关键点检测模型进行检测，预测出人体的25个关键点的三维坐标；基于划分的层级进行动作分解，将关键点的三维坐标转换为骨骼绕关键点的旋转四元数；三维动画模型生成；使用旋转四元数驱动三维动画模型；对人体动作视频帧序列按照前述方式重复处理，以设定的帧率将动画图片连接起来，输出与人体动作同步的三维动画视频。本发明的方法只需可见光摄像头结合深度学习模型即可实时预测人体动作并驱动三维模型，成本低、实时性好。