基于多模态自编码模型的单视角视频人体姿态恢复方法

摘要

本发明公开了一种基于多层感知网络的单视角视频人体三维姿态恢复的方法。本发明包括以下步骤：1、采用基于超图学习的多模态低秩矩阵表示获得图像的视觉特征；2、通过训练自编码模型获得图像与三维姿态的内在特征；3、采用无监督流形对齐技术，将图像与三维姿态的内在特征投影到一个共享的低维空间中；4、训练神经网络用于学习图像与三维姿态之间的映射关系；5、利用自编码模型，无监督流形对齐模型及神经网络模型，构建五层感知器网络，并微调五层网络的参数；6、以图像的多种视觉特征作为输入，得到的输出即为对应三维姿态。本发明不仅提高了三维姿态恢复的质量，而且缩短了姿态恢复的时间，可达到实时姿态恢复的要求。