语音实时驱动虚拟人的方法、系统及存储介质

摘要

本申请提供了一种语音实时驱动虚拟人的方法、系统及存储介质，语音实时驱动虚拟人的方法包括：获取人脸RGB图像；对人脸RGB图像进行3D人脸重建，得到人脸RGB图像对应的3D人脸参数；预采集一段语音并经去噪处理后保存至缓存队列中；实时采集语音片段并经去噪处理后保存至缓存队列中；读取缓存队列中的所有语音片段并进行拼接，得到拼接后的语音片段，并利用拼接后的语音片段和预训练的神经网络得到预测的3D人脸表情参数；根据预测的3D人脸表情参数和3D人脸参数得到渲染后的RGB图像。本申请能够在不降低虚拟人质量的基础上，达到整个驱动过程的实时性，从而使得语音驱动虚拟人技术能够用于各类实时应用中。