数字人生成模型、模型的训练方法以及数字人生成方法

摘要

本申请实施例提供了一种数字人生成模型、模型的训练方法以及数字人生成方法，数字人生成模型包括：数据采集模块、数据预处理模块、模型训练模块、预测处理模块。模型的训练方法包括：采集训练样本视频数据、对训练样本视频数据进行预处理、对所述音频数据进行特征提取、训练预设的第一神经网络模型、训练预设的第二神经网络模型，生成预测人脸图片、合成数字人视频。数字人生成方法包括：对视频数据进行人脸检测和裁剪，生成裁剪图片和遮住嘴部区域的人脸图片、将音频数据、人脸关键点数据和遮住嘴部区域的人脸图片输入至数字人生成模型中，生成数字人视频、将音频数据输入至数字人视频中，生成带有声音的二维数字人视频。