唇读模型的生成方法、装置、设备及存储介质

摘要

本发明提供一种唇读模型的生成方法、装置、设备及存储介质，即所述处理器将所述视频训练样本进行音视频分离，生成视频训练样本和音频训练样本；所述处理器提取出所述视频训练样本中的唇部图像序列以及所述音频训练样本中的音频特征序列，所述处理器将所述唇部图像序列输入至所述第一待训练唇读模型，并将所述音频特征序列输入至第二待训练唇读模型中分别进行训练；将收敛后的两个唇读模型进行连接，生成目标唇读模型。本发明从说话者面部图像中的唇部形态和语音音频两个方向分别构建唇读模型，再将两个方向的唇读模型结合，得到最终的唇读模型；提升了唇读模型的鲁棒性，提升了唇读模型解析的准确性。