视觉语言识别方法以及相关设备

摘要

本申请提供一种视觉语言识别方法以及相关设备。所述方法包括：对目标视频进行唇部特征提取，得到包含唇部特征的视位序列；对视位序列去冗余，得到候选视位序列；将候选视位序列映射到音位序列，得到候选音位序列；将候选音位序列映射到候选文本，得到视觉语言识别结果。本申请提供的视觉语言识别方法，将提取唇部特征后的目标视频的视位序列映射到音位序列，将目标视频的音位序列映射到候选文本，进而得出识别视觉语言识别结果。解决视觉语言识别研究中难以对大规模汉字建模的问题，且避免了因为缺乏大规模数据集导致研究难以推进的问题。