通过音素预测进行视觉语音识别

摘要

用于执行视觉语音识别的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。在一个方面，一种方法包括：接收包括多个视频帧的视频，其中每个视频帧描绘双唇；使用视觉语音识别神经网络来处理所述视频，以针对输出序列中的每个输出位置为可能标记的词汇表中的每个标记生成相应的输出分数，其中所述视觉语音识别神经网络包括一个或多个体积卷积神经网络层和一个或多个时间‑聚合神经网络层；其中可能标记的词汇表包括多个音素；以及使用所述输出分数来确定由所述视频中描绘的双唇所表达的词的序列。