基于双路并行时序学习模型的手语视频翻译

摘要

手语视频自动翻译是一个广义的序列到序列问题,其难点在于视频中视觉信息的识别不仅要考虑单帧,还要考虑连续帧的时序变化,同时还需特别注意各个手势转换之间的隐藏分割时刻点.文章针对连续手语句子的视频翻译,提出了一种基于联级时序分类优化(connectionist temporal classification,CTC)的双路并行时序学习模型,包括卷积神经网络(convolutional neural network,CNN)和双向长短期记忆网络(bidirec-tional long short-term memory,BLSTM)并行的双路网络结构,其中:CNN模块专注于特征矩阵上的局部感知;BLSTM侧重于特征序列的时序建模,突出全局序列在时间维度上传递的内在关系.将两者模块输出的得分矩阵进行融合,结合CTC实现端对端的网络优化,能够同时有效兼顾视频中长时和短时的时空视觉信息.实验结果表明该方法对实现视频翻译任务有良好的效果.