通过标点恢复提高机器同传效果

摘要

在机器同传(MSI)流水线系统中,将自动语音识别(ASR)的输出直接输入神经机器翻译(NMT)中会产生语义不完整问题,为解决该问题,提出基于BERT(Bidirectional Encoder Representation from Transformers)和Focal Loss的模型。首先,将ASR系统生成的几个片段缓存并组成一个词串;然后,使用基于BERT的序列标注模型恢复该词串的标点符号,并利用Focal Loss作为模型训练过程中的损失函数来缓解无标点样本比有标点样本多的类别不平衡问题;最后,将标点恢复后的词串输入NMT中。在英-德和汉-英翻译上的实验结果表明,在翻译质量上,使用提出的标点恢复模型的MSI,比将ASR输出直接输入NMT的MSI分别提高了8. 19 BLEU和4. 24 BLEU,比使用基于注意力机制的双向循环神经网络标点恢复模型的MSI分别提高了2. 28 BLEU和3. 66 BLEU。因此所提模型可以有效应用于MSI中。