基于深度学习的中文语音转录标点预测研究

摘要

一个标准的自动语音识别(ASR)系统通常只生成一个没有任何标点的转录文本，这会使得文本的可读性很差，也会影响后续任务的处理效果。因此，自动标点预测通过在文本中插入适当的标点符号解决这方面的问题。在标点符号的预测中，词汇特征或韵律特征是学者们研究的两个主要方向。在这种情况下，使用监督学习技术对模型进行训练是非常重要的。为了有效地解决语音转录中标点符号的自动预测问题，提出了多种方法，根据这些方法的应用特点，大致可分为三类:词汇特征、韵律特征和这两类特征的结合。本文将利用文本特征和韵律特征并结合当下最热的深度学习方法来预测中文语音转录文本的标点符号。 本文的主要研究工作和创新之处如下: 1.由于预训练的词向量是采用大规模的语料库训练的，且相比随机初始化的词向量，在训练模型的速度上也有所提升。此外，考虑到中英文书写格式的差异性，汉字是一串没有间隔的连续字符，而英语的词之间是以空格隔开的，无需切分，所以分词对于中文标点的预测也变得尤为重要。根据上述两点，本文提出了一种基于注意力机制的双向循环神经网络的中文标点预测方法，该方法是应用一种基于注意力机制的双向循环神经网络的模型，根据分词以及预训练的词向量对训练的影响而提出的，同时保留了基础算法的特性，可以在文本的前中后三个方向保存标点的上下文信息，从而可以更加有效地识别标点的类型和位置。 2.针对中文语音的特殊性，考虑在英语中pith的贡献不是很明显，但是在中文中却不同。所以本文的第二个研究内容是结合语音特征和词向量在中文语音转录标点预测中的研究，主要是考察pitch特征对标点预测效果的影响。将语音数据通过ASR系统，得到无标点的不分词文本，pith和停顿时间。然后使用了一种基于长短时记忆单元的三阶段循环神经网络模型，用于语音记录中标点符号的恢复。第一阶段，在大型文本语料库中学习文本特征;第二阶段将文本特征与停顿时间相结合;第三阶段将文本特征、停顿时间和pitch特征结合，使模型适应语音领域。经实验验证后，发现本文的模型有一个较好的预测效果。