基于多任务学习的神经网络语言模型建模方法

摘要

针对特定的语言模型建模任务而言,领域相关的语料往往非常稀缺.针对此问题,本文提出了一种基于状态子空间共享的多任务学习模型,并将其应用于多个低资源的递归LSTM神经网络语言模型建模任务中.实概证明,相比于单任务建模方法,本文提出的方法使得语言模型的困惑度在全部任务上均有不同程度的下降.将本文提出的模型与传统的共享隐含层多任务学习模型融合后,在各个任务上,语言模型的困惑度进一步下降.此外,在语音识别任务中,本文提出的方法可以进一步降低识别错误率.