基于分布式神经网络的语言模型训练方法及其系统

摘要

本发明是有关于一种基于分布式神经网络的语言模型训练方法及其系统，该方法包括：将大词表拆分为多个小词表；将每个小词表对应一个神经网络语言模型，每个神经网络语言模型的输入维数相同且独立进行第一次训练；将各神经网络语言模型的输出向量合并并进行第二次训练；得到归一化的神经网络语言模型。该系统包括：输入模块、第一次训练模块、第二次训练模块和输出模块。本发明通过多个神经网络训练学习不同词表，充分利用神经网络的学习能力，大大降低对大词表学习训练的时间，同时将大词表的输出进行归一化，实现多个神经网络的归一和共享，使得NNLM尽可能学习更多的信息，从而提高大规模语音识别和机器翻译等相关应用任务中的准确率。