神经网络语言模型的结构与技术研究评述

摘要

语言模型是对一种语言中词序列的联合概率函数的学习,传统的统计学习方法在语言模型的训练问题上遭遇维数灾难与上下文有限问题。神经网络语言模型通过深度学习方法训练语言模型,并通过分布式词向量表示解决维数灾难问题,循环神经网络对时序问题的处理能力在语言模型问题上得到应用。介绍几种各有优势的传统语言模型,介绍循环神经网络模型对时序问题的学习,与神经网络语言模型的相关技术。并在PTB数据集上分别使用N-Gram模型和LSTM模型训练英文语言模型,比较两者的困惑度差距。