神经网络、深度学习与自然语言处理

摘要

介绍了自然语言处理中的神经语言模型,讨论了大脑神经网络、人工神经网络、“异或”问题、前馈神经网络、神经网络的历史分期及其进一步发展等;指出,在神经网络的研究中,感知机不能解决线性不可分的分类问题,通过增加隐藏层才能进行“异或”运算。通常情况下,在训练神经网络的同时,还要进行嵌入学习,对于机器翻译、情感分类、句法剖析这些自然语言处理的特殊任务,常常要加上很强的约束,并应当把基于语言规则的理性主义方法和基于大数据的经验主义方法结合起来。