基于改进LSTM单元的循环神经网络中文分词研究

摘要

中文分词作为中文自然语言处理的基础任务，是信息抽取、文本挖掘、信息检索等领域不可替代的预处理方法。随着人工智能技术的飞速发展，循环神经网络在语音识别、机器翻译等序列任务中表现突出，尤其是基于长短期记忆（Long Short-Term Memory,LSTM）单元的循环神经网络在各个领域都取得巨大成就，在中文分词任务中也取得媲美传统统计方法的成绩。但是，在单向单层网络的基础上搭建双向多层网络的试验表明，基础模型的精度并没有随模型复杂度的提升而进一步明显升高。而LSTM单元自身复杂的结构却成为研究和使用的瓶颈，训练与预测均要消耗大量的时间，简化基础模型已成为当务之急。 论文在研究深度学习基础理论与LSTM单元结构的基础上，结合现有文献对循环神经网络及其单元结构的理论研究，经过试验，提出一个新的LSTM单元简化变种。该变种结构极为简单，并且仅包含一个门结构，区别于同样只包含一个门的最少门单元（Minimal Gated Unit，MGU），论文称该结构为简化门单元（Simplified Minimal Gated Unit，SMGU）。与之前的变种相比，SMGU使用与MGU完全不同的思路将LSTM中的3个门减少到1个，对隐藏状态的更新过程也极为简单。同时，SMGU在隐藏状态更新的过程中，完全去除隐藏状态对自身的影响。这也是SMGU区别于LSTM及其变体最大的一点。简单的计算过程使得SMGU单元的极限参数量不超过同等输入LSTM模型的1/2，实际中则更少。理论上模型越简单，越易于分析，在包含门结构的循环神经网络理论研究中，SMGU单元是保持各方面优点的最简结构。 使用SMGU搭建循环神经网络进行实验表明：在得到与LSTM网络同等精度的情况下，SMGU的训练时间仅为LSTM的一半，推理预测速度更是达到其3倍。对比GRU和MGU的结果也表明，在如中文分词的序列任务中，更新隐藏状态不适合使用隐藏状态自身作为输入。

目录

声明

第1章 绪 论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 主要研究内容

1.4 论文组织结构

第2章 相关理论与技术

2.1 标准神经网络分词模型

2.1.1 字嵌入层

2.1.2 神经网络层

2.1.3 标注推理层

2.2 深度神经网络理论基础

2.2.1 感知机

2.2.2 前馈神经网络

2.2.3 反向传播算法

2.2.4 循环神经网络

2.2.5 时间反向传播算法

2.3 优化算法

2.4 本章小结

第3章 改进的LSTM单元结构

3.1 LSTM

3.2 LSTM主要改进方法

3.3 LSTM的简化

3.4 改进LSTM单元

3.5 本章小结

第4章 中文分词实验过程及分析

4.1 预处理

4.2 文本窗口

4.3 Dropout

4.4 隐藏状态

4.5 网络结构

4.6 实验结果

4.7 本章小结

第5章 总结与展望

5.1 总结

5.2 展望

参考文献

主要成果

致谢