基于深度学习的自然语言句法分析研究

摘要

作为自然语言处理领域的核心任务之一，句法分析一直是研究人员关注的热点问题。包括诸如问答系统、搜索串理解、语义分析和知识库构建等在内的任务中，句法分析都是其不可缺失的一环。在深度学习技术和神经网络方法于诸多领域取得重要进展的背景下，将其与自然语言处理任务相结合成为了一个十分热点的领域。因此，本论文旨在研究深度学习和神经网络在自然语言句法分析中的应用，其具有显著的研究意义和应用价值。
　　本文首先研究了一个利用前馈神经网络作为分类器的基于转移的依存句法分析器。该方法较为简单，效果尚可。通过对该模型的分析，我们对该模型进行了细致的参数优化，使其性能获得了提升。
　　本文提出了一个基于长短期记忆神经网络的依存句法分析模型。该模型以前述的前馈神经网络模型作为基础，并将其作为一个特征提取器。在预训练该特征提取器之后，我们使用长短期记忆神经网络作为转移动作的分类器，并将贪心依存句法分析器提取的特征作为其输入，以此训练一个对句子优化的递归神经网络分类器。该分类器不仅能够利用当前的格局特征进行分类，而且可以记忆分析状态历史等更丰富的信息。因此，该模型对依存句法分析中整句的分析过程进行建模，取代了贪心模型中对独立分析状态建模的方法。实验结果表明，相比基线方法，模型获得了较大的性能提升。
　　本文研究了端到端的短语结构分析模型。在对“单关注机制”序列到序列短语结构分析模型的实验中我们发现了其解码器对规则约束依赖的问题。为此，我们提出了“双关注机制”以期减少解码过程中对规则的依赖。通过引入“双关注机制”，序列到序列模型在解码过程中不仅能“关注”输入端的上下文信息，同时也“关注”输出端的历史信息。实验结果表明，在不使用解码规则的情况下，引入“双关注机制”可以大大减少解码过程中的错误，并提高了分析器在正确输出结果中的性能。

目录

封面

中文摘要

英文摘要

目录

第1章 绪论

1.1 课题背景及研究的目的和意义

1.2 相关工作的研究概况

1.3 本文的主要研究内容

1.4 论文的主要组织结构

第2章 深度学习与句法分析相关概念

2.1 前馈神经网络

2.2 递归神经网络

2.3 基于转移的依存句法分析

2.4 本章小结

第3章 基于前馈神经网络的依存句法分析模型

3.1 模型介绍

3.2 模型实现

3.3 实验数据和评价指标

3.4 实验结果及分析

3.5 本章小结

第4章 基于长短期记忆神经网络的依存句法分析模型

4.1 长短期记忆神经网络

4.2 模型介绍

4.3 模型实现

4.4 实验数据和评价指标

4.5 实验结果及分析

4.6 本章小结

第5章 端到端的短语结构分析

5.1 序列到序列模型

5.2 模型介绍

5.3 模型实现

5.4 实验数据和评价指标

5.5 实验结果及分析

5.6 本章小结

结论

参考文献

攻读硕士学位期间发表的论文及其他成果

声明

致谢