建议句识别和建议信息抽取研究

摘要

建议是自然语言处理中广泛存在的一种复杂语言现象，其中往往蕴含着丰富有用的信息。在文本中对建议进行挖掘，将其自动识别并抽取关键信息，极大提高了所获信息的价值。目前建议挖掘在工业环境中有助于公司产品或服务提升的决策以及用户产品或服务体验的参考，在自然语言处理领域已经成为一个新的研究热点。总体而言，建议挖掘对工业界和学术界都具有重要意义。　　目前，建议挖掘由于语料的限制仍是探索程度较低的领域。相关研究中，通常将其定义为建议句识别任务。鉴于建议语料还有更细粒度的信息待挖掘，本文首次提出把建议挖掘分成二阶段任务。第一阶段为文本中建议句识别的原有任务（句子分类），第二阶段为建议信息抽取的拓展任务（序列标注）。主要研究内容包括以下两方面：　　①提出了基于BERT的双向长短期记忆网络和胶囊网络结合注意力机制的混合模型对英文语料进行建议句识别。该模型能够克服卷积神经网络无法提取短语语义、位置等深层信息的缺点和双向长短期记忆网络长距离依赖的缺点，融入目标语料预训练的BERT表征更强大的词嵌入。实验表明：在第十三届国际语义评测语料上，基于该模型的建议句识别结果具有较大的提升，且在跨领域文本间具有一定泛化能力。　　②鉴于第二阶段任务语料的缺失，本文自主标注新语料。提出了基于BERT和卷积神经网络双嵌入的双向长短期记忆网络结合混合半马尔可夫条件随机场模型对标注英文语料进行建议信息抽取。该模型能够克服条件随机场严重依赖人工提取特征的缺点，融入上下文和字符级特征的双嵌入，能有效地利用过去和未来的输入特征以及句子级别的标记信息。实验表明：在标注英文语料上，基于该模型的建议信息抽取任务获得了较好的实验结果。

目录

1 绪 论

1.1 研究背景及意义

1.2 国内外研究现状

1.2.1 建议句识别

1.2.2 建议信息抽取

1.3 研究难点

1.4 研究内容

1.5 论文结构安排

2 理论基础

2.1 词的表示

2.2 BiLSTM模型

2.3 Capsule模型

2.4 Attention机制

2.5 BERT

2.6 CRF及 HSCRF模型

2.7 本章小结

3 基于 BERT的 Capsule-BiLSTM-Attention 模型建议句识别

3.1 引言

3.2 任务描述

3.3 建议句识别

3.3.1 基于 BERT 的 Capsule-BiLSTM-Attention 网络模型

3.3.2 目标域预训练 BERT

3.3.3 建议句识别算法

3.3.4 模型训练

3.4 实验结果与分析

3.4.1 数据分析及预处理

3.4.2 评价指标

3.4.3 实验设置

3.4.4 结果与分析

3.5 本章小结

4 基于 BERT和 CNN双嵌入的 BiLSTM-HSCRF模型建议信息抽取

4.1 引言

4.2 任务描述

4.3 建议信息抽取

4.3.1 基于 BERT 和 CNN 双嵌入的 BiLSTM-HSCRF 网络模型

4.3.2 建议信息抽取算法

4.3.3 模型训练

4.4 语料标注

4.4.1 标注准则

4.4.2 标注工作

4.5 实验结果及分析

4.5.1 数据分析及预处理

4.5.2 评价指标

4.5.3 实验设置

4.5.4 结果与分析

4.6 本章小结

5 总结与展望

5.1 全文总结

5.2 未来工作展望

参考文献

附 录

A. 作者在攻读学位期间发表的论文目录

B. 学位论文数据集

致谢