基于文本检索的深度关联匹配模型算法的研究与改进

摘要

随着网络通信以及电子商务的高速发展，互联网已成为人们生活与工作获取信息的重要途径。对于互联网这个巨大的资源库，若缺乏有效的检索工具，人们很难从其中检索出自身所需的信息。为了提升检索有效信息的速度，减少人们检索信息的难度，信息检索系统由此而生。　　文本匹配在信息检索系统中占领着重要地位。在文本匹配过程中，存在“匹配失误”问题，“匹配失误”即两段文本由不同词表示同一意义时，模型不能判断其相似意义而导致的匹配错误。针对这个问题，目前大部分的研究工作均是通过增加查询词或文档词的近义词拓展文本，用于增加查询词与文档的匹配概率，以此缓解“匹配失误”问题，该方法能够在一定程度上解决匹配失误问题，但计算量大且需要耗费巨大的资源库；在深度学习中，研究学者利用词嵌入对近义词的相似度进行计算，但词与词的相似度仍存在偏差，因此也不能够很好地缓解“匹配失误”问题。针对文本匹配中的匹配失误问题，本文提出以下两个模型：(1)A Deep Top-K Relevance Matching Model(DTMM)模型，该模型的贡献是将文档词权重加入模型，以此缓解“匹配失误”问题。由于并非所有信号量都利于文本检索，模型将着重学习相似度和文档词权重都较高的K个信号量，使输入模型的信息量更加可靠有效，随后通过多层全连接层学习出查询与文档的得分；(2)基于知识图谱词拓展的检索模型，该模型首先提取出查询和文档中的所有实体，将实体对齐到知识图谱中。由于近义实体在知识图谱中符合语言学“距离相似性“原理，即意义相似的词上下文环境相同。本文利用SkipGram模型学习出实体词的词嵌入，并将其拓展文本以丰富文本语义表示。最后将拓展之后的文本信息输入DTMM进一步缓解“匹配失误”问题。　　另外，本文提出的两个模型均在MQ2007数据集以及Robust04数据集上进行了验证。实验结果表明，本文提出的DTMM模型以及基于知识图谱词拓展的检索模型均能够有效缓解“匹配失误”问题。

目录

声明

1 绪论

1.1 研究背景及意义

1.1.1 文本检索的广泛运用

1.1.2 文本检索挑战

1.1.3 选题意义

1.2 国内外研究现状

1.2.1 传统文本匹配模型

1.2.2 深度学习文本匹配模型

1.3 目前模型存在的问题

1.4 创新点和技术路线

1.4.1 模型创新点

1.4.2 技术路线

1.5 本章小结

2 深度学习文本检索模型进展

2.1 深度学习文本索模型概述

2.2 文本检索模型的模型分析

2.2.1 基于全连接神经网络的模型

2.2.2 基于卷积神经网络

2.2.3 基于循环神经网络的模型

2.2.4 基于多语义文档表达的深度学习模型

2.3 文本检索模型的性能分析

2.4 本章小结

3 基于文本检索的深度关联匹配模型算法(DTMM)的研究

3.1 概述

3.2 模型介绍

3.3 模型相关工作

3.4 模型结构

3.4.1 交互矩阵层

3.4.2 K-MAX池化层

3.4.3 多层神经网络

3.4.4 损失函数

3.5 DTMM模型实验与性能分析

3.5.1 数据集

3.5.2 基准方法

3.5.3 实施细节

3.5.4 评估结果

3.5.5 DTMM不同版本的比较

3.5.6 DTMM在不同K-MAX池化层上的性能

3.6 本章小结

4 基于知识图谱检索模型的性能研究

4.1 概述

4.2 知识图谱研究与实体词向量的生成

4.2.1 知识图谱定义

4.2.2 Deepwalk介绍

4.2.3 结合知识图谱与Deepwalk模型构造实体词向量

4.2.4 运用SkipGram构造实体词向量

4.3 知识图谱检索模型

4.3.1 利用实体向量拓展文本信息

4.4 模型实验与性能分析

4.4.1 数据集

4.4.2 参数设置

4.4.3 模型性能对比

4.5 本章小结

5 总结与展望

5.1 总结

5.2 展望

致谢

参考文献

个人简历、在学期间发表的学术论文及取得的研究成果