实体链接方法研究及信息安全领域实体链接系统实现

摘要

随着全球高度信息化的到来，计算机和网络已经变成人们日常生活中重要的一部分。网络信息的剧增推动了语义分析、信息检索、实体链接等信息处理研究的发展。其中信息理解的正确性对于人们获取并处理信息有着至关重要的作用，实体链接就是将文本中含义模糊的实体匹配到知识库中对应准确实体的过程，可以有效解决信息理解有误的问题。对于普通信息阅读者来说，当所阅读的信息中出现大量的模糊名称，错误的判断会导致阅读出现偏差，同时若读取的信息中有大量生僻的专有名词也会使得阅读变得困难。实体链接可以帮助阅读者快速获取名称的准确含义，提高阅读效率，改善阅读效果。因此，实体链接有着十分重要的研究意义与应用价值。本文的主要工作包括:
　　(1)对比多种实体链接知识库构建方法，提出一种基于多种数据源的实体链接基础知识库构建策略。该策略针对三类数据源（维基百科数据、百度百科数据、人工录入数据），采用不同的数据获得方法，构建覆盖范围较广的知识库。
　　(2)提出一种知识库匹配与词语相似度计算相结合的候选实体生成方法。该方法使用知识库匹配方式获取初始候选实体集，根据词语相似度计算，过滤初始集合，得到最终候选实体集合。
　　(3)提出一种基于多情况的实体链接算法。该算法根据待链接实体是否候选明确选用不同的消岐方法，对于全部候选明确使用局部相似度计算方法，对于部分候选明确使用全局相似度计算方法，对于全部候选未明确使用图模型融合全局相似度的方法。实验表明，该算法可行有效，能得到较高准确率。
　　(4)根据实际信息安全课题需求，利用实体链接算法，设计并实现一个基于信息安全领域的实体链接系统。系统测试效果表明，以本文提出的实体链接算法为核心的实体链接系统，可行有效，既可以用于信息安全知识服务，又可以普遍适用于各个知识领域。

目录

声明

摘要

图目录

表目录

1 绪论

1．1 研究背景及意义

1．2 研究现状

1．2．1 实体链接研究

1．2．2 信息安全领域研究

1．3 本文的主要工作

1．4 论文章节安排及结构

2 相关研究及技术

2．1 中文实体链接研究

2．2 实体链接知识库

2．3 实体链接测评标准

2．4 中文自动分词

2．4．1 中文分词的难点

2．4．2 中文分词的算法

2．4．3 常见的分词工具

2．5 相似度计算

2．5．1 余弦相似度

2．5．2 TF-IDF算法

2．5．3 “词袋”模型

2．5．4 编辑距离

2．5．5 Word2Vec相关技术

2．6 系统搭建相关技术

2．6．1 B／S模式

2．6．2 SSH框架

2．6．3 MySQL数据库

2．6．4 Bootstrap框架

2．7 本章小结

3 实体链接基础知识库的构建

3．1 知识库构建策略

3．2 基于维基百科的知识库构建

3．2．1 维基百科特征描述

3．2．2 知识库构建

3．3 基于百度百科的知识库构建

3．3．1 百度百科特征描述

3．3．2 知识库构建

3．4 基于人工录入的知识库构建

3．5 本章小结

4 实体链接算法的研究

4．1 算法架构

4．2 候选实体生成

4．2．1 构建维基百科向量文件

4．2．2 候选实体生成方法

4．3 候选实体消岐

4．3．1 全部候选明确的消岐方法

4．3．2 部分候选明确的消岐方法

4．3．3 全部候选未明确的消岐方法

4．3．4 适用场景说明

4．4 实验

4．4．1 实验环境

4．4．2 实验方案

4．4．3 评价指标

4．4．4 实验结果与分析

4．5 本章小结

5 信息安全领域实体链接系统的设计与实现

5．1 需求分析与概要设计

5．1．1 系统需求分析

5．1．2 系统总体功能设计

5．1．3 系统用户角色设计

5．1．4 链接服务子系统设计

5．1．5 链接管理子系统设计

5．1．6 系统数据库设计

5．1．7 系统类图

5．2 系统详细设计

5．3 系统实现

5．4 系统测试与结果分析

5．4．1 功能测试

5．4．2 结果分析

5．5 本章小结

6 总结与展望

6．1 本文总结

6．2 研究展望

参考文献

致谢

个人简历及科研成果