基于常问问题集的金融自动问答系统的研究

摘要

随着金融业在中国的快速发展，社会对金融领域的信息需求日益扩大。国民迫切需要一个能够针对金融领域答疑解惑的工具。然而问答系统研究长期以来主要关注的事实类问题只占现实生活中人们所提出的问题的一小部分，远远不能满足社会对问答系统所期望的全部信息需求。因此，大量的在线网友问答平台和FAQ(Frequently asked questions)服务涌现出来。许多需要经验、预测或需要根据现实背景才能解答的问题让计算机来自动解答还为时过早，却可以从这些网络资源中找到现成的答案。与此同时，在TREC评测对特定领域搜索和问答技术的推动下，特定领域问答系统的研究和应用逐渐成为热点。
　　利用在线网友问答平台中的庞大资源，本课题实现了一个面向金融领域的自动问答系统，主要用来查找并返回现有问题列表中与用户所提问题语义最相近的问题答案对。课题的研究工作主要包括：总结FAQ和在线问答系统这些真实环境中问句出现的特殊现象和复杂现象，提出了去除问题噪音和简化复杂问句的预处理方法；针对非事实类问句的类型定义和自动识别方法、特征提取、和类别分布差异对分类效果的影响等方面进行了实验分析，问句分类开放测试最高准确率达到96.2％；结合专业领域的特点，在对比研究现有各种方法的基础上，提出了一种新的问题相似度计算方法，并达到了实用的效果。
　　本系统的研究成果和采用的技术对于限定领域的基于FAQ的问答系统具有广泛的通用性。

目录

基于常问问题集的 金融自动问答系统的研究

QUESTION AND ANSWERING SYSTEM IN FINANCIAL DOMAIN

摘要

Abstract

目录

第1章 绪论

1.1 课题背景、目的和意义

1.2 自动问答系统国内外发展概况

1.2.1 自动问答系统概述

1.2.2基于文本知识库的问答系统

1.3 本文主要研究内容与组织

1.3.1 本文内容

1.3.2 本文的组织

第2章 基于FAQ的问答系统技术概述

2.1 基于FAQ的问答系统流程概述

2.1.1 问答知识库的构造

2.1.2 问句分词标注

2.1.3 问句分类

2.1.4 问句相似度计算

2.2 本系统分词标注的方法

2.2.1 专业词典的构建

2.2.2 专业同义词典的建立

2.2.3 词性的统一规定

2.2.4 系统采用的分词标注方法

2.3 现有的通用类问句分类方法

2.4 常用的问题相似度算法简介

2.4.1 基于向量空间模型的TF-IDF方法

2.4.2 基于语义相似度的方法

2.4.3 基于问句类型相似度和复述的方法

2.4.4 基于编辑距离的方法

2.5 最大熵原理介绍

2.6 决策树算法C5.0介绍

2.7 本章小结

第3章 问句预处理

3.1 引言

3.2 去除问题噪音词

3.2.1 噪音词的定义

3.2.2 现有的去除噪音词的方法

3.2.3 本系统去除问句噪音词的方法

3.3 复合问题的简化

3.3.1 问句中的复合现象

3.3.2 存在并列结构的问句简化

3.4 本章小结

第4章 问句分类与相似度计算

4.1 引言

4.2 本系统的问句类别定义

4.3 问句分类方法

4.3.1 基于决策树算法C5.0的问句分类

4.3.2 特征提取

4.3.3 分类器的简化

4.3.4 实验过程

4.4 问题复述的定义和类型

4.5 问句类别间的相似度定义

4.5.1 用户意图的扩展

4.5.2 问句类型相似度矩阵

4.6 本系统的问句相似度计算方式

4.7 问句相似度实验结果分析

4.8 本章小结

第5章 系统的集成实验

5.1 在线金融问答系统

5.1.1 在线金融问答系统架构原理

5.1.2 在线网友问答系统功能模块

5.1.3 问答模块功能

5.1.4 PK模块功能

5.1.5 系统内容规划

5.1.6 技术解决方案

5.2 基于FAQ的自动问答系统

5.2.1 自动问答系统结构

5.2.2 主要界面

结论

参考文献

攻读学位期间发表的学术论文

哈尔滨工业大学硕士学位论文原创性声明

哈尔滨工业大学硕士学位论文使用授权书

致谢