基于隐马尔可夫模型的若干自然语言处理技术

摘要

在信息爆炸的今天,如何让计算机智能化地处理各种信息,是急待解决的重要问题.而文本信息是最重要的信息,让计算机更好地处理、理解自然语言,是非常迫切的研究课题;同时,这也是一项很大的课题,需要多方面的技术.隐马尔可夫模型(Hidden Markov Model,简称HMM)是语音识别中应用非常成功的一种技术.近年来,它被越来越多地用在自然语言理解上.它是一种自学习算法,它的解码问题可以用Viterbi算法求得理论最佳解.HMM是可尔可夫随机过程的扩展,有着良好的数学基础.由于HMM有诸多的优点,我们将HMM这一统一的理论框架用于解决自然语言处理的多个问题,取得了较佳的实验结果.第一项是词性标注.第二项是信息检索.还有一项是实体名识别.该文先介绍HMM的基本知识,然后讨论了解决以上几个问题的详细算法,以及结合实际应用的一些改进,并介绍了这些技术在文本检索国际会议(TREC)上的应用,最后是对各个算法进行总结,以及对近一步研究工作的展望.

目录

文摘

英文文摘

第一章 引言

1.1 简介

1.2 本文的安排

第二章 背景知识

2.1 隐马尔可夫模型(HMM，Hidden Markov Model)简介

2.1.1马尔可夫过程

2.1.2隐马尔可夫模型【吴立德97】【Rabiner89】

2.1.3 HMM的三个基本问题

2.2 稀疏事件概率估计和平滑【吴立德97】

2.2.1加一法(保底法)

2.2.2减一法

2.2.3折扣模型

2.2.4联合概率与条件概率的估计与平滑

2.3 语音识别的大致过程

2.3.1声学模型

2.3.2语言模型

2.3.3结合声学模型和语言模型的“大HMM”

第三章 基于HM的词性标注

3.1 词性标注的任务

3.2 HMM词性标注器

3.3 词性集和语料

3.4 HMM标注器的参数估计

3.5 实验结果

3.6 错误分析

第四章 基于HMM的信息检索

4.1 本章的安排

4.2 信息检索的任务和基本概念

4.3 向量空间模型

4.4 基于HMM的检索引擎

4.5 实验结果

4.5.1在文本语料上的实验结果

4.5.2在语音文档(Spoken Document)上的实验结果

第五章 基于HMM的实体名识别

5.1 简介

5.2 模型

5.3 训练和计算上的问题

5.4 算法的改进

5.4.1给出最佳的K条路径

5.4.2 Beam搜索

5.4.3联系全文的后处理

5.5 实验结果

5.5.1概况

5.5.2给出K条路径的实验结果

5.5.3 Beam搜索实验结果

5.5.4后处理的实验结果

5.5.5全部大写的情况

5.5.6结论和进一步的工作

第六章 在文本检索会议中的应用

6.1 文本检索会议简介【Lide01a】

6.2 第十次文本检索会议

6.3QA(问题回答)

6.4 系统结构

6.4.1问题处理模块

6.4.2搜索和过滤

6.4.3答案处理模块

第七章 展望

参考文献

附录A：TREC-5/6主题集中的一个例子

附录B：HTK在HUB4校验集上的性能(错误率)

在学期间参加的科研项目与发表的论文

致谢

声明