基于WEB页面的关键词与关键概念提取技术

摘要

该论文详细介绍了一种基于Web页面的关键词与关键概念提取技术及其实验系统的设计与实现,并对该技术在搜索引擎中的应用进行了探讨.论文的核心内容包含以下三部分:首先,关键词提取系统介绍.围绕着Web页面的特殊性开始,依据Web页面不同于一般文本的特殊性,介绍了一种基于Web页面的关键词提取技术.该技术的实现充分利用了Web页面中的各种标记.然后,关键概念提取系统介绍.语言是一种不断发展的文化,新概念层出不穷,同时还存在很多人名、地名、机构名等专有名词.这些概念的存在影响了关键词的提取质量.从常用的N元语法入手,分析该方法存在的问题—N元截断效应,提出了一种基于上下文和互信息的关键概念提取方法.该方法的实现克服了N元算法的截断效应,实现了可变长的概念提取方法.同时,该文又结合规则选词的方法,对提取结果进行了优化,取得较好的实验效果.最后,论文对该技术在搜索引擎中的应用在理论进行了简单的探讨.通过对搜索引擎中

目录

文摘

英文文摘

第1章绪论

1.1课题性质

1.2课题研究的背景

1.3本课题的理论基础——自然语言处理技术

1.3.1自然语言处理技术

1.3.2自然语言处理研究的历史与发展现状

1.3.3自然语言处理的研究方法

1.4论文的框架结构

第2章基于Web页面的关键词及关键概念提取技术

2.1引言

2.2关键词与关键概念

2.2.1关键词与关键概念的定义

2.2.2关键词的特征

2.3关键词及关键概念提取技术的发展与意义

2.3.1关键词提取技术的发展

2.3.2关键概念提取技术的发展

2.3.3关键词提取技术意义

2.4基于Web页面的关键词与关键概念提取的实现系统

2.4.1基于Web页面的关键词提取

2.4.2基于Web页面的关键概念提取

2.4.3系统在搜索引擎中的应用

2.5系统框架图

2.6评估方法

2.7本章小结

第3章关键词提取系统的建立与实现

3.1引言

3.2 Web页面的特殊性

3.3关键技术介绍

3.4基于Web的关键词提取系统

3.4.1关键词提取系统的实现流程

3.4.2 Web页面分析模块

3.4.3加权因子提取

3.4.4权重计算

3.4.5关键词提取

3.4.6实验结果与分析

3.5本章小结

第4章关键概念提取系统的建立与实现

4.1引言

4.2基于“N元语法”统计模型的新词发现

4.2.1“N元语法”统计模型简介

4.2.2基于二元语法和规则的方法

4.2.3评价

4.3基于上下文和互信息的关键概念提取

4.3.1词语上下文

4.3.2互信息

4.3.3基于统计系统的具体实现

4.3.4系统的核心数据结构设计

4.3.5实验结果分析

4.3.6影响关键概念提取结果的主要因素

4.3.7规则选词

4.3.8规则选词的结果分析

4.4本章小结

第5章系统在搜索引擎中的应用

5.1引言

5.2传统搜索引擎简介

5.3搜索引擎中的“相关性”问题研究

5.3.1系统角度的相关性

5.3.2用户角度的相关性

5.3.3讨论

5.4关键词与关键概念在搜索引擎中的应用探讨

5.4.1改进的系统角度的相关性判断模型的提出

5.4.2系统框架设计构想

5.5本章小结

结论

参考文献

致谢