网上自动摘要系统性能改进的研发

摘要

随着科学技术的进步，文献的数量正在迅猛地增长，使得专业人员即使不停地阅读也难以覆盖全部文献，因此人们将注意力转向了摘要。摘要可以理解成是文献内容的缩摄，其简洁性、清晰性使得其作用越来越重要。此外，越来越多的人开始利用网络发布信息，网上的文本和多媒体信息数量如爆炸般地增长。在这个信息爆炸的社会，人们迫切希望能对信息进行提炼与浓缩，以较少的文字表达中心意思，以便能够减少阅读时间、降低存储容量和通信费用。对网上信息进行自动摘要，能够帮助用户快速抓住文章的主题，大大减少用户获取有用信息的时间，提高效率。目前由王永成教授领导开发的具有国际领先水平的中英文自动摘要系统V4．0（办公网络版）已经推向市场，并收到了相当多的反馈意见。 本文从提高系统的适用性，增加系统功能，提高系统的速度等几个方面对网上自动摘要系统性能提高进行了一些研究，本文主要的研究成果包括： ◆参与了中英文自动摘要系统V4．0的商品化工作。维护和完善了中英文自动摘要系统（办公网络版），包括相同句子的去重，多个分号句的粘连，以及摘要乱码问题等。 ◆设计并实现了中英文自动摘要中的Word文件转换模块。对于该模块的实现进行了两种尝试。一方面我们用API的方式分析Word98、2000文件的存储结构，读出我们所需的文本信息提供给摘要系统使用。另一方面，我们用Word软件提供的COM对象读取原文文本信息。 ◆通过分析基于树型结构有限自动机的多模式匹配（DFSA）算法，本文提出了一种基于有序二叉树的多模式匹配算法（SMA）。实验证明，该算法具有构造速度快、内存耗费少的特点，同时该算法也保留了传统多模式匹配算法查找速度快的特点。 ◆对基于有序二叉树的多模式匹配算法进行了改进，解决了摘要系统中对单双字节混合处理的问题。此外，探讨了该算法在中英文自动摘要系统办公网络版中的应用。 ◆设计并实现了摘要系统中的高级功能，如存储与打印时自动配上标题的功能；实现摘要的批处理等。此外，对于包含帧格式的HTML网页，设计并实现了分辨摘要系统需要处理的分帧的算法。 ◆设计了一个结合新闻搜索引擎和自动摘要的系统模型。将摘要系统集成在实验室的研究成果“新闻检索系统”中，为用户搜索结果提供了一个简单的200字之内的真正的全文摘要。

目录

文摘

英文文摘

声明

第一章绪论

1.1课题的提出及意义

1.2主要研究目标与研究现状

1.2.1研究目标

1.2.2国内外自动摘要系统的研究历史和现状

1.3论文的主要研究成果与章节安排

1.3.1主要研究成果

1.3.2章节安排

第二章Word文件转换模块的设计与系统的集成

2.1 Word文件转换模块的概念

2.2API方式实现Word文件转换模块

2.2.1 Word文件磁盘存储格式

2.2.2 Word文什转换模块的设计

2.2.3文件分析层的实现

2.2.4.内容转换层的实现

2.3 COM方式实现Word文件转换模块

2.3.1 COM概念

2.3.2 Microsoft Word对象模型

2.3.3 Word文件中文本的读取

2.4 Word文件读取两种方式的比较

第三章摘要系统功能的提高

3.1 FRAME格式识别与系统的集成

3.1.1 FRAME格式的概念

3.1.2处理FRAME格式的算法

3.1.3摘要所需分帧的识别

3.2处理的功能

3.2.1批处理模块

3.2.2与摘要系统接口协议

3.3自动显示标题的功能

3.3.1标题的提取

3.3.2存储打印时标题的显示

第四章 多模式匹配算法及其应用

4.1多模式匹配算法

4.1.1有限状态自动机(DFSA)算法

4.2基于有序二义树的多模式匹配算法(SMA算法)

4.2.1传统算法的缺点

4.2.2 SMA算法的优点

4.2.3有序二义树的构造

4.2.4查找阶段

4.2.5算法的分析

4.2.6对比试验

4.2.7对SMA算法的进一步讨论

4.3 SMA算法的改进

4.3.1区位码

4.3.2算法改进的思想

4.3.3改进后算法的时间和空间复杂度

4.4 SMA算法应用

4.4.1相关理论

4.4.2 COM单用服务器

4.4.3 SMA算法的COM接口

第五章新闻搜索引擎中的自动摘要系统

5.1系统框架

5.2新闻检索系统

5.3 自动摘要模块

5.3.1摘要模块的接口设计

5.3.2摘要系统的总体结构

5.3.3摘要系统的各模块

第六章结论和展望

参考文献

致谢

攻读硕士学位期间发表的相关论文