基于互联网的构件库系统构件描述信息抽取算法研究

摘要

基于构件的软件开发方法被视为解决软件危机的现实可行途径,这种方法的前提是需要大量可以使用的元构件,为了解决构件的来源问题,当前互联网涌现了一批构件资源下载网站,但是这些构件资源总体分散,这对构件的准确、全面获取造成极大的不便,对这些构件资源网站的构件描述信息进行抽取、然后重新组织和整合,构建一个基于互联网的构件库系统,并提供统一的入口供构件获取者检索,具有重大的现实意义。
　　构建基于互联网的构件库系统涉及到三个方面的关键技术,1)主题爬虫技术,主要从互联网当中采集包含有构件信息的web文档;2)信息抽取技术,从采集到的web页面中自动获取构件描述信息,并把它转换成语义更为清晰、更为结构化的格式;3)构件检索,对抽取到的信息进行标注、挖掘,并进行合理的组织和存储,提供一个入口供用户检索。本文将就信息抽取中的相关问题重点展开讨论,这是一个承上启下的研究,对上它需要对粗糙的、杂而无序的网页进行分析处理,提取出有效的构件描述信息,对下它需要以合理的方式进行组织,为后续的构件挖掘、构件检索提供便利。
　　目前的一些网页信息抽取算法主要分为基于html结构、包装器归纳、网页语义分析三类,针对这些算法在抽取基于互联网的构件描述信息上的不足,提出了一种基于主题相似度不断逼近的构件信息抽取算法,通过引入结构化抽取模型的同义词表,屏蔽不同构件库网站对构件描述的差异,同时利用构件描述信息往往聚集在某个特定标签节点之下的结构特征,不断计算每个标签节点的主题相似度直到最大,从而达到精确定位和抽取目标信息的目的。充分且详实的实验表明,该算法在保证较高抽取率的前提下,实现起来相对简单,时间性能有小幅提升,同时可维护性好以及对网站结构的动态变化有很好的适应能力。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 研究背景和意义

1.2 国内外研究与应用状况

1.3 本文组织结构

2 构件描述信息抽取模型-CDEM模型

2.1 结构化信息抽取

2.2 定义构件描述抽取模型的必要性

2.3 构件描述信息抽取模型

2.4 本章小结

3 主题相似度逼近的构件信息抽取算法（SSA）

3.1 构件描述信息自动化抽取面临的问题

3.2 构件描述信息自动化抽取流程

3.3 HTML预处理和解析

3.4 SSA抽取算法设计

3.5 SSA抽取算法的特点及分析

3.6 本章小结

4 SSA算法验证实验和结果分析

4.1 实验目的

4.2 实验指导思想

4.3 实验的评价指标和流程

4.4 实验设计

4.5 本章小结

5 总结和展望

5.1 本文总结

5.2 下一步工作的展望

致谢

参考文献

附录一