民航信息情报采集系统的设计与实现

摘要

互联网的飞速发展和信息的爆炸性增长，为企业扩展了丰富的竞争情报和技术情报来源，与此同时巨大的信息量也让传统的人工采集工作模式遇到了前所未有的挑战。民机制造业是典型的技术复杂性工程，国际民机巨头如波音、空客等都十分重视企业的情报信息搜集工作，本文是在某公司情报服务平台下，为满足互联网环境下民航情报信息的及时获取和分析而建立的采集系统。
　　本文主要包括下面三个部分内容：
　　（1）在技术研究方面，探讨了实现情报采集系统的核心技术和方法，包括网页信息的元数据描述、网页信息抽取技术、网页排重技术等。重点研究目前比较流行的BloomFilter过滤器，在采集速度和数据过滤排重方面优化显著。最后对系统的集成测试方法进行了研究。
　　（2）在需求分析阶段，先对公司的情报搜集的需求进行分析，根据公司对技术情报和竞争情报的采集需求，将情报信息的采集源分为了技术类站源和新闻类站源，然后总结出两种采集模式，采用定向跟踪采集模式和主题跟踪采集模式。
　　（3）在设计与实现阶段，设计了情报采集系统的总体架构，并详细阐述了主要子系统的实现方法，包括情报信息存储设计、网络爬虫的架构和工作流程、定向采集分析工具和主题采集分析工具等。同时针对民航领域情报信息特点，支持自定义信息的元数据和多引擎的自动检索，支持主题跟踪和情报站点的定期检索，有效的提高信息检索的覆盖面和准确率。
　　该系统现在已经投入使用。通过本系统的实施，提高了公司的核心竞争力，取得了良好的效果。

目录

声明

答辩决议书

1 绪论

1.1 研究背景

1.2 本文的研究内容

1.3 国内外的研究现状

1.4 本文的结构

2 情报采集系统的关键技术研究

2.1 信息资源元数据定义

2.2 网页信息抽取技术

2.3 网页信息排重技术

2.4 网络爬虫技术

2.5 本章小结

3 信息采集系统的需求分析

3.1 总体需求分析

3.2 信息采集内容需求分析

3.3 信息采集系统用例分析

3.4 信息采集系统的非功能性需求分析

3.5 本章小结

4 信息采集系统的设计与实现

4.1 系统设计原则

4.2 系统架构

4.3 情报信息数据存储设计

4.4 采集模块设计与实现

4.5 跟踪采集客户端的设计与实现

4.6 系统应用案例

4.7 系统测试

4.8 本章小结

5 总结与展望

5.1 总结

5.2 展望

致谢

参考文献

攻读学位期间发表的学术论文目录