基于Web开源数据挖掘的企业竞争情报系统研究

摘要

随着互联信息的多元化，互联网上海量的信息源能提供丰富的情报信息来源，因此互联网上的开源情报越来越受到情报工作人员的重视。本文通过互联网开源情报搜集技术和情报分析理论的研究，旨在构建集情报采集、情报分析、情报服务于一体的企业竞争性情报系统。
　　 本文系统地阐述了企业竞争情报的理论，提出了基于Web开源数据挖掘的企业竞争情报系统体系构架，将企业竞争性情报系统划分为情报搜集子系统、情报分析子系统和情报服务子系统。
　　 在情报搜集子系统中采用了主题的网络聚焦爬虫和元搜索数据采集技术保证数据采集主题的相关性，构建网络爬虫器对Web数据进行自动采集和下载，通过网页正文抽取技术、PDF与Office文档文本转换技术对下载的半结构化数据进行结构化处理，并对结构化数据采用“I-Match”算法进行文本查重，将数据全文索引后保存，构建起企业竞争性情报系统的情报自动采集和数据处理平台。
　　 在情报分析子系统中，采用中文文本信息处理与挖掘相关的技术和方法对搜集的结构化数据进行了情报分类分析、企业战略网络分析、竞争对手分析，分析结果构建起企业竞争情报的产品体系。
　　 在情报服务子系统中提出了研究了企业的互联网信息监控服务的解决方案，对于监控互联网上企业的负面信息和竞争对手动态具有重要的应用价值。并构建了适合企业情报搜索服务的搜索引擎结构和提出了情报层次化应用体系。
　　 基于Web开源数据构建的企业竞争性情报系统，能使企业充分开发和有效利用互联网这个海量信息仓库，并从中挖掘竞争性的价值情报，对于构建企业竞争战略、提高企业核心竞争力具有十分重要的意义。

目录

文摘

英文文摘

声明

学位论文的主要创新点

第一章 绪论

1.1 研究背景

1.2 国内外研究现状

1.3 研究目的与主要内容

1.4 本文的创新点---从Web开源情报中获取企业竞争情报

1.5 本章小节

第二章 企业竞争情报系统理论

2.1 构建企业竞争情报系统的必要性

2.2 企业竞争情报及其构成要素

2.2.1 企业竞争情报的定义

2.2.2 企业竞争情报知识体系及其构成分析

2.3 企业竞争情报系统基本理论

2.3.1 企业竞争情报系统的定义

2.3.2 企业竞争情报系统的特征

2.4 基于Web开源数据的企业竞争情报系统的体系构架

2.4.1 开源Web数据源

2.4.2 情报搜集子系统

2.4.3 情报分析子系统

2.4.4 情报服务子系统

2.5 构建企业竞争情报系统的意义

2.6 本章小节

第三章 Web开源数据情报收集与处理

3.1 面向主题的Web开源数据的自动采集技术

3.1.1 基于主题的网络聚焦爬虫

3.1.2 基于元搜索引擎的数据采集技术

3.1.3 URL不重复抓取策略

3.2 文本数据的预处理与数据全文索引

3.2.1 网页文本的正文抽取

3.2.2 提取PDF与Office文档的文本信息

3.2.3 结构化文本查重

3.2.4 数据全文索引

3.3 本章小节

第四章 开源数据情报分析与挖掘

4.1 基于领域词典的中文自动分词技术

4.1.1 领域词典扩充

4.1.2 分词算法与中科院分词工具ICTCLAS的应用

4.2 情报分类分析

4.2.1 文本分类概述

4.2.2 基于文本分类的情报分类分析

4.3 基于文本信息抽取的企业战略网络分析

4.3.1 企业战略网络概述

4.3.2 文本信息实体识别与关系抽取

4.3.3 基于信息抽取的企业战略网络建立与分析

4.4 企业竞争对手分析与评价

4.4.1 定标比超法概述

4.4.2 企业竞争对于分析与评价

4.5 本章小节

第五章 竞争情报服务系统的实施

5.1 Web开源信息监控服务

5.1.1 Web开源信息监控技术原理

5.1.2 信息监控技术在竞争性情报系统中的应用

5.2 实时情报浏览与搜索服务

5.2.1 分类情报实时浏览

5.2.2 情报搜索服务

5.3 适应企业组织结构的情报层次应用体系

第六章 总结与展望

6.1 总结

6.2 展望

参考文献