基于Internet的银行竞争情报收集系统的研究与实现

摘要

近些年来，互联网的高速发展大大加速了企业信息化进程，与此同时，处于企业信息化核心地位的企业竞争情报系统也面临着极大的技术挑战。在这种背景下，如何在海量数据中对情报进行高效、准确、自动化地收集、分析和推送，对于应对新的竞争环境有着重要的研究价值和意义。 web页面的主要内容块发现在很大程度上影响着自动化情报收集的准确率。本文在现有技术的基础上融合了动态投票策略和内容分析的技术，提高了主要内容块发现的准确率和召回率。实验表明，本文提出的基于页面特征和内容分析的web页面主要内容块发现方法的性能与现有方法相比有一定程度的提高。 自动化情报收集的关键在于判断待分析的信息是否为所需情报，即主题相关度计算。本文在这方面进行了大量研究之后提出了一种基于动态匹配的主题相关度计算模型。和现有方法相比，此模型能够在一定程度上提高web页面的处理速度。 最后本文提出了一个企业竞争情报系统的整体框架，并在此基础上结合本文改进的一些方法设计并实现了基于Internet的银行竞争情报收集系统。

目录

文摘

英文文摘

声明

第一章绪论

1.1研究背景

1.1.1国内银行所面临的竞争事态

1.1.2国内银行实施竞争情报系统的现状

1.1.3国内银行实施竞争情报系统的必要性

1.2企业竞争情报系统的研究与应用现状

1.2.1国外的应用与研究现状

1.2.2国内的应用与研究现状

1.3论文的主要工作

1.4论文的组织结构

第二章企业竞争情报与企业竞争情报系统

2.1企业竞争情报

2.2企业竞争情报系统

2.2.1企业竞争情报系统(ECIS)的含义

2.2.2企业竞争情报系统建设原则

2.2.3企业竞争情报系统基本架构

第三章企业竞争情报收集系统的相关技术

3.1网络爬虫

3.1.1网络爬虫的含义

3.1.2网络爬虫的结构

3.1.3网络爬虫抓取网页策略

3.2去除web页面的噪声

3.3信息检索模型

3.3.1布尔模型

3.3.2向量空间模型

3.3.3概率检索模型

第四章基于页面特征与内容分析的web页面主要内容块发现

4.1引言

4.2 web页面主要内容块发现任务描述

4.3相关工作

4.4 web页面主要内容块的发现

4.4.1 web页面结构的表示及web页面的内容块的分类

4.4.2联合使用布局特征与语言特征的web页面视觉块分类器

4.4.3基于内容分析的web页面视觉块分类器

4.5实验结果及分析

4.5.1准确性实验

4.5.2通用性实验

4.6结语

第五章基于动态匹配的主题相关度计算模型

5.1 web页面主题相关度计算任务描述

5.2相关工作

5.3基于动态匹配的主题相关度计算模型

5.3.1基于页面内容的判定算法及其改进

5.3.2针对web页面的主题相关度计算模型

5.4实验结果与分析

5.5结语

第六章基于Internet的银行竞争情报收集系统的设计与实现

6.1引言

6.2基于Internet的银行竞争情报系统及其收集子系统的体系结构

6.3搜索模块的流程分析

6.3.1网络爬虫

6.3.2用视觉块来表示web页面

6.3.3基于web页面特征与内容分析的分类器

6.3.4基于元数据的主题相关度辨别模块

6.3.5决策条件1

6.3.6决策条件2

6.3.7基于页面内容的判定方法

6.3.8计算web页面的最终的主题相关度得分

6.4结语

第七章总结与展望

7.1工作总结

7.2展望

参考文献

攻读硕士学位期间取得的学术成果

致谢