泛数据收集应用服务平台的设计与实现

摘要

近几年来随着国内外市场信息化发展日趋完善，数据在类型、格式、地域等方面也呈多样化发展趋势。简单地说，将分布在不同地域空间的各类数据或数据格式统称为泛数据。如何将地源辽阔，流动性强，格式多样的泛数据收集于统一的平台是企业信息化首要解决的问题。为此我们提出了使用网络方面的最新通路技术，将有线，无线，在线，离线，条形码，语音数据收集等多渠道泛数据收集方式统统聚合在一个统一的平台上的设想并进入具体实施。 本文是以多渠道泛数据收集应用服务平台为案例，阐述了泛数据收集应用服务平台的概念及其体系架构。在体系架构的设计上采用了模块化的设计方法，本系统的主要模块包括：数据接收端、数据处理层，数据收集引擎、元数据和数据输出五个模块。每个模块之间的依赖关系都是建立在接口之上的，也就是说每个模块的具体实现的变化是不会影响到其他模块的。在数据接收端模块，系统需要通过不同协议接收各种各样的异构数据，这就需要有不同的数据接收实现，然而他们对外部都具有统一的接口，外部系统并不需要里面的实现。同样在数据收集引擎模块，可以简单地将数据的链式处理方式更改为工作流处理方式。本系统作为一个平台系统，还包括了后台管理程序，系统管理员可以进入后台管理程序管理数据收集流程、元数据，查看日志，管理备份数据，等等。系统管理程序是一个B/S结构的应用程序，是基于MVC模式。除了系统平台之外，我们还设计了一系列接口，将系统封装成了一个嵌入式的库，这样可以方便将本系统集成到已有的系统中。本系统的实现是基于J2EE平台的，采用了大量的开源框架，例如：struts、spring，等等。除此之外，本文还提供了一个数据收集的实例，用户通过短信发送数据，短信网关在获取数据后将数据发送到数据收集平台，数据平台的接收端获取数据后，将数据解析，并触发数据处理流程，数据经过处理，通过数据输出层进入数据库。

目录

文摘

英文文摘

声明

第1章绪论

1.1 项目研究的背景

1.2 项目研究的发展与现状

1.3 本项目的意义及主要工作

第2章相关技术基础

2.1数据库基础

2.1.1数据库概述

2.1.2数据库的基本特性

2.1.3各种数据库的连接

2.2人机交互

2.3 ASP服务概述

2.4本章小结

第3章泛数据收集应用服务平台的设计

3.1需求分析

3.2系统的优势

3.3系统基本架构

3.3.1 MVC模式

3.3.2 Struts框架

3.4总体架构设计

3.5数据接收端设计

3.5.1数据接口

3.5.2 HTTP短信网关

3.6数据收集引擎设计

3.6.1 Spring

3.6.2数据处理流程

3.7元数据设计

3.8数据存储层设计

3.8.1 DAO模式

3.9 本章小结

第4章泛数据收集应用服务平台的实现

4.1数据收集方式的实现

4.1.1数据收集的具体实现

4.2嵌入式库的实现

4.2.1嵌入式库的具体实现

4.3本章小结

第5章应用实例

5.1应用操作

5.1.1 excel数据收集操作

5.1.2 SMS数据收集操作

5.2本章小结

第6章结论与展望

6.1结论

6.2展望

参考文献

附录

致谢