卷烟生产经营决策管理系统数据采集方案设计与实现

摘要

国家烟草专卖局为了适应行业发展的需要，构建了一个基于行业现有信息网络基础的生产经营决策管理系统。数据仓库作为决策管理系统的基础，是面向主题的、集成的、不可变更的、随时间不断变化的数据集合。 建立数据中心过程中最关键的就是数据采集系统的设计，也即ETL 的设计与实现。它的设计直接关系到决策系统的最终效果。现有市场上有许多ETL 工具，但通用性强而针对性差，作者在研究了数据的转换和清洗算法之后，设计了一个从各种数据源抽取数据到数据仓库的ETL工具。 ETL 工具中元数据库的设计参照了元数据管理的CWM 标准，借鉴了元数据管理标准化的思想，并根据实际需求进行设计，元数据信息存放在XML 文件中。在实现时采用了Java 技术，遵循MVC 设计模式，把数据采集系统分为3 个部分：任务设计器、任务执行引擎和管理中心。数据采集系统的核心管理单元是任务，一个任务完成一次数据抽取操作，多个任务组成一个主题，完成业务意义上的一类数据抽取过程。数据传输采用消息传输中间件，保证了数据传输的质量和效率。