银行生产数据线性能监测分析系统的设计与实现

摘要

数据统计分析是银行的日常工作之一，通过分析数据指标，来制定当前和未来的经营策略。随着银行业务爆炸式的发展，业务数据类型越来越多，数据规模也越来越大。数据仓库的出现解决了海量数据存储的问题，但是随之而来的问题却是人们无法快速访问到自己想要的数据。从业务数据的产生，到管理人员的汇总数据，总是会延迟很长时间。从业务系统到数据交换中心，再到数据仓库，最后返还给各业务系统，到底是哪一个环节耗时最长?那种动作耗时最长?只有掌握了数据在各个环节上的耗时情况，才能制定出正确的资源优化方案。从数据源到数据仓库的整条线称之为银行生产数据线，数据线整体的性能监测与分析成为科技部门一项非常迫切的工作。
　　 本文结合银行数据线数据流程的特点，设计和实现了一个可以让架构设计师或者项目高级管理人员对数据线整体性能监测和分析的系统，简称PMA(Performance Monitoring and Analyse)。该系统的主要目标是提供从源数据到业务报表的整个数据线性能分析指标数据，为架构设计师和项目高级管理人员提供决策依据，实现“主动防御，持续优化”企业级的性能管理工作机制。系统关注并不是某一个系统的性能，而是监测出整个数据线的性能问题。
　　 整个系统用B/S和C/S相结合架构，采用jsp技术进行数据处理，深入分析采用微软的EXCEL(2007)，数据存储采用Oracle数据库，数据逻辑处理采用Oracle存储过程。
　　 本系统所遵循的理论基础是关键路径法，该方法是现代项目管理最重要的一种分析方法。首先从数据线的各个项目根据数据需求接口采集性能数据，然后严格按照数据接口将各个系统的数据加载到数据后台处理模块中，后台处理模块对采集到的数据运用关键路径法进行后台跑批，获得性能分析报表所需数据，架构师或项目管理人员通过前台界面和数据透视图即可根据PMA所出报表进行资源分配等决策分析。
　　 关键路径法是本项目采用的主要算法，数据接口是项目的关键环节，提供决策依据数据是项目存在的意义。关键路径法保证了数据的可用性和可靠性；数据接口则是与各个系统进行数据交换的重要原则。数据线上的系统种类繁多，每个系统性能数据各有不同，在逐步增加系统的情况下，对各个系统的数据接口设计至关重要，必须保证准确性、唯一性和可扩展性。性能数据的分析和挖掘是提供决策依据数据关键，良好的界面和数据展示则保证了数据的及时性和可用性。
　　 本文从业务功能分析、概要设计、详细设计、开发及实现等方面对PMA系统进行了研究与分析。同时也从算法、数据接口等方面介绍了系统的实施过程。