商业银行海量历史数据集成存储与访问控制系统设计与实现

摘要

面对中国金融市场的激烈竞争和信息技术的飞速发展,商业银行的信息化建设呈现了“数据集中化、业务综合化、管理扁平化、决策科学化”的发展趋势。信息在现代化商业银行中与市场、资金、人才并列为最重要的资源之一,占据着越来越重要的地位,已经成为银行对外服务的基础,科学管理的保障,正确决策的前提,有效调控的手段。能否拥有及时、准确、全面的信息已经成为衡量一个商业银行是否具有发展潜力的重要指标。银行信息管理涉及信息资源的采集、存储、加工、处理、提供等工作进程。这其中,历史数据集成存储与访问控制系统在其中起着基础性和决定性的作用。
　　 本文首先对商业银行历史数据的存储与访问现状进行概括,从历史数据如何保存和使用的角度出发,分析当前商业银行存在和应该解决的问题,并探讨历史数据集成存储与访问控制系统建立的目标和意义,在此基础之上研究总体建设的思路,进一步优化银行内部数据管理关系和数据流图,并详细解释在系统建设中需要包含的变化数据捕获、数据模型变化跟踪、历史数据访问服务和数据库虚拟备份等部分的详细处理过程。
　　 本文主要研究成果有四个方面:
　　 1.实现了一个基于MD5的CDC变化数据捕获(ChangeDataCapture)算法,依托CDC算法生成比较数据的指纹,以指纹来辨别和捕获变化数据,此方式做到了变化数据捕获的业务逻辑无关性。
　　 2.基于捕获的增量变化数据,采用链式增量(ChainedIncrements)数据存储模式,完成了数据的增量存储,在有效的节约了历史数据存储空间的同时,满足了数据历史可回溯性需要。
　　 3.采用WebService对外提供实时的交易数据历史查询,并满足了批量历史数据分析的需要,可方便的通过SQL进行历史数据切片、历史状态追溯等功能。
　　 4.运用基于SybaseIQ数据库的虚拟备份(VirtualBackup)技术,并结合硬件磁盘块拷贝技术的LocalCopy、DeltaCopy、RemoteCopy以及相关多通道管理等功能,共同实现快速高效的数据库备份和恢复存储系统,满足系统7*24小时不间断运行的需要。