VSAM自动优化技术与研究

摘要

IBM公司的Mainframe产品是一种高稳定性,高效能的产品,其经典的架构和并行处理能力至今仍然受到众多高端企业用户的青睐。在Mainframe长达数十年的改革中,其硬件已经经过了几代的更新,无论是速度上,还是可靠性上都取得了长足的进步。然而不知是出于向下兼容的原因还是自身已经足够优秀的关系,Mainframe的系统核心架构的变化却微乎其微。与之相应的,使用Mainframe的企业也不愿意对过去的应用产品做出大的变动,不管是出于安全的考虑还是对于修改成本的顾忌,这一发展在十数年中很缓慢。这也使得作为Mainframe核心的VSAM文件系统的改进也与其他软件产品一样缓慢的变化着。然而基于一些历史原因,导致很多早期遗留下来的文件和应用程序存在着低效率,高消耗的局势,这些文件和应用程序从过去的试验产品如今已成为了支撑许多企业业务重压的顶梁柱,在业务需求不断扩大的现在,想要对程序做出大的调整,无论是其成本还是其风险都不具备可行性。编写新的程序和系统层面无损的优化成为了两个仅有的方法。其中编写新的程序除了需要大量时间外,还需要经过测试,论证等环节,这对所有大型企业来说都是一个漫长的过程,而能在短期内产生效能,并且价格低廉,风险较低的方案也就只剩下了系统层面的无损优化。
　　 作为Mainframe中的核心部分,VSAM一直以来占用着Mainframe中最大的资源,又由于VSAM需要访问外设的特性,性能的好坏也就直接关系到了应用程序的响应时间。如果能减少VSAM对磁盘的读写次数,则会大大提升整个架构的整体效能。
　　 本文的目标针对VSAM性能优化做出分析,通过发现传统优化VSAM性能的弱点(大量的工作量,人为错误等因素),提出了自动化调整文件性能的方法,通过一个“体外循环”从而达到从系统层面优化VSAM的目的。整个优化过程经过收集监控程序所获得文件的性能数据,综合分析自动化性能优化的模型,数据挖掘,性能评估等方法来产生优化作业流,再通过Mainframe操作系统对该作业的执行来完成最终的优化。
　　 本文的主要贡献有以下3个方面:
　　 ●应用有限自动机理论,通过收集Mainframe对VSAM的监控报告以及数据统计,采用ETL方法自动抽取文件中的凌乱数据,并格式化后写入关系型数据库中。
　　 ●聚类分析,从大量的文件实例中寻找到合适的学习对象。在参数逼近和优化算法的作用下,使需要被优化的文件的参数能够自动的调整,达到性能优化的目的。
　　 ●预估文件性能提升幅度,计算文件重组时间,有效地排列组合需要重组的文件,使得在有限的时间内,尽可能多的优化最为重要的文件,以最大化提高系统的性能。同时为了适应一些特殊时间点的应用需求,动态的观测系统负荷,达到系统效能与应用效能间的平衡。