达梦R语言驱动程序设计与实现

摘要

R语言在数据分析和数据挖掘领域的重要性不言而喻.在应用达梦数据库的领域中,出现了对于存储在达梦数据库中的数据进行统计分析和数据挖掘的需求.目前,R语言访间达梦数据库的主要方式是RODBC和RJDBC,但是这两种方式都有各自的弊端,比如RODBC读取数据库的配置繁琐,而RJDBC的稳定性较差,在数据量大的时候容易出现内存泄漏导致读取数据失败. 通过分析现有的R语言数据库驱动包,设计并实现了达梦数据库的R语言驱动包RDM,提升达梦数据库对数据挖掘,数据分析领域的支持RDM包括上下文管理模块、SQL执行模块、结果集管理模块、结果集缓存管理模块、事务管理模块、字典信息模块以及诊断信息模块共七个功能模块.各个模块底层均使用达梦DPI函数接口访间达梦数据库,井且使用R语言的Caii函数来实现跨语言的调用其中上下文管理模块主要功能是初始化驱动环境以及建立数据库连接,是整个程序的基础模块.SQL执行模块的主要功能是执行SQL语句.结果集管理的主要功能是获取结果集数据.结果集缓存模块是为了解决在获取大数据量时触发垃圾回收导致获取数据效率低下,从而设计结果集缓存模块将获取到的结果集数据先缓存起来,根据结果集数据的特点分为定长数据和非定长数据,然后再将缓存的数据填充进结果集容器中,避免了频繁申请结果集容器内存以及拷贝数据,也就避免了垃圾回收,提升获取数据的效率,是整个驱动程序的核心模块.事务管理模块主要功能是管理事务.字典信息模块主要就是得到RDM程序运行时的字典信息,包括连接信息和结果集信息.诊断模块主要功能就是提供参数检验和诊断信息提示的功能. 最后对RDM的功能和性能进行测试,结果表明,RDM达到设计的所有功能目标,达到了并且其查询性能和稳定性优于RODBC和RJDBC,写人性能优于RODBC.

目录

第一个书签之前