达梦数据库块级压缩方案的设计与实现

摘要

数据库压缩是最近几年提出的用于提升关系型数据库性能的一项新技术。数据库压缩技术将关系数据库进行压缩存储，不仅节约了磁盘的空间占用量，并且更多的数据记录被压缩存放入同一数据块中，使得压缩数据库系统中一次I/O 操作读取的记录数目变得更多，读取整个数据库数据表所需要的I/O 操作也变得相对较少，对于那些存储有大量数据记录的数据仓库系统而言可以获得较大的性能提升。
　　 通过对达梦数据库(Dameng Database)数据块格式、数据记录格式、传统数据压缩算法以及属性、元组、数据块、数据表四种不同粒度压缩方案的深入研究，达梦数据库的压缩方案最后选定在数据块级进行实施。
　　 在块级压缩方案的详细设计中，重点设计了压缩属性词条的格式、块内属性词典区的组织形式与压缩属性标记方式，并对数据块级压缩算法的可行性、解压缩时机的选择、压缩算法执行过程、压缩率的形式化证明等相关问题进行了详细论证。
　　 在压缩后的数据块上进行的数据库操作方面，采用数据块级压缩方案后，对传统的数据库操作会产生较大的影响，针对复杂的、不必要的和频繁的解压操作可能会吞噬掉数据库系统采用压缩方案后所获得的收益这一情况设计了拖延式加解压缩模型思想，并设计了针对数据块级压缩方案查询，插入，删除，更新等操作的具体算法，并对操作的执行效率进行了深入分析。
　　 最后对数据块级压缩算法以及压缩数据块上查询，插入，删除，更新等数据库操作设计了仿真程序。压缩率测试的实验表明，数据块级压缩算法可以获得较好的压缩率，并且随着数据块大小的增加，单块压缩率可以获得进一步提升；查询操作的实验表明，由于I/O 次数的减少，压缩数据库系统的查询效率可以获得较大提升；插入、更新、删除操作的实验表明，如果需要维护数据块的压缩性，重构压缩数据块时会存在一定的性能损失。