内存数据库及其对外接口

摘要

数据库(Database)是按照数据结构进行组织、存储和管理数据的仓库,随着信息技术和市场的发展,数据库理论与技术的发展也是极其迅速的,并且在今天的信息世界中,越来越被广泛的应用。但是传统的磁盘数据库,其主要的工作版本保存在非易失性的存储设备磁盘上,因此磁盘数据库系统在进行数据操作管理时,经常需要对磁盘进行访问,将数据从磁盘读取到内存,然后从内存上对数据进行处理,处理完成后再将内存中的数据写回磁盘。由于磁盘数据库的诸多操作都涉及磁盘的I/O,而磁盘由于其机械设备的特性,磁盘的I/O操作速度较慢,且连续的I/O,顺序对其速度的影响也会很大,因此磁盘数据库的I/O是其性能的瓶颈。当实时存取大量数据时,会造成磁盘数据库系统中CPU和I/O之间的矛盾。
　　 于此同时,由于移动通讯技术的发展,移动通信需要提供越来越多类型的数据服务,随着3G时代的到来,电信行业已经成为了数据密集型行业,用户数据的不断更新,对于交换机系统的实时性要求越来越高,这就需要大幅度提高数据交流的速度。而传统的硬盘数据库由于其I/O等种种瓶颈,无法再满足速度上的需求。为了达到数据能够快速大量的存储的要求,内存数据库(MMDB)随之产生。
　　 内存数据库将工作版本放到内存中,由于数据库中的读、取操作都是在内存中进行,并且在内存中实现对数据的管理,内存中的数据读写速度要比磁盘高出几个数量级,将数据保存在内存中相比从磁盘上访问数据,在大量存取实时数据时,不但解决了数据库中CPU和磁盘I/O之间的主要矛盾,更能够提高应用性能。
　　 本文结合移动通讯网络管理系统,深入剖析了内存数据库对外部的数据采集以及对内部数据的存储和管理,研究了内存数据库通讯接口的实现,以及内存数据库内部的理论知识和关键技术,包括内存数据库的存储管理,内存数据库的索引,事物处理,内存数据库的碎片处理以及数据缓存等。由于内存数据库存储大量从各网元系统采集的数据,因此需要与各种网元系统进行连接,这就需要内存数据库提供对外接口,用以采集汇总各种网元数据。由于移动网络的庞大,网元设备繁多,因此提供的接口也各有不同,总结下来,大约分为以下三种接口:Telnet接口,Socket接口和Corba规范接口,因此要分别于这些接口进行通讯,采集数据。本文内存数据库的对外接口部分,分别设计了这三种接口的实现方法。
　　 根据系统设计的要求,该内存数据库提供以下功能:外部通信接口,线程管理功能,消息队列管理,数据定义(表、索引、队列等),数据操作(数据的插入、删除、修改、查询)。本文设计实现的内存数据库管理系统满足了电信网管系统中需要的“实时、稳定、灵活”的实际要求。