内存数据库

摘要： 本文结合自主软件开发中对海量数据电子表格的实际需求,从电子表格的设计思路、技术方案、基本功能、“块”数据操作功能实现等几个方面介绍了利用“虚表”+“内存数据库”技术实现百万级记录的电子表格组件,结合实际的大数据测试对比验证了该海量电子表格的优势,并就下一步的深入应用研发提出方向。

摘要： 随着经济的持续发展及手机等通信工具的广泛普及,电信诈骗日渐猖獗,每年因此造成的经济损失达万亿元,若不能有效制止该情形,将给社会带来极大损失。电信诈骗通常采取高频外呼的方式来扩大目标范围,因此,若能通过技术手段实时侦别电诈高危号码,并及时关停,掐断电信诈骗的实施,是保护群众财产安全最有效的方式之一。本文介绍了一种基于位图实时侦别高频呼叫的方案,采集用户信令话单,利用流批一体计算引擎、内存数据库等技术手段,通过位图算法压缩用户通话行为轨迹,以此实现对用户是否存在连续性通话行为的判断。针对疑似诈骗客户进行语音功能限制,达到保障用户的通信及财产安全,免受诈骗干扰的效果。

摘要： 传统动目标数据存储方法是直接在物理内存区开辟空间,但是在遇到十万、百万批级别的海量目标时往往出现内存不够、查询和修改效率低的问题。针对传统处理方法面临的性能瓶颈,该文基于Redis内存数据库高性能数据管理和共享技术,实现目标数据的快速存储、查询和修改,使得目标数据能够在程序间高速交互,提升系统实时性和一致性。

摘要： 本文针对运营商系统日益增多的话单文件,探索使用PC服务器硬件资源,利用当前服务器内存大、价格低、可扩展的特性,搭建集群资源环境,部署基于内存的分布式关系型数据库,发挥内存资源快速读取、高效响应的特性。应用关系型数据库易于操作、易于使用的特点,建立内存和话单文件之间的处理机制,解决当前运营商业务支撑系统对批量用户话单预处理慢的问题,将批量话单的预处理效率提高至秒级,从而提升运营商对外服务的能力,提升用户使用感知。

摘要： 为了突破指挥自动化系统在海量AIS目标态势处理与显示方面的性能瓶颈,本文介绍了一种基于共享内存管理的海量AIS目标态势显示系统,系统基于共享内存管理、按需请求和局部更新、LOD分级显示的理念,从大容量态势目标的信息特征出发,以共享内存数据库、显示处理服务化为技术基础,结合基于空间网格的数据动态调度、目标聚合计算以及客户端分级显示策略等技术,实现了海量AIS目标的高性能态势显示.

摘要： 针对电信设备的分布式网络大量动态数据频繁更新后如何保证数据有序、实时地同步到各节点的目的,采用双向队列实例数据区数据模型的一种简单有效的分布式动态数据同步方法,通过对比表、记录、动态字段等3种数据同步方法的性能测试实验,得出设计的动态数据同步方法的效率显著提升(是整表数据同步性能的12倍,是记录同步性能的6倍),且最大限度地保证了动态数据同步的实时性和可靠性.

摘要： 传统的关系型数据库根据使用场景通常分为OLTP和OLAP两种类型.SAP的HANA数据库采用"内存数据库+列式存储"将这两种场景融合在了一起.本文通过对HANA数据库运行机制的阐述,以及与Oracle12c的对比,解释了HANA数据库的技术原理,并对数据库的发展趋势进行了展望.

摘要： 针对全国铁路部分车站大屏余票查询耗时长、车站售票窗口及自动售票机余票查询请求响应慢等问题,利用快速查询、分布式缓存、多维度故障检测、分布式内存数据库等技术,设计并开发具有高可靠性、高可用性、可扩展性的铁路车站余票查询服务系统.该系统已应用在全国铁路的售票窗口、自动售票机、车站大屏及集中电话订票的余票查询服务中,运行效果良好.

摘要： 随着流域巨型水库群的建成投运和流域水文监测站网体系的逐步完善,水资源时空数据日趋庞大,导致已有水资源管理决策支持系统服务器压力剧增、响应速度降低、易崩溃等问题的发生.为此,研究引入开源的Key-Value模型内存数据库Redis,设计了一种快速高效的数据交互框架,避免频繁的磁盘I/O操作,实现系统响应速度的数量级提升.研究成果集成在长江三峡梯调中心金沙江下游～三峡决策支持系统中,应用效果表明,设计的数据交互框架能够显著提升系统响应速度,保障系统的可用性和稳定性.

摘要： 在学校信息系统中,数据库性能已经成为制约信息系统性能的瓶颈,通过使用内存数据库可以显著提高数据库系统的性能.基于此,笔者介绍了内存数据库的发展现状、内存数据库的优点和常用的内存数据库管理系统,并以SQL Server数据库为例,详细介绍了内存数据库在学校信息系统中的应用.

摘要： 在机载设备的研发过程中需要构建相应的平台,集成所有相关的设备进行系统测试.仿真接口模型是构建测试平台常用的仿真设备中的软件模型,它实现了仿真目标的通信接口和交互逻辑,能够收发数据和对某些事件作出响应,满足验证平台设备间的交互需求.探索了基于内存数据库开发仿真接口模型的方法,为测试平台中仿真模型的构建提供一条新的思路.

摘要： 本文通过研究环境大数据的结构和Geoserver数据源组成,提供出一条基于内存数据库为数据源来高速渲染地图的方法.首先、将电网运行环境大数据按照时间节点进行格式化处理;第二、通过改写H2数据库来创建内存数据库,创建大数据格式化数据表并发布Geoserver服务;第三、通过改写从Geoserver到H2数据库发出的数据请求SQL,直接返回即时查询的格式化环境相关数据.由于数据直接存储在内存当中,可以完成大量数据的快速渲染出图;而查询SQL的重写则可以实现数据自定义查询结果的出图.

摘要： 随着近年来嵌入式应用的复杂化和多样化,工业界和学术界提出用内存数据库满足嵌入式系统对数据处理性能不断提升的要求.然而,现有的内存数据库需要在磁盘或闪存等外存上持久化存储真实的数据库备份,并且以I/O 操作的方式将数据库的更新操作同步回外存,有极大的性能开销.此外,这类数据库即便直接部署在新型非易失性内存(Non-Volatile Memory,NVM)中,也因为缺乏内存中的持久化机制而不能脱离外存.本文针对现有内存数据库的不足,提出一套面向NVM的持久化内存数据库设计方案.该方案直接用数据库独立管理NVM,持久化存储NVM的空间信息以及内存数据库的元数据.依据提出的方案,本文在典型的内存数据库Redis的基础上实现了可在NVM上持久化的内存数据库.实验结果表明,该方案相比既有Redis的持久化方案AOF,数据库的启动速度可提高2400倍,关闭速度可提高5倍,set操作的速度可提高58倍,delete操作的速度可提升34倍.

摘要： 传统的按专业划分的网络管理已经跟不上跨专业面向业务和客户体验的管理需求,实施全网设备的集中化运维管理,成为近年来运维管理工作的重点.根据集中化故障管理改革目标要求,全网设备告警集中采集、处理、存储、展现以及驱动运维动作的执行,这就对省级集中化故障管理系统的容量、并发处理效率、数据库运算能力提出挑战.本文对流计算及内存数据库如何帮助集中化故障管理系统应对上述挑战,产生哪些效果进行了阐述.

摘要： 本文描述了内存数据库的基本概念,并将内存数据库与传统的关系数据库进行了比较,详细综述了内存数据库的主要设计策略及优势.由于内存的易失性,任何断路操作都可能引起数据的丢失,导致系统出错或崩溃,直接影响到系统的稳定性和可靠性,因此内存数据库的恢复就显得相当重要;文中通过日志、检查点和重载恢复技术,对内存数据库的恢复技术进行了详细深入的分析和研究,使内存数据库能在系统故障后快速恢复,满足了内存数据库快速准确的恢复要求,提高了系统的性能.

摘要： 简述了新浪内存数据库服务发展历程，分析了内存数据应用存储架构演进，计数服务存储演化，社交图谱存储演化，OPS组织结构及运维系统架构演进。

摘要： 自从SAP公司的HANA问世以来,其强大的数据查询和处理能力吸引了越来越多的用户,采用HANA内存数据库的数据仓库(BW)方案已逐步成为业内主流.本文首先对HANA内存数据库做了应用现状分析,分析了某石油销售企业销售BW从Oracle迁移到HANA后的系统空间使用情况.然后分析了HANA内存数据库的技术特点.其次分析了采用Oracle数据库的销售决策支持系统所面临的诸多问题,并分析了基于HANA内存数据库的决策支持技术架构和该架构下的大数据分析前景.最后给出了决策支持系统底层数据库从Oracle迁移到HANA后的性能分析结果,性能显示迁移至HANA的数据库运行效率较之前传统数据库的运行效率有了2-7倍的提升.

摘要： 空气污染是与地理信息密切相关的环境问题,现有环境监测系统在面向地理信息的处理和可视化方面效果不佳,且存在实时性差的问题.基于内存数据库实现了空间扩展,使之支持时空数据流的存储与索引.采用磁盘空间数据库存储历史数据,提供对历史数据的查询与分析功能.设计实现了空气质量实时监测系统,对监测数据流进行实时处理与可视化,并能有效应对多用户并发查询.可视化模块能够实时展示空气质量在地理空间上的连续分布情况,支持二维和三维两种可视化方式,具有跨平台的特点.

摘要： 简述了RDBMS的发展，分析了为什么要新引擎，增量更新，每次在某一数据页上的更新将生成一个新的地址，新地址将作为现有数据库页的入口，采用CAS完成映射表中物理新地址的映射，更新竞争，针对同一数据库页可能出现同时更新，此时胜出者更新,失败者需重试.

摘要： 众核架构协处理器Xeon Phi成为新兴的主流高性能计算平台.对于数据库应用而言,内存分析处理是一种计算密集型负载,其主要的性能取决于大事实表与维表之间的内存外键连接性能.本文关注于一种相对于缓存相关的分区哈希连接算法和缓存不相关的无分区哈希连接算法的缓存友好型外键连接算法,以适应Xeon Phi协处理器较小的LLC和高并发线程的特点.通过挖掘OLAP模式中的代理键特征,基于键值匹配的哈希探测操作可以进一步简化为事实表与维表之间基于主-外键参照完整性约束的代理键参照访问,因此复杂的哈希表和CPU代价较高的哈希探测操作可以简化为通过映射外键值为代理键向量内存偏移地址的方法对代理向量直接访问.基于代理向量参照访问的外键连接算法能够简单并高效地应用于Xeon Phi协处理器平台,通过更多的核心和高并发线程来掩盖内存访问延迟.实验中对传统的哈希连接算法(无分区哈希连接算法和基数分区哈希连接算法)和基于代理向量参照技术的外键连接算法在Xeon E5-2650v310核处理器平台和Xeon Phi5110P60核协处理器平台进行性能测试和比较,实验结果给出了主流的内存外键连接算法在不同数据集和不同平台上全面的性能特征.

摘要： 本发明公开了一种内存数据库的主备复制方法及内存数据库系统，采用异步和半同步相结合的方式，与传统的半同步复制方式相比，本发明中的半同步并不等待备库主机对主库发送的REDO日志的接收确认，即可进行后续处理，可以使处理效率不受复制影响，另外，异步复制和半同步复制相互配合，共同保证主库和备库数据的一致性，在主库发生异常的情况下，备库可接管主库的功能，在保证数据安全的前提下，充分发挥内存数据库的高效处理优势。

摘要： 本发明的实施例公开了一种分布式内存数据库的实现方法、装置及内存数据集群，涉及通信技术领域，解决了现有技术中分布式内存数据库可靠性较差的技术问题，本发明实施例中的方法主要包括：发送包含节点内存数据库信息的消息到至少两个令牌控制器；分别接收来自所述至少两个令牌控制器的包含内存数据库列表的消息，其中，所述内存数据库列表中包括根据至少一个所述节点内存数据库信息整理的集群内信息；根据所述内存数据库列表中的集群内信息处理所述集群内的事务。本发明实施例适用于内存数据库。

摘要： 本发明公开了一种内存数据库系统，包括通信接口、创建装置、写操作装置、查询操作装置和释放操作装置；所述创建装置用于在共享内存中建立存储数据库的描述信息的第一存储区、存储用于定位表记录的索引信息的第二存储区和存储表记录的第三存储区，以及将数据库的描述信息保存到所述第一存储区；所述第三存储区包括与表记录大小匹配的存储单元，每个存储单元存储一条数据库表记录，相同大小并且在物理空间上连续的存储单元构成一个物理块，一个物理块或多个相同的物理块关联成一个逻辑块。本发明还公开了创建内存数据库的方法、建立多索引的方法及其装置。本发明实现了内存数据库表结构与数据存储结构的松耦合，能灵活创建和管理内存数据库。

摘要： 本发明公开了一种实现共享内存数据库的方法，以解决现有的内存数据库存在无法满足高并发量数据访问的问题；该方法包括：创建步骤，用于创建可供多进程访问的共享内存，并将内存数据库保存于该共享内存中；加锁步骤，当所述内存数据库在接收到进程的访问请求时对操作加锁，使进程间互斥访问内存数据库以保证数据的一致性；执行步骤，在操作加锁后由数据库管理系统对数据进行实际操作并输出结果；解锁步骤，用于在执行完进程的访问操作后解除该操作的锁。

摘要： 本发明涉及一种内存数据库和物理数据库间的数据同步方法，包括：步骤1、以SQL操作的形式表示对源数据库的操作，将SQL操作分解为SQL语法和相应的SQL参数，注册操作源数据库的SQL语法和SQL参数，并将注册的SQL语法和SQL参数存储于SQL管理区中加以管理；步骤2、对于源数据库的数据变动，以SQL语法结合SQL参数的形式生成逻辑日志；步骤3、根据注册的SQL语法和SQL参数，将步骤2中的逻辑日志在目的数据库重做。本发明的内存数据库和物理数据库间的数据同步方法利用了一次prepare和多次execute机制，大大的提高了同步效率；降低了逻辑日志的大小，减少了系统传输损耗和磁盘空间的浪费；支持了同步应用和对应SQL的变化，支持了系统的升级和扩展。

摘要： 本发明公开了一种内存数据库的主备复制方法及内存数据库系统，采用异步和半同步相结合的方式，与传统的半同步复制方式相比，本发明中的半同步并不等待备库主机对主库发送的REDO日志的接收确认，即可进行后续处理，可以使处理效率不受复制影响，另外，异步复制和半同步复制相互配合，共同保证主库和备库数据的一致性，在主库发生异常的情况下，备库可接管主库的功能，在保证数据安全的前提下，充分发挥内存数据库的高效处理优势。

摘要： 本发明实施例公开了一种内存数据库集群的同步方法，包括：获取内存数据库从机发送的同步请求指令，所述同步请求指令包括同步偏移地址；判断当前需要同步到的数据的存储地址与所述同步偏移地址的差值是否大于增量同步缓存区的地址容量；若否，则将所述增量同步缓存区中在所述同步偏移地址以后的数据发送给所述内存数据库从机以实现增量同步；若是，则将持久化数据保存文件中在所述同步偏移地址以后的数据发送给所述内存数据库从机以实现增量同步。相应地，本发明实施例还公开了一种内存数据库主机。采用本发明，可以实现保证主从机之间数据的一致性、提高数据同步的效率以及改善主机的处理性能。

摘要： 本发明的实施例公开了一种分布式内存数据库的实现方法、装置及内存数据集群，涉及通信技术领域，解决了现有技术中分布式内存数据库可靠性较差的技术问题，本发明实施例中的方法主要包括：发送包含节点内存数据库信息的消息到至少两个令牌控制器；分别接收来自所述至少两个令牌控制器的包含内存数据库列表的消息，其中，所述内存数据库列表中包括根据至少一个所述节点内存数据库信息整理的集群内信息；根据所述内存数据库列表中的集群内信息处理所述集群内的事务。本发明实施例适用于内存数据库。

摘要： 本发明公开了一种内存数据库系统，包括通信接口、创建装置、写操作装置、查询操作装置和释放操作装置；所述创建装置用于在共享内存中建立存储数据库的描述信息的第一存储区、存储用于定位表记录的索引信息的第二存储区和存储表记录的第三存储区，以及将数据库的描述信息保存到所述第一存储区；所述第三存储区包括与表记录大小匹配的存储单元，每个存储单元存储一条数据库表记录，相同大小并且在物理空间上连续的存储单元构成一个物理块，一个物理块或多个相同的物理块关联成一个逻辑块。本发明还公开了创建内存数据库的方法、建立多索引的方法及其装置。本发明实现了内存数据库表结构与数据存储结构的松耦合，能灵活创建和管理内存数据库。

摘要： 本发明公开了一种实现共享内存数据库的方法，以解决现有的内存数据库存在无法满足高并发量数据访问的问题；该方法包括：创建步骤，用于创建可供多进程访问的共享内存，并将内存数据库保存于该共享内存中；加锁步骤，当所述内存数据库在接收到进程的访问请求时对操作加锁，使进程间互斥访问内存数据库以保证数据的一致性；执行步骤，在操作加锁后由数据库管理系统对数据进行实际操作并输出结果；解锁步骤，用于在执行完进程的访问操作后解除该操作的锁。