分布式数据库

摘要： 2021年3月,南京银行N Card信用卡面市。秉持“有温度、懂生活、能社交、会记账、更有趣”的应用定位,这张面向年轻客群的数字信用卡构建于“鑫云+”平台及国产分布式数据库之上,突破了传统实体卡介质和支付场景的局限,以小程序为载体和运营平台,实现了定制化服务、精准化运营的全线上化操作目标,赢得了较好的市场关注和认可。

摘要： 随着计算机网络的不断发展和网络带宽的迅速增大,在IP骨干网、IP城域网以及各种大型IP网络的核心层和汇聚层已经大量应用分布式网络设备。为了能更好地提升分布式网络设备的性能和架构,设计了一款分布式数据库,来有效地管理该设备内各部件控制数据的存储、实时分发、批量分发以及故障处理等功能,尽可能对系统内的应用模块在控制层面屏蔽系统分布式特性。该数据库设计提高了系统软件代码的可移植性和可复用性,为分布式网络设备在大量数据的管理方面提供一定的参考。

摘要： 近年来,国内的科技、经济发展突飞猛进,金融业也随着经济的发展日渐成熟。信息时代,金融业的发展离不开信息技术的支持,而随着信息技术在金融业应用的加深,数据库的作用日益凸显。从目前的情况来看,传统数据库管理系统已不能满足金融业发展的需要,分布式数据库系统正在成为支撑金融业发展的主流数据库。文章针对数据库在金融业的应用展开分析,论述了数据库的来源以及发展历程,分析了当今金融行业数据库的使用现状,重点以银行业为例分析数据库的使用情况以及其优势和劣势,阐述分布式数据库在银行业推广的重要性,最后对分布式数据库在金融业的发展提出展望。

摘要： 随着移动互联网的发展以及5G时代的到来,数据量呈现爆发式增长,我们正进入一个大数据时代,数字化转型升级成为各企业间竞赛的关键点。数据库作为数字化的核心基础设施,不仅是实现海量数据管理的底座,也是企业数智化转型升级的底层保障,必须经过大刀阔斧的改造,才能应对传统数据库越来越难以满足的海量数据需求,助力企业数智化转型,实现高质量发展。

摘要： 近年来,随着互联网经济的发展和金融行业数字化转型的不断推进,金融业务线上化和服务场景生态化,金融服务链与各行业社会服务链交织融合,金融应用系统面临处理海量数据、超高并发、超高峰值等一系列挑战,传统集中式数据库越来越难应对。同时,面对复杂的国际环境,对全球信息技术产品供应链体系产生了较大冲击,基于传统集中式数据库构建的信息系统面临着较大的不确定性风险。工商银行结合金融科技发展趋势与金融业务创新需求,综合研判分布式数据库技术发展情况,积极开展分布式数据库联合创新和应用创新,初步形成了以分布式数据库为基础的金融级数据库转型解决方案。

摘要： 现有气象系统的设计和建设缺乏统一的规划,导致各系统功能全、规模小,整体的安全防护能力较弱,集约化差,“信息孤岛”现象仍然存在。论文利用大数据技术,搭建了以MySQL、GBase、HBase和分布式NAS为基础的统一数据存储环境,建设了融入业务体系的“一中心、一平台、多应用”的天津气象大数据共享网,形成了支撑天津省局特色的全业务数据服务中心,有效实现了数据的共享,流程的高度集约,极大提升了省级气象综合业务能力和数据的服务能力。实际测试表明,GBase数据库查询性能提升5倍多,而随着时间延长,甚至提升至22倍以上,HBase的查询性能在毫秒级,MySQL的查询性能在秒级。

摘要： 为了规避数据库集群中部分节点过载风险,提升分布式数据库的可靠性,分析了HBase数据库的数据格式及总体架构。通过综合对比各类实现方法,选择成本低易实现的软件算法实现负载均衡。针对原有负载策略的缺陷设计了基于热点访问的改进算法,综合考虑region迁移成本、region本地化成本与集群负载情况后选择迁移策略。在VMware搭建环境,利用shell读写数据进行分析,验证结果表明改进算法无论在region count还是request方面均衡效果均更佳,为HBase分布式数据库的负载均衡策略提供了可参考方案。

摘要： 本文主要研究基于分布式数据库,实现电子档案的不同类型数据的统一存储、统一管理,采用数据库分片技术实现数据库的水平扩展,解决数据量随时间快速增加时所遇到的存储空间瓶颈、从数据存储检索信息进查询需消耗大量计算资源及数据传输导致的网络流量过大等诸多问题。采用复制集冗余技术,防止单机模式数据意外丢失,当主节点发生故障时,可将备用节点切换到生产状态,提高数据库服务的可用性。整个系统划分前端和后端,后端由领域层、数据访问层及服务层组成;前端采用Asp.netcore中MVC模式;在具体实现时采用async/await(异步)模式。研究表明,多种技术的综合运用可实现数据的安全性、使用一致性及用户可获得较好的操作体验。

摘要： 针对传统的信息更新方法存在的更新效率低、隐私信息泄露风险大的问题,研究设计了一种分布式数据库隐私信息增量式更新方法。首先分析分布式数据库的存储结构和工作模式,在注册分布式数据库的基础上捕获增量变更数据。以捕获的变更数据为基础,加密保护数据库隐私信息。再通过数据转换、制定数据映射文件、数据加载、复制等步骤,实现分布式数据库隐私信息的增量式更新。仿真结果表明:与传统的信息更新方法相比,上述方法的更新速度更快,且隐私信息的泄露量更少。

摘要： 数据库是商业银行信息系统的关键组成。为贯彻落实中国人民银行《金融科技(FinTech)发展规划(2019-2021年)》的工作要求,应对移动互联网带来的全新业务发展挑战,深圳农商银行实施“创新+科技”双轮驱动,深入贯彻“科技兴行”战略,引入国产分布式数据库,支撑业务发展需求。该项目不仅满足了业务对系统高容量、高并发、高可用的需求,而且成功实践了分布式数据库服务控制、资源隔离等方面的应用,为后续深入推动分布式架构转型打下了坚实基础。

摘要： 提出分布式数据库跨数据中心的同步涉及的数据结构、数据一致性级别、数据一致性策略以及跨数据中心的同步机制设计原理、组网原理和高可用机制设计原理.

摘要： 传统多层分布式数据库数据的传输路径匹配准确度较低,对此提出基于时间序列索引的多层分布式数据库传输路径自动匹配方法.计算分布式数据库资源信息、初始信息序列、主要信息集合、信息属性权衡系数,整合数据库信息,建立BTREE索引,采用双向索引方式提取整合数据核心数据段,建立时间序列表,利用时间表对数据进行二次约束,对数据初始传输路径评估后与实际路径参数进行重合度对比,实现数据传输路径的自动匹配.实验数据表明,与传统传输路径匹配方式相比,设计的自动匹配方法完整数据传输路径匹配准确率提高24％,破损数据传输路径匹配准确率提高19％,具有实用优势性.

摘要： 应用程序的开发向分布式架构转型，数据库该如何应对微服务应用框架，新一代分布式数据库如何适应微服务云化框架需求，指出了分布式数据库存储引擎机制。

摘要： 首先介绍了分布式数据库的四种架构，其次阐述了数据分片架构设计，然后论述了分布式数据库核心定位，最后进行了存储位置和访问位置的全透明分析。

摘要： 在21世纪,物联网、云计算、分布式等新一代信息技术展露锋芒,"中国制造2025"的出台加速了中国工业企业向"智慧"时代转型的步伐,以"智慧油田"建设为代表的技术革命为新一轮油气行业转型升级埋下伏笔.本文结合新疆油田公司采气一厂实际情况,引入天行实时数据库,借助信息化与物联网等相关技术,构建厂级实时数据中心,为气田生产管理、生产优化提供统一标准的数据服务,最终建立全面感知、自动控制、趋势预测、优化决策、辅助增储上产、绿色安全、高效运营、精细管理的智能气田,满足气田未来高效开发管理的需要.

摘要： 文章从分布式数据库的演进、Sharding-Sphere的核心功能、多样化的云数据架构以及Sharding-Sphere的未来规划全球四方面进行论述。

摘要： 区块链是随着比特币等数字加密货币的日益普及而兴起的一门全新技术,它提供了一种去中心化的信任模型,引起了金融行业、科研机构及政府部门的高度重视.区块链技术通过共同建立并维护一个分布式数据库来记录过去的所有交易和历史数据,实现交易的不可篡改性.各种基于区块链技术开发的产品,如瑞波币、公正通、以太坊等,如雨后春笋般大量涌现,改变了传统的交易模式.为了保护区块链上交易的匿名性与不可链接性,必须在区块链中加入隐私保护机制.本文详细描述了区块链上的两种典型的隐私保护方案:CryptNote和Fabric,分析两种方案是如何做到隐私性和可审计性的.同时,对两种方案进行了对比分析.

摘要： 介绍了MongoDB在网易游戏服务中的应用，实现备份恢复与业务共存，对于无法彻底解决的问题，考虑减少影响的替代方案，最小化周边业务对核心业务的影响。

摘要： 介绍了MongoDB在网易游戏服务中的应用，实现备份恢复与业务共存，对于无法彻底解决的问题，考虑减少影响的替代方案，最小化周边业务对核心业务的影响。

摘要： 介绍了MongoDB在网易游戏服务中的应用，实现备份恢复与业务共存，对于无法彻底解决的问题，考虑减少影响的替代方案，最小化周边业务对核心业务的影响。

摘要： 本发明提供一种支持分布式数据库的分布锁方法，包括将分布式数据库所需要的锁资源作为一个整体形成虚拟分布式锁管理器，虚拟分布式锁管理器在分布式数据库的每个节点内设置本地映像，并使所有本地映像保持同步；虚拟分布式锁管理器的任一节点的本地映像收到应用系统的请求后，确定与该请求对应的分布式锁对象，并同步到所有其他节点的分布式锁管理器本地映像上；分布式数据库的节点通过虚拟分布式锁管理器的本地映像，来进行数据库的资源锁定操作。本发明的优点是：能够提供给分布式数据库一种事务资源独占方式，避免资源在分布系统下的访问冲突；同时，也能够保障在高可用性和高性能的前提下，资源在分布式数据系统的一致性。

摘要： 本发明提供了一种分布式数据库数据处理方法，所述方法包括管理节点接收客户端发送的请求；所述管理节点根据所述请求和存储的全局元数据生成分布式执行计划；所述管理节点将所述分布式执行计划发送到相应的数据节点执行；所述管理节点接收相应数据节点发送的执行分布式计划的结果；所述管理节点将接收的所述结果发送给客户端。本发明为基于海量数据的大数据OLAP应用提供处理解决方案，能满足处理数据量大、数据透明分布存储、多表进行关联操作等要求。本发明还提供一种分布式数据库系统。

摘要： 本申请提供分布式数据库系统和分布式数据库系统中的数据处理方法。该数据处理方法包括：数据库引擎接收插入数据请求消息，插入数据请求消息携带第一数据；数据库引擎确定第一数据所属的目标页的标识信息；数据库引擎生成第一重做日志，第一重做日志包括第一数据和目标页的标识信息；数据库引擎根据第一重做日志中目标页的标识信息，确定至少一个分区中与目标页对应的目标分区；数据库引擎将第一重做日志中的第一数据和目标页的标识信息，存入目标分区中用于存储目标页的重做日志的物理地址空间，目标分区为至少一个存储节点中的目标存储节点所包括的分区。本申请的分布式数据库系统和数据处理方法使得该分布式数据库系统可以灵活动态地扩容。

摘要： 本发明公开了一种分布式数据库的数据迁移方法和一种分布式数据库迁移系统。所述方法包括：根据指定用户的用户标识查询检索库，获得该指定用户数据的位置信息，并将对应的锁标志设置为有效；根据所获取的位置信息，获取指定用户的数据，并写入目标子库中；如果写入成功，则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息，修改为所写入的目标子库中的位置信息，并将该指定用户的用户标识所对应的锁标志设置为无效；如果写入失败，则将该指定用户的用户标识所对应的锁标志设置为无效，并删除已写入目标子库中的该指定用户的数据。本发明的技术方案能够保证用户数据迁移过程中的可用性和一致性，并且不中断用户的业务。

摘要： 本发明提供一种支持分布式数据库的分布锁方法，包括将分布式数据库所需要的锁资源作为一个整体形成虚拟分布式锁管理器，虚拟分布式锁管理器在分布式数据库的每个节点内设置本地映像，并使所有本地映像保持同步；虚拟分布式锁管理器的任一节点的本地映像收到应用系统的请求后，确定与该请求对应的分布式锁对象，并同步到所有其他节点的分布式锁管理器本地映像上；分布式数据库的节点通过虚拟分布式锁管理器的本地映像，来进行数据库的资源锁定操作。本发明的优点是：能够提供给分布式数据库一种事务资源独占方式，避免资源在分布系统下的访问冲突；同时，也能够保障在高可用性和高性能的前提下，资源在分布式数据系统的一致性。

摘要： 本申请提供分布式数据库系统和分布式数据库系统中的数据处理方法。该数据处理方法包括：数据库引擎接收插入数据请求消息，插入数据请求消息携带第一数据；数据库引擎确定第一数据所属的目标页的标识信息；数据库引擎生成第一重做日志，第一重做日志包括第一数据和目标页的标识信息；数据库引擎根据第一重做日志中目标页的标识信息，确定至少一个分区中与目标页对应的目标分区；数据库引擎将第一重做日志中的第一数据和目标页的标识信息，存入目标分区中用于存储目标页的重做日志的物理地址空间，目标分区为至少一个存储节点中的目标存储节点所包括的分区。本申请的分布式数据库系统和数据处理方法使得该分布式数据库系统可以灵活动态地扩容。

摘要： 本发明提供了一种分布式数据库数据处理方法，所述方法包括管理节点接收客户端发送的请求；所述管理节点根据所述请求和存储的全局元数据生成分布式执行计划；所述管理节点将所述分布式执行计划发送到相应的数据节点执行；所述管理节点接收相应数据节点发送的执行分布式计划的结果；所述管理节点将接收的所述结果发送给客户端。本发明为基于海量数据的大数据OLAP应用提供处理解决方案，能满足处理数据量大、数据透明分布存储、多表进行关联操作等要求。本发明还提供一种分布式数据库系统。

摘要： 本发明提供一种分布式数据库系统和分布式数据库的数据结构；将作为实际值的键值、和在分布式数据库的整体中键值所具有的数据型的范围内取唯一值的键值标识符(NID)之间的对应关系所涉及的分布式共享NID(DSN)的数据，针对每个数据型划分并分布存储于多个从节点的每一个从节点；在将DSN的数据分布存储于多个从节点(15、17、19)的每一个从节点时，基于注册请求涉及的键值从多个从节点(15、17、19)之中决定成为存储位置的一个从节点。

摘要： 本发明公开了一种分布式数据库的数据迁移方法和一种分布式数据库迁移系统。所述方法包括：根据指定用户的用户标识查询检索库，获得该指定用户数据的位置信息，并将对应的锁标志设置为有效；根据所获取的位置信息，获取指定用户的数据，并写入目标子库中；如果写入成功，则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息，修改为所写入的目标子库中的位置信息，并将该指定用户的用户标识所对应的锁标志设置为无效；如果写入失败，则将该指定用户的用户标识所对应的锁标志设置为无效，并删除已写入目标子库中的该指定用户的数据。本发明的技术方案能够保证用户数据迁移过程中的可用性和一致性，并且不中断用户的业务。

摘要： 在一种用于运行分布式数据库系统（1）的方法中，所述分布式数据库系统具有用于尤其是以区块链（BC）的方式提供相互关联的数据块（Bi）的分布式节点装置（2‑6），所述区块链记录用户（8）之间的事务，其中用户（8）之间的事务（TD）借助于事务数据和密码签名方法被保护，对于每个事务，规定用于保护相应事务的密码签名方法，其中对所规定的密码签名方法进行标识的签名信息是事务的一部分或用于所述事务的实施请求的一部分。然后对于每个事务，经由所述事务数据的至少一部分或其哈希值按照所规定的密码签名方法计算签名数据，并且将签名数据添加到所述事务数据。