非关系型数据库

摘要： 借鉴国内先进城市经验做法,建立完善涵盖数据资源梳理、数据采集清洗、数据库设计和存储、数据分类分级管理、数据使用等五个步骤全流程的数据标准规范体系,充分发挥标准化建设的“统一规范”作用,从根本上解决各部门各系统数据存在的不标准、不完整、不一致、重复、错误等数据质量问题。通过对政府数据的研究,建立数据结构模型,探讨数据资源平台建设方向,分析基础数据库和主题数据库建设,开展数据共享交换平台的应用研究。

摘要： Web网站的逐渐兴起,使得传统意义上的数据库难以实现数据分类,从而产生了非关系型数据库,解决了大规模数据的多重数据种类带来的难题。运用一种非关系型数据库MongoDB设计实现了“云游电子导游”项目的前后端界面数据交换。

摘要： 大数据时代海量数据的长久保存与高效利用成为人们关注的焦点。非关系型数据库(NoSQL)作为关系型数据库的一种补充,越来越受到青睐,并影响着未来档案大数据管理技术的发展方向。首先通过Laney的大数据3V视角论述NoSQL技术的原理与特征;然后在大数据视域下分析NoSQL技术在档案知识服务、档案记忆、智慧档案馆中的应用前景;最后展望未来档案信息化建设中数据库管理技术的发展格局,引导我国档案数字化、信息化工作发展方向。研究结论表明:NoSQL技术符合大数据管理的3V要求,能够较好地解决大数据应用中的高并发、快速响应、海量数据长久保存问题,能够满足未来档案大数据应用需要;未来NoSQL和SQL将长期并存于档案数据管理。

摘要： 一、研究背景介绍在投资领域,需要处理和分析大量和复杂的金融数据[1]。例如股票的盘面数据,上市公司发布的财报,行业的指数等。要做好投资研究,需要系统的构建金融数据库,并应用相应的方法进行分析。吴庆慧[2]通过构建金融大数据,采用聚类分析,应用在金融分析领域。刘文洁[3]等人结合关系型和非关系型数据库。设计了金融数据库CBase,融合了关系型数据库的基本功能,同时支持分布式存储和扩展。

摘要： 随着空间天文卫星获取的数据量越来越多,数据应用逐渐发挥了重要作用。现有的天文卫星地面系统中,数据存储方式和组织方法各异,数据量达PB级,并且数据量持续增长,无法快速查找并提取特征参数,难以满足数据应用对查询的时效性要求。提出了一种新的空间天文卫星数据组织方法,通过解析抽取数据中的海量特征参数,建立观测时间、空间位置与特征参数的关联,实现在统一时空下的多源数据组织;同时采用关系型数据库与非关系型数据库结合的异构存储方式,设计了海量特征参数存储管理系统。将本文方法应用于空间科学卫星大数据应用平台系统,使用硬X射线调制望远镜卫星数据的实验结果表明,系统能够较好地满足针对按照时间、空间条件获取数据的要求,相比关系型数据库的数据组织方式,相同查询模式下数据检索效率明显提高,并且随着数据存储量的增加,系统具有稳定的扩展能力。

摘要： 目前随着互联网的发展,NoSQL数据库得到飞速发展,键值数据库Redis得到了广泛应用,但与此同时,安全性风险急剧增加。文章详细分析了Redis数据库的安全风险点,分析Redis.conf配置文件的重要性,提出了几种相应的解决办法,有助于提高Redis数据库安全性。

摘要： 随着高校采购任务的剧增,采购业务积累了大量的电子文档资料,原一站式采购管理平台的文档管理功能已经无法满足现有的工作需要.综合分析现有文件和资料管理的需求,并根据文档实际生命周期的业务流程,确定了系统功能模块的划分.利用模型驱动工程思想建立系统的对象模型,使用Rational建模工具建立系统类图和时序图来描述系统整体架构和业务逻辑,选择轻量级Flask框架模型进行研发,采用文档型数据库MongoDB解决大并发量和数据服务器的读写压力,为今后大数据分析提供保障提出PyPDF方法解决PDF元数据提取功能.最终解决了电子文档流转最后归档环节缺乏信息化管理的问题.

摘要： Elastic数据库是一款主流的非关系型数据库,默认安装时存在潜在的信息泄露风险.本文基于网络主动探测技术,设计实现了一个Elastic数据库风险感知系统.系统首先通过协议构造实现Elastic服务器上各类信息的获取,然后设计了一种基于手机号码、邮箱地址、身份证号、地名地址等多维数据协同分析的敏感信息检测方法,从而评估数据库风险等级并进行预警.本文最后进行了敏感数据检测测试及总体功能测试,实验结果表明了本文敏感信息检测方法及系统设计实现的有效性.

摘要： Elastic数据库是一款主流的非关系型数据库,默认安装时存在潜在的信息泄露风险。本文基于网络主动探测技术,设计实现了一个Elastic数据库风险感知系统。系统首先通过协议构造实现Elastic服务器上各类信息的获取,然后设计了一种基于手机号码、邮箱地址、身份证号、地名地址等多维数据协同分析的敏感信息检测方法,从而评估数据库风险等级并进行预警。本文最后进行了敏感数据检测测试及总体功能测试,实验结果表明了本文敏感信息检测方法及系统设计实现的有效性。

摘要： 针对水文结构化和非结构化数据中的文字信息分析,以及从分析结果直接调取原始数据进行溯源以验证数据的真实性,提出基于非关系型数据库的水文数据分析方法.将海量水文数据存储在TRIP非关系型数据库,搜索引擎集成在数据库,利用索引、中文自动分词、检索和统计分析功能,对水文数据中的数值、日期、时间、文字内容进行分析.对水文观测项目文字内容的分析,获得水文测站的水文观测项目分布;对长序列、全时段分钟降水数据的分析,获得降水变化特征;对单站单日降水量的分析,获得单站单日降水量的分布,读取数据库中降水自记纸图像文件并进行溯源.研究结果表明:在非关系型数据库存储海量水文结构化和非结构化数据的基础上,能够对海量水文数据进行分析和数据溯源,具有现实的应用价值.

摘要： 随着南方电网公司信息化建设的不断完善,各个业务系统中的数据不仅规模日益庞大,并且呈现出了多样性的特点.通过分析存量数据发现,业务系统中维护的除了结构化数据还有大量的非结构化数据,而非关系型数据库可以合理有效地管理这些非结构化数据.作者研究发现,在非关系型数据库的分片集群下,传统的基于Chunk迁移的负载均衡策略只能保证集群所存储的数据均匀地分布到各个分片节点,并没有考虑各个分片节点上的数据访问热度是否均衡,因此会导致业务系统无法有效突破数据读写的性能瓶颈.针对这一问题,本文引入了马尔科夫链,提出了一种基于马尔科夫链预测模型的负载均衡策略,并与传统的基于Chunk迁移的负载均衡策略进行了对比实验.

摘要： 针对数据资源不完整、数据资源分散、数据联动困难、信息共享不足、业务协同困难、数据溯源不及时等问题,提出了基于关系型数据库、非关系型数据库与空间数据库建立数字水文平台的总体思路,研究了多源异构数据的存储与组织、磁光电混合存储数据库、水文同义词词表与词表检索、光盘数据库全文检索、数字水文平台检索等关键技术,提升了水文信息资源共享应用水平,推动了水文科技进步,为数字水文、数字水利和数字经济建设提供了可借鉴的经验.

摘要： NoSQL关注的是对数据高并发地读写和海量数据的存储等，与关系型数据库相比，它们在架构和数据模型方面做了“减法”，而在扩展和并发等方面做了“加法”。将其应用在天文领域，阐述了天文台1.56米光学望远镜科学数据库以及65米天马望远镜数据处理中心。

摘要： 随着科学技术的快速发展,油田的分析项目和方法层出不穷,使得油田数据类别也越来越多.因此,传统的查询效率以及处理单一模型的数据库管理方式已经不再适用.而引入NoSQL数据库技术,尤其是建立适合于Mon-goDB的数据模型以后,就有了一套统计便捷、查询和存储高效的油田数据管理系统,从而为在油田信息化建设中广泛应用NoSQL技术而奠定了坚实的基础.

摘要： 随着科学技术的快速发展,油田的分析项目和方法层出不穷,使得油田数据类别也越来越多.因此,传统的查询效率以及处理单一模型的数据库管理方式已经不再适用.而引入NoSQL数据库技术,尤其是建立适合于Mon-goDB的数据模型以后,就有了一套统计便捷、查询和存储高效的油田数据管理系统,从而为在油田信息化建设中广泛应用NoSQL技术而奠定了坚实的基础.

摘要： 随着科学技术的快速发展,油田的分析项目和方法层出不穷,使得油田数据类别也越来越多.因此,传统的查询效率以及处理单一模型的数据库管理方式已经不再适用.而引入NoSQL数据库技术,尤其是建立适合于Mon-goDB的数据模型以后,就有了一套统计便捷、查询和存储高效的油田数据管理系统,从而为在油田信息化建设中广泛应用NoSQL技术而奠定了坚实的基础.

摘要： 随着科学技术的快速发展,油田的分析项目和方法层出不穷,使得油田数据类别也越来越多.因此,传统的查询效率以及处理单一模型的数据库管理方式已经不再适用.而引入NoSQL数据库技术,尤其是建立适合于Mon-goDB的数据模型以后,就有了一套统计便捷、查询和存储高效的油田数据管理系统,从而为在油田信息化建设中广泛应用NoSQL技术而奠定了坚实的基础.

摘要： 兰州重离子加速器装置HIRFL是目前我国规模最大、加速离子种类最多、能量最高的重离子研究装置,主要技术指标达到国际先进水平,是世界上几个重要的核物理研究设施之一.目前,世界上各大加速器广泛采用分布式集成开发软件EPICS来开发控制系统,HIRFL-CSRm的控制系统亦基本完成EPICS的升级改造,改造后的系统对于各个子系统运行数据的采集、存储、后台分析提供了必要的基础.

摘要： 兰州重离子加速器装置HIRFL是目前我国规模最大、加速离子种类最多、能量最高的重离子研究装置,主要技术指标达到国际先进水平,是世界上几个重要的核物理研究设施之一.目前,世界上各大加速器广泛采用分布式集成开发软件EPICS来开发控制系统,HIRFL-CSRm的控制系统亦基本完成EPICS的升级改造,改造后的系统对于各个子系统运行数据的采集、存储、后台分析提供了必要的基础.

摘要： 兰州重离子加速器装置HIRFL是目前我国规模最大、加速离子种类最多、能量最高的重离子研究装置,主要技术指标达到国际先进水平,是世界上几个重要的核物理研究设施之一.目前,世界上各大加速器广泛采用分布式集成开发软件EPICS来开发控制系统,HIRFL-CSRm的控制系统亦基本完成EPICS的升级改造,改造后的系统对于各个子系统运行数据的采集、存储、后台分析提供了必要的基础.

摘要： 本发明提供了一种关系型数据库扩展方法及关系型数据库扩展系统。数据库表包括扩展字段，所述扩展字段中存储有由类文件序列化的预设格式文本，从所述扩展字段中读取所述预设格式文本的内容，将所述预设格式文本的内容反序列化成相匹配的类文件；响应对所述类文件的操作，将操作后的类文件序列化成所述预设格式文本存储到所述扩展字段中。利用本发明可以减少每次需求升级所带来的数据库表的设计开发工作和变更工作。

摘要： 本发明涉及一种从非关系型数据库到关系型数据库的数据迁移方法,包括如下步骤：连接需要进行数据迁移的非关系型数据库，获取数据库中的表格信息；选择需要进行数据迁移的表和数据库模式定义方法，其中可选择的数据库模式定义方法包括用户自定义、并集兼容、交集兼容、首条数据；将信息从非关系型数据库中导出到定义的xml文件中；将非关系型数据库的数据库设计模式转变成对应的关系型数据库的设计模式；连接对应的关系型数据库，根据xml文件中的数据库设计模式，建立对应的数据表；按照index元素中的索引信息，建立对应的索引。本发明解决了非关系数据库（如MonogDB）到关系型数据库进行数据迁移时所具有的反范式设计、无模式化和特殊数据类型的问题。

摘要： 本发明公开了一种关系型数据库与非关系型数据库的同步系统及方法，主要透过配置模块配置非关系型数据库中的文档字段与关系型数据库中的表字段的对应关系，并形成配置关系文档；读取模块根据该配置模块所生成的配置关系文档的文档名及由计时模块所提供的时间区域自该非关系型数据库读取相关数据；计时模块记录该读取模块访问该非关系型数据库的时间，提供上次访问时间至本次访问的时间区域给该读取模块；转换模块根据读取模块所读取的相关数据以及配置模块存储的配置关系文档生成针对该关系型数据库操作的命令语句；以及执行模块根据该转换模块生成的命令语句对该关系型数据库执行命令操作。

摘要： 本申请公开一种将非关系型数据库数据转换到关系型数据库的方法及装置。该方法包括：由非关系数据库获取数据；通过配置信息对所述数据进行筛选，以获得第一数据；通过预定规则对所述第一数据进行数据转换，以获得第二数据；以及建立数据库连接，将所述第二数据储存到关系型数据库中。本申请公开的将非关系型数据库数据转换到关系型数据库的方法，能够将非关系型数据库的数据自动、高效的转换到关系型数据库中，节约人力与时间成本。

摘要： 本发明提供一种使用KETTLE从关系型数据库向非关系型数据库定时增量更新数据的方法，首先创建kettle job；lastKey；lastKey用来记录当前Hbase中数据的最大标识，可以存在关系型数据库、Hbase或者文件中；获取currentMaxKey；抽取数据；创建一个transition，用于数据抽取；更新lastKey；使用定时器；定时器可以使用kettle的job自带的定时器。本发明和现有技术相比，使用kettle的组件实现从关系型数据库向非关系型数据库定时增量更新数据，解决了不同数据源的数据同步到云平台的问题，具有很好的推广使用价值。

摘要： 本发明涉及一种从非关系型数据库到关系型数据库的数据迁移方法,包括如下步骤：连接需要进行数据迁移的非关系型数据库，获取数据库中的表格信息；选择需要进行数据迁移的表和数据库模式定义方法，其中可选择的数据库模式定义方法包括用户自定义、并集兼容、交集兼容、首条数据；将信息从非关系型数据库中导出到定义的xml文件中；将非关系型数据库的数据库设计模式转变成对应的关系型数据库的设计模式；连接对应的关系型数据库，根据xml文件中的数据库设计模式，建立对应的数据表；按照index元素中的索引信息，建立对应的索引。本发明解决了非关系数据库（如MonogDB）到关系型数据库进行数据迁移时所具有的反范式设计、无模式化和特殊数据类型的问题。

摘要： 本发明公开了一种关系型数据库到非关系型数据库的同步方法和系统，包括配置模块、读取模块、计时模块、转换模块、执行模块、处理模块和同步模块，还包括了兼容数据库，本发明解决了目前兼容数据在非关系型数据库和关系型数据库的存储的问题，将非关系型数据库和关系型数据库之间形成相互兼容的数据处理关系，并通过计时模块记录执行时间和读取时间，通过执行时间和读取时间生成上次的执行命令和执行结果，并将多次执行命令和执行结果形成新的兼容数据库，在下次配置后优先访问兼容数据库，从而实现快速转化和读取。

摘要： 本发明涉及数据库领域，特别是涉及一种关系型数据库到非关系型数据库的同步方法和系统。具体为：解析源端的关系型数据库的数据库日志，获取源端的关系型数据库中需要同步的事务的标记信息和变更数据信息；根据事务的变更数据信息生成相应的SQL语句；将事务的同步信息发送至目的端；目的端按照接收到的事务的标记信息对事务进行分类，并按照事务分类对同步信息进行保存；将同步信息转换为通用数据交换格式的数据；使用转换后的通用数据交换格式的数据对目的端的非关系型数据库进行同步更新。本发明通过将源端的关系型数据库中的数据变化转换为目的端的非关系型数据库可接受的数据形式，完成关系型数据库向非关系型数据库的数据同步。

摘要： 本发明涉及基于ETL工具从关系型数据库向非关系型数据库更新的方法，包括如下步骤：通过ETL工具的采集器采集各平台的源数据，进而得到目标数据；将采集到的目标数据存储进关系数据库中；从关系型数据库中提取目标数据作为待处理数据，将待处理数据作为格式为二进制Avro数据的中间态数据；将二进制Avro数据格式的待处理数据转化为JSON格式的待处理数据；将得到的JSON格式的待处理数据，通过FlowFile流数据的形式暂存在本地磁盘，得到暂存的待处理数据；通过ETL工具将暂存的待处理数据存储进非关系型数据库。本发明的方法可配置性高、过程可控性强，能够准确定位错误发生的环节，节省了查找错误的时间。

摘要： 本发明公开了一种关系型数据库与非关系型数据库的同步系统及方法，主要透过配置模块配置非关系型数据库中的文档字段与关系型数据库中的表字段的对应关系，并形成配置关系文档；读取模块根据该配置模块所生成的配置关系文档的文档名及由计时模块所提供的时间区域自该非关系型数据库读取相关数据；计时模块记录该读取模块访问该非关系型数据库的时间，提供上次访问时间至本次访问的时间区域给该读取模块；转换模块根据读取模块所读取的相关数据以及配置模块存储的配置关系文档生成针对该关系型数据库操作的命令语句；以及执行模块根据该转换模块生成的命令语句对该关系型数据库执行命令操作。