NoSQL数据库

摘要： 本文分析了云计算技术及其应用的优缺点,就云计算关键性NoSQL数据库技术的相关内容进行深入研究,并提出了数据库容量、存储速度、计算速度等一系列问题的优化方法。

摘要： BIM技术是铁路工程建设行业数字化核心技术,也是推动数字化转型升级的核心技术支撑。数字工程是进一步利用BIM技术和大数据、物联网等信息技术结合而成的先进建造理论。通过铁路通信数字工程实体对象的分析和定义,实现了基于非关系型数据库NoSQL的铁路通信数字工程数据的存储和读取、删除和修改、遍历和建立索引,并进一步探索如何将铁路通信数字工程和实际工程的过程数据更好融合,将复杂多变的铁路通信数字工程转变为特定格式的数据进行高效合理存储,并以数据支撑铁路通信数字工程的应用,推动铁路工程数字化转型进程。

摘要： 医疗数据属于大数据的一种,具有数据量大、增长迅速、多模态、高价值、重隐私等特点。针对医疗数据特点,如何对其进行统一、高效的组织管理是目前重要的研究方向。为此,通过阐述医疗数据特点,分析其存储需求,梳理分布式系统和非关系型数据库在医疗数据存储领域的应用现状,综合分析了未来医疗数据待解决的关键核心问题,旨在探讨效率高、响应快的医疗数据存储方案。

摘要： 为实现多维大数据既定信息的精准调取与查询,提出基于区块链技术的多维大数据交互式查询方法.按照NoSQL多维数据库的连接需求,设置固定型号的大数据迁移引擎,再根据区块链调度节点牵引原理,实现多维大数据的迁移与调度处置.在此基础上,以Limit FIFO交互调度器作为主要的查询应用设备,通过集成多维大数据信息流的方式,配置必要的关联性查询系数,完成基于区块链技术多维大数据交互式查询方法的搭建.对比实验结果显示,与传统MySQL数据库查询行为相比,应用交互式查询方法后,相关大数据节点间的信息传输准确性达到89％,既定信息的调取占用时间缩短至0.88 ms,有效解决了海量存储环境下信息调取应用精度偏低问题.

摘要： 随着信息化技术的发展,面对材料等相关领域数据的多源异构、扩展性强、爆炸增长等特点,传统关系数据库无法对数据进行存储,因此可利用NoSQL的无模式存储、高扩展性等特性来解决这一难题.作为NoSQL数据库常用的数据存储格式,JSON因简单性和灵活性备受欢迎.然而,NoSQL数据库缺乏模式信息,在JSON文档存入数据库之前,需要对其进行数据验证与分析.目前,大多数方法是基于JSON schema对JSON文档格式的规范性进行校验,无法有效解决JSON文档的异常检测以及语义歧义问题.为此,文中提出了面向NoSQL数据库的JSON文档异常检测与语义消歧模型doctorJSON.该模型基于JSON schema对存入的JSON文档分别设计了异常检测算法deoutJSON和语义消歧算法disemaJSON,以检测JSON文档存在的异常和歧义.在真实数据集与合成数据集上的实验验证了所提模型的有效性和执行效率.

摘要： 随着互联网的普及与发展,网络平台产生的数据也越来越多,这些数据在内容和形式上呈现出多样化的特点,但并没有形成成熟的关系型数据库.为了满足人们的需求,基于No SQL框架的数据查询技术由此产生.本文评估了NoSQL数据库的底层技术,考虑到它们对特定需求的适用性.通过数据模型、查询可能性、并发控制、分区和复制机会来比较这些系统.

摘要： 为了开发自主可控路基设计软件,预研了一种路基横断面数据处理方法,研究首先分析了路基横断面数据处理问题,再对半结构化数据的处理方法进行了归纳,并以某路基横断面为例,按嵌套层次JSON数据方式建模并在MongoDB增删查改,最后得出结论:非关系数据库可以无阻抗匹配面向对象设计方法,并对各种繁杂多变的工程数据进行统一处理。

摘要： 本文主要分析了NoSQL数据库与传统关系型数据库在Web2.0时代下的不同应用场景下各自的优缺点,同时也将二者做了简要的比对分析,介绍了非关系型数据库的多种数据存储模式的分类以及不同的应用场景。

摘要： 传统关系数据库能够很好地支持结构化数据的存储和管理,且具有完备的数学理论、完善的事务管理机制和高效的查询处理引擎,因此得到了广泛应用.但随着大数据时代的到来,传统关系数据库无法满足各种类型的非结构化数据的大规模存储和高效处理需求,因此出现了NoSQL(Not only SQL)数据库.本文首先对二者进行了介绍,然后又从多个方面进行了比较和分析.

摘要： 随着互联网的普及与发展,网络平台产生的数据也越来越多,这些数据在内容和形式上呈现出多样化的特点,但并没有形成成熟的关系型数据库。为了满足人们的需求,基于NoSQL框架的数据查询技术由此产生。本文评估了NoSQL数据库的底层技术,考虑到它们对特定需求的适用性。通过数据模型、查询可能性、并发控制、分区和复制机会来比较这些系统。

摘要： 本文通过研究环境大数据的结构和Geoserver数据源组成,提供出一条基于内存数据库为数据源来高速渲染地图的方法.首先、将电网运行环境大数据按照时间节点进行格式化处理;第二、通过改写H2数据库来创建内存数据库,创建大数据格式化数据表并发布Geoserver服务;第三、通过改写从Geoserver到H2数据库发出的数据请求SQL,直接返回即时查询的格式化环境相关数据.由于数据直接存储在内存当中,可以完成大量数据的快速渲染出图;而查询SQL的重写则可以实现数据自定义查询结果的出图.

摘要： 本文通过研究环境大数据的结构和Geoserver数据源组成,提供出一条基于内存数据库为数据源来高速渲染地图的方法.首先、将电网运行环境大数据按照时间节点进行格式化处理;第二、通过改写H2数据库来创建内存数据库,创建大数据格式化数据表并发布Geoserver服务;第三、通过改写从Geoserver到H2数据库发出的数据请求SQL,直接返回即时查询的格式化环境相关数据.由于数据直接存储在内存当中,可以完成大量数据的快速渲染出图;而查询SQL的重写则可以实现数据自定义查询结果的出图.

摘要： 本文通过研究环境大数据的结构和Geoserver数据源组成,提供出一条基于内存数据库为数据源来高速渲染地图的方法.首先、将电网运行环境大数据按照时间节点进行格式化处理;第二、通过改写H2数据库来创建内存数据库,创建大数据格式化数据表并发布Geoserver服务;第三、通过改写从Geoserver到H2数据库发出的数据请求SQL,直接返回即时查询的格式化环境相关数据.由于数据直接存储在内存当中,可以完成大量数据的快速渲染出图;而查询SQL的重写则可以实现数据自定义查询结果的出图.

摘要： 本文通过研究环境大数据的结构和Geoserver数据源组成,提供出一条基于内存数据库为数据源来高速渲染地图的方法.首先、将电网运行环境大数据按照时间节点进行格式化处理;第二、通过改写H2数据库来创建内存数据库,创建大数据格式化数据表并发布Geoserver服务;第三、通过改写从Geoserver到H2数据库发出的数据请求SQL,直接返回即时查询的格式化环境相关数据.由于数据直接存储在内存当中,可以完成大量数据的快速渲染出图;而查询SQL的重写则可以实现数据自定义查询结果的出图.

摘要： 本文通过研究环境大数据的结构和Geoserver数据源组成,提供出一条基于内存数据库为数据源来高速渲染地图的方法.首先、将电网运行环境大数据按照时间节点进行格式化处理;第二、通过改写H2数据库来创建内存数据库,创建大数据格式化数据表并发布Geoserver服务;第三、通过改写从Geoserver到H2数据库发出的数据请求SQL,直接返回即时查询的格式化环境相关数据.由于数据直接存储在内存当中,可以完成大量数据的快速渲染出图;而查询SQL的重写则可以实现数据自定义查询结果的出图.

摘要： 随着互联网的发展,微博对人们生活的影响日益加深.由于微博用户的激增,微博数据量已经非常庞大,且每时每刻都在急速增长.面对这种形势,传统数据库对于海量数据的处理效率已经难以满足需求,于是NoSQL数据库应运而生.文章采用的HBase是目前比较受欢迎的开源NoSQL之一.作为依赖于HDFS分布式存储架构的新型NoSQL数据库,HBase不仅能满足高效的结构化数据存储,并通过Mapreduce实现高效处理,还能存储非结构化数据,为海量数据提供相对灵活的信息存储管理.最重要的是,HBase的集群扩展起来非常方便,只需要增加Slave节点机器即可,比传统数据库的读写分离、分表等扩展操作要简便得多.文章研究了针对微博信息的HBase行键设计,从深度信息、广度信息等不同角度探讨行键的设计,并通过二级索引改善HBase的查询效率.在不更改HBase源代码的前提下,文章解决了信息查询在很大程度上受到行键设计制约的问题,并充分考虑了适用于微博图片、链接等信息的存储方式,满足微博信息的高效管理.

摘要： 随着互联网的发展,微博对人们生活的影响日益加深.由于微博用户的激增,微博数据量已经非常庞大,且每时每刻都在急速增长.面对这种形势,传统数据库对于海量数据的处理效率已经难以满足需求,于是NoSQL数据库应运而生.文章采用的HBase是目前比较受欢迎的开源NoSQL之一.作为依赖于HDFS分布式存储架构的新型NoSQL数据库,HBase不仅能满足高效的结构化数据存储,并通过Mapreduce实现高效处理,还能存储非结构化数据,为海量数据提供相对灵活的信息存储管理.最重要的是,HBase的集群扩展起来非常方便,只需要增加Slave节点机器即可,比传统数据库的读写分离、分表等扩展操作要简便得多.文章研究了针对微博信息的HBase行键设计,从深度信息、广度信息等不同角度探讨行键的设计,并通过二级索引改善HBase的查询效率.在不更改HBase源代码的前提下,文章解决了信息查询在很大程度上受到行键设计制约的问题,并充分考虑了适用于微博图片、链接等信息的存储方式,满足微博信息的高效管理.

摘要： 随着互联网的发展,微博对人们生活的影响日益加深.由于微博用户的激增,微博数据量已经非常庞大,且每时每刻都在急速增长.面对这种形势,传统数据库对于海量数据的处理效率已经难以满足需求,于是NoSQL数据库应运而生.文章采用的HBase是目前比较受欢迎的开源NoSQL之一.作为依赖于HDFS分布式存储架构的新型NoSQL数据库,HBase不仅能满足高效的结构化数据存储,并通过Mapreduce实现高效处理,还能存储非结构化数据,为海量数据提供相对灵活的信息存储管理.最重要的是,HBase的集群扩展起来非常方便,只需要增加Slave节点机器即可,比传统数据库的读写分离、分表等扩展操作要简便得多.文章研究了针对微博信息的HBase行键设计,从深度信息、广度信息等不同角度探讨行键的设计,并通过二级索引改善HBase的查询效率.在不更改HBase源代码的前提下,文章解决了信息查询在很大程度上受到行键设计制约的问题,并充分考虑了适用于微博图片、链接等信息的存储方式,满足微博信息的高效管理.

摘要： 随着互联网的发展,微博对人们生活的影响日益加深.由于微博用户的激增,微博数据量已经非常庞大,且每时每刻都在急速增长.面对这种形势,传统数据库对于海量数据的处理效率已经难以满足需求,于是NoSQL数据库应运而生.文章采用的HBase是目前比较受欢迎的开源NoSQL之一.作为依赖于HDFS分布式存储架构的新型NoSQL数据库,HBase不仅能满足高效的结构化数据存储,并通过Mapreduce实现高效处理,还能存储非结构化数据,为海量数据提供相对灵活的信息存储管理.最重要的是,HBase的集群扩展起来非常方便,只需要增加Slave节点机器即可,比传统数据库的读写分离、分表等扩展操作要简便得多.文章研究了针对微博信息的HBase行键设计,从深度信息、广度信息等不同角度探讨行键的设计,并通过二级索引改善HBase的查询效率.在不更改HBase源代码的前提下,文章解决了信息查询在很大程度上受到行键设计制约的问题,并充分考虑了适用于微博图片、链接等信息的存储方式,满足微博信息的高效管理.

摘要： 在大数据和Web2.0应用的推动下,分布式NoSQL数据库在各个领域的应用越来越广泛.随着数据不断存入NoSQL,上层查询的需求也从简单的点查询向复杂的分析扩展.而NoSQL本身缺乏复杂的查询引擎、索引机制导致了查询性能的低效.本文关注于NoSQL中Top-k范围聚合查询的优化.Top-k范围聚合查询在用户输入的范围内进行分组聚合操作,最终返回按照聚合后的值排序之后的前k个元素.在基准方法的基础上,本文提出了一系列的查询优化技术:(1)ad-hoc场景下的NoSQL-aware方法,利用NoSQL的排序特性减少计算层的任务,性能提升40％左右;(2)二级索引,将用于范围的属性值存放在NoSQL的Row-key中避免扫描全部数据;(3)KVIAR-Tree索引,建立NoSQL环境下基于key-value的范围聚合树进行优化.本文将上述方法进行了实现并在模拟数据和真实数据进行了实验验证,实验结果表明,查询的性能获得了不同级别的提升.

摘要： 本申请提供一种NoSQL数据库的数据存储方法，包括：获取设定数量个字段的包括至少一个不重复rowKey的rowKey全组合和一个待添加的字段；依次对所述设定数量个字段的rowKey全组合中的每一个rowKey，执行添加字段的步骤，包括：在所述rowKey后加上所述待添加的字段，生成一个新的rowKey；若所述rowKey中的字段的个数满足设定的条件，则在所述rowKey前加上所述待添加的字段并去除所述rowKey中的最后一个字段，生成一个新的rowKey；获取生成的每一个新的rowKey所对应的数据，并将所述数据存储于在所述NoSQL数据库中对应所述新的rowKey的一行。本申请还提供一种NoSQL数据库的查询方法和一种多字段rowKey的全组合的生成方法。本申请可以解决现有技术方案查询时间效率低并且无法做到直接生成rowKey全组合最优解的问题。

摘要： 通过NoSQL数据库实现BOM数据的多组织多视图的解决方法。多组织是指大型企业中的多个业务组织以及上下级关系构成的网状关系，业务组织如设计、工艺、生产、销售、采购等，上下级关系如集团和分厂等。多视图，是指对应于同一产品的BOM树，不同的业务组织定义、维护、查看的内容或者值是不同的。比如常见的工时定额，在集团工艺部门维护的值，与A分厂或者B分厂维护的值是不同的。所以，对于BOM树中节点任何同一属性，在NoSQL数据中可以存储多个值，这些值用TAG进行区分。定义视图的时候，通过一个TAG或者多个TAG定义属性的取值。通过视图定义，为不同的业务组织展示不同的BOM结构、节点属性和属性的值。

摘要： 本发明公开一种面向传感器数据的NoSQL数据库评测系统及其构建方法，系统包括NoSQL数据库层、中间件层和用户界面层；所述NoSQL数据库层包括多个NoSQL数据库；所述中间件层采用了微服务架构中间件层，利用Spring Cloud技术来进行实现，将NoSQL数据库部署于云计算环境中构造的虚拟机上，并且这些虚拟机的配置完全一致；所述用户界面层，在用户界面上为用户提供了对MySQL数据库操作的操作区和结果展现区；通过Kafka模拟真实情况下传感器数据的传输方式，以一致的方式将传感器数据提供给不同的NoSQL数据库；通过Kafka实现微服务中各个模块之间的消息传递。本发明使得用户可以通过不同的负载任务的执行性能，公平、快速的比较出不同NoSQL数据库的性能差异。

摘要： 本发明公开了一种面向NoSQL数据库的地理空间数据一维化GeoHash编码方法，首先依据空间分布的历史统计数据生成标准GeoHash编码到平衡GeoHash编码的编码映射表；然后以平衡GeoHash编码为关键字将空间数据存储在NoSQL数据库中；进行空间查询时，将空间范围转化为平衡GeoHash编码空间上一系列GeoHash值区间，针对每个GeoHash值区间生成一个NoSQL数据库支持的Scan查询。与标准GeoHash编码相比，以该平衡GeoHash编码为关键字将地理空间点要素存储在HBase等NoSQL数据库中，再利用本发明的空间范围查询方法，可以获得更高的空间查询效率和更短的查询响应时间。

摘要： 本申请提供一种为半结构化数据构建NoSQL数据库索引的方法，包括：将半结构化源数据进行预处理；将预处理后的文本段存储至数据表中，数据表包括结构化线索主键和序列值主键的第一组合主键，结构化线索以确定的顺序被分割为若干连续区间，每一区间分配一个特定的键值作为结构化线索主键的键值；对预处理后的文本段建立倒排索引表，倒排索引表包括结构化线索主键和关键字主键的第二组合主键，对应上述各个主键的键值，记录相关的文本段序列标识作为索引值；关键字主键相同，但具有不同的结构化线索主键键值的索引值，在倒排索引表中位于不同的行；以提高数据库索引的查询效率，并便于更新。另外，本申请还提供一种为半结构化数据构建NoSQL数据库索引的装置。

摘要： 本发明公开了一种基于NoSql数据库同关系型数据库的数据交互机制，是解决跨平台数据间交互的实时性、有效性和完整性问题。开发一种NoSql和关系型数据库同步数据的中间件，通过主动请求GIS服务，GIS服务接受请求并返回请求数据。交互中间件获取数据后，并对数据进行拓扑分析及数据校验，校验无问题后提取出相关数据信息写入MongoDB数据库。

摘要： 本发明提供了一种网络安全应用NoSQL数据库与关系型数据库融合接口方法，包括中央处理器、网络安全应用、网络安全应用接口、NoSQL数据库、NoSQL数据库接口、关系型数据库以及关系型数据库接口，所述的中央处理器通过NoSQL数据库接口与NoSQL数据库连接，中央处理器通过关系型数据库接口与关系型数据库连接，并在另一端通过网络安全应用接口与网络安全应用进行连接，发明在传统数据架构中增加了一个数据处理中间层，整合了NoSQL数据库和关系型数据库的数据访问接口，为应用提供统一的数据访问接口，简化了应用开发复杂度，降低了应用与数据间的耦合，提升了开发效率。

摘要： 本发明公开一种面向传感器数据的NoSQL数据库评测系统及其构建方法，系统包括NoSQL数据库层、中间件层和用户界面层；所述NoSQL数据库层包括多个NoSQL数据库；所述中间件层采用了微服务架构中间件层，利用Spring Cloud技术来进行实现，将NoSQL数据库部署于云计算环境中构造的虚拟机上，并且这些虚拟机的配置完全一致；所述用户界面层，在用户界面上为用户提供了对MySQL数据库操作的操作区和结果展现区；通过Kafka模拟真实情况下传感器数据的传输方式，以一致的方式将传感器数据提供给不同的NoSQL数据库；通过Kafka实现微服务中各个模块之间的消息传递。本发明使得用户可以通过不同的负载任务的执行性能，公平、快速的比较出不同NoSQL数据库的性能差异。

摘要： 通过NoSQL数据库实现BOM数据的多组织多视图的解决方法。多组织是指大型企业中的多个业务组织以及上下级关系构成的网状关系，业务组织如设计、工艺、生产、销售、采购等，上下级关系如集团和分厂等。多视图，是指对应于同一产品的BOM树，不同的业务组织定义、维护、查看的内容或者值是不同的。比如常见的工时定额，在集团工艺部门维护的值，与A分厂或者B分厂维护的值是不同的。所以，对于BOM树中节点任何同一属性，在NoSQL数据中可以存储多个值，这些值用TAG进行区分。定义视图的时候，通过一个TAG或者多个TAG定义属性的取值。通过视图定义，为不同的业务组织展示不同的BOM结构、节点属性和属性的值。

摘要： 本申请提供一种NoSQL数据库的数据存储方法，包括：获取设定数量个字段的包括至少一个不重复rowKey的rowKey全组合和一个待添加的字段；依次对所述设定数量个字段的rowKey全组合中的每一个rowKey，执行添加字段的步骤，包括：在所述rowKey后加上所述待添加的字段，生成一个新的rowKey；若所述rowKey中的字段的个数满足设定的条件，则在所述rowKey前加上所述待添加的字段并去除所述rowKey中的最后一个字段，生成一个新的rowKey；获取生成的每一个新的rowKey所对应的数据，并将所述数据存储于在所述NoSQL数据库中对应所述新的rowKey的一行。本申请还提供一种NoSQL数据库的查询方法和一种多字段rowKey的全组合的生成方法。本申请可以解决现有技术方案查询时间效率低并且无法做到直接生成rowKey全组合最优解的问题。