NoSQL

摘要： 为了解决单表数据记录条数在亿级以上的数据实时统计分析问题,针对聚合运算后的结果数据记录数量显著少于原始记录数量的一类特定场景,提出构建大数据实时分析平台的方案。通过对比流式架构、Lambda架构、Kappa架构、Unifield架构等4种主流数据处理架构的优缺点,提出选择Kappa架构,并基于Apache Flink计算引擎来构建大数据实时分析平台,并通过全量数据全运算(会定期运行)、增量数据实时运算两个流处理过程来实现。该方案设计了3种运算结果存储方案,以满足不同应用情形下对最终运算结果的查询效率要求。

摘要： 在复杂多变的Web应用场景下,传统的关系型数据库难以应付大流量高并发的业务需求,而非关系型数据库(Not OnlySQL,NoSQL)具有灵活的数据模型、大数据、高性能高可用等特点,很好地解决高并发访问的性能需求,在许多业务场景下得到了广泛应用。本文首先分析了NoSQL数据库的特点,其次根据Redis和Elasticsearch的优势对网络投票系统的数据库架构进行改造,最后进行对比实验。实验结果证明,该方法有效提高了投票系统的高并发访问性能。

摘要： 利用NoSQL数据库理论和方法实现读者数字资源访问日志的采集存储,可为开展基于大规模读者日志的数字资源分析与利用提供高可用的数据库基础平台。为此,采用文档数据模型对读者网络访问日志进行统一组织和重构,并利用MongoDB NoSQL数据库实现对读者数字资源访问日志的定时采集和存储。以昆明理工大学图书馆数字资源访问日志为例,利用该数据库共采集和存储一年来的读者访问日志共36708个文档,并通过其提供的查询语言和相关函数,获得了典型查询和统计需求的数字资源相关数据。

摘要： 针对移动客户端大量用户数据增量储存同步刷新延迟较大和用户界面(User Interface,UI)依赖网络数据渲染无法快速交互的开发痛点,制定了基于NoSQL数据库的移动客户端响应式编程模型的解决方案,并给出了该模型的统一建模语言(Unified Modeling Language,UML)实践。应用该模型时,表示层先请求数据,优先返回数据仓库的缓存,触发数据更新策略,然后异步获取服务端最新数据并写入数据仓库,再采用Redux方式更新管理数据版本,最后通过响应链路向表示层发射增量数据。在表示层设计中,订阅数据与UI生命周期绑定。表示层只有处于可见可操作状态时,才会异步增量刷新UI视图。当销毁UI时,表示层自动取消数据订阅。

摘要： 目前随着互联网的发展,NoSQL数据库得到飞速发展,键值数据库Redis得到了广泛应用,但与此同时,安全性风险急剧增加。文章详细分析了Redis数据库的安全风险点,分析Redis.conf配置文件的重要性,提出了几种相应的解决办法,有助于提高Redis数据库安全性。

摘要： 针对海量Word内容数据的审查,设计了一种基于NoSQL的Word内容快速索引方法。该方法采用NoSQL数据库中典型的MongoDB数据库和Elasticsearch搜索引擎,批处理大量需要审查的物资计划文档,通过建立索引实现快速审查大量存储与关键词检索的目标,并返回包含关键词的待审查文本标题和段落。测试结果表明,该方法可以验证审查100篇文章的50万字符,用时仅需80 ms。

摘要： 随着大数据、人工智能时代的到来,NoSQL数据库对工业界和学术界的影响也愈加深入,如何培养学生的NoSQL实践应用能力成为关键问题。但是,受限于学分设定、实验环境等,当前高校对于相关课程的开设和教学力度不够,学生缺少相关的NoSQL数据库实践能力,与业界所需大数据能力的鸿沟越拉越大。针对该问题,介绍所在团队在过去5年中,基于双层学习模式开展NoSQL数据库实践教学的经验。结合Benchmarking方法,根据学生的课程评价和反馈,验证了该教学模式取得了较好的实践教学效果。

摘要： 为解决企业财务数据的不规范、低效率等问题,并且在繁杂海量的财务信息中获取最有经济价值的信息,文章根据目前企业财务管理系统现状,构建了基于大数据的企业财务数据管理系统,将用Canopy优化的K-means算法与Hadoop平台相结合,后台采用NoSQL数据库管理,来提高企业财务管理规范性、效率,达到增加经济效益的目的.由于K-means算法存在需要事先设定参数k和初始中心点两个问题,因此用Canopy算法对数据进行初步处理来解决这两问题,再用K-means进一步聚类,得到更好的聚类效果,提高了企业处理财务数据的准确性、时效性,为企业运营决策提供理论依据及基础技术支撑.

摘要： 文章针对NoSQL数据库中键值数据库通过部分值进行查询效率极低的问题,提出了一种基于跳跃表编码的NoSQL数据库查询操作的实现方法,并且实现了字段查询的并与交操作.该文的算法适用范围很广,可以实现对不同数据类型的多种查询与检索,与此同时,文章设计的跳跃表其本身也是采用Key-Value键值对的方式进行存储的,满足键值数据库的定义.

摘要： 随着高校办学规模扩大,教师人数的增加,势必加大高校人力资源管理难度,特别是教师工资数据管理问题.虽然可以通过工资查询系统解决工资数据管理的难题,但是工资字段不是固定的,会随着时间发展而不断变化.由于工资查询系统使用的关系型数据库结构固定,要实现可变结构难度较大.本文提出利用可变结构的非关系型数据库能够让复杂的问题简单化,让工资的数据结构更清晰和简单,让原本复杂查询更简洁高效.

摘要： 随着WebGIS的迅速发展，空间数据的存储管理成为了亟待解决的一个重要问题。一些大型数据库厂商通过支持对象―关系数据模型，提供了空间数据模块。然而随着Web2.0的兴起与发展，互联网的可读性、可写性以及交互性都得到了进一步的加强，导致数据库并发负载很高，纯粹的关系型数据库在管理空间数据时面临着单节点的WebGIS系统存储能力和计算能力受限以及系统不容易扩展等问题。本文提出了利用Oracle Spaital存储空间几何数据以及利用Cassandra存储属性数据及栅格数据的新方案。实验证明，该方案能有效提高读写性能，是值得考虑的存储方案。

摘要： 随着WebGIS的迅速发展，空间数据的存储管理成为了亟待解决的一个重要问题。一些大型数据库厂商通过支持对象―关系数据模型，提供了空间数据模块。然而随着Web2.0的兴起与发展，互联网的可读性、可写性以及交互性都得到了进一步的加强，导致数据库并发负载很高，纯粹的关系型数据库在管理空间数据时面临着单节点的WebGIS系统存储能力和计算能力受限以及系统不容易扩展等问题。本文提出了利用Oracle Spaital存储空间几何数据以及利用Cassandra存储属性数据及栅格数据的新方案。实验证明，该方案能有效提高读写性能，是值得考虑的存储方案。

摘要： 随着WebGIS的迅速发展，空间数据的存储管理成为了亟待解决的一个重要问题。一些大型数据库厂商通过支持对象―关系数据模型，提供了空间数据模块。然而随着Web2.0的兴起与发展，互联网的可读性、可写性以及交互性都得到了进一步的加强，导致数据库并发负载很高，纯粹的关系型数据库在管理空间数据时面临着单节点的WebGIS系统存储能力和计算能力受限以及系统不容易扩展等问题。本文提出了利用Oracle Spaital存储空间几何数据以及利用Cassandra存储属性数据及栅格数据的新方案。实验证明，该方案能有效提高读写性能，是值得考虑的存储方案。

摘要： 随着WebGIS的迅速发展，空间数据的存储管理成为了亟待解决的一个重要问题。一些大型数据库厂商通过支持对象―关系数据模型，提供了空间数据模块。然而随着Web2.0的兴起与发展，互联网的可读性、可写性以及交互性都得到了进一步的加强，导致数据库并发负载很高，纯粹的关系型数据库在管理空间数据时面临着单节点的WebGIS系统存储能力和计算能力受限以及系统不容易扩展等问题。本文提出了利用Oracle Spaital存储空间几何数据以及利用Cassandra存储属性数据及栅格数据的新方案。实验证明，该方案能有效提高读写性能，是值得考虑的存储方案。

摘要： 本发明涉及WEB开发技术领域，特别是一种基于NOSQL的多类型报表数据共享装置及其实现方法。本发明所述的装置包括报表类型管理模块、报表数据管理模块、报表配置管理模块、报表数据转换模块和报表模板管理模块；报表类型管理模块实现报表类型为单个或多个的报表类型管理；多个类型报表管理以单个报表类型管理为基础，并对单个报表类型管理做了调整和重构；报表数据管理模块，实现报表json数据内容的管理；报表配置管理模块，实现报表配置对象option的管理；报表数据转换模块，主要将报表数据管理模块中的数据data进行拆分和重组；报表模板管理模块，主要提供报表的界面样式、用户交互程度等管理功能。本发明通过NOSQL的存储方法，将一个json数据data反复使用，封装后能为开发人员节省时间和精力；可以用于多类型报表数据共享。

摘要： 本申请提供一种NoSQL数据库的数据存储方法，包括：获取设定数量个字段的包括至少一个不重复rowKey的rowKey全组合和一个待添加的字段；依次对所述设定数量个字段的rowKey全组合中的每一个rowKey，执行添加字段的步骤，包括：在所述rowKey后加上所述待添加的字段，生成一个新的rowKey；若所述rowKey中的字段的个数满足设定的条件，则在所述rowKey前加上所述待添加的字段并去除所述rowKey中的最后一个字段，生成一个新的rowKey；获取生成的每一个新的rowKey所对应的数据，并将所述数据存储于在所述NoSQL数据库中对应所述新的rowKey的一行。本申请还提供一种NoSQL数据库的查询方法和一种多字段rowKey的全组合的生成方法。本申请可以解决现有技术方案查询时间效率低并且无法做到直接生成rowKey全组合最优解的问题。

摘要： 本发明实施例提供一种基于NoSQL的分布式Session管理的方法及装置，该方法包括：接收客户端发送的会话请求，并在会话请求中获取会话请求的操作类型和会话请求的sessionID；若会话请求为写操作，则将会话请求路由至集群服务器的master节点，以供所述master节点存储sessionID和会话请求携带的session数据并供所述master节点将sessionID和session数据同步到集群服务器的每个slave节点；若所述会话请求为读操作，则在判断获知所述sessionID对应的session数据已完成同步后，将所述会话请求按照预设的负载均衡策略路由至slave节点，以供所述客户端根据所述sessionID在所述slave节点上读取与所述sessionID对应的所述session数据。本发明实施例能够保证数据同步时的一致性，并且在高并发场景下也能够高性能地提供服务，业务性能高。

摘要： 通过NoSQL数据库实现BOM数据的多组织多视图的解决方法。多组织是指大型企业中的多个业务组织以及上下级关系构成的网状关系，业务组织如设计、工艺、生产、销售、采购等，上下级关系如集团和分厂等。多视图，是指对应于同一产品的BOM树，不同的业务组织定义、维护、查看的内容或者值是不同的。比如常见的工时定额，在集团工艺部门维护的值，与A分厂或者B分厂维护的值是不同的。所以，对于BOM树中节点任何同一属性，在NoSQL数据中可以存储多个值，这些值用TAG进行区分。定义视图的时候，通过一个TAG或者多个TAG定义属性的取值。通过视图定义，为不同的业务组织展示不同的BOM结构、节点属性和属性的值。

摘要： 本发明公开了一种基于原生JSON的SQL与NoSQL数据转换方法，涉及数据类型转换相关技术领域，具体步骤为：获取待转换的数据；对待转换的数据进行处理，判断是否符合原生JSON的规则或标准SQL语法规则；若符合原生JSON的规则或标准SQL语法规则，则对处理后的数据进行类型判断；根据不同类型对应的转换方法转换为对应的数据。本申请使关系型数据库与对象型数据库的智能数据交互系统具有良好的通用与鲁棒性，可以高效地将任意结构的关系型数据库转换为对应的对象型数据库，大大降低了企业的开发成本，缩短了开发时间，使得开发效率大大提升。

摘要： 本发明公开了一种面向NoSQL云数据库资源使用的计费方法，其特点是该方法包括：收集物理机在稳定运行NoSQL云数据库产品时的资源消耗参数；收集读取和写入固定大小数据时的资源消耗量；设计一种在物理机稳定运行NoSQL云数据库产品时的基于成本资源消耗的归一化权重确定方法，并利用读取和写入固定大小数据时的资源消耗量来确定读取和写入计费单价的计算，进而计算用户资源使用费用等步骤。本发明与现有技术相比更为简单、有效，以数学建模的方式，为NoSQL数据库的合理盈利和计费提供了可能，较好地解决了NoSQL数据库资源使用计费难的问题，可广泛应用于NoSQL云数据库读取和写入操作的资源使用费用计算。

摘要： 本发明涉及数据库同步领域，公开了一种NoSQL数据库的同步方法、装置、设备及存储介质。该方法包括：MongoDB数据系统接收存储数据，在MongoDB数据系统的主节点存储存储数据；基于主节点接收数据同步指令，分析数据同步指令中的MongoDB数据名称、链接地址、同步操作字段、同步数据类型；调用预置Oplog组件，复制MongoDB数据名称、链接地址、同步操作字段、同步数据类型，利用Oplog组件发送同步请求至Elasticsearch集群系统；Elasticsearch集群系统接收同步请求，获取Oplog组件中的MongoDB数据名称、链接地址、同步字段、同步数据类型；访问链接地址对应主节点，查询MongoDB数据名称对应的目标存储数据，根据同步操作字段和同步数据类型，对目标存储数据进行同步处理。

摘要： 本发明为一种基于NoSQL数据库的铁路四电数字工程模型创建及存储方法，本发明将数字模型与附属信息进行进一步融合，实现铁路四电数字工程在实际工程全生命周期的应用。包括以下步骤：确定NoSQL数据库的逻辑结构，进行集合、文档、字段、键值四级存储方式的确定；定义模型的片段存储大小，确定分割较大的数字工程模型的基本方法和手段；在NoSQL数据库下使用JSON格式将数字工程模型的属性信息进行格式定义，并存入NoSQL数据库中；建立存储引擎索引关系，将存入NoSQL数据库的数字工程模型和数字工程模型的属性信息进行关联处理；实现四电数字工程模型结果的插入、更新、删除、查询性能，最终生成的NoSQL数据库的数字工程模型数据库为所要创建及存储的模型的最终成果。

摘要： 本发明公开了基于NoSQL的PSD‑BPA数据解析及管理方法和系统，包括解析获取各BPA模型的模型类型和模型参数格式信息，按照预先确定的散列表数据结构将解析获得的模型类型和模型参数格式信息存储至NoSQL数据库；根据存储的模型类型和各BPA模型的模型参数格式信息解析BPA数据文件，获得各模型的模型数据；将获得的各模型的模型数据存储至NoSQL数据库，并利用预先生成的各模型记录标识码对各模型数据进行标识；根据模型记录标识码对存储模型数据的NoSQL数据库进行管理数据文件。本发明基于NoSQL数据库存储各模型数据，实现了电网数据统一管理、更新，提高电网仿真计算基础数据管理效率，有效避免了多人合作数据混乱的问题。

摘要： 本发明提供了一种基于json键值的解析sql和nosql的通用方法，包括：S1、将sql和nosql中的数据库定义统一的json key，设置各个键值的使用方法，键值即key值，封装属性值；S2、规范使用方式，统一接口的参数口径，参数统一为com.alibaba.fastjson.JSONArray和自定义的ys.bigdata.basic.pojo.Pager两个类；S3、合并两个集群的数据，查询数据后返回。实现接口应用层统一参数查询语法，数据分页做到nosql和sql统一，使冷数据和热数据能够融合，无感处理返回给调用方，适用于monogdb的nosql到所有sql的转换查询。