并行数据库

摘要： 智能电网对全景状态数据的需求,异构、多态大数据是网络运行、维护和管理过程中的一大难题.高效率、低成本、高成本地存储数据,快速获取和分析数据,是当前研究的重点.文章首先分析了发电、输电、变电、电力生产的来源及大数据特征.对互联网和工业监控技术进行了归纳总结,详细分析了智能电网处理和大数据处理的优缺点,并从大数据存储、大数据可视化、实时数据处理、异构多数据源融合和大数据可视化等几个方面论述了智能电网中大数据带来的机遇和挑战.

摘要： 在许多应用程序中,例如数据清理,记录链接,Web搜索和文档分析,相似性查询处理变得越来越重要.该方法使用现有的运行时运算符来实现这种复杂的联接算法,而无须重新发明轮子.这样可以使系统自动受益于这些操作员的未来改进.该方法包括一种技术,该技术通过使用很大程度上以系统用户级查询语言表示的模板,在查询优化期间将相似性联接计划转换为基于操作员的有效物理计划;这项技术大大简化了这种转换规则的规范.我们使用并行大数据管理系统Apache AsterixDB来说明和验证我们的技术.我们使用并行计算集群上的几个大型真实数据集进行了一项实验研究,以评估相似性查询支持.

摘要： 基于智能电网大数据处理技术和数据存储技术提出了全新的要求,智能电网大数据的特征,分析大数据处理技术现状,大数据处理技术所面临的挑战,从而提高电网的运行效率.

摘要： 为了提高多源异构海量遥感数据处理流程中存储系统的性能,研究了自适应内存缓存机制在遥感数据存储中的应用.首先使用Alluxio建立统一的虚拟文件系统,并研究了基于空间关系及历史数据访问推理的缓存机制.其次引入了基于内存运算的Presto作为遥感数据元信息的存储组件,为海量的遥感数据元信息及高级语义信息提供实时的读写支持.实验结果表明,相对于使用传统存储方式的流程,使用自适应内存缓存遥感数据存储系统的流程处理耗时减少18％以上,该存储系统对提高遥感数据处理效率贡献显著.

摘要： 在计算机信息处理系统不断发展的过程中,传统计算机数据处理能力已经无法满足海量数据处理需求。针对此问题,提出基于并行数据库的海量数据分析方法。此方法能够使海量数据处理时间缩短,提高数据处理的高效性,在未来发展过程中的实用价值比较高。

摘要： 并行数据库查询工作的内容相对较为复杂,不仅涉及到多个JOIN共同操作,还涉及到了模型设计工作的内容.文章将针对查询树查询优化技术以及语义查询优化技术进行详细的分析,其目的是研究出并行数据库查询优化技术的实效性.

摘要： According to the rapid development of computer information processing system, data processing ability of traditional computer has not been able to now for the massive data processing provides fast, simple, efficient data analysis and processing, resulting in the massive data parallel database processing method. The methods were compared with MapReduce and parallel database technology, and then determine the selection method of parallel database processing of massive data based on this method, put forward from the read data to the data processing of the whole algorithm, the proposed algorithm can greatly shorten the data processing time, makes the data processing more efficient, there is strong practical value in the future.%随着计算机信息处理系统的迅速发展,传统的计算机数据处理能力已不能为如今海量的数据处理提供快速,简捷,高效的数据分析处理.针对这一问题,文中提出了并行数据库的海量数据分析处理方法,该方法详细对比了MapReduce和并行数据库技术,然后确定选用并行数据库的方法来处理海量数据.最后在该方法的基础之上,提出了从数据读取到数据处理的整个算法流程,该算法大幅缩短了海量数据处理的时间,使得数据处理更加高效,在未来的发展中有较强的实用价值.

摘要： 基于MapReduce编程模式的数据仓库技术和并行数据库技术是解决大数据分析问题的两种重要途径.MapReduce是一种基于并行运算的编程模型,其优点在于处理大规模非结构化、松散的数据集,但在性能,特别是连接操作的性能上存在很大的缺陷;并行数据库是建立在集群计算环境和MPP的高性能数据库,其优点是具有高效的结构化数据查询处理能力,但其容错能力和扩展能力薄弱.因此,两者都不能成为大数据分析的理想解决方案.本文在综合分析的基础上,结合二者优点,探索基于MapReduce和并行数据库的混合架掏,并对多种架构方案进行详细分析,最后对各研究方向进行分析、归纳和展望.

摘要： 在并行数据库中,空间数据集的数据均衡性和区域邻接性是影响空间查询和空间分析效率的关键因素.已有的并行数据库划分算法不能同时满足林地小班数据划分的数据均衡性和区域邻接性.提出一种基于K均值聚类的优化算法,该算法重新设计了K均值聚类算法的初始点选择方法与聚类完成后的调整方法,保证了聚类中空间数据的均衡性和邻接性.实验证明,该方法极大地提高了空间数据并行查询和空间分析的效率.

摘要： 基于机群架构的高性能计算机已经被应用到很多领域,如大气预测、油藏模拟、CFD仿真模拟和Web服务等.随着数据量的爆炸式增长,传统的集中式的数据库系统已经难以满足各种应用的需求,基于机群式架构的并行数据库系统为增强海量数据的存储以及处理能力提供了一种途径.对以前实现的一个基于机群架构的并行数据库中间件系统ParaMidSQL进行了改进.通过对并行选择、并行排序、并行连接等关键操作的测试,给出对并行数据库中间件系统改进后的性能分析.

摘要： 本文说明了这种分析的不足,提出数据资源可用性考察方法并应用于分布式并行数据库系统DPDBS。在对DPDBS中服务器群进行逻辑分组的基础上,从数据资源的角度量化讨论DPDBS的可用性,进而对几种常见的数据库系统数据可用性进行分析和比较。

摘要： 在基于机群系统的并行数据库中，多连接查询优化是一个重要的研究内容。本文提出了基于遗传算法的并行优化算法BGA，在估算查询执行计划的代价时，考虑了资源的分配信息和网络的通信代价。在资源的分配过程中，充分利用了数据的物理存储分布信息，减小了额外的通信开销。实验结果表明，算法较大地提高了机群系统中多连接查询优化的效率，对提高并行数据库性能起到重要作用。

摘要： 等值连接作为数据分析中最常用、代价最高的操作之一,在Spark上的实现和优化与传统并行数据库有很大的差别,传统并行数据仓库中基于数据预划分的连接算法在Spark上难以实现,而目前被广泛采用的Broadcast Join和Repartition Join性能较差,如何提高连接性能成为基于Spark的海量数据处理的关键.本研究将Simi-Join与Partition Join的优势相结合,并基于Spark上的特性提出了一种优化的等值连接算法.代价分析和实验表明本算法比现有基于Spark的数据分析系统中的连接算法性能提升1～2倍.

摘要： 大数据分析相比于传统的数据仓库应用,具有数据量大、查询分析复杂等特点。为了设计适合大数据分析的数据仓库架构,文中列举了大数据分析平台需要具备的几个重要特性,对当前的主流实现平台——并行数据库、MapReduce及基于两者的混合架构进行了分析归纳,指出了各自的优势及不足,同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍,对未来研究做了展望。

摘要： 并行查询处理,特别是并行连接查询处理技术是并行数据库中的关键技术。然而,目前的并行查询处理方法尚存在着一些局限性,如绝大多数的并行Join算法依赖于Hash方法对数据进行分治,因此只能支持等值Join等查询类型。为了解决这一问题,提出了一种基于伪半连接的通用θ-Join查询处理算法,并给出了基于查询语法树及并行执行计划的并行数据库通用查询处理方法。在此基础上,实现了一个并行分布式数据库原型系统PD-DBMS,实验结果表明,此方法提供了良好的并行查询处理性能。

摘要： 风云三号气象卫星数据存档与服务系统负责国家卫星气象中心海量卫星数据的存档与服务。数据库作为核心构件，在其中起着至关重要的作用。本文详细阐述了风云三号气象卫星数据存档与服务业务数据库的设计和调优。

摘要： 风云三号气象卫星数据存档与服务系统负责国家卫星气象中心海量卫星数据的存档与服务。数据库作为核心构件，在其中起着至关重要的作用。本文详细阐述了风云三号气象卫星数据存档与服务业务数据库的设计和调优。

摘要： 风云三号气象卫星数据存档与服务系统负责国家卫星气象中心海量卫星数据的存档与服务。数据库作为核心构件，在其中起着至关重要的作用。本文详细阐述了风云三号气象卫星数据存档与服务业务数据库的设计和调优。

摘要： 风云三号气象卫星数据存档与服务系统负责国家卫星气象中心海量卫星数据的存档与服务。数据库作为核心构件，在其中起着至关重要的作用。本文详细阐述了风云三号气象卫星数据存档与服务业务数据库的设计和调优。

摘要： 公开在大型分布式系统的上下文中进行数据分析处理，该大型分布式系统包括大规模并行处理（MPP）数据库和分布式存储层。在各种实施例中，接收数据分析请求。创建计划来生成对请求的响应。对多个分布式处理段中的每个指派计划的对应部分，其包括通过如在指派中指示的那样调用嵌入处理段中的一个或多个数据分析函数。

摘要： 处理设备将数据库查询解析为树结构。此外，所述处理设备利用所述树结构为所述数据库查询编译串行执行计划和并行执行计划。所述处理设备还确定了用于执行所述数据库查询的资源量。所述处理设备基于所确定的资源量来选择所述串行执行计划和/或所述并行执行计划。为此，所述处理设备利用所选择的串行执行计划和/或并行执行计划来执行所述数据库查询。

摘要： 一种数据库系统中实施的方法，包括：响应于多个数据请求，所述数据库系统的处理器生成针对具有共同字段的至少两个数据库表的多个连接请求；所述处理器采用所述多个连接请求识别具有所述共同字段的至少两个区间数据；所述处理器创建包括所述具有共同字段的至少两个区间数据的影子表，其中，所述影子表包括来自所述至少两个数据库表的多个字段，基于至少一个所述连接请求识别所述多个字段；耦合至所述处理器的存储器存储所述影子表；所述处理器采用所述影子表中存储的数据生成针对后续数据请求的响应。

摘要： 公开在大型分布式系统的上下文中进行数据分析处理，该大型分布式系统包括大规模并行处理（MPP）数据库和分布式存储层。在各种实施例中，接收数据分析请求。创建计划来生成对请求的响应。对多个分布式处理段中的每个指派计划的对应部分，其包括通过如在指派中指示的那样调用嵌入处理段中的一个或多个数据分析函数。

摘要： 一种分布式并行数据库系统的数据分区方法，包括以下步骤：根据构建的分布式并行数据库系统，创建事实表和维度表；根据分区规则将维度表和事实表纪录插入到不同节点上；将维度表纪录复制到事实表的节点上；对数据进行删除和更新处理。本发明在对数据集或数据流分区导入或插入分布式数据库系统时，能在每一个节点，满足数据库方案所定义的表间关系，特别是主-外键约束条件，使每一个节点上的数据，具有数据的局部完备性。对于利用主-外键约束条件进行表间连接的查询处理，由于各节点的数据对这类查询具有局部完备性，不需要在节点间做数据动态再分区，避免了数据的网络传输耗时，降低查询响应时间，提高查询效率。

摘要： 本发明公开了一种基于Infiniband网络的分布式并行数据库系统及数据处理方法，系统包括调度集群、数据集群和管理集群，每个集群由至少2台数据节点组成，数据节点之间使用Infiniband网络连接；数据处理方法包括了数据分布方法、数据加载方法、数据查询方法和数据去重方法。本发明针对分布式并行处理数据库集群节点服务器数量多的现状，充分利用Infiniband网络高带宽、低延时、低内存的特性，设计将网络应用到数据的方式，其中包括数据库系统配置、数据加载入库、数据查询和数据计算等。本发明通用性强,突破了当前数据库系统的网络带宽瓶颈、存储空间和计算延时的限制,保证系统高可用性，为用户提供高性能服务。

摘要： 本发明公开了一种基于分布式并行数据库的实时数据存储方法和系统，方法包括了终端数据的写入和查询方法、测点数据写入、数据冗余备份的一致性处理方法和数据异常处理方法，系统包括了若干个相互之间建立数据连接的管理节点、调度节点、数据节点和连接到调度节点上的应用终端和测点。本发明针对工业实时数据处理，将分布式数据系统和实时数据系统结合起来，既提高了的数据容量和处理能力，又有效提升了分布式架构下并行处理效率，达到了工业数据的实时性处理要求，还解决系统数据一致性、数据冗余备份、数据出错后快速恢复的能力，提高了数据的可靠性和系统的稳定性，可以较好地应用于大规模数据的实时处理中去。

摘要： 本发明公开了一种用于并行数据库的数据查询方法和装置，该方法包括：在各个数据库节点上对目标数据表按照目标数据表与其他数据表之间的相应关联字段分别进行目标数据的分组聚合；在各个数据库节点上对相应的分组聚合结果和相应的其他数据表按照相应的关联字段分别进行哈希方式的数据重划分；将各个数据库节点的分组聚合结果的数据重划分结果和其他数据表的数据重划分结果均汇总到一个目标数据库节点；在目标数据库节点上对分组聚合结果的数据重划分结果和其他数据表的数据重划分结果进行目标数据的连接聚合。本发明能够实现数据的聚合查询，同时调高查询的并行性，提升集群的资源利用率，并降低网络开销，提高查询的性能。

摘要： 一种分布式并行数据库系统的数据分区方法，包括以下步骤：根据构建的分布式并行数据库系统，创建事实表和维度表；根据分区规则将维度表和事实表纪录插入到不同节点上；将维度表纪录复制到事实表的节点上；对数据进行删除和更新处理。本发明在对数据集或数据流分区导入或插入分布式数据库系统时，能在每一个节点，满足数据库方案所定义的表间关系，特别是主-外键约束条件，使每一个节点上的数据，具有数据的局部完备性。对于利用主-外键约束条件进行表间连接的查询处理，由于各节点的数据对这类查询具有局部完备性，不需要在节点间做数据动态再分区，避免了数据的网络传输耗时，降低查询响应时间，提高查询效率。

摘要： 本发明属于数据库高可用设计技术领域，具体提供一种实现大规模并行数据库高可用的方法及系统,所述方法包括如下步骤：在所有节点上安装持久内存设备，并在操作系统中配置持久内存参数；在协调节点上安装支持RDMA协议网卡，并在操作系统中配置网卡参数；在协调节点的元数据管理模块设置RDMA接口；当协调节点接收到数据写请求时，配置持久内存接口将数据写入计算节点的持久内存设备，并将元数据文件位置数据写入MPP库文件管理器；当协调节点接收到读请求时，配置读取接口读取相关数据；当协调节点之间同步元数据文件时，开启RDMA协议，调用元数据管理模块设置的RDMA接口进行元数据文件的传输。提升了数据同步传输的速度。