联机分析处理(OLAP)

摘要： 随着数据规模和分析需求的日益增长,数据库面向联机分析处理(On-Line Analytical Processing,OLAP)应用的查询性能变得愈发重要.Cedar是一款基于读写分离架构的分布式关系数据库,由于它主要面向联机事务处理(On-Line Transaction Processing,OLTP)业务,在面对分析处理负载时性能表现不足.对于这个问题,很多研究表明列存储技术能够有效地提高I/O (Input/Output)效率,进而提升分析处理的性能.在Cedar上提出了一种列存储机制,分析了其适用场景并针对这种机制改进了Cedar的数据扫描和批量更新方法.实验结果表明,该机制能大幅度地提升Cedar分析处理性能,并且对事务处理性能的影响控制在10％以内.

摘要： In the era of the big data, cache can be seen as one of the most effective ways to enhance data processing tech-nique, and therefore it is widely researched. The majority of cache mechanism saves the query results as the file, thus there is nearly no way to reuse the partial data in the cache under specific situations, and consequently cache resources are wasted. Based on learning the cache techniques both here and abroad, this project designs one data warehouse cache mech-anism by using incremental learning naive Bayesian algorithm. This cache mechanism can decide whether to cache the current query results according to users'recent operations, and ultimately can increase the hit rate of cache. Finally, the results of the experiment illustrate the effectiveness and efficiency of this cache mechanism by analyzing both average query time and the hit rate of cache.%大数据时代,缓存作为一种提高数据处理性能的有效技术而被广泛研究.目前大多数缓存机制将查询结果以文件的形式保存了下来,命中率较低,造成了缓存资源的浪费.以国内外的缓存技术为基础,结合用户的查询习惯,借助增量朴素贝叶斯算法设计了一种新的数据仓库缓存机制,此缓存机制可根据用户的操作习惯判断每次查询的结果是否需要被缓存,以此提高缓存命中率.并通过实验从平均查询时间以及缓存命中率两方面验证了该缓存机制的有效性.

摘要： 结合某特种合金企业目前已有的基于联机事务处理(OLTP)技术的数据库管理系统,针对钛铁合金生产数据实际采集情况,应用先进的联机分析处理(OLAP)技术,采用微软Office WebComponents 11.0 (OWC11)组件和DELPHI 7可视化编程工具实现对存储在SQL Server2005数据库中的数据进行分析,为企业有效决策提供依据.

摘要： 针对现有联机分析处理(OLAP)方法的空间开销随着数据维度增加呈指数级增长,因而不适用于维度较高的多维网络应用的问题,提出了一种新的多维网络数据立方体模型——封闭冰山双立方图(CI-DCG).该模型通过引入邻接立方体的概念,将其实例化过程转化为两个计算传统数据立方体的阶段,从而可将传统数据立方体生成算法中较为成熟的空间优化技术引入到多维网络中.在保证多维网络上OLAP查询处理效率的同时,将多维网络数据立方体生成算法的空间复杂度降为多项式级别.理论分析和实验结果均表明,该模型在空间开销和查询性能方面均优于已有的多维网络OLAP模型,并且数据维度越高,这种优势就越明显.

摘要： 随着职业技术教育的快速发展,技工学校教务管理工作的工作方式必将发生极大转变.本文分析了技工学校教务管理的特征和技工学校教务管理信息系统应用的现状,确定了技工学校教务管理信息系统建设的目的,并将系统分为联机事务处理(OLTP)和联机分析处理(OLAP)两大部分,从而为不同层次的用户和管理者提供相应的事务处理和数据统计与分析的功能.

摘要： 目前,P2P环境下的OLAP查询策略都是基于从客户端获取查询结果集,如DSCD算法和DQDC算法等主要是研究怎样快速地从客户端获取查询结果集,由于客户端的Data Cube的实时数据更新效率低,易导致查询结果失真,从而影响OLAP的查询效率.为了提高P2P网络中OLAP的实时查询效率,提出了一种RTOS(Real-time Semantic OLAP Search,实时语义的OLAP查询)算法,并结合查询速度和失真率两方面的实验证明,该算法能有效地提高P2P环境下OLAP的决策分析性能.%Nowadays, the result of OLAP query obtains from all other clients. For example: DSCD algorithm and DQDC algorithm aim to research the way to get the result of querying quickly, However, Data Cube in other clients can not be updated on real time. So it is easy to lead the result of query distortion. It has an effect on the efficiency of OLAP. In order to improve the efficiency of the realtime query of OLAP, this paper proposes a real-time semantic OLAP search algorithm. Through the experiment, it unifies the results of inquiry speed and distortion rate of two aspects, demonstrates that the RTOS algorithm can effectively improve the OLAP decision analysis performance on the P2P environment.

摘要： This paper provides a multi-query optimization strategy to achieve the share and reuse of column scan, column join and aggregation operations in column store OLAP (on-line analytical processing) systems which can easily lead to large I/O and CPU overhead. According to the features of column-stores and OLAP applications, the paper proposes a series of transformation rules to generate a single global query plan for a set of related queries mapped from a certain OLAP require. Aiming at the share and reuse of operations, the paper also introduces four new defined nodes: the filter node, the group by node, the merge node and the aggregation node. At the same time, it makes an improvement to the MuGA (multiply group by algorithm), and uses the filter node, merge node and join node to mark group number for each tuple in dimension and fact tables, to achieve the share of column scan and column join operations. For the aggregation node, the paper proposes a multi-phase aggregation algorithm combined with compound group number of the fact table to implement effective aggregation reuse. The experimental results on the benchmark data sets SSB (star schema benchmark) also verify the effectiveness of the multi-query optimization strategy.%为了使列存储OLAP(on-line analytical processing)操作中I/O和CPU开销较大的扫描、连接、聚集操作实现有效的共享和复用,提出了一个多查询优化技术.根据列存储以及OLAP操作的特点,提出了一系列转换规则,为OLAP查询请求产生的一组相关查询语句生成一个单一全局查询计划.为了达到共享复用的目的,在全局计划中引入新的过滤结点、分组结点、合并结点和聚集结点.同时,借用MuGA(multiply group by algorithm)算法,通过分组结点、合并结点、连接结点实现维表及事实表元组的分组序号标记,从而实现列扫描、列连接的共享.并为聚集结点提出了一个多阶段聚集算法,结合最终生成的事实表复合分组序号,实现聚集操作的复用.在SSB(star schema benchmark)数据集上设计实验,证明了该多查询优化策略的有效性.

摘要： 针对施工企业对已完建筑工程数据管理与利用的现状和存在问题,提出了建立数据仓库管理作为施工企业管理已完建筑工程项目数据的新模式;构建了已完建筑工程数据仓库的三层体系结构框架,阐明了系统的开发方法及过程;从利用OLAP辅助工程项目管理决策及基于数据仓库的数据挖掘等方面对已完建筑工程数据仓库的应用领域进行了分析,并以项目风险评价为例说明了数据仓库的应用过程.以期为施工企业加强信息化建设和提高项目管理与风险分析水平提供新的思路和方法.

摘要： 传统网络环境和P2P环境中,客户端向OLAP服务器提交OLAP查询,并从服务器获取查询结果,OLAP服务器的负载将随着客户端的增加而急剧增加.设计了一种基于P2P(Peer-to-Peer,点对点技术)技术的DQDC(Distributed Query Data Cube,多维数据集的分布式查询)算法,实现P2P网络中语义级的多节点Data Cube数据共享,从而提高系统整体的决策分析性能.%The clients submit queries to the OLAP server and get the corresponding results from the server in the traditional network and the P2P network. However,the load of OLAP server sharply increases with the increase of clients.A distributed query data cube algorithm based on peer-to-peer technology is proposed. It achieves multi-node data cube data sharing in P2P semantic-level,thereby can improve the performance of system decision analysis.

摘要： 联机分析挖掘(OLAM)无缝地结合了联机分析处理(OLAP)和数据挖掘(DM)技术,它不仅包括两种技术各自的优点,也提出了在整个数据分析领域中一个新的亮点,本文将使用由SQL Server 2005提供的的无缝集成技术来研究联机分析挖掘技术.

摘要： 本发明提供一种用于联机分析处理系统的数据处理装置，包括：属性设置模块，为同一维度下的多个成员增加属性；处理方式记录模块，在所述属性中记录在所述维度下所述多个成员的指标数据对应的处理方式；数据处理模块，在所述维度下，按所述处理方式对所述多个成员的指标数据进行处理。相应地，本发明还提供了一种用于联机分析处理系统的数据处理方法。应用本技术方案，改进传统联机分析处理系统只能根据维度的层次关系进行数据运算的不足，使联机分析处理系统能够根据同一维度级次下维度成员之间的运算关系或计算规则，进行相关指标的数据处理。

摘要： 本发明实施例涉及数据处理技术领域，尤其涉及一种联机分析处理的数据处理方法、装置及后台设备，用以扩展OLAP的功能，提高OLAP使用的便捷性。本发明实施例中，接收数据查询请求；对所述数据查询请求进行解析；根据所述数据查询请求的解析结果，向数据库发送数据获取请求；根据所述数据库中存储的与所述数据查询请求相关的OLAP表及预定义的各OLAP表之间的关联模式，获取所述数据获取请求的处理结果，所述OLAP表之间的关联模式包括所述OLAP表之间的关联方式和关联条件。

摘要： 本发明公开了一种用于联机分析处理的数据处理方法和装置。该用于联机分析处理的数据处理方法包括：获取对联机分析处理中的数据进行分区得到的多个分区；分别计算多个分区的去重计数指标的用户数；以及将计算得到的多个分区的去重计数指标的用户数相加，得到联机分析处理中的去重计数的用户数。通过本发明，解决了现有技术中在进行联机分析处理时内存开销比较大的问题，达到了减少联机分析处理时内存开销的效果。

摘要： 本发明公开了一种用于联机分析处理分区的数据处理方法和装置。该用于联机分析处理分区的数据处理方法包括：将联机分析处理的分析数据库划分为第一级预留分区和第一目标分区；获取联机分析处理的分析数据；检测第一目标分区中是否存在用于存储分析数据的目标分区；如果第一目标分区中不存在用于存储分析数据的目标分区，则将第一级预留分区进行划分，得到第二目标分区和第二级预留分区，其中，第一级预留分区和第二级预留分区为空存储区；以及将分析数据存储到第二目标分区中。通过本发明，解决了相关技术中对末分区拆分时，前端数据查询会出现数据丢失的问题。

摘要： 本发明公开了一种用于联机分析处理中关联关系的数据处理方法和装置。该用于联机分析处理中关联关系的数据处理方法包括：获取数据仓库中的第一关联模型，第一关联模型包括多个第一关联模型分支，至少有一个第一关联模型分支为多维度分支，多维度分支包括一个事实表和多个维度表；从第一关联模型中获取多维度分支；在分析数据库中将第一关联模型中的多维度分支转换成第二关联模型分支，其中，第二关联模型分支中维度表的数目小于多维度分支中维度表的数目；以及根据第一关联模型分支和第二关联模型分支，在分析数据库中构建第二关联模型。通过本发明，解决了相关技术中在联机分析处理时，难以平衡查询速度和存储空间的问题。

摘要： 本发明提供一种用于联机分析处理系统的数据处理装置，包括：属性设置模块，为同一维度下的多个成员增加属性；处理方式记录模块，在所述属性中记录在所述维度下所述多个成员的指标数据对应的处理方式；数据处理模块，在所述维度下，按所述处理方式对所述多个成员的指标数据进行处理。相应地，本发明还提供了一种用于联机分析处理系统的数据处理方法。应用本技术方案，改进传统联机分析处理系统只能根据维度的层次关系进行数据运算的不足，使联机分析处理系统能够根据同一维度级次下维度成员之间的运算关系或计算规则，进行相关指标的数据处理。

摘要： 本公开公开了一种用于联机分析处理引擎的数据处理方法，涉及深度学习、云计算、大数据等领域，尤其涉及智能搜索等领域。具体实现方案为：利用联机分析处理引擎对操作数据进行维度建模，得到对应的数据报表；以及将数据报表存入与联机分析处理引擎关联的数据库，以便通过联机分析处理引擎查询数据报表。

摘要： 本发明实施例涉及数据处理技术领域，尤其涉及一种联机分析处理的数据处理方法、装置及后台设备，用以扩展OLAP的功能，提高OLAP使用的便捷性。本发明实施例中，接收数据查询请求；对所述数据查询请求进行解析；根据所述数据查询请求的解析结果，向数据库发送数据获取请求；根据所述数据库中存储的与所述数据查询请求相关的OLAP表及预定义的各OLAP表之间的关联模式，获取所述数据获取请求的处理结果，所述OLAP表之间的关联模式包括所述OLAP表之间的关联方式和关联条件。

摘要： 本发明公开了一种用于联机分析处理的数据处理方法和装置，属于数据处理技术领域，方法包括：根据选定的分区字段，对联机分析处理系统的增量数据进行分区划分，得到多个增量数据分区；以及根据分区字段，对联机分析处理系统的存量数据进行分区划分，得到多个存量数据分区，并构建多个存量数据分区的数据索引；依据是否具有相同分区标识，建立多个增量数据分区和多个存量数据分区之间的对应关系；基于数据索引，对各个增量数据分区中的数据与对应的存量数据分区中的数据进行拼接操作和/或合并操作。本发明实施例能够在大数据量下的业务数据变动频繁时，实现对数据的快速拼接，同时减少不必要的数据拼接计算量。

摘要： 本发明公开了一种用于联机分析处理的数据处理方法和装置。该用于联机分析处理的数据处理方法包括：获取对联机分析处理中的数据进行分区得到的多个分区；分别计算多个分区的去重计数指标的用户数；以及将计算得到的多个分区的去重计数指标的用户数相加，得到联机分析处理中的去重计数的用户数。通过本发明，解决了现有技术中在进行联机分析处理时内存开销比较大的问题，达到了减少联机分析处理时内存开销的效果。