首页> 外国专利> SYSTEM AND METHOD FOR GENERATING A MULTI DIMENSIONAL DATA CUBE FOR ANALYTICS USING A MAP-REDUCE PROGRAM

SYSTEM AND METHOD FOR GENERATING A MULTI DIMENSIONAL DATA CUBE FOR ANALYTICS USING A MAP-REDUCE PROGRAM

机译:使用映射缩减程序为分析生成多维数据多维数据集的系统和方法

摘要

In accordance with an embodiment, described herein is a system and method for generating a data cube for analytics. A map-reduce program running in a data processing cluster can read each line of a source data, and generate a key-value pair for each of a plurality of data combinations in that line of data. Values paired with the same key can be aggregated to generate one or more frequency values or one or more aggregate values, for representing the result of a query on the source data. Each query result can be stored in an output file, and can be encapsulated into a data cube cached in a distributed file system of the data processing cluster. The data cube can map a query from a client application to an output file, and can return a pre-computed result in the output file from the data cube to the client application.
机译:根据一个实施例,本文描述了一种用于生成用于分析的数据立方体的系统和方法。在数据处理集群中运行的map-reduce程序可以读取源数据的每一行,并为该数据行中的多个数据组合中的每一个生成键值对。可以对与同一关键字配对的值进行聚合,以生成一个或多个频率值或一个或多个聚合值,以表示对源数据的查询结果。每个查询结果可以存储在输出文件中,并且可以封装到缓存在数据处理集群的分布式文件系统中的数据立方体中。数据多维数据集可以将查询从客户端应用程序映射到输出文件,并且可以将输出文件中的预先计算的结果从数据多维数据集返回到客户端应用程序。

著录项

相似文献

  • 专利
  • 外文文献
  • 中文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号