基于大数据多维分析的近似查询处理技术研究

摘要

随着信息技术的蓬勃发展，大数据时代已然降临。越来越多的组织和机构希望从海量数据中挖掘有价值的信息，以支持商业决策和事务决断。多维分析技术可以从多个维度和层次对海量数据进行分析，能为企业提供有力的决策支持服务。进行多维分析时，通常需处理大规模数据集，这就要将数据不断加载到内存中，导致即使一个普通的聚集查询，也可能耗费大量的执行时间；并且在具体的业务分析中，常常只需要掌握大体的发展趋势，并不要求完全准确的结果。因此，可以将近似查询处理技术，应用到此类分析场景中。
　　本文主要研究近似查询处理技术。首先针对大数据多维分析中聚集查询效率过低的情况，研究近似查询处理中的抽样技术，在此基础上，提出了基于聚类的分层抽样近似处理技术（CSSAQP）；接着利用Hadoop平台和Hive系统设计了一个近似查询处理引擎，该引擎实现了随机抽样、分层抽样以及本文提出的抽样算法；最后通过实验验证了CSSAQP的合理性和有效性。

目录

第一章 绪论

1.1 选题背景及研究意义

1.2 国内外研究现状

1.3 研究内容及主要创新点

1.4 论文组织结构

第二章 相关技术介绍

2.1 大数据处理技术

2.2 多维分析技术

2.3 近似查询处理技术

2.4 聚类技术

2.5 本章小结

第三章 基于聚类的分层抽样近似查询处理算法

3.1 极端值问题描述

3.2 相关定义与设计

3.3 CSSAQP算法设计

3.4 本章小结

第四章 近似查询处理引擎

4.1近似查询处理引擎架构

4.2 样本构造层

4.3 查询执行层

4.4 本章小结

第五章 实验结果及分析

5.1环境搭建

5.2实验设计

5.3 实验结果

5.4 本章小结

第六章 总结与展望

6.1 总结

6.2 展望

致谢

参考文献

附录

图目录

表目录

声明

关于学位论文使用授权的声明