一种应对大规模数据多维聚合实时查询的数据处理平台

摘要

本发明公开了一种应对大规模数据多维聚合实时查询的数据处理平台，包括数据服务首页、数据查询、数据处理以及系统管理，其中平台角色分为普通人员和管理人员，其中系统管理模块只针对管理人员开放，数据处理分为项目管理和cube管理，系统管理模块分为集群监控和项目权限管理，本发明提供可视化操作界面，降低操作难度与学习成本，使多维分析查询效率大大提升，响应时间降低至毫秒级；同时因为数据的计算是通过预处理方式进行处理，数据的计算使用硬盘计算，相对于spark使用内存计算，成本更低，且预计算模式不追求计算的高实时性，用户可以根据需求降低服务器集群成本；提供任务监控和集群监控功能，可以帮助用户有效的管理集群和数据处理任务。