一种游戏引擎数据湖分层可扩展设计与流批组合即席分析系统

摘要

本发明公开了一种游戏引擎数据湖分层可扩展设计与流批组合即席分析系统，包括业务数据库模块、埋点数据模块、数据采集模块、数据存储模块、数据计算与查询模块和任务调度模块，数据采集模块对业务数据库模块和埋点数据模块进行采集处理，数据存储模块对采集后的数据进行处理存储，数据计算与查询模块对存储的数据进行分析，任务调度模块根据分析后的结果进行调配，数据计算与查询模块的Phonix子模块分别在hbase子模块上建立了多级索引和数据预计算，还包括对数据湖进行数据离线分层扩展设计的分层可扩展设计模块。本发明降低复杂业务指标实现难度，提高计算效率、代码复用性和可靠性，隔离了数据隐私，并解决了离线复杂指标计算过慢的问题。