可配置的异构数据实时同步并可视化的系统及方法

摘要

本发明公开了一种可配置的异构数据实时同步并可视化的系统及方法，该系统包括：元仓子系统模块，存储历史和实时增量元数据信息；历史数据批处理同步子系统模块，获取历史元数据信息并处理，以预设格式存储在预设数据仓库中；实时同步子系统模块，获取实时增量元数据信息并处理完成数据类型转换，存储在预设数据仓库中；可视化大屏子系统模块，将预设数据仓库中的数据和自定义统计指标与可视化大屏进行配置管理；可视化模块，用于将数据展示在大屏上供给用户查看管理。该系统可以对大数据仓库Hive中的实时数据流通过自定义统计指标的形式和统计分析任务结合在一起并和实时大屏绑定，提供数据从线上业务系统到进行大数据统计分析的解决方案。