一种大数据环境下的数据管理方法及系统

摘要

本发明涉及一种大数据环境下的数据管理方法及系统，其方法包括以下步骤，利用ETL工具采集多种数据源的大数据，并进行预处理形成预处理大数据；根据预设需求对所述预处理大数据进行算法分析或/和数据挖掘或/和数据计算或/和数据存储处理，形成基础环境大数据；通过资源调度接口，将所述基础环境大数据对外提供数据可视化服务。本发明提供大数据运行基础技术环境，实现多数据源接入、数据采集处理、数据表管理、文件管理、数据探索和模型建立；能够支持存储TB级数据，很好的支持数据量的爆炸式增长存储需求；提供ETL工具接入数据、分布式计算、流计算、内存计算的应用框架，具备提供大数据技术挖掘能力，具备算法建模能力。