基于Hadoop的日志数据挖掘方法及系统

摘要

本发明公开了一种基于Hadoop的日志数据挖掘方法，将获取的当前时间段内的第一日志数据集合保存至Hadoop数据库中；若Hadoop数据库已保存的第一日志数据集合的个数满足预先设置的数值，则利用预置的并行运算模型对Hadoop数据库中的第一日志数据集合进行并行聚集处理，得到第二日志数据集合；根据第二日志数据集合中的日志数据的维度对第二日志数据集合中的日志数据进行维度划分，将得到的不同维度对应的第三日志数据集合保存至Hadoop数据库中。本发明还公开了一种基于Hadoop的日志数据挖掘系统。本发明能够快速有效地实现海量数据的挖掘，满足对海量数据进行挖掘的存储及运算需求。