面向电商平台的分布式大数据挖掘系统

摘要

本发明公开了一种面向电商平台的分布式大数据挖掘系统，该系统包括：数据来源层、数据收集层、数据组织层、数据存储层、数据分析层及数据应用层六个层次；其中，所述数据来源层主要是指电商平台、移动终端、社交网络、供应商等；所述数据收集层主要负责通过Needlebase等工具收集所述数据来源层的数据并对数据进行数据预处理及传送数据给所述数据组织层；所述数据组织层对所述数据收集层传来的数据进行过滤实时分析；所述数据存储层负责对数据进行存储；所述数据分析层负责分析并过滤出来一下有意义的数据，从而分析各用户群体的特点，分析用户个人特点，提取出有价值的知识数据；所述数据应用根据所述数据分析层提供的信息进行一些个性化推荐、异常检测等。