基于MapReduce的高校大数据分析挖掘

摘要

校园网建设已经为高校的教学、科研和管理提供了先进的综合信息化环境。构建于校园网之上的数字校园也不断地完善，高校逐步实现了从环境、资源到应用的全面数字化，通过对这些数据进行集成与整合，达到科学规范的管理校园数据的目的。以校园网和数字校园为基础，并且运用云计算、物联网和大数据技术构建的智慧校园，旨在给予学生更智能的学习和生活环境。在数字化和智能化的过程中学校各类应用系统所产生的数据日益增长，已初步形成了校园大数据环境。高校大数据中蕴含了丰富的信息，需要使用新的数据存储和分析工具对海量的高校数据进行存储和分析，并从中获得知识。为此，本文研究了数据挖掘相关算法在高校数据中的应用，为构建智慧校园提供合理的技术方法。
　　本文首先采用主流的大数据处理平台Hadoop2.0对校园大数据的存储技术及方法进行分析，Hadoop2.0可有效地克服文件系统的扩展性差、资源利用率低和计算框架单一的缺陷;然后针对Apriori算法存在的耗时高、效率低的问题，提出基于MapRduce的最小支持度阈值算法，在学生成绩模块中验证改进算法的有效性;其次针对决策树C4.5存在碎片过多、过度拟合的问题，提出基于MapReduce的C4.5交叉分块算法，在学生助学金分类模块中验证改进算法的可行性;最后，从不同的评价标准分析验证所提算法的合理性。实验结果表明了本文提出的基于MapReduce的高校大数据挖掘方法的有效性，为高校大数据挖掘提供了新的研究思路，也为智慧校园的构建提供了技术参考。

目录

摘要

第一章 绪论

1．1 研究背景及意义

1．1．1 研究背景

1．1．2 研究意义

1．2 研究现状

1．2．1 大数据研究现状

1．2．2 MapReduce技术使用现状

1．2．3 数据挖掘算法研究现状

1．3 主要研究内容

1．4 论文结构

第二章 高校大数据分析挖掘相关方法与技术

2．1 数据挖掘相关理论与方法

2．1．1 数据挖掘的概念

2．1．2 数据挖掘基本步骤

2．1．3 常用数据挖掘方法

2．2 Hadoop技术

2．2．1 Hadopp2．0总体构架

2．2．2 Hadoop中的MapReduce计算模型

第三章 基于MapReduce的Apriori关联规则算法的改进及分析

3．1 关联规则相关概念

3．2 Apriori关联规则算法

3．2．1 算法基本思想

3．3．2 学生成绩模块中的Apriori关联规则算法

3．3 基于MapReduce的Apriori关联规则算法

3．4 基于MapReduce的Apriori最小支持度阈值算法

3．4．1 改进的算法思想

3．4．2 实例分析

3．5 实验结果及分析

第四章 基于MapRecuce的C4．5决策树算法的改进及分析

4．1 决策树相关概念

4．1．1 决策树基本算法

4．1．2 信息熵相关概念

4．2 C4．5算法

4．2．1 算法基本思想

4．2．2 学生助学金模块中的C4．5分类算法

4．3 基于MapReduce的C4．5交叉分块算法

4．4 实验结果及分析

第五章 高校大数据分析挖掘系统设计

5．1 系统总体构架

5．2 系统功能模块分析

5．2．1 数据挖掘分析系统框架

5．2．2 专题分析模块

5．3 数据存储设计

5．3．1 结构化数据存储设计

5．3．2 非结构化数据存储设计

第六章 总结与展望

6．1 工作总结

6．2 展望

参考文献

致谢

攻读学位期间的科研成果

声明