关联规则算法在铁路钢轨质量分析评价系统中的应用研究

摘要

随着各行各业计算机信息化水平的提高，数据挖掘技术逐渐被广泛应用。由于数据信息的飞速增长，原有的数据挖掘方法已经很难满足业务的需求。传统的串行算法存在挖掘速率低，面对海量数据挖掘时不能及时快速响应的缺点。在数据规模不断增长的同时，我们所面对和掌握的数据结构越来越复杂且数据的维度也越来越高。面对这些快速增长的数据，传统的频繁项集挖掘算法需要不断的扫描数据库，因此会增加算法的时间复杂度和相应的执行效率，并行数据挖掘正是在这样的背景下出现。
　　关联规则算法作为数据挖掘中的一个重要的分支，其能够从数据对象集合中挖掘具有关联关系的数据项集，因此关联规则算法在各行业当中都具有广泛的应用。近年来，云计算平台Hadoop引起了越来越多研究者的关注，将传统的频繁项集挖掘相关算法进行并行化实现是一个重要的研究方向。在频繁项集挖掘过程中存在两个瓶颈，循环迭代次数过多和I/O负载过大的问题。而Hadoop平台继承了云计算的诸多优点，为大数据的分布式存储和并行计算提供了有效的策略，具有可用性高、成本低廉的特性，因此，用Hadoop可以缓解相应的压力。
　　尽管近年来国内外对基于关联规则的并行算法进行了深入广泛的研究，但是传统的Apriori算法依然存在扫描数据时会循环迭代扫描数据的问题，使得筛选候选集合的过程中存在性能优化问题。本文通过对MapReduce计算模型的工作原理、运行机制和容错机制进行研究学习，并结合关联规则生成算法的特点，改进了传统的并行算法并提出了基于MapReduce的关联规则算法的并行优化方案。此外，还对基于MapReduce的频繁项集挖掘算法进行了理论设计，并将改进算法运用在铁路钢轨质量分析评价行业。通过对传感器检测到的钢轨病害数据进行分析，生成其中的强关联规则。在MapReduce并行化处理过程中，将数据的分区矩阵Tk按照行切分存放，将计算负载遍布在集群的各个节点，减少每次迭代计算时向量移动矩阵并相乘的时间消耗。最后本文又对该算法进行了详细的分析总结与探讨。

目录

封面

声明

中文摘要

英文摘要

目录

第一章绪论

1.1研究背景与意义

1.2国内外研究现状

1.3论文的主要内容及创新之处

1.4本文组织结构

1.5本章小结

第二章相关理论知识

2.1 MapReduce编程模型

2.2频繁项集相关理论

2.3总结

第三章关联规则挖掘算法并行化实现

3.1问题描述

3.2基于Hadoop的关联规则Apriori_N算法

3.3数据流频关联规则挖掘并行化

3.4本章小结

第四章铁路钢轨质量分析评价系统的设计与实现

4.1评价系统的背景

4.2评价系统的功能模块

4.3系统设计方案

4.4系统实现

4.5本章小结

第五章总结与展望

5.1总结

5.2展望

致谢

参考文献

附录1攻读硕士学位期间发表论文目录

附录2攻读硕士学位期间获得科研鉴定成果