基于MapReduce的并行模糊规则分类算法研究及应用

摘要

分类问题是模式识别和机器学习的重要研究内容之一，现已经广泛应用到了工业、商业和科研等领域。基于模糊规则的分类算法有着分类精度高、分类结果具有语义性、可解释性、容易被用户理解等优点。并行计算的出现能够极其有效的解决当前大数据环境下的传统单个计算机在面对大规模数据集时所表现出的耗费时间长，效率低下，甚至内存溢出无法处理的问题。由Google提出的MapReduce模型是一个易于开发的，可以并行处理海量数据的编程模型。它能够降低并行程序设计的复杂度，用户只需要简单设计自身要解决的并行计算任务，大大节省了设计时间，效率极高。 本文提出了一种基于MapReduce模型的并行模糊规则分类算法。该算法运用并行计算的方式来提取模糊规则，并构建模糊规则分类器，使其既具有模糊系统处理不确定性方面的优势，又有MapReduce模型并行计算的能力。在实验研究部分，本文将该并行算法应用到期货自动交易平台—交易开拓者（TradeBlazer，TB）以及印刷厂的标签印刷生产任务中，主要内容如下： （1）将提出的并行算法应用在期货交易上，从期货数据中提取模糊规则，将得到的模糊规则转换为TB公式，形成交易策略，并将其应用到自动交易平台TB中，通过其在模拟交易时的盈亏状况来评判该模糊规则的可用性。实验结果表明该算法能够较有效地减少数据处理时间，具有比较好的可扩展性，所提取的模糊规则在期货交易中具有较好的收益，这也验证了该规则的可用性和有效性。提取的规则具有较好的语义性，对于投资者进行决策具有一定的指导意义，同时该方法也为期货程序化交易提供了一种新的思路。 （2）将该并行算法应用到传统印刷工业的生产过程中，为标签印刷生产中的每个订单进行智能排产。利用本文所提出的算法对车间管理者根据经验为每台机器分配任务的历史数据进行模糊规则提取，构建模糊规则分类器，并根据分类器的分类结果将新的订单任务按照工序合理的安排到相应的机器上进行加工。实验结果表明该算法很好的提高了数据处理速度，提取的规则具有较好的语义表示，能够在一定程度上替代生产管理者进行订单任务分配，提高了工业印刷生产的生产效率。

目录

第一个书签之前

摘 要

Abstract

1 绪论

1.1 研究背景及意义

1.2 模式识别介绍

1.2.1 模式识别简介

1.2.2 模式识别常见分类方法

1.3 本文主要研究内容

2 基于数据的模糊系统构建

2.1 引言

2.2 Wang-Mendel算法简介

2.2.1 Wang-Mendel算法实现步骤

2.2.2 Wang-Mendel算法优点

2.3 本章小结

3 并行计算框架Hadoop介绍

3.1 Hadoop简介

3.2 Hadoop分布式文件系统

3.2.1 HDFS的概念

3.2.2 HDFS的架构

3.3 分布式计算模型MapReduce

3.3.1 MapReduce简介

3.3.2 MapReduce程序模型

3.3.3 MapReduce执行流程

3.4 本章小结

4 基于MapReduce的并行模糊规则分类算法研究

4.1 引言

4.2 基于MapReduce的并行模糊规则分类算法的实现

4.2.1 数据预处理

4.2.2 确定模糊数

4.2.3 提取模糊规则

4.2.4 简化规则库

4.2.5 确定类标签

4.3 本章小结

5 基于MapReduce的并行模糊规则分类算法应用

5.1 实验运行环境

5.2 在期货数据上的应用

5.2.1 TB平台介绍

5.2.2 实验说明

5.2.3 数据预处理

5.2.4 实验结果及分析

5.3 在工业印刷厂的应用

5.3.1 印刷业务简介

5.3.2 实验说明

5.3.3 数据预处理

5.3.4 系统设计及应用

5.4 本章小结

6 总结与展望

6.1 总结

6.2 展望

参 考 文 献

攻读硕士学位期间发表学术论文情况

致 谢

大连理工大学学位论文版权使用授权书