面向生产制造的大数据分析平台技术研究

摘要

随着大数据技术逐渐成为工业4.0的标配技术之一，生产制造企业迈入了智能制造时代，基于数据的生产和管理需求越来越高。由于基于物联网技术的数据采集和控制模块的广泛应用，形成了极为庞大的数据源，传统数据库技术对这种大规模的数据的存储、管理以及分析能力显得捉襟见肘。而利用大数据技术，可以给企业提供高效的数据分析能力，提高质量管控、工艺提升、服务升级等方面的管理和决策能力。
　　为解决生产制造企业无法通过传统数据分析方法从企业大数据中获取有价值信息的痛点，本文实现了一套大数据分析解决方案并进行了实例分析。首先介绍了平台的基础架构，然后针对大数据平台核心功能模块如数据获取、大数据分析模块、平台可视化等模块进行了详细设计，尤其针对大数据平台的运行特点以KNN为例对分析模块给出了分布式并行化的实现思路。针对某生产制造企业具体的业务需求，分别给出了大数据平台支撑下的数据预处理、特征提取、聚类模型及算法设计和实现，结合企业拧紧工艺的数据分析案例进行了详细阐述。在此过程中，针对该企业数据特征，提出了一种改进的针对大规模不均衡数据的聚类分析算法——STKmeans(Second Time Kmeans)，企业数据的分析结果证明了其聚类效果远远高于传统聚类方法，同时验证了平台的实用性。

目录

声明

摘要

第一章 绪论

1．1 研究背景

1．2 研究现状

1．3 研究意义

1．4 论文章节安排

第二章 面向生产制造的大数据分析平台框架

2．1 平台需求分析

2．2 大数据平台框架

第三章 大数据分析功能模块设计

3．1 数据的获取和存储模块设计与实现

3．1．1 功能与需求

3．1．2 SQL to Hadoop(Sqoop)技术

3．1．3 数据导入导出模块的实现

3．1．4 数据的增量导入模块实现

3．2 大数据分析模块设计

3．2．1 功能介绍

3．2．2 分析流程

3．2．3 功能实现

3．3 大数据集群功能模块设计与实现

3．3．1 大数据集群持久化模块

3．3．2 大数据集群模型获取模块

3．3．3 大数据集群服务控制器

3．4 平台可视化模块设计与实现

3．4．1 基于Spring MVC的架构设计

3．4．2 数据分析报告生成模块

第四章 大数据分析平台案例分析

4．1 项目介绍

4．1．1 项目背景

4．1．2 拧紧工艺分析

4．2 大数据分析模块设计

4．2．1 数据介绍

4．2．2 数据观察

4．2．3 数据清洗算法与实现

4．2．4 特征提取算法与实现

4．2．5 建模算法与实现

4．3 任务提交及运行

4．4 结果分析

5．1 工作总结

5．2 研究展望

参考文献

致谢

攻读硕士学位期间的成果