集成数据分析算法的公共服务平台的研究与实现

摘要

伴随企业生产和个人用户活动产生的大规模数据集，如何从这些数据中分析提取出有价值、有意义的信息得到了人们越来越多的重视。但目前的一些数据分析平台，一方面需要具有专业数据分析背景的人员进行操作，另一方面平台对用户数据文件属性字段选择、分析算法的参数设置、算法计算模型公式选择等方面没有提供完全的支持，使得用户需要去了解具体的数据分析算法流程和该过程对数据集属性字段的影响。所以，本文针对用户数据集属性特点，研究并实现公共服务平台与数据分析算法的集成，具有十分重要的意义。
　　本文研究数据分析公共服务平台与数据分析算法集成，通过对两类K-Means算法与公共服务平台的集成实现，进一步总结出公共服务平台与一般算法集成的共性。本文主要工作如下：首先对常见的聚类 K-Means算法进行分析，总结出该算法与公共服务平台集成的三类共性参数：聚类个数K，相似性距离公式选择和用户数据集属性字段选择。随后基于共性参数，实现 K-Means算法集与公共服务平台的集成工作。论文还给出了基于最远最近距离的 K-Means算法的分析，并对其参数和可并行化操作进行了分析，进而对可并行部分进行MapReduce的并行化，最后将基于距离MapReduce化的K-Means算法集成到数据分析公共服务平台中。
　　此外，论文基于对两类 K-Means算法与公共服务平台的集成实现的分析，设计了一般数据分析算法与平台集成的数据库设计、接口实现和调用执行实现过程。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

第一节 论文研究背景与意义

第二节 国内外研究现状

第三节 论文的主要工作

第四节 论文组织结构

第五节 本章小结

第二章 与公共服务平台集成的算法分析

第一节 K-Means算法与公共服务平台集成的分析

第二节 基于最远最近距离的K-Means算法的分析与研究

第三节 本章小结

第三章 基于距离的K-Means算法的并行化与平台集成

第一节 基于距离的K-Means算法并行化分析

第二节 基于距离的K-Means算法并行化与平台集成

第三节 基于距离MapReduce的K-Means算法的并行化

第四节 本章小结

第四章 数据分析公共服务平台与算法的集成

第一节 算法集成到公共服务平台的工作分析

第二节 公共服务数据分析平台的设计与实现

第三节 本章小结

第五章 总结与展望

第一节 本文的总结

第二节 未来的工作

参考文献

致谢

个人简历