移动互联网网络侧数据预处理技术的研究和应用

摘要

移动互联网和大数据是近些年来学术界和工业界研究的热点问题，电信运营商在向移动互联网用户提供服务的同时，产生了海量的移动互联网网络侧数据。如何从这些海量数据中快速、准确、高效地提取价值，是电信运营商和学者们关注的核心问题。数据挖掘是从这些大数据提取价值的有效方法，数据挖掘的算法和模型已经得到了深入的研究和广泛的应用。
　　数据预处理是数据挖掘中的重要步骤，它为数据挖掘模型提供干净、规范、适合的模型输入，并提升数据挖掘模型的性能和效率。然而，在实际数据挖掘应用中，数据的预处理工作通常在数据分析工作中占很大比重的工作量，特别对于时间序列这类复杂数据，预处理甚至会占到八成以上的工作量，研究和构建自动化的数据预处理系统是提高工作效率的必要途径。
　　构建自动化的数据预处理系统的难点包括以下三个方面：如何自动选择预处理算法和参数、如何自动化进行预处理模型的重训练以及如何定量评价数据预处理的效果。其中自动化的预处理算法组合策略是实现自动化预处理系统的必要条件，因为实际数据预处理任务必须过过若干预处理组件同时完成。本文提出了一种基于启发式搜索的自动化算法组合策略。
　　本文的研究内容主要分为三个方面，首先，研究和分析了多种数据预处理方法，并构建了针对移动互联网网络侧数据的数据预处理系统。其次，针对移动互联网网络侧数据这种时间序列数据，本文提出了一种数据预处理流程，能有效针对时间序列数据进行预处理工作。最后，本文提出了一种基于启发式搜索的自动化的数据预处理组合策略，能够在给定的数据处理组件集合中选择若干预处理组件及参数，并按照一定的顺序对原始数据进行自动化的预处理。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1研究背景及意义

1.2国内外研究现状

1.3本文主要研究内容

1.4论文结构

2 相关工作

2.1数据预处理系统

2.2数据质量评价

2.3时间序列数据预处理

2.4预处理算法组合

2.5本章小结

3 数据预处理系统的设计

3.1系统总体设计

3.2预处理算法库

3.3时间序列数据预处理

3.4本章小结

4 移动互联网网络侧数据预处理

4.1移动互联网网络侧数据特征分析

4.2网络侧数据预处理的流程

4.3网络侧数据预处理实例分析

4.4本章小结

5 自动化预处理算法组合策略

5.1问题定义

5.2 A*启发式搜索算法

5.3预处理算法组合问题转化

5.4实验与结果分析

5.5本章小结

6 总结与展望

6.1全文总结

6.2展望

致谢

参考文献