基于时间序列的频繁模式挖掘研究与应用

摘要

伴随着互联网的不断发展，越来越多的用户每天在网络上进行着社交、网上购物、浏览新闻等不同类型的网络活动，同时网站后台记录了这些用户大量的交互信息、购买、点击、浏览等行为，产生了海量的结构化数据，半结构化数据，甚至非结构化数据。这也促进了大数据技术的蓬勃发展。其中，数据挖掘技术就是近年在对海量用户行为数据进行整合处理和深层次模式发现的实际需求下，产生的一项非常流行且重要的技术。频繁模式挖掘是数据挖掘技术的一个重要研究方向。
　　本文基于传统的时间序列数据挖掘研究，以气象领域的时间序列数据分析为实际应用背景，对基于时间序列频繁模式挖掘中的时间序列符号化、基于时间序列的频繁项集挖掘、基于时间序列的频繁序列挖掘和基于Hadoop平台的频繁模式挖掘等四个方面的问题进行了深入研究和分析，对于时间序列符号化技术和时间序列频繁项挖掘的关键算法提出了改进，并取得了一定成果。
　　由于时间序列数据固有的结构特性，如高维性质、连续性以及现实观测设备引入的各种噪声使得一般的时间序列处理流程通常会先将时间序列转换成离散的、有序的字符串，再在转换后的字符序列上进行后续挖掘任务。本文在对气象数据时间序列的频繁模式挖掘中，为了更好的识别时间序列的局部趋势变化，对时间序列符号化的分段线性化步骤进行了改进，提出了基于误差增量的符号化算法。其次，为了更好处理海量的时间序列数据，本文基于Hadoop的Map-Reduce模型实现了负载均衡的FP-growth算法的分布式计算程序。最后本文还实现了基于Python的时间序列数据挖掘系统，将本文提出的算法和解决方案集成起来，并提供了可视化的图形界面。