大数据复杂事件分析方法研究与应用

摘要

复杂事件处理(Complex Event Processing,CEP)是一项伴随流式数据而出现的技术,用于不同数据源顺序混杂的事件流中发现感兴趣的事件模式.然而,随着数据量的不断递增,传统的CEP技术往往不能满足在大数据集上有效获取事件模式的处理需求.针对这一问题,本文结合数据挖掘中聚类分析与关联规则的思想,提出一种"复杂事件处理"算法,并把其部署到分布式平台Hadoop上,从而发现大数据集中的复杂事件关系,有效地改变了传统技术面临海量数据的局限性.最后,应用本文算法到GPS大数据集中,发现其中的复杂事件模式,并通过实验验证本文方法具有可行性与有效性.