基于Spark的移动用户行为数据查询分析系统设计与实现

摘要

在信息社会，掌握了信息即拥有了核心竞争力。目前，用户使用移动设备完成日常生活任务已成为新常态，随之产生的海量移动用户行为数据，其背后蕴含着巨大的社会价值。快速有效地处理和分析移动用户行为数据，深度挖掘移动用户行为特征、规律和异常有着重要的现实意义。 本系统是对已采集的移动用户行为数据进行清洗、查询和分析的一站式大数据查询分析平台。系统设计基于 Spark 平台和 HDFS 分布式文件系统，以 Web调用和Open API调用的方式提供数据处理和分析服务，将Spark平台Web化。 系统将不同类型的移动用户行为数据，导入到HDFS分布式文件系统，并根据各类数据的特征对数据进行清洗。根据不同类型数据的字段，动态生成数据查询条件，以选择的查询条件自动生成SQL语句，然后调用Spark SQL分布式SQL查询引擎解析执行，实现对分布式数据仓库的查询。针对移动用户行为数据最具代表性的数据，CDR (Call Details Record，呼叫详细记录) 数据，根据用户日常的行为模式，提取特征并设计分析模型。从通话记录、移动轨迹和社交角度进行移动用户行为分析，主要提取CDR数据语义轨迹特征，分别对各时间段语义轨迹集合进行语义行为模式挖掘，基于最大语义行为模式相似性算法计算各模式间的语义相似性，以此衡量各时间段行为的相似性，认为相似性较低的时间段的行为疑似异常。 通过功能测试和算法实验验证了系统的有效性与可行性，预测也达到了一定的效果。该系统屏蔽了 Spark平台技术细节，实现了非技术用户通过 Web 页面进行大数据处理和分析，能够辅助用户做出决策并进行半自动化或自动化异常预测。

目录

第一个书签之前