基于用户轨迹数据的群体聚集模式分析系统的设计与实现

摘要

随着信息科技的发展，网络正在深入地改变人们生活方式，衣食住行等生活基本需要无一不被网络渗透，社交、教育、娱乐方式也因网络的兴起有了巨大的变化。在此背景下，本系统着手研究网络日志中用户的时空数据，提取位置信息并按照时间划分构建用户时空数据，在大量单个用户时空数据的基础上，挖掘多个用户的数据在时空中的特征，分析出符合聚集模式的用户时空数据特征，发现由多个用户在持续的一段时间内参与的群体事件。
　　本系统提出基于用户轨迹数据分析群体聚集模式，从开始时间、结束时间、参与人数、参与用户、聚集状态等方面描述聚集信息。基于MapReduce并行处理计算模型和 Spark大数据处理引擎设计和实现系统聚类算子和发现算法。采用了时间分片技术和线性插值建模用户轨迹，构建了规范、完整的用户轨迹数据。设计了应用于单个时间片的用户位置数据的DBSCAN聚类算法，得到满足密度要求的包含用户位置数据和基本信息的簇。设计和实现了适用于并行计算环境的满足规模、密度、持续时间和几何稳定等特性的人群发现算法。设计和实现了在已发现人群基础上发现用户聚集信息的聚集验证算法。在获取聚集结果的基础上，设计了展示平台，以Web的形式展示结果，通过接入GIS服务提供商的插件，实现了简洁易用友好的界面，Redis作为实时呈现数据库，利用其快速读写特性，支持聚集结果的实时呈现，MySQL作为历史存储数据库，实现历史分析结果的存储。
　　最后，本文设计了该系统的测试方法，包括功能测试和性能测试，在测试过程中优化程序，达到工业使用条件，目前系统已经处于正常运转中。

目录

第1章 绪 论

1.1 课题背景及研究的目的和意义

1.2 与本课题有关的国内外研究状况

1.3 本文的主要研究内容

1.4 本文组织结构

第2章 群体聚集模式分析系统需求分析

2.1 群体聚集模式分析系统业务需求

2.2 群体聚集模式分析系统基本需求

2.3 本章小结

第3章 群体聚集模式分析系统设计

3.1 群体聚集模式分析系统概要设计

3.2 群体聚集模式分析系统总体架构

3.3 数据处理子系统的设计

3.4 群体聚集分析子系统的设计

3.5 数据存储子系统的设计

3.6数据展示子系统的设计

3.7 本章小结

第4章 群体聚集模式分析系统的实现

4.1 数据处理子系统的实现

4.2 群体聚集分析子系统的实现

4.3 数据存储子系统的实现

4.4 数据展示子系统实现

4.5 本章小结

第5章 群体聚集模式分析系统测试

5.1 测试环境

5.2 单元测试

5.3 系统性能测试

5.4 测试结论

5.5 本章小结

结论

参考文献

声明

致谢

个人简历