基于时空轨迹大数据的群体行为模式挖掘分析关键技术

摘要

异构时空轨迹大数据的动态语义融合、广域网分布式数据存储环境下基于全量时空轨迹大数据和增量时空轨迹大数据的快速挖掘计算等是大数据挖掘分析的关键科学问题。本论文结合公共安全领域对群体行为模式挖掘分析的典型应用需求，开展基于时空轨迹大数据的群体行为模式挖掘与分析等关键技术研究，创新性工作主要体现在:
　　(1)局域网集中数据存储环境的异构大数据语义融合。基于局域网集中存储的异构时空轨迹大数据，考虑公共语义参考模型难以预先设定的典型问题，提出基于MapReduce和ACO(Ant Colony Optimization)算法的并行化异构大数据语义聚类融合方法PACO(Parallel Ant Colony Optimization)，通过MapReduce实现聚类运算关键步骤的并行化执行，通过聚类运算过程自适应地生成聚类中心，实现公共语义参考模型的自动生成和聚类运算的高速执行。
　　(2)广域网分布式数据存储环境的异构大数据语义融合。基于广域网分布式存储的异构时空轨迹大数据，面向数据源端节点动态变化典型问题和群体行为模式挖掘典型应用，提出基于MapReduce的广域网分布式并行计算框架DPF(Distributed& ParallelFrame);为解决广域网分布式数据存储环境下面向特定应用需求的异构时空轨迹数据元动态语义融合问题，基于DPF框架，提出改进的kmeans算法DPKM(Distributed&Parallel kmeans)，实现聚类运算的广域网分布式并行执行，通过分布计算避免移动时空轨迹大数据，大大降低运算总时间，提高运算效率。
　　(3)基于时空轨迹大数据的群体行为模式挖掘。面向广域网分布式数据存储环境，考虑广域网分布式数据存储环境下基于全量时空轨迹大数据的群体行为模式挖掘问题，基于时空轨迹大数据总量巨大、分布式存储、移动成本高等典型特征，提出基于DPF框架的改进ACO算法DPACO(Distributed& Parallel Ant Colony Optimization)，实现特征群体及其行为模式的自适应发现，通过分布计算避免移动时空轨迹大数据，大大缩减运算总时间;基于全量时空轨迹大数据的聚类运算，避免通过数据抽样或降维来降低数据规模对聚类结果产生影响，保持聚类准确性。
　　(4)基于增量时空轨迹大数据的群体行为模式挖掘。面向广域网分布式数据存储环境下时空轨迹数据总量和一定周期内增量都是大数据的新特征，针对广域网分布式数据存储环境下基于增量时空轨迹大数据的群体行为模式挖掘问题，提出基于DPF框架的改进ACO算法DPIACO(Distributed& Parallel& Incremental Ant Colony Optimization)，将聚类运算过程分为历史全量阶段和若干周期增量阶段进行分段持续执行，通过每个周期的增量聚类运算持续修正已有聚类结果，采用MapReduce实现每个阶段聚类运算的广域网分布式并行执行，避免广域网环境下时空轨迹大数据的重复聚类运算和拷贝迁移，在保持聚类结果准确性的同时提升运算效率。

目录

声明

摘要

第1章 绪论

1．1 研究依据

1．2 研究现状

1．2．1 基于相同语义的异构大数据融合问题

1．2．2 基于时空轨迹大数据的群体行为模式挖掘问题

1．2．3 基于增量时空轨迹大数据的群体行为模式挖掘问题

1．2．4 研究现状分析

1．3 论文的主要工作

1．4 论文的组织结构

第2章 局域网环境基于相同语义的异构大数据聚类融合方法

2．1 问题描述

2．2 局域网环境异构大数据语义融合

2．2．1 基于蚁群算法的聚类

2．2．2 PACO并行运算

2．2．3 PACO算法步骤

2．3 实例验证

2．4 实验分析

2．5 本章小结

第3章 广域网环境基于相同语义的异构大数据聚类融合方法

3．1 问题描述

3．2 面向广域网分布式时空轨迹大数据的聚类分析框架

3．3 广域网环境异构大数据语义融合

3．3．1 DPKM算法的Map运算

3．3．2 DPKM算法的Combine运算

3．3．3 DPKM算法的Reduce运算

3．3．4 DPKM算法描述

3．4 实例验证

3．5 实验分析

3．6 本章小结

第4章 基于时空轨迹大数据的群体行为模式挖掘方法

4．1 问题描述

4．2 广域网环境基于时空轨迹大数据的群体行为模式挖掘

4．2．1 DPACO方法的Map运算

4．2．2 DPACO方法的Combine运算

4．2．3 DPACO方法的Reduce运算

4．2．4 DPACO方法描述

4．3 实例验证

4．4 实验分析

4．5 本章小结

第5章 基于增量时空轨迹大数据的群体行为模式挖掘方法

5．1 问题描述

5．2 广域网环境基于增量时空轨迹大数据的群体行为模式挖掘方法

5．2．1 DPIACO方法的历史全量阶段聚类运算

5．2．2 DPIACO方法的周期增量阶段聚类运算

5．2．3 周期增量阶段的Map运算

5．2．4 周期增量阶段的Combine运算

5．2．5 周期增量阶段的Reduce运算

5．2．6 周期增量阶段聚类过程描述

5．3 实例验证

5．4 实验分析

5．5 本章小结

第6章 结论和展望

6．1 主要研究成果

6．1．1 动态语义融合问题研究

6．1．2 群体行为模式挖掘问题研究

6．2 主要研究结论

6．3 下一步工作展望

致谢

参考文献

攻读博士学位期间发表和撰写的学术论文

攻读博士学位期间参与的科研项目

攻读博士学位期间所获得的奖励