基于大数据技术的公安移动通信数据处理平台设计与实现

摘要

大数据时代，随着数据量不断增长，存储与计算集群的规模也逐渐扩大，几百上千台的云计算环境已不鲜见。现在的集群所需要解决的问题不仅仅是高性能、高可靠性、高可扩展性，还需要面对易维护性以及数据平台内部的数据共享性等诸多挑战。优秀的数据处理平台既能提供丰富完善的业务应用，又能实现数据平台各组件的集中式管理、方便系统运维人员日常监测、提升运维效率，并能反馈系统运行状态给系统开发人员。大数据时代的业务与运维将紧密的结合在一起。
　　大数据已开始影响并应用到人类致力于发展的所有领域中，公安工作领域亦不例外。基于大数据技术的公安移动通信数据处理平台以海量结构化通信数据和平台各组件产生的海量结构化、半结构化日志数据为研究对象，设计并实现了一种融合业务系统与运维系统，集成实时数据流处理引擎、大数据管理引擎、分布式内存计算架构和数据交换系统的解决方案。
　　本文从公安信息化建设实际工作出发，根据公安部门提供的全省手机通信实时数据流传输接口，设计并实现了实时数据流处理引擎，对不同运营商、不同信令的实时通信数据流实施抽取、清洗、关联回填等步骤后装载到数据仓库中。基于数据仓库，整合地理信息系统与WEB系统，构建了移动通信数据分析子系统，在空间、时间、目标号码等多个维度上对通信数据进行查询、分析。另外，为实现通讯数据处理平台的高可靠性、易维护性以及数据平台内部组件间高效的数据交换，设计并实现了日志数据分析子系统，通过整合数据采集工具、分布式消息队列、全文搜索引擎和分布式内存计算架构实现了对通信数据的处理、以及数据平台组件日志数据的收集、处理与分析，本系统在济南市公安局已经成功应用，在“科技强警”中起到了重要作用，为分析案情提供了基于通信大数据的高效分析方法，同时也大大提高系统研发与运维人员的工作效率。
　　本文首先对海量通信数据和日志数据应用环境下公安数据中心建设的课题背景进行研究，分析了公安对基于移动通信数据的大型数据处理平台的需求以及目前公共安全领域数据集成平台的应用情况。第二，依据需求分析，通过架构预研与技术选型，给出了基于大数据技术的公安移动通信数据处理平台实时数据流处理引擎、移动通信数据分析子系统、日志数据分析子系统的概要结构设计，包含系统架构设计和技术架构设计，技术架构设计主要依照分层思想定义数据处理平台各组件的功能，系统架构设计的出发点在于系统的可扩展性、高可用性、可维护性，对现有的主流开源大数据技术进行了调研，阐述了日志处理解决方案ELK Stack、分布式内存计算架构Spark与Hadoop Ecosystem的融合架构，详述了由数据采集组件(Flume、Logstash)、分布式数据流处理框架(Spark Streaming)组成的实时数据流处理引擎的设计依据，以及由分布式列式数据仓库(Hbase)、分布式消息队列(Kafka)、全文搜索引擎(Elasticsearch)组成的大数据管理引擎的设计方案和特点等。第三，给出了移动通信数据分析子系统与日志数据分析子系统各模块的详细设计，在详细设计的基础上给出各个模块的实现和测试，包括利用公安提供的实时数据流接口进行实时数据流处理程序的开发，基于Spark Streaming的通信数据流关联回填、实时监控程序开发，以及软件模块的开发等。
　　本文最后对生产环境的搭建和应用情况作详细分析，并对系统的进一步改进提出了建议。

目录

声明

摘要

第1章 概述

1．1 系统开发背景

1．2 相关研究现状

1．3 本文的主要工作

1．4 论文的组织结构

第2章 需求分析

2．1 系统概述

2．2 系统功能性需求描述

2．2．1 实时数据流处理引擎

2．2．2 移动通信数据分析子系统

2．2．3 日志数据分析子系统

2．3 系统非功能性需求描述

2．3．1 系统高可用性

2．3．2 系统高可扩展性

2．3．2 系统效率

第3章 概要设计

3．1 系统设计目标和原则

3．1．1 设计目标

3．1．2 设计原则

3．2 技术架构

3．3 系统架构

3．3．1 数据采集

3．3．2 消息队列

3．3．3 分布式内存计算引擎

3．3．4 数据存储平台

3．3．5 全文搜索引擎

第4章 系统详细设计

4．1 实时数据流处理引擎详细设计

4．1．1 移动通信数据流采集与字段解析

4．1．2 移动通信数据流关联回填

4．1．3 日志数据流采集与字段解析

4．2 移动通信数据分析子系统详细设计

4．2．1 业务查询设计

4．2．2 轨迹渲染设计

4．2．3 实时监控设计

4．2．4 系统管理设计

4．2．5 类结构设计

4．3 日志数据分析子系统详细设计

第5章 系统实现

5．1 移动通信数据分析子系统

5．1．1 业务查询模块

5．1．2 轨迹渲染模块

5．1．3 系统管理模块

5．2 日志数据分析子系统

5．2．1 日志查询模块

5．2．2 视图构建模块

5．2．3 仪表盘定制模块

5．2．4 邮件告警

5．3 生产环境部署

第6章 结论

参考文献

致谢