面向多数据中心跨节点环境的公安大数据分析方法

摘要

随着公安大数据应用的不断深入,受技术限制、政策制约公安数据资源无法向统一的数据中心物理汇聚已是客观事实,传统基于单一数据中心的公安大数据分析方法正逐步失效。针对上述问题,提出一种面向多数据中心跨节点环境的分布式分析技术框架,并据此实现了常见公安大数据分析应用的跨节点分布式并行增量计算,既避免了数据的跨数据中心传输汇聚和多节点多副本存储,又避免了存量大数据的重复计算,极大提高了分析计算的效率和结果的准确度,也为跨节点分布式存储条件下开展公安大数据分析应用,提供了较为可行的思路和方法。