一种基于分布式的监控视频数据并行处理系统及方法

摘要

本发明提供一种基于分布式的监控视频数据并行处理系统及方法，所述处理系统包括：Kafka组件、Spark分布式计算平台和数据存储组件；本发明的Spark分布式计算平台基于重复帧数据划分读取的方式，对视频帧序列进行划分并以多线程并行的方式拉取数据到Spark分布式计算平台的Spark处理节点，进行并行处理。在任务完成后需要对结果数据进行排序、合并操作，最后对合并后的数据结果根据数据类型输出到数据存储组件进行持久化存储，或者继续发送到Kafka组件进行缓存供下一个Spark处理节点进行拉取处理，实现了Kafka采集和Spark处理耦合，提高了系统的灵活性和扩展性。