一种基于Spark Streaming的奶牛场监控视频实时过滤方法与系统

摘要

本发明公开了一种基于Spark Streaming的奶牛场监控视频实时过滤方法与系统，系统包括数据获取模块、预处理模块、中间件消息队列模块和Spark Streaming数据处理模块；首先通过数据获取模块获取视频监控流，并将视频流导入到预处理模块；预处理模块对导入的视频流进行初步处理，存入到数据存储模块ZeroMQ；Spark Streaming数据处理模块对ZeroMQ中预处理的结果进行分析处理，并自动截取有效的视频段，存放到本地磁盘等。针对奶牛场监控视频数据量大、有效视频占比小的特点，使用大数据实时处理框架Spark Streaming在监控视频保存到本地硬盘或者其他存储设备之前，获取监控视频的有效部分，过滤掉只含有背景的无用部分，从而方便奶牛场工作人员和科研人员的后续工作，极大地提高了监控的效率以及成本。