基于Hadoop的海量视频快速处理方法

摘要

针对视频数据非结构化和体量大的特点,提出了一种基于Hadoop并发处理框架下的分片解码处理方法.该框架采用FFmpeg作为视频解码器,OpenCV作为图片处理引擎,对FFmpeg 源码进行了修改和扩展,可在Hadoop环境下支持分片解码,从而实现海量视频的快速处理.同时,利用MapReduce细节处理功能寻求最佳分片大小,使得处理性能达到最优.人脸检测试验数据表明,8台4核机器上采用分片解码技术组成的Hadoop集群,比相同机器组的传统分布式集群处理速度提升了约45％.