基于GPU的视频大数据处理方法研究

摘要

非结构化的视频大数据具有体量大、信息量大、分析难、计算耗时等特点。随着大数据处理需求越来越大，先后出现了以处理结构化数据为中心的大数据处理框架Hadoop和Spark，大数据框架的出现为视频大数据的存储和分析提供了新的思路。与此同时，GPU并行计算技术在视频和图像处理领域的发展也取得了较大突破，同样可以为视频大数据的处理过程提供强有力的支撑。本文将探索GPU并行计算与视频大数据处理技术的有效结合，以解决视频大数据的处理难题，最后以海冰视频分析为例验证本研究内容。
　　在视频预处理阶段，采用NVCUVID视频解码API实现泛格式视频解码库，有效降低高CPU占用；采用NVENC视频编码API实现泛格式视频编码库，加快编码速度；针对海冰视频图像帧的特点，提出结合混合高斯背景建模算法和帧差法实现的海冰视频摘要帧提取算法，并采用GPU并行计算进行加速。分别通过三组实验验证上述实现和并行算法。
　　在视频图像帧内容分析阶段，针对海冰视频内容分析的特点，提出了一种连通区域快速标定与提取算法。将该算法应用于具有高密集度的海冰图像参数分析，可以有效解决现存连通区域搜索算法无法快速处理大尺寸海冰图像分析的问题。针对基于GPU并行编程技术实现的视频预处理库，通过Spark的pipe动作（Action）设计了Spark的调用接口。针对采用C++实现的海冰图像帧外部分析库，通过JNI技术设计了相应的Spark调用接口。
　　最终设计并实现了基于GPU的海冰视频大数据处理平台。以HDFS上的海冰视频为输入数据源，提交海冰参数分析的Spark任务。计算结果表明，基于GPU的视频大数据处理方法可以为更高效的视频大数据处理技术提供新的思路。

目录

声明

1 绪论

1.1 研究背景

1.2 国内外相关研究现状

1.3 本文工作及组织结构

1.4 本章小结

2 GPU与视频相关技术及大数据处理框架综述

2.1 GPU相关技术

2.2 视频处理相关技术

2.3 大数据处理框架

2.4 本章小结

3 基于GPU的视频预处理相关算法设计

3.1 基于GPU的通用视频编解码方案设计

3.2 基于GPU的视频摘要帧提取并行设计

3.3 实验和总结

3.4 本章小结

4 图像处理相关算法的设计与Spark调用接口设计

4.1 连通区域快速标定与提取算法设计

4.2 Spark调用本地库的接口设计

4.3 本章小结

5 基于GPU的视频大数据处理系统设计与实现

5.1 基于Spark的视频大数据处理平台构建

5.2 系统部署

5.3 实验和总结

5.4 本章小结

6 总结与展望

6.1 论文总结

6.2 未来展望

参考文献

攻读硕士学位期间发表学术论文情况

致谢