基于Hadoop技术的图像视频处理的研究与应用

摘要

随着各类社交网站迅速崛起、移动终端设备和多媒体技术的高速发展，视频、图像等非结构化数据呈现爆炸式增长。视频和图像已成为人们传递信息的重要方式，并且数字图像、网络视频等非结构化数据中潜在的信息也成为国防、军事、工农业、信息学、医学等研究领域的主要信息来源。但是，如何高效的从海量图像、视频数据中挖掘出其潜在的应用价值已经成为当前数据挖掘领域的研究热点。目前H.264和JPEG2000已成为视频和静态图像较为广泛的压缩标准，在分布式云平台上，对数字图像的预处理和视频数据的编解码是发掘这些海量非结构化图像视频数据中潜在知识的前提。 本文围绕着“基于 Hadoop技术的图像视频处理”这个课题，详细阐述了Hadoop技术的起源、意义和发展现状；比较了云计算与并行计算、网格计算、志愿计算等高性能计算之间的差异；且在Linux集群上搭建了Hadoop平台。 本文主要研究如何在 Hadoop集群上进行数字图像和视频的处理，设计了Hadoop的图像数据类型，进行了数字图像灰度值、二值化、边缘检测和图像匹配的实验。设计了视频数据接口，进行了SDV格式的网络监控视频进行解码的实验，解决了在Hadoop平台上直接按平台设置的数据块大小分割视频遇到的帧不完整、缺关键帧和少头数据信息的问题。本文还比较了传统单机上图像处理和视频解码与在分布式上进行的优缺点。本论文的研究成果可为在Hadoop平台上进行图像和视频处理的深入研究提供理论依据和实验基础，本文创新点有： 1.研究基于Hadoop技术的图像视频处理的算法。Hadoop平台完全开源免费且节点可自由横向扩展而不对原平台增加任何开销，适合大数据时代日益增长的视频、图像等非结构化数据的分布式存储与智能计算。 2.在 Hadoop平台上对 SDV格式的监控视频进行解码实验，设计了适合HDFS存储机制存储的小视频合并算法。与传统单机相比，该方法充分利用了Hadoop分布式计算的优势，即视频数据量越大，解码效率提高得越明显。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1 课题研究背景

1.2 国内外研究现状

1.3 课题应用前景

1.4 本文的组织结构

第2章 Hadoop相关技术

2.1 Hadoop平台简介

2.2 HDFS

2.3 MapReduce

2.4 本章小结

第3章 数字图像、视频处理相关技术

3.1 数字图像处理内容、特点与运算方法

3.2 视频编解码技术

3.3 本章小结

第4章 Hadoop集群的搭建

4.1 安装Linux系统及其编程环境

4.2 在Linux系统上搭建Hadoop集群

4.3 本章小结

第5章 基于Hadoop技术的图像处理

5.1 Hadoop平台上图像文件的存储

5.2 基于Hadoop平台的图像的处理

5.3 Hadoop技术在图像匹配中的应用

5.4 本章小结

第6章 基于Hadoop平台视频处理的应用

6.1 设计视频数据接口

6.2 Hadoop平台处理视频数据

6.3 实验分析

6.4 本章小结

第7章 总结与展望

7.1 研究意义

7.2 工作总结

7.3 工作展望

参考文献

致谢

个人简历、在学期间发表的学术论文与研究成果