多路视频流图像拼接系统的研究与实现

摘要

全景视频监控系统，即多路视频流实时传输并对每帧图像进行拼接为全景图，在医学构图、现场监控等很多领域都有十分广泛的应用，而对于视频全景的实时播放仍在研究阶段。视频解码、分屏展示、图像拼接是本文的研究重点。分屏展示即将接收的视频在同一屏幕不同位置进行播放，图像拼接技术就是将数张有重叠部分的图像，可能是不同时间、不同视角或者不同传感器获得的图像，拼成一幅大型无缝高分辨率图像的技术。针对图像涉及到转换问题，本文采用投影变换处理后对图像进行拼接，并查看拼接效果。
　　本文以本地视频和网络摄像头采集的多路视频流为研究对象，针对现有的实时拼接算法进行总结、分析并实现，并投影坐标变换的方法将图像进行预处理，并查看拼接结果，主要工作如下：
　　（1）实现了视频解码、视频播放以及图像处理的基本功能，主要使用了FFmpeg编解码库对视频解码，SDL库进行视频播放，OpenCV库进行图像处理，在此基础上，对本地视频以及网络摄像头实时传输的视频流分别进行试验，对解编码的每一帧图像进行播放，并可以对每一帧图像进行锐化、柔化、灰度化处理。
　　（2）实现了图像特征点的提取功能以及特征点间的匹配功能，主要实现了Harris角点、FAST特征点、SURF特征点、SIFT特征点的提取功能，以及对SURF特征向量、SIFT特征向量、BRIEF特征向量、ORB特征向量的特征点进行匹配的功能，并使用RANSAC算法消除匹配错误的特征点对，求得精确的转换矩阵，进行特征点的精确匹配。利用OpenCV实现了特征点的查找、匹配，以及图像融合拼接全景图的功能，并展示处理效果。
　　（3）实现了不同投影方式下的进行图像拼接的功能，包括二维平面、球体、圆柱体的投影变换，并且对图像投影变换之后进行拼接，观察拼接效果。
　　本文完成了视频的分屏同时播放、图像中特征点的提取并匹配以及视频图像的拼接的功能系统，并通过不同的视频对拼接算法进行了测试与分析，为以后的更为复杂的视频拼接系统的实现奠定了基础。

目录

封面

声明

中文摘要

英文摘要

插图索引

表格索引

符号对照表

缩略语对照表

目录

第一章 绪论

1.1论文的研究背景及意义

1.2研究现状

1.3研究内容

1.4论文结构

第二章 视频解码以及播放框架

2.1主流编码技术

2.2系统的解码流程

2.3视频的播放

2.4基本图像处理

2.5总结和思路

第三章 图像拼接技术

3.1图像配准技术

3.2图像配准算法

3.3图像投影变换

3.4图像融合

3.5本章总结

第四章 系统的设计原理与实现方法

4.1系统的需求分析与设计

4.2系统的主要模块

4.3系统的功能实现

4.4实验环境以及功能总结

4.5本章小结

第五章 系统测试和结果分析

5.1视频播放及图像基本处理

5.2图像特征点的检测与匹配

5.3投影变换并图像拼接

5.4实验结果总结

第六章 总结与展望

6.1本文总结

6.2展望

参考文献

致谢

作者简介