基于AM5728处理器的多摄像头视频拼接软件设计

摘要

随着电子信息技术的快速发展，新的多媒体应用不断涌现，人们对视频场景的逼真度和清晰度的要求也越来越高。多摄像头视频拼接技术能够获得单摄像头无法比拟的高品质宽视角视觉体验，是视频信息处理领域的一个重要研发方向，其中提升不同角度视频拼接后的图像质量、以及提高多摄像头同时拼接的处理速度是目前需要解决的主要难点。
　　本文基于TI-AM5728多核处理器设计的多摄像头视频拼接软件，主要工作内容如下:
　　(1)对视频拼接软件的功能和性能进行需求分析，基于AM5728对视频拼接软件进行总体设计，并搭建软硬件开发环境。
　　(2)多路视频图像拼接模块设计。在图像匹配阶段，通过比较常用配准算法的实验效果，设计了一种基于图像重叠区的ORB特征匹配方法。该方法仅在限制区域内，根据ORB方法、双向FLANN算法以及RANSAC算法完成图像配准与变换矩阵计算，不仅有效降低了特征点对配准的错误率，而且对于光照变换、仿射变换具有较好的鲁棒性。
　　在耗时较多的图像融合阶段，采用OpenCL异构并行编程框架调用AM5728的DSP核进行加速处理。首先，由动态规划搜索准则在投影变换后的多路图像中，计算最佳缝合线;然后，在每一层拉普拉斯金字塔中，根据缝合线模板对图像进行融合。最终得到的全景图像能够有效避免模糊虚影和拼接缝隙的产生，整体过渡自然。
　　(3)拼接视频的编码传输模块设计。针对视频拼接软件低延时低带宽的网络数据传输要求，首先，采用GStreamer流媒体框架调用AM5728的视频编码硬件加速器IVA-HD，对拼接完成的视频数据进行H.264视频编码;然后，基于TCP/IP协议设计码流数据交互协议，通过以太网接口实现拼接视频流媒体传输。
　　(4)视频解码客户端设计。基于Qt平台完成远程视频解码客户端软件的开发，主要包括启动、数据通信、解码显示等模块。所开发的视频拼接软件实现了从视频采集、拼接、编码、传输到解码显示的全过程，平均延时在320ms左右，基本达到了实时效果。

目录

声明

摘要

第1章 绪论

1．1 课题研究背景和意义

1．2 国内外研究现状

1．2．1 图像拼接技术

1．2．2 视频拼接技术

1．2．3 嵌入式多媒体平台

1．3 本文主要研究内容

1．4 本文结构安排

第2章 软件总体设计

2．1．1 功能需求

2．1．2 性能需求

2．2 软件系统框架

2．3 硬件平台概述

2．3．1 AM5728多核处理器简介

2．3．2 硬件开发平台

2．4 基础软件开发

2．4．1 Linux下嵌入式开发环境搭建

2．4．2 Windows下QT客户端开发环境搭建

2．5 本章小结

第3章 视频图像配准与融合

3．1 基于特征点的图像配准

3．1．1 特征点检测的主要方法

3．1．2 图像特征检测实验效果分析

3．1．3 基于ORB和FLANN算法的特征匹配

3．2 图像匹配关系计算

3．2．2 摄像机标定

3．3 图像配准实验效果分析

3．4 图像融合

3．4．1 图像投影变换

3．4．2 图像融合的主要方法

3．4．3 基于最佳缝合线的多分辨率图像融合

3．5 图像融合实验效果分析

3．6 本章小结

第4章 视频实时拼接软件设计

4．1 基于OpenCL的视频拼接模块设计

4．1．1 OpenCL编程框架

4．1．2 基于OpenCL的多分辨率视频帧融合

4．1．3 实验结果分析

4．2 基于GStreamer的视频编码模块设计

4．2．1 GStreamer编程框架

4．2．2 基于GStreamer的视频编码

4．2．3 多路视频码流本地保存与显示

4．3 网络码流传输协议

4．4 本章小结

第5章 视频解码客户端设计

5．1 客户端软件总体设计

5．2 软件功能设计

5．2．1 UI界面

5．2．2 视频码流收发模块

5．2．3 视频解码播放

5．2．4 截图和全屏播放

5．2．5 视频文件保存

5．3 系统整体测试

5．3．1 测试环境

5．3．2 测试用例

5．3．3 延时测试

5．4 本章小结

第6章 总结与展望

6．1 研究工作总结

6．2 展望

参考文献

致谢

攻读学位期间参加的科研项目和成果