基于FPGA的多路视频拼接系统设计

摘要

随着数字视频技术的快速发展以及人们安防意识不断的增强，视频处理技术在通信、广播、监控、消费类电子和医疗等领域得到广泛的应用。如今人们对监控的要求越来越苛刻，希望从监控中得到更多的信息，比如在一些场景中，人们想获取此场景中的任何视角视频信息，但往往受到硬件设备的限制，一些常用的视频监控设备不能满足这样的要求。由此必须寻找一种针对大场面、多场景监控的解决方案，其中采用多路摄像头实现全景以及宽视角监控是目前常见的一种做法。目前，通过对多幅图像的准确匹配，从而得到大面积、高分辨率的全景图的图像视频拼接技术，是视频领域中的研究热点之一。
　　本文分析了高清视频流的特点以及图像拼接相关算法之后，提出了基于Xilinx公司的ZYNQ系列SOC处理器的系统设计方案，利用SOC内部的ARM双核Cortex-A9处理单元以及FPGA硬件逻辑资源，实现多路HD-SDI视频的采集以及拼接融合，论文主要工作和取得的成果如下：
　　（1）分析了视频拼接系统的功能，介绍了FPGA平台的相关技术，分析了图像拼接技术的基本算法流程。
　　（2）设计了多路视频采集拼接的硬件原型系统，系统拥有多路SDI采集器、高清视频输入输出接口、千兆以太网口以及一个TFT显示屏，为本文设计的多路视频采集和拼接算法提供硬件支持。
　　（3）针对图像拼接功能的需求，实现了多路高清视频流的采集，并利用FPGA硬件资源实现图像色度调整、视频缩小以及视频滤波等功能，然后通过VDMA传输将视频数据传入DDR中，提供ARM内核处理。
　　（4）提出了一种基于Harris角点的图像拼接算法，首先对采集的原图像提取Harris角点特征值，并计算单应性矩阵，最后通过投影变换和图像融合，得到拼接完的结果图像，并将算法与设计的硬件系统结合验证。
　　（5）对全文内容进行了总结，并对进一步的研究提出一些展望。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1 课题研究背景和意义

1.2 国内外研究现状

1.3 本文主要研究内容

1.4 本文结构安排

第2章 高清数字视频采集及图像拼接技术

2.1 视频拼接系统的功能和性能分析

2.2 多路HD-SDI高清数字视频采集

2.3 ZYNQ平台以及EDK开发环境介绍

2.4 图像拼接技术简介

2.5 本章小结

第3章 高清数字视频拼接系统硬件设计

3.1 基于ZYNQ的硬件平台设计

3.2 视频输入输出设计

3.3 其它设计概述

3.4 硬件调试和设计分析

3.5 本章小结

第4章 基于ZYNQ平台的多路视频采集实现

4.1 多路视频采集系统的总体架构

4.2 多路HD-SDI采集设计实现

4.3 FPGA实现采集和预处理功能模块

4.4 图像传输以及硬件平台结果验证

4.5 本章小结

第5章 图像视频拼接算法及平台验证

5.1 图像拼接方法和步骤

5.2 图像灰度化和Harris角点特征查找

5.3 图像射影几何基础及单应性计算

5.4 RANSAC匹配和图像融合

5.5 设计验证和实验结果

5.6 本章小结

第6章 总结与展望

6.1 研究工作总结

6.2 展望

参考文献

致谢

攻读学位期间参加的科研项目和成果