基于FPGA的多摄像头协同工作方案设计与实现

摘要

随着传感器技术、数字图像处理技术、嵌入式处理器的发展，摄像头广泛运用于视频监控、人机交互、交通管控、机器视觉等领域。目前大多数应用都是单摄像头系统。由于应用场景逐渐复杂化，同时又要求系统更加智能化，多摄像头应用研究应运而生。在智能监控系统中，单摄像头往往难以解决监控对象遮挡丢失等问题，而多摄像头的应用在这方面有优势。 多摄像头应用的关键技术是多摄像头的协同工作，它既是多摄像头应用的优势，同时也是应用研究的难点。现如今大多数应用场景变得更加可移动化和便携性，对硬件处理器的实时性有很大的要求。针对FPGA的可编程性、实时性和低功耗等特点，本文采用FPGA的设计思路，首先提出一个基于FPGA的多摄像头协同目标跟踪方案，用 Matlab软件对多摄像头协同算法和目标跟踪算法进行测试；接着在方案设计的基础上，进行实现设计，包括概要设计和详细设计。详细设计中采用简单易实现的算法替代复杂的数学运算，利用流水线的方法来提高系统的处理效率。本文涉及到的主要工作有：1）多摄像头的标定设计和实现，主要讲述标定的步骤；2）多摄像头的同步设计，通过外部存储器进行数据的同步设计；3）设计一个协同控制模块，利用CPU对多摄像头进行系统控制和关联；4）粒子滤波的目标跟踪设计，对粒子滤波标准算法进行改进，利用算法和设计技巧简化粒子滤波的复杂性，并在FPGA进行设计实现。 本文利用ML605开发平台作为调试环境，ML605的处理芯片是Xilinx FPGA，采用MT9P031摄像头，三路视频数据实时采集并传送给FPGA。在室内场景中对行人目标进行检测并进行跟踪，系统处理速度是640x480@30fps。测试结果表明，在行人正常行走速度下，系统能够实时准确地对行人目标进行跟踪，并记录目标的位置。

目录

声明

第1章 绪论

1.1 课题的研究背景及意义

1.2国内外研究现状

1.3本文的主要工作

第2章 多摄像头协同工作的理论分析

2.1 颜色空间

2.2 视觉特征

2.3 标定理论

2.4 粒子滤波理论

2.5 多摄像头协同

2.6 本章小结

第3章 多摄像头协同工作的方案设计

3.1 方案概述

3.2 系统框架设计

3.3 预处理模块设计

3.4 目标跟踪模块设计

3.5 基于FPGA+CPU的协同控制模块设计

3.6 本章小结

第4章 多摄像头协同工作的FPGA设计

4.1 总体设计

4.2 预处理模块的FPGA设计

4.3 粒子滤波的FPGA设计

4.4 设计系统的仿真调试

4.5 本章小结

第5章 实现和测试分析

5.1 硬件开发平台

5.2 测试分析

5.3 本章小结

第6章 总结与展望

6.1 总结

6.2 展望

参考文献

致谢