基于FPGA的红外与可见光视频实时融合系统

摘要

图像融合技术可以把多传感器对同一幅场景的信息集中到一幅图像中，从而集各传感器的优点于一幅图像中，充分的利用了多传感器间的较好互补性，有效的克服了单传感器的缺陷，可以获得针对同一场景更为可靠、全面和准确的信息，因此一直以来便是研究的热点技术之一[1]。目前硬件融合系统多采用FPGA+DSP的架构，这种架构充分运用DSP算法编写效率高的优点，但容易造成大量的资源浪费。针对上述问题，本文采用单个FPGA作为视频融合处理的核心器件，在提高资源利用率的同时，较好的实现了图像的实时融合。
　　 本文的研究工作主要集中在融合系统硬件平台的设计以及配准融合算法的FPGA硬件实现。根据系统的实际需求，设计融合系统各功能模块电路的原理图并完成了硬件系统的PCB设计;在软件设计阶段，采用VHDL/Verilog语言编写相关的模块。通过I2C总线配置ADV7180视频解码芯片的寄存器;根据PAL和NTSC制式的时序差别，设计了能自动识别这两种制式的模块;根据BT656视频格式完成视频解码模块设计;利用Matlab软件编写SIFT算法，对该融合系统的两幅同一场景图像进行特征点的提取并剔除错误的特征点对;通过仿射变换模型得到该融合系统的变换矩阵，把该矩阵送入FPGA处理模块;为实现两幅图像的硬件配准，需要在FPGA内设计双线性插值模块;对于视频数据的存储，本文通过选用易于控制的SRAM并在两侧加FIFO模块进行缓冲来实现;在视频融合阶段，选用了易于硬件化实现的伪彩色融合、加权平均融合、灰度值选大以及拉普拉斯金字塔融合方法，并分析了各算法得到图像的特点。融合系统的显示采用通用的VGA显示器，需要在FPGA中编写能够进行VGA时序控制的模块。
　　 经过大量的时序修改和调试以及室内外环境的现场测试，该融合系统可以较好的实现红外与可见光视频的实时融合，同时也为后续更高效的融合算法开发提供良好的硬件平台。

目录

声明

摘要

1．绪论

1．1 研究的背景与意义

1．2 国内外发展现状

1．3 本论文的主要工作

1．4 本论文组织结构

2 图像融合理论简介

2．1 多源图像的配准

2．1．1 Moravec算子

2．1．2 Harris算子

2．1．3 SIFT算子

2．2 变换模型的选取及坐标插值运算

2．2．1 变换模型的选取

2．2．2 坐标插值运算

2．3 图像融合

2．3．1 加权平均法

2．3．2 伪彩色融合

2．3．3 灰度值选大

2．3．4 图像金字塔

2．4 图像融合质量评价

2．4．1 主观评价方法

2．4．2 客观评价方法

3．系统硬件设计

3．1 主控芯片选择

3．1．1 DSP+FPGA方案

3．1．2 ASIC专用芯片

3．1．3 FPGA主控芯片

3．2 ADV7180芯片与外围电路

3．3 系统供电模块

3．4 ADV7123视频输出模块

3．5 PCB设计及EMC抗干扰设计

3．5．1 PCB布局简介

3．5．2 PCB布线设计

3．5．3 系统信号完整性、电源完整性及EMC设计

4．程序模块部分设计

4．1 ADV7180初始化配置

4．1．1 I2C操作过程

4．2 视频信号的检测

4．2．1 NTSC和PAL视频信号标准

4．2．2 PAL／NTSC视频信号的自动检测

4．3 BT．656视频解码模块

4．3．1 BT．656格式简介

4．3．2 BT．656模块说明

4．4 图像配准和FPGA双线性插值模块

4．4．1 图像配准模块

4．4．2 FPGA双线性插值模块

4．3 融合模块

4．3．1 VGA时序控制

4．3．2 视频数据存储

4．3．3 融合模块

4．4 融合结果对比分析

5．总结与展望

5．1 总结

5．2 课题展望

致谢

参考文献

附录