多核图像处理平台及其在夜视图像融合中的应用

摘要

随着图像处理技术的发展，更多先进的数学理论被引入其中。同时，高帧频、高分辨率成像器件的成熟应用，也带来了海量的图像数据。而长期以来，算法的数据量和复杂度与实时性之间的矛盾一直是图像处理领域所面临的挑战。本文课题针对近年来兴起的多核DSP处理器，开展基于多核结构的高性能图像处理系统的研究。
　　FMC6678板卡是一款集成了TMS320C6678八核DSP处理器的图像处理系统。本文课题以此为基础，研究实现了一种基于FPGA与双8核DSP处理器相结合的图像处理平台。首先，搭建了整个系统的结构框架，重点研究了前端FPGA图像采集板卡中多通道图像采集、显示、高速存储、高速传输等模块的硬件设计方案以及相应FPGA驱动程序的实现原理，并在板卡中实现了中值滤波、直方图均衡化、图像锐化三种图像预处理算法。其次，研究了FPGA与DSP之间的千兆以太网接口和串行Rapid IO(SRIO)接口的通信原理，以此为基础构建了FPGA与DSP之间的高速图像传输机制，并对两种高速接口的传输速率进行了测试分析。然后，分析了TMS320C6678八核DSP处理器的核间通信方式以及多核DSP图像处理程序框架，对其各自的适用场合进行了研究。
　　最后，研究了红外与微光图像的拉普拉斯金字塔融合算法和小波变换融合算法，分别通过并行处理框架和流水线处理框架将两种算法在多核系统中予以实现，通过实验分析证明了多核图像处理平台可以有效提高融合算法的实时处理能力。

目录

声明

摘要

1 绪论

1．1 课题的研究背景及意义

1．2 多核图像处理系统发展现状

1．3 夜视图像融合技术发展现状

1．4 本文的主要内容

2 多核图像处理系统硬件框架设计

2．1 系统总体结构介绍

2．2 FPGA图像采集板卡硬件设计

2．2．1 PAL制模拟视频采集模块

2．2．2 Camera Link图像采集模块

2．2．3 PAL制模拟视频输出模块

2．2．4 VGA图像显示模块

2．2．5 串口模块

2．2．6 千兆网模块

2．2．7 SRIO传输模块

2．2．8 SRAM模块

2．2．9 DDR3模块

2．2．10 FPGA配置模块

2．2．11 电源模块

2．3 FPGA图像采集板卡PCB设计

2．3．1 PCB板层数设计

2．3．2 PCB板结构设计

3 FPGA系统驱动程序设计

3．1 I2C总线控制

3．2 DDR3 SDRAM读写控制

3．3 Camera Link图像采集

3．4 PAL制模拟视频采集

3．4．1 BT656信号解码

3．4．2 奇偶场图像去隔行

3．5 PAL制模拟视频输出

3．6 VGA图像显示

3．7 千兆以太网相机图像采集

3．7．1 RGMII接口层

3．7．2 MAC协议层

3．7．3 IP协议层

3．7．4 UDP协议层

3．7．5 GigE Vision协议层

3．8 FPGA图像预处理程序设计

3．8．1 中值滤波

3．8．2 直方图均衡化

3．8．3 图像锐化

4 FPGA与DSP之间的高速图像传输机制

4．1 千兆以太网传输

4．1．1 FPGA以太网传输机制

4．1．2 DSP以太网传输机制

4．1．3 FPGA与DSP之间的图像传输机制

4．1．4 传输测试

4．2 SRIO传输

4．2．1 串行Rapid IO协议简介

4．2．2 FPGA SRIO传输机制

4．2．3 DSP SRIO传输机制

4．2．4 FPGA与DSP之间的图像传输机制

4．2．5 传输测试

5 多核DSP图像处理框架

5．1 核间通信方式

5．1．1 核间中断寄存器方式

5．1．2 多核共享变量方式

5．1．3 多核导航器

5．1．4 基于SYS／BIOS的核间通信方式

5．2 多核DSP图像处理框架

5．2．1 并行处理框架

5．2．2 流水线处理框架

5．2．3 并行流水线处理框架

6 基于多核DSP框架的红外与微光图像融合算法实现

6．1 红外与微光图像的配准方法

6．1．1 图像配准基本原理

6．1．2 红外与微光图像手动配准方法的DSP实现

6．2 拉普拉斯金字塔图像融合算法

6．2．1 图像的拉普拉斯金字塔模型

6．2．2 红外与微光图像拉普拉斯融合

6．2．3 拉普拉斯金字塔融合算法的DSP实现

6．3 小波变换融合算法

6．3．1 图像的离散小波变换原理

6．3．2 红外与微光图像小波变换融合

6．3．3 小波变换融合算法的DSP实现

7 总结与展望

7．1 本文工作总结

7．2 有待完善的工作

致谢

参考文献