基于FPGA和ARM双处理器的可见光与红外图像融合装置

摘要

本发明提出一种基于FPGA和ARM双处理器的可见光与红外图像融合装置，包括CCD摄像头、稳压电源和电路板；其中，CCD摄像头用于探测可见光图像；电路板包括红外焦平面模块、TEC热电制冷器模块、电源接口混合板和核心处理板；红外焦平面模块用以探测红外图像；TEC热电制冷器模块用以控制红外焦平面的工作温度；电源接口混合板为其他部件提供工作电压；核心处理板用以融合可见光图像和红外图像。本发明具有操作控制简便、灵活的优点，提高了适应性和稳定性。

说明书

技术领域

本发明属于多光谱融合成像技术领域，具体涉及一种基于FPGA和ARM双处理器 的可见光与红外图像融合装置。

背景技术

可见光与红外图像融合技术由于充分利用了红外与可见光两种成像技术的优势和 互补性，有效的提高了目标探测的空间范围和探测概率,己经成为各国在军事、民用领域 的研究重点，在融合系统方面的研究工作取得了突破性进展。美国在该领域的研究处于 领先地位，在欧洲,红外与可见光图像融合系统的研究紧随美国其后。国内目前也己有不 少研究机构与高校从事这一领域的研究与探索，但是融合技术也起步较晚，在系统实时 性、小型化、低功耗和融合效果等方面还远远落后于欧美国家。

现有的可见/红外融合成像处理系统大多是基于ARM，或者FPGA，或者DSP单处 理器进行处理，但是这几种单芯片解决方案都有各自的不足。ARM适合做后端处理器， 具有一定的数据处理能力，但是对于可见/红外成像处理系统的时序驱动比较困难，经常 要借助额外的处理器。FPGA非常适用于融合成像系统的驱动前端，但其在图像数据处 理能力上还有待提高。对于简单的图像处理算法，往往要用大量的代码来实现；对于复 杂的图像处理算法，则很难用FPGA实现。DSP具有高速的数字信号处理能力，对于融 合成像系统，DSP适合做后端来发挥其性能。

发明内容

本发明的目的在于提出一种基于FPGA和ARM双处理器的可见光与红外图像融合 装置，在前端发挥FPGA的优势，对装置中的各模块灵活驱动时序，进行成像；在后端 发挥ARM的优势进行图像处理，提高数据处理能力，最后两者进行通信，协调完成整 个成像工作，具有操作控制简便、灵活的优点，提高了适应性和稳定性。

为了解决上述技术问题，本发明提供一种基于FPGA和ARM双处理器的可见光与 红外图像融合装置，包括CCD摄像头、稳压电源和电路板；其中，CCD摄像头用于探 测可见光图像；电路板包括红外焦平面模块、TEC热电制冷器模块、电源接口混合板和 核心处理板；红外焦平面模块用以探测红外图像；TEC热电制冷器模块用以控制红外焦 平面的工作温度；电源接口混合板为其他部件提供工作电压；核心处理板用以融合可见 光图像和红外图像。

较佳地，所述红外焦平面模块、TEC热电制冷器模块、电源接口混合板以及核心处 理板以层叠结构相连，红外焦平面模块与TEC热电制冷器模块通过排针连接，TEC热 电制冷器模块、电源接口混合板以及核心处理板之间通过samtec接插件连接。

较佳地，所述电源接口混合板包括外部电源输入口、第二视频接口、第一解码芯片、 第二解码芯片以及若干电源模块；其中，为红外焦平面模块提供电压的电源模块采用 LDO电源；第一解码芯片用于把红外图像的模拟信号转换成数字信号，并传给核心处 理板中的FPGA；第二解码芯片把可见光图像模拟信号转换成数字信号，并传给核心处 理板中的FPGA。

较佳地，所述核心处理板包括FPGA、内嵌于FPGA中的ARM、两片DDR3SDRAM 模块、编码模块，第一视频口；FPGA用于时序驱动控制，并对可见光图像和红外图像 进行融合；ARM用于将图像数据存储在DDR3SDRAM中，当两路数字信号输入到FPGA 中时，ARM先把其中一路数字信号存储在DDR3SDRAM中进行数据预处理；FPGA读 取预处理后的数字信号，与另一路数字信号进行融合处理，将融合后的图像信号制成 PAL制格式传给编码模块；编码模块将PAL制格式的图像信号转换成模拟信号送显示 器。

本发明与现有技术相比，其显著优点在于，(1)结合了FPGA在前端的灵活驱动能 力和ARM在后端的优良的数据处理能力，ARM内嵌在FPGA中的，FPGA和ARM在 一个芯片上，与单FPGA+单ARM的电路相比，能减少很多外围电路，减少电路板的尺 寸，缩小系统体积；(2)采用四个电路板以接插件形式连接的层叠结构，与在一个电路 板中设计的结构相比，具有结构紧凑、小型化的优点。

附图说明

图1是本发明基于FPGA和ARM双处理器的可见光与红外图像融合装置的整体结 构示意图。

图2是本发明中第一层板结构示意图。

图3是本发明中第二层板结构示意图。

图4是本发明中第三层板结构示意图。

图5是本发明中第四层板结构示意图。

具体实施方式

容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域 的一般技术人员可以想象出本发明基于FPGA和ARM双处理器的可见光与红外图像融 合装置的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示 例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。

结合图1，本发明包括CCD摄像头26、显示器25、稳压电源27和电路板，其中 电路板包括红外焦平面模块、TEC热电制冷器模块、电源接口混合板和核心处理板。红 外焦平面模块为本装置的第一层板，用以探测红外图像信号；TEC热电制冷器模块为第 二层板，紧贴红外焦平面层，用以控制红外焦平面的工作温度，使红外焦平面在恒定工 作温度下进行工作；电源接口混合板为第三层板，为其他三个模块提供相应的工作电压， 同时接收CCD摄像头26探测到的可见光图像信号；核心处理板为第四层板，用以处理 红外焦平面模块探测到的红外信号和CCD摄像头26接收到的可见光信号，把两者进行 融合，最终通过核心处理板上的第一视频接口24将图像实时显示在显示器25上。所述 红外焦平面模块、TEC热电制冷器模块、电源接口混合板以及核心处理板以层叠结构相 连，红外焦平面模块和TEC热电制冷器模块通过排针2连接，其他各板之间通过samtec 接插件连接，实现结构和电气连接。

结合图2，红外焦平面模块包括红外焦平面1和排针2，红外焦平面1位于电路板 中部，排针2分布在电路板两侧。排针2用于与TEC热电制冷器模块进行电气连接。 本实施例中红外焦平面1使用的是GWIR0203X1AD型非制冷红外焦平面。

结合图3，TEC热电制冷器模块包括排针2、第一接插件4和TEC芯片3。它与第 一层通过排针2进行连接，与第三层通过第一接插件4进行连接。TEC芯片3使用 ADN8830芯片，主要用于电压补偿和振荡。

结合图4，电源接口混合板为整个装置的第三层。电源接口混合板包括外部12V电 源输入口18，第二视频接口10，第一解码芯片AD924012，第二解码芯片TVP515013， 第一电源模块5提供2.5V电压，第二电源模块20提供1.5V电压，第三电源模块6提 供3.3V电压，第四电源模块19提供1.1V，第五电源模块9提供5.6V电压，第六电源 模块15提供3.1V电压，第七电源模块16提供2.5V电压，第八电源模块8提供5V电 压，第九电源模块11提供3.3V电压，第十电源模块17提供1.8V电压，第十一电源模 块7提供两路6V和5V电压。

第一、第二、第三、第四、第十一电源模块选用开关电源，可直接从12V电源电压 得到相应电压值。其中第一、第二、第三、第四通过第二接插件14与第四层进行连接， 把电源供给FPGA20。

第五、第六、第七、第八、第九电源模块通过第一接插件4与第二层进行连接，再 通过排针2把电压供给红外焦平面1且选用LDO电源，能显著降低红外焦平面1的噪 声，提高成像质量。第五电源模块9选用LT1762芯片，第六电源模块15选用LT1762 芯片，第七电源模块16选用LT1762芯片，第八电源模块8选用LT1129芯片，第九电 源模块11选用LT1962芯片。这几个电源模块使用的是LDO电源，且他们输出电压值 都小于5V，所以输入电压值不能太高，即不能使用12V电源27电压直接进行供电，所 以必须要进行电压转换。

第十电源模块选用LDO电源类型的LT1762芯片，直接供给到第二解码芯片 TVP515013。

第十一电源模块7用于进行12V到6V和5V的电压抓换工作，再把获得的6V和 5V的电压供给其他几个LDO电源，选用的芯片是LT3509，LT3509是一种双通道、降 压式开关稳压器。该芯片双路输出700mA并各带内部电源开关，具有3.6V至36V的宽 电压输入、过压保护等特性。转换后5V电压输入给第八电源模块8、第五电源模块9、 第六电源模块15，转换后6V电压输入给第九电源模块11、第七电源模块16、第十电 源模块17。

第一解码芯片AD924012把接收到的红外焦平面模拟信号转换成数字信号，通过第 二接插件14传给核心处理板中的FPGA20。第二解码芯片TVP515013把从第二视频口 10接收到的可见光模拟信号转换成数字信号，通过第二接插件14传给核心处理板中的 FPGA20。

结合图5，核心处理板为整个结构的第四层，包括FPGA20以及内嵌于FPGA中的 ARM，两片DDR3SDRAM模块21，JTAG接插件模块22，编码AD7123模块23，第 一视频口24，第二接插件14。FPGA端负责对融合系统各个模块的时序驱动进行控制， 同时对两路数字信号简单融合处理。ARM负责把数据存储在DDR3SDRAM21中，当 两路数字信号输入到FPGA模块时，ARM先把一路输入的数字信号存储在DDR3 SDRAM21中，并进行数据预处理。FPGA端读取预处理的数字信号，再与另一路输入 的数字信号进行融合处理，并制成PAL制格式的数字信号传给编码模块AD712323。 JTAG模块可以把软件中编译好的文件下载到FPGA中，实现硬件调试。编码模块 AD712323把接收到的数字信号转换成模拟信号，并通过第一视频口24连接到显示器 25上进行显示。通过第二接插件14与第三层进行连接，交换数据。