动态重配置图像处理功能的智能相机及其动态重配置方法

摘要

本发明公开了一种动态重配置图像处理功能的智能相机，包括：系统控制模块、图像处理模块、图像采集模块、图像显示模块和通讯模块；系统控制模块和上述所有其它模块相连，图像处理模块分别与图像采集模块、图像显示模块和通讯模块相连；所述图像处理模块集成于SoC（System on Chip系统级芯片）芯片及其外围电路上，所述SoC芯片上具有硬核处理器和FPGA资源，部分或全部FPGA资源可以动态重配置；所述图像处理模块实时动态部分或全部重配置图像处理功能。本发明还公开了基于上述动态重配置图像处理功能的智能相机的图像处理功能动态重配置方法。本发明在相机使用期间，能够不中断系统的情况下更换不同的图像处理算法，提高了智能相机的灵活性和适应性。

说明书

技术领域

本发明涉及相机技术，具体涉及一种动态重配置图像处理功能的智能相机及其动态重 配置方法。

背景技术

随着相机的应用领域不断扩大，对相机提出了越来越高的要求，不仅要求相机的像素 提高、处理速度加快，而且还要求相机功能丰富、灵活适应各种应用场合的要求。然而目 前采用ARM和DSP芯片的相机，一方面处理速度有待提高，另一方面不适合用来实现数据 运算量较大图像处理算法。采用FPGA芯片的相机，则有并行计算的优势，然而相机厂商的 相机产品出厂时在FPGA芯片上的算法配置就已经固化，用户不能根据实际应用场合更改， 失去了相机灵活性。因此，迫切需要一种既有很高的运算速度，又有很高灵活性的智能相 机。Xilinx和Altera两家公司均已开始供应可动态重配置的芯片，并在部分系列的芯片上增 加了硬核处理器，可以通过硬核处理器实现芯片的FPGA资源动态重配置，因此智能相机的 图像处理功能可以在FPGA资源上实现，并且可以根据需要动态配置。

发明内容

本发明的目的在于克服现有技术的不足，提供一种结构紧凑合理、处理数字图像功能 更灵活、更快捷的动态重配置图像处理功能的智能相机。

为了达到上述目的，本发明采用的技术方案是，一种动态重配置图像处理功能的智能 相机，包括：系统控制模块、图像处理模块、图像采集模块、图像显示模块和通讯模块； 系统控制模块和上述所有其它模块相连，图像处理模块分别与图像采集模块、图像显示模 块和通讯模块相连；所述图像处理模块集成于SoC（System on Chip系统级芯片）芯片及其 外围电路上，所述SoC芯片上具有硬核处理器和FPGA资源，部分或全部FPGA资源可以动 态重配置；所述图像处理模块实时动态部分或全部重配置图像处理功能。

更具体的，在所述SoC芯片的FPGA资源上设定一部分作为可重配置资源，其余作为静 态配置资源，该可重配置资源可以是FPGA资源的一部分也可以是FPGA资源的全部。

更具体的，所述可重配置资源由若干个独立的区域构成，一个区域实现一项功能，一 项图像处理功能重配置是指对所述可重配置资源中一个区域重配置。

更具体的，将在FPGA资源上实现的所有功能划分为可重配置的功能和不可重配置的功 能两类。编程工具将所有不可重配置的功能编译到单个静态配置文件中；将每一项可重配 置的功能编译成相应的每一个动态配置文件。这样，FPGA资源上实现的所有功能就对应一 个静态配置文件和若干个动态配置文件。FPGA资源上设定的静态配置资源使用一个静态配 置文件配置，可重配置资源使用若干个动态配置文件配置。

更具体的，所有图像处理功能采用统一的流式高速图像处理总线接口，该接口实现图 像处理功能之间的隔离和数据传输。所述流式高速图像处理总线接口，是一种采用流水式 数据传输方式的总线，在总线的时钟信号驱动下，一个时钟周期传输若干个图像像素的数 据，从数据发送端按照图像像素的顺序向数据接收端发送。

更具体的，在程序编写中使用编程工具以流式图像处理总线的程序代码对图像处理功 能代码封装，使图像处理功能的输入输出接口成为流式高速图像处理总线接口，从而得到 带有流式高速图像处理总线接口的图像处理功能，由编程工具对程序代码编译转换为图像 处理功能的配置文件。

更具体的，将编程工具产生的所有配置文件存储到相机的外部存储中。

更具体的，所述系统控制模块集成于SoC芯片及其外围电路上，实现对所有其它模块 的控制。

更具体的，所述图像采集模块包括：图像传感器及其驱动电路、光学成像系统和与所 述图像处理模块相连的接口，其完成图像的采集，并完成图像数据的AD转换。

更具体的，所述图像显示模块包括：与所述SoC芯片相连的显示接口驱动芯片和与所 述显示接口驱动芯片相连的IO接口。

更具体的，所述通讯模块包括：通讯接口驱动芯片和与所述通讯接口驱动芯片相连的 通讯IO接口。

更具体的，所述SoC芯片是Xilinx公司的ZYNQ系列芯片或者Altera公司的SoC芯片。

更具体的，所述智能相机运行一种基于linux内核的操作系统，该操作系统在所述SoC 芯片的硬核处理器上运行，管理所有硬件资源和任务调度，提供图形用户界面，并将该图 形用户界面在所述图像显示模块中输出。

本发明的目的还在于提供基于上述动态重配置图像处理功能的智能相机的图像处理功 能动态重配置方法，步骤包括：

S1、产生配置文件：

S11、在所述SoC芯片的FPGA资源上设定一部分作为可重配置资源，其余作为静态配 置资源，该可重配置资源可以是FPGA资源的一部分也可以是FPGA资源的全部。所述可重 配置资源由若干个独立的区域构成，一个区域实现一项功能，一项图像处理功能重配置是 指对所述可重配置资源中一个区域重配置。

S12、将在FPGA资源上实现的所有功能划分为可重配置的功能和不可重配置的功能两 类。编程工具将所有不可重配置的功能编译到单个静态配置文件中；将每一项可重配置的 功能编译成相应的每一个动态配置文件。这样，FPGA资源上实现的所有功能就对应一个静 态配置文件和若干个动态配置文件。FPGA资源上设定的静态配置资源使用一个静态配置文 件配置，可重配置资源使用若干个动态配置文件配置。

S13、所有图像处理功能采用统一的流式高速图像处理总线接口，该接口是一种采用流 水式数据传输方式的总线，在总线的时钟信号驱动下，一个时钟周期传输若干个图像像素 的数据，从数据发送端按照图像像素的顺序向数据接收端发送。所述流式高速图像处理总 线接口实现图像处理功能之间的隔离和数据传输。

S14在程序编写中使用编程工具将所述流式高速图像处理总线和图像处理功能代码封 装在一起，使图像处理功能的输入输出接口成为流式高速图像处理总线接口，从而得到带 有流式高速图像处理总线接口的图像处理功能对应的配置文件。

S15、将所有配置文件存储到相机的外部存储中。

S2、动态重配置图像处理功能：

S21、系统启动，SoC芯片先加载静态配置文件，图像数据从流式高速图像处理总线输 入接口输入到总线中，成为流式高速图像处理总线的格式，开始由静态配置文件对应的若 干个图像处理功能处理，向输出接口传输。

S22、系统运行中，用户向系统发出一个重配置某项功能的指令，系统将与该项功能对 应的动态配置文件加载到内存中，再加载到FPGA的可重配置资源上的某个区域；或者直接 从外部存储加载到FPGA可重配置资源上。

S23、根据所述动态配置文件识别FPGA可重配置资源的一个区域，对该区域进行逻辑 重构，同时自动连接图像处理功能之间的流式高速图像处理总线接口，启动重配置后的图 像处理功能。

加载所述动态配置文件时分为两种情况：1）、可重配置资源中对应的区域未被配置， 所述动态配置文件直接加载到该区域上；2）、可重配置资源中对应的区域已被配置，先擦 除该对应区域里原来的配置文件，再加载所述动态配置文件到此区域。

S24、所述动态配置文件的图像处理功能与静态配置文件对应的图像处理功能通过流式 高速图像处理总线串联，按照图像处理过程的先后顺序，对图像的逐个或者逐行数据边传 输边处理，总线的上一级图像处理输出作为下一级图像处理的输入。

S25、根据用户的指令，可重配置资源中的任一区域可以实时动态反复使用不同的动态 配置文件配置，重复S22、S23和S24步骤，实现不同的图像处理功能动态重配置。

S26、图像数据从流式高速图像处理总线输入接口输入到总线中，成为流式高速图像处 理总线的格式，经过上述若干个数字图像处理功能处理之后，从流式高速图像处理总线输 出接口输出。

相对于现有技术，本发明的有益效果是：智能相机上的图像处理功能能够动态重配置， 在有限的FPGA资源上实现多种数字图像处理算法，在相机使用期间，不中断系统的情况下 更换不同的图像处理算法，提高了智能相机的灵活性和适应性。而且SoC芯片上实现多种 功能，使得相机结构紧凑，占用空间小，使用便捷。

附图说明

图1为本发明的智能相机的模块框图。

图2为本发明的FPGA资源分配结构图。

图3为本发明的流式高速图像处理总线工作原理图。

图4为本发明图像处理功能动态重配置方法流程图。

具体实施方式

下面结合附图和实施例进一步说明本发明，但本发明要求保护的范围并不限于实施例 表述的范围。对本领域的技术人员在不背离本发明的精神及保护范围的情况下做出的其它 的变化和修改，仍包括在权利要求书保护的范围内。

实施例

本实施例，一种动态重配置图像处理功能的智能相机，包括：系统控制模块、图像处 理模块、图像采集模块、图像显示模块和通讯模块；系统控制模块和上述所有其它模块相 连，图像处理模块分别与图像采集模块、图像显示模块和通讯模块相连；所述图像处理模 块集成于SoC（System on Chip系统级芯片）芯片及其外围电路上，所述SoC芯片上具有硬 核处理器和FPGA资源，部分或全部FPGA资源可以动态重配置；所述图像处理模块实时动 态部分或全部重配置图像处理功能。其模块框图如图1所示。

所述系统控制模块集成于SoC芯片及其外围电路上，实现对所有其它模块的控制。所 述图像采集模块包括：图像传感器及其驱动电路、光学成像系统和与所述图像处理模块相 连的接口，其完成图像的采集，并完成图像数据的AD转换。所述图像显示模块包括：与所 述SoC芯片相连的显示接口驱动芯片和与所述显示接口驱动芯片相连的IO接口。所述通讯 模块包括：通讯接口驱动芯片和与所述通讯接口驱动芯片相连的通讯IO接口。所述SoC芯 片是Xilinx公司的ZYNQ系列芯片或者Altera公司的SoC芯片。本实施例优选Altera公司的 SoC芯片。

本实施例运行一种基于linux内核的操作系统，该操作系统在所述SoC芯片的硬核处理 器上运行，管理所有硬件资源和任务调度，提供图形用户界面，并将该图形用户界面在所 述图像显示模块中输出。

本实施例工作原理：

本实施例SoC芯片的FPGA资源上设定一部分作为可重配置资源，其余作为静态配置资 源，该可重配置资源可以是FPGA资源的一部分也可以是FPGA资源的全部。所述可重配置 资源由若干个独立的区域构成，一个区域实现一项功能，一项图像处理功能重配置是指对 所述可重配置资源中一个区域重配置。将在FPGA资源上实现的所有功能划分为可重配置的 功能和不可重配置的功能两类。编程工具将所有不可重配置的功能编译到单个静态配置文 件中；将每一项可重配置的功能编译成相应的每一个动态配置文件。这样，FPGA资源上实 现的所有功能就对应一个静态配置文件和若干个动态配置文件。FPGA资源上设定的静态配 置资源使用一个静态配置文件配置，可重配置资源使用若干个动态配置文件配置。那么， 在本实施例上实现动态重配置图像处理功能就可以转化成动态加载不同的配置文件。FPGA 资源分配结构如图2所示。

在本实施例上实现的所有图像处理功能采用统一的流式高速图像处理总线接口，该接 口实现图像处理功能之间的隔离和数据传输。所述流式高速图像处理总线接口，是一种采 用流水式数据传输方式的总线，在总线的时钟信号驱动下，一个时钟周期传输若干个图像 像素的数据，从数据发送端按照图像像素的顺序向数据接收端发送。流式高速图像处理总 线工作原理如图3所示。

本实施例图像处理功能动态重配置方法流程图如图4所示，首先使用编程工具以流式 图像处理总线的程序代码对图像处理功能代码封装，使图像处理功能的输入输出接口成为 流式高速图像处理总线接口，从而得到带有流式高速图像处理总线接口的图像处理功能， 由编程工具对程序代码编译转换为图像处理功能的配置文件。

然后将所有配置文件存储到相机的外部存储中，所述外部存储可以是SD卡(Secure  Digital Memory Card)，或者其它可移动的电子存储介质。本实施例优选SD卡。

系统启动，SoC芯片先加载静态配置文件，图像数据从流式高速图像处理总线输入接 口输入到总线中，成为流式高速图像处理总线的格式，开始由静态配置文件对应的若干个 图像处理功能处理，向输出接口传输。

系统运行中，用户向系统发出一个重配置某项功能的指令，系统将与该项功能对应的 动态配置文件加载到内存中，再加载到FPGA的可重配置资源上的某个区域；或者直接从 SD卡加载到FPGA可重配置资源上。

根据所述动态配置文件识别FPGA可重配置资源的一个区域，对该区域进行逻辑重构， 同时自动连接图像处理功能之间的流式高速图像处理总线接口，启动重配置后的该项图像 处理功能。

加载所述动态配置文件时分为两种情况：1）、可重配置资源中对应的区域未被配置， 所述动态配置文件直接加载到该区域上；2）、可重配置资源中对应的区域已被配置，先擦 除该对应区域里原来的配置文件，再加载所述动态配置文件到此区域。

所述动态配置文件的图像处理功能与静态配置文件对应的图像处理功能通过流式高速 图像处理总线串联，按照图像处理过程的先后顺序，对图像的逐个或者逐行数据边传输边 处理，总线的上一级图像处理输出作为下一级图像处理的输入。

根据用户的指令，可重配置资源中的任一区域可以实时动态反复使用不同的动态配置 文件配置，重复上述三个步骤，实现各种图像处理功能动态重配置。

图像数据从流式高速图像处理总线输入接口输入到总线中，成为流式高速图像处理总 线的格式，经过上述若干个数字图像处理功能处理之后，从流式高速图像处理总线输出接 口输出

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制， 其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均 应为等效的置换方式，都包含在本发明的保护范围之内。