图像处理方法及应用其的高速智能相机

摘要

一种图像处理方法及应用其的高速智能相机，图像处理方法包括：图像传感器将采集的光信号转换为原始图像数据，并将原始图像数据传输至FPGA；FPGA对原始图像数据进行预处理，生成预处理图像数据；FPGA将预处理图像数据传输至图像处理芯片；以及图像处理芯片对预处理图像数据进行处理，生成图像数据。本发明的图像处理方法通过图像处理芯片与FPGA协同工作，实现了高速、低功耗的实时图像处理，为高速智能相机的应用提供了技术基础。

说明书

技术领域

本发明涉及成像技术领域，具体涉及图像处理方法及应用其的高速智能相机。

背景技术

随着集成电路工艺水平以及传感器设计水平的提高，高速图像传感器发展迅速。高速图像传感器由于帧率高，产生的数据量大，从而对图像实时处理提出了更高的要求。目前已有的高速图像处理手段通常具有功耗高，体积大的特点，限制了高速相机系统的应用场景。因此如何设计一应用于高速智能相机的图像处理方法是当前业界一个迫切需要解决的难题。

发明内容

有鉴于此，本发明的主要目的在于提供一种图像处理方法及应用其的高速智能相机，以期至少部分地解决上述提及的技术问题中的至少之一。

为实现上述目的，本发明的技术方案包括：

作为本发明的一个方面，提供一种图像处理方法，应用于高速智能相机，包括：

图像传感器将采集的光信号转换为原始图像数据，并将上述原始图像数据传输至FPGA；

上述FPGA对上述原始图像数据进行预处理，生成预处理图像数据；

上述FPGA将上述预处理图像数据传输至图像处理芯片；以及

上述图像处理芯片对上述预处理图像数据进行处理，生成图像数据。

作为本发明的另一个方面，还提供一种高速智能相机，包括：

图像传感器，用于将采集的光信号转换为原始图像数据，并将上述原始图像数据传输至FPGA；

FPGA，用于对上述原始图像数据进行预处理，生成预处理图像数据；并且将上述预处理图像数据传输至图像处理芯片；

图像处理芯片，用于对上述预处理图像数据进行处理，生成图像数据图像。

基于上述技术方案，本发明相较于现有技术至少具有以下有益效果的其中之一或其中一部分：

本发明提出的图像处理方法通过图像处理芯片与FPGA(Field ProgrammableGate Array，现场可编程逻辑门阵列)协同工作，实现了高速、低功耗的实时图像处理，为高速智能相机的应用提供了技术基础；

通过FPGA分别与HDMI(High Definition Multimedia Interface，高清多媒体接口)和光纤接口连接，实现了图像数据的实时显示与高速存储；

当FPGA与图像处理芯片准备好图像数据且存储器均空闲的情况下进行图像数据传输，最大程度上避免了图像数据的损失；

图像处理芯片进行图像处理的算法指令与参数由FPGA进行配置，且配置方式可以为手动配置或者自动配置，配置方式更加灵活，可以适应不同应用场景的需求；

在FPGA将预处理图像数据传输给图像处理芯片之前，FPGA对原始图像数据进行预处理，以提升后续图像处理芯片的处理精度。

附图说明

图1示意性示出了本发明实施例提供的图像处理方法的流程图；

图2示意性示出了本发明实施例提供的高速智能相机的结构图；

图3示意性示出了本发明实施例提供的图像传感子板的结构图；

图4示意性示出了本发明实施例提供的图像处理母板的结构图。

【附图标记说明】

1、光学镜头 2、壳体

3、图像处理母板 4、图像传感子板

5、HDMI接口 6、万兆光纤接口

7、母板插接件 8、图像处理芯片

9、FPGA 10、母板本体

11、子板插接件 12、图像传感器

13、子板本体

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

作为本发明的一个方面，提供一种图像处理方法，应用于高速智能相机，参照图1，包括操作S101～操作S104。

在操作S101，图像传感器将采集的光信号转换为原始图像数据，并将原始图像数据传输至FPGA。

在操作S102，FPGA对原始图像数据进行预处理，生成预处理图像数据。

根据本发明的其他实施例，图像传感器生成原始图像数据后，将原始图像数据传输给FPGA，原始图像数据在FPGA内部对进行缓存，当缓存完一张完整图像数据后，对原始图像数据进行预处理。

根据本发明的实施例，FPGA对原始图像数据进行预处理可以包括FPGA对原始图像数据进行图像亮度调节、图像坏点修复、图像噪点抑制中的一种或多种处理。

根据本发明的实施例，通过FPGA对原始图像数据预处理可以增强原始图像，例如，增强原始图像的对比度及亮度等，还可以提升信噪比，提升显示质量与后续算法的准确率。

根据本发明的实施例，采用CMOS工艺的图像传感器由于集成度较高，各光电传感元件、电路之间的距离很近，相互之间的光、电、磁干扰较严重，导致噪声对图像质量的影响很大。在图像传感器将光信号转换为原始图像数据后先将原始图像数据发送给FPGA进行预处理，由FPGA对原始图像数据进行噪点抑制，从而生成预处理图像数据。

在操作S103，FPGA将预处理图像数据传输至图像处理芯片。

根据本发明的实施例，FPGA可以将预处理图像数据传输至图像处理芯片，进行进一步的处理，以使预处理图像数据更好的满足实际应用的需求。

在操作S104，图像处理芯片对预处理图像数据进行处理，生成图像数据。

根据本发明的实施例，图像处理芯片在接收到来自FPGA的预处理图像数据后，进行实际的图像处理计算。该处理具有高速、高并行、可配置和低功耗的特点。

根据本发明的实施例，图像传感器产生的原始图像数据经过FPGA与图像处理芯片的协同处理，即图像传感器采集到原始图像数据后将原始图像数据传输给FPGA，原始图像数据经过FPGA的预处理以及图像处理芯片进一步处理并生成图像数据，从而实现图像数据的高速产生以及处理。

根据本发明的实施例，图像处理方法还可以包括图像处理芯片将图像数据传输至FPGA；FPGA将图像数据通过HDMI接口传输至一图像显示设备的同时，FPGA将图像数据通过光纤接口传输至一图像存储设备。

根据本发明的实施例，图像处理芯片在接收到来自FPGA的预处理图像数据并根据图像处理芯片中预配置的算法指令与参数进行图像处理，生成图像数据后，将图像数据传输至FPGA，FPGA将接收到的图像数据进行转发。

根据本发明的实施例，FPGA将接收到的图像数据进行转发可以包括将图像数据转发给图像显示设备以及将接收到的图像数据转发给图像存储设备。由于不同设备之间数据传输的格式与规则不同，因此通过采用FPGA进行图像数据的转发可以保障图像数据在不同设备之间的传输顺畅进行。

根据本发明的实施例，FPGA将接收到的图像数据转发给图像显示设备以及FPGA将图像数据转发给图像存储设备是同时进行的，从而实现图像数据的实时显示与存储。

根据本发明的实施例，图像处理方法还可以包括FPGA对图像处理芯片所运行的算法指令与参数进行配置。其配置方式可以包括手动配置以及自动配置。

根据本发明的实施例，手动配置，可以为用户通过FPGA调试接口手动给图像处理芯片配置算法指令与参数。

根据本发明的其他实施例，自动配置，可以为用户将算法指令与参数固化到FPGA的非易失存储器中，接通电源后FPGA从非易失存储器中读取算法指令与参数，并将算法指令与参数传输至图像处理芯片，实现对图像处理芯片自动配置运行用算法指令与参数。

根据本发明的实施例，图像处理芯片所运行的算法指令与参数通过FPGA进行配置。配置信息存储在图像处理芯片内部的静态随机存取存储器(Static Random-AccessMemory，SRAM)中。通过FPGA对图像处理芯片所运行的算法指令与参数进行配置可以实现针对实际场景为图像处理芯片灵活配置算法指令与参数，以满足不同的应用需求的效果。

根据本发明的实施例，可以通过FPGA对图像处理芯片配置图像增强类算法。例如，当图像处理芯片中配置的算法为图像增强类算法的情况下，算法处理结果为一张与原始图像数据分辨率相同的图像。FPGA将经图像处理芯片处理后的图像数据，通过光纤接口传入图像存储设备。同时，FPGA将经图像处理芯片增强图像质量之后的图像通过HDMI接口传入图像显示设备。

但是并不局限于此，还可以通过FPGA对图像处理芯片配置目标检测、识别、追踪类算法。例如，当图像处理芯片中配置的算法是目标检测、识别、追踪类算法的情况下，经图像处理芯片处理后还可以输出一系列数据标签，FPGA将图像处理芯片输出的标签信息以及图像信息通过万兆光纤接口传输到图像存储设备。同时，FPGA先将原始图像数据使用数据标签进行标注，然后将标注后的原始图像数据通过HDMI接口输入图像显示设备

根据本发明的实施例，在FPGA将预处理图像数据传输至图像处理芯片之前，FPGA已经生成预处理图像数据，且图像处理芯片的内部存储器空闲；在图像处理芯片将图像数据传输至FPGA之前，图像处理芯片已经生成图像数据，且FPGA的接收端存储器空闲。

根据本发明的实施例，图像处理芯片与FPGA之间的数据传输可以包括FPGA将预处理图像数据传输到图像处理芯片，以及图像处理芯片将经过处理的图像数据写回FPGA。

根据本发明的实施例，当FPGA已经生成预处理图像数据，且图像处理芯片内部存储器空闲时，FPGA与图像处理芯片握手成功，FPGA通过印刷电路板(Printed CircuitBoard，PCB)的走线将预处理图像数据传输给图像处理芯片。

根据本发明的实施例，当图像处理芯片已经完成算法处理并准备好处理结果，且FPGA接收端存储器空闲时，图像处理芯片与FPGA握手成功，图像处理芯片将图像数据通过PCB走线传输给FPGA。

根据本发明的实施例，图像处理芯片与FPGA在互相握手成功的情况下进行数据传输，最大程度上避免了因意外情况导致的图像数据丢失。

根据本发明的实施例，本发明提出一种图像处理方法，通过图像处理芯片与FPGA协同工作，实现了高速、低功耗的实时图像处理。

参照图2、图3及图4，作为本发明的另一个方面，还提供一种应用上述图像处理方法的高速智能相机，包括图像传感器12、FPGA 9和图像处理芯片8。

根据本发明的实施例，图像传感器12，用于将采集的光信号转换为原始图像数据，并将原始图像数据传输至FPGA 9；

FPGA 9，用于对原始图像数据进行预处理，生成预处理图像数据；并且将预处理图像数据传输至图像处理芯片8；

图像处理芯片8，用于对预处理图像数据进行处理，生成图像数据。

根据本发明的实施例，图像传感器可以采用CMOS(Complementary Metal OxideSemiconductor互补金属氧化物半导体)工艺，使用并行数模混合信号处理电路及4T-APS像素和改进的工艺条件制备得到。

根据本发明的实施例，在816*600的全图像分辨率条件下，图像传感器的工作帧率可达1000fps。图像传感器所产生的原始图像数据采用8路并行输出，一个时钟周期可输出8个像素数据，每个像素位宽为12bit，时钟频率80Mhz。

根据本发明的实施例，图像传感器可以实现高速的图像采集以及高速图像数据输出，并且还具有低功耗、自校准等特点。

根据本发明的实施例，高速智能相机还可以包括图像传感子板4和图像处理母板3。

图像传感子板4包括子板本体13和子板插接件11；其中，图像传感器12和子板插接件11设置于子板本体上13；

图像处理母板3，图像处理母板3包括母板本体10和母板插接件7；其中，图像处理芯片8、FPGA 9和母板插接件7设置于母板本体10上；

子板插接件11与母板插接件7插接。

根据本发明的实施例，图像传感子板4可以通过子板插接件11垂直插在图像处理母板3的母板插接件7上，以减小整个图像处理系统所占用的空间。

更进一步，由于图像传感子板4通过子板插接件11以及母板插接件7的配合与图像处理母板3连接，图像传感子板4可根据实际应用场景进行更换以适应实际应用场景的需要，从而实现最优成像效果。

根据本发明的实施例，图像处理母板3可以是一块一体成型的印刷电路板，包括母板本体10、功能模块以及与图像传感子板4匹配的母板插接件7。根据本发明的实施例，该母板本体10可以为刚性基板。

根据本发明的实施例，参照图3，图像处理母板3的功能模块可以包括电源管理模块、输入/输出端口与图像处理模块三部分。

电源管理模块可以用于对输入电源进行滤波，并转换生成图像处理母板3其他模块以及图像传感子板4使用的电源。图像处理母板3可以从外部接入5V电源，通过电源转换芯片得到3.3V、2.5V和1.8V电源。

输入/输出端口可以用于输出图像传感子板的电源控制信号、接收图像传感子板的成像结果、输出图像传感子板的成像结果与输出图像处理芯片的处理结果。还可以用于高速智能相机与上位机、其他相机、图像存储设备以及图像传感子板4的通讯与数据传输。输入/输出端口可以包括JTAG(图未示)、万兆光纤接口6、HDMI接口5和母板插接件7等接口。JTAG接口可以用于传输FPGA 9的配置信息与监视FPGA 9的工作状态。万兆光纤接口6可以用于实现FPGA 9与图像存储设备的连接以及传输图像传感器12的原始图像数据以及图像处理芯片8的处理结果。HDMI接口5可以用于传输FPGA9转发的可用于显示的图像信息。母板插接件7可以用于与子板插接件11连接并进行信号传输，传输的信号包含电源、控制和数据三类。

根据本发明的优选实施例，万兆光纤接口6可以采用支持10G-BASER通讯协议的万兆光纤接口6；采用10G-BASER通讯协议的万兆光纤接口6数据传输速率可达10Gbps，从而可以实现图像数据的高速存储与实时的结果输出。

图像处理模块用于对图像传感子板4产生的原始图像数据进行处理，包括产生用于显示的HDMI信号，对图像进行滤波、直方图统计或卷积神经网络等算法处理，实现高速目标检测或追踪。

图像处理模块包括图像处理芯片8以及FPGA 9。图像处理芯片8可以用于实际的图像处理计算，具有高速、高并行、可配置和低功耗的特点。图像处理芯片8所运行的算法可以通过FPGA9进行配置。配置信息存储在图像处理芯片8内部的SRAM中，可以针对实际场景灵活配置，以满足不同的应用需求。此外，通过图像处理芯片8以及FPGA 9的协同配合，图像处理模块可以实现以下两个技术效果，首先，将图像传感器12产生的图像数据进行编码，从而可以实时显示输出；其次，实时处理图像传感器12的成像结果，从而可以进行高速目标检测或追踪。

FPGA9可以用于对图像传感器12产生的图像数据进行预处理与转发。图像数据预处理指的是对图像传感器12产生的原始图像数据进行的处理，比如图像亮度调节、图像坏点修复、图像噪点抑制等处理，可以根据需求进行选择。通过图像数据预处理可以增强原始图像，例如，增强原始图像的对比度及亮度等，还可以提升信噪比，提升显示质量与后续智能算法的准确率。图像数据转发包括将图像数据从图像传感器12转发到HDMI接口5、将图像数据从图像传感器12转发到图像处理芯片8以及将图像处理结果从图像处理芯片8转发到万兆光纤接口6。使用FPGA 9进行转发的原因在于不同设备输出数据的格式与规则不同，因此需要使用FPGA9进行同步，保障通信的进行。需要注意的是，为保证图像数据的显示质量以及图像处理算法的效果，从FPGA 9转发到图像处理芯片8以及HDMI接口5的图像为经过预处理之后的图像。

根据本发明的实施例，参照图4，图像传感子板4可以是一块一体成型的印刷电路板，其中，图像传感子板4由图像传感器12、子板本体13以及子板插接件11一体成型。

根据本发明的实施例，图像传感子板4的子板插接件11与图像处理母板3的母板插接件7进行连接。图像传感器的电源和控制指令都通过板间接插件由图像处理母板提供。图像传感器所产生的原始图像数据也通过板间接插件传输至图像处理母板。

图像传感子板4连接到子板插接件11的线路可分为电源线、控制线和数据线三类。电源线即为图像传感器12的供电线路，电源由图像处理母板3中的电源转换芯片产生。为保证图像传感器12电源的质量，图像传感子板4上设计并使用了滤波电容网络，保障稳定的供电。控制线通过子板插接件11与图像处理母板3的FPGA 9进行连接，从而实现对图像传感器12快门模式、输出帧率和图像分辨率等状态信息的配置。数据线也可以与图像处理母板3的FPGA 9连接，FPGA 9将图像传感器12产生的原始图像数据分成两路，并实时转发。一路转发给视频信号输出端口，实现图像传感器12信号的实时显示，另一路转发给图像处理芯片8，实现高速图像信息的实时处理。

如图2所示，高速智能相机还包括光学镜头1和壳体2。

根据本发明的优选实施例，光学镜头1可以为可调焦镜头，可以根据环境及应用需求调节焦距，以实现最佳的成像效果。

根据本发明的实施例，壳体2包括前面板、中筒以及后面板；前面板以及后面板通过螺丝与中筒连接。其中，前面板、中筒以及后面板围绕形成的空间为容置空间，图像传感子板4和图像处理母板3设置于容置空间内。在本发明中，通过壳体2可以对相机中的各个组件进行保护，防尘防雨。

根据本发明的实施例，前面板上设置有供光学镜头1穿过的镜头开口，光学镜头1可以穿过镜头开口连接至图像传感子板4。

根据本发明的实施例，中筒上还设置有供万兆光纤接口6穿过的光纤开口。

根据本发明的实施例，中筒正上方和下方对称位置设置有散热孔阵列(图未示)，中筒两侧对称位置分别设置有散热条阵列(图未示)。本发明中的壳体2通过设置散热孔阵列，实现良好的通风散热，防止高速智能相机因温度过高而导致部件损耗的问题。

根据本发明的可选实施例，壳体2的中筒的下面设置有固定高速智能相机的固定螺丝孔。

综上所述，本发明通过高速图像传感器、人工智能图像处理芯片和FPGA协同工作，提供了一种高速、低功耗、小型化的高速智能相机，为高速智能相机的应用推广奠定了技术基础。

以上的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。