多传感器融合的数据处理方法、装置与多传感器融合方法

摘要

本发明提供了一种多传感器融合的数据处理方法、装置与多传感器融合方法，能够将不同传感器测得的多个不同维度的数据以像素元素为基础，用多维矩阵结构的形式组合在一起，进而，可有利于对取得的数据做多层面的数据融合与深度学习，其可有利于实现更多样更有效的数据挖掘与特征提取，从而产生更有效的环境感知与目标检测的能力。

说明书

技术领域

本发明涉及电子设备的数据处理领域，尤其涉及一种多传感器融合的数据处理方法、装置与多传感器融合方法。

背景技术

在目标识别与环境感知领域，需要相对完整的数据采集和保存用于环境感知与目标检测任务处理，如果采用机器学习则还需要大量的正负样本用于学习与训练；在目标识别过程中，会产生大量的中间数据供处理单元处理使用，而且可能在目标识别过程中有“云计算”(远程处理)的参与，需要高效的数据采集、保存技术。同时，有效的环境感知与目标检测需要多维度的探测数据支撑。

目前常用于环境感知与目标检测的传感器可包括：以摄像头为例的图像采集传感器、微波雷达、红外传感器、超声波雷达以及激光雷达等等，它们被广泛地用于车辆驾驶辅助系统(ADAS)和自动驾驶系统、机器人、无人搬运车(AGV)、智能家居、智能安防，以及各种需要有环境感知与目标检测能力的设备与系统中。

图像采集传感器(摄像头)可以感知目标的纹理(形状，轮廓，光照明暗等)与色彩，记录一瞬间的图像信息。摄像头还可以录制视频信息，把记录的事件用时间轴串起来形成视频流，可用于事件的回放与时间关联的事件分析。红外传感器(红外摄像头)是图像采集传感器的一种，能捕捉目标的红外辐射信息并以图片和视频的格式来保存。微波雷达(或者统称为雷达)可以捕捉目标的相对距离、相对运动速度、目标的雷达散射截面RCS数据，并以热图、目标物的相对距离、相对运动速度、目标的雷达散射截面RCS数据维度的定量表述(Radar Object Data Output)，或者点云数据输出。激光雷达则主要通过探测目标的空间位置(相对距离，空间角度位置坐标信息)输出目标的点云数据。各种传感器都有自己的信息感知维度，比如说我们常用的摄像头，它可以捕捉目标的图像信息，栩栩如生的记录拍摄那一刻的环境与目标的纹理与色彩信息，但是我们可能无法从单张图片中准确提取目标的距离、速度信息，我们也很难从一张传统的照片来预测事件下一刻将要会发生什么。我们用视频的方式(视频的本质是把照片用它们各自被拍摄瞬间的时间轴串联起来再按照时间轴回放的图片系列)来记录和分析事件，但是视频的方式带来巨量的数据，以及因此带来的大传输带宽和存储数据的空间的需求。其它传感器的记录方式，比如说雷达，超声波以及激光雷达等，能记录各自传感器自身感知维度的信息，比如，目标的距离、速度；他们记录的数据信息以及目前的记录方式(数据结构)对于我们需要的全面描述记录目标特征并可以直接用于环境感知与事件预测，数据的维度与完整度不足。

现有相关技术中，各传感器探测到的数据是相互独立的，缺乏深度融合，进而，在利用探测到的数据进行特征提取、数据挖掘等处理时，环境感知与目标检测的能力都较弱。

发明内容

本发明提供一种多传感器融合的数据处理方法、装置与多传感器融合方法，以解决传感器探测到的数据缺乏深度融合的问题。

根据本发明的第一方面，提供了一种多传感器融合的数据处理方法，包括：

获取目标对象的图像数据与至少一组探测数据组；所述图像数据是图像采集传感器探测到的，所述探测数据组是其他传感器探测到的；所述图像数据用于利用至少一个像素数据矩阵表征所述图像采集传感器采集到的目标图像；不同探测数据组为不同探测维度的探测数据；将图像数据与其它探测数据建立起映射关系,在数据结构上

形成多维矩阵结构，具体可例如形成“多维度测量参数”矩阵数组的多维矩阵结构(也可称其为多维像素矩阵)；其中：

所述多维矩阵结构包括纵向分布的多个矩阵层，所述多个矩阵层包括至少一层像素矩阵层与至少一层传感矩阵层，每个像素矩阵层对应用于表征一个像素数据矩阵，每个所述传感矩阵层用于表征一组探测数据组，所述探测数据组中的探测数据元素纵向对应于所述像素矩阵层中的的像素元素；所述探测数据元素的数值均是根据探测数据赋值确定的。

根据第二方面，提供了一种多传感器融合的数据处理装置，包括：

获取模块，用于获取目标对象的图像数据与至少一组探测数据组；所述图像数据是图像采集传感器探测到的，所述探测数据组是其他传感器探测到的；所述图像数据用于利用至少一个像素数据矩阵表征所述图像采集传感器采集到的目标图像；不同探测数据组为不同探测维度的探测数据；

形成模块，用于形成多维矩阵结构；其中：

所述多维矩阵结构包括纵向分布的多个矩阵层，所述多个矩阵层包括至少一层像素矩阵层与至少一层传感矩阵层，每个像素矩阵层对应用于表征一个像素数据矩阵，每个所述传感矩阵层用于表征一组探测数据组，所述探测数据组中的探测数据元素纵向对应于所述像素矩阵层中的像素元素；所述探测数据元素的数值均是根据探测数据赋值确定的。

根据本发明的第三方面，提供了一种多传感器融合方法，包括：

把来自多传感器的多个维度的探测数据用多维像素矩阵的形式组合在一起，建立以摄像头像素为颗粒度的立体多维深度感知矩阵数组；

在多维像素矩阵中，把每个像素包含的信息做了纵向扩展，除了其原本包含的亮度与颜色信息，还为每个像素增加了多个纵向维度，在增加的纵向维度上能够输入该像素在摄像头探测空间映射的目标对象被其它传感器探测到的多种对应维度的探测信息，所述探测信息包括以下至少之一：相对距离、相对运动速度、目标的雷达散射截面RCS数据以及目标的热辐射温度分布等数据；其中，把多维度的探测信息以分层的方式装配到原本以图像像素为单元的目标对象描述之上，产生多维像素，其在数学上表现为统一结构的矩阵数组，以使得原来的每一个像素变成了一个多维像素，得到多维像素矩阵。

根据本发明的第四方面，提供了一种处理设备，包括存储器与处理器；

所述存储器，用于存储感知数据，中间运行数据，系统输出数据和所述处理器的可执行指令；

所述处理器配置为经由执行所述可执行指令来执行第一方面及其可选方案涉及的方法，或者第三方面及其可选方案涉及的方法。

根据本发明的第五方面，提供了一种传感设备，包括存储器、处理器与传感器；

所述存储器，用于存储感知数据，中间运行数据，系统输出数据和所述处理器的可执行指令；

所述处理器配置为经由执行所述可执行指令来执行第一方面及其可选方案涉及的方法，或者第三方面及其可选方案涉及的方法。

根据本发明的第六方面，提供了一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现第一方面及其可选方案涉及的方法，或者第三方面及其可选方案涉及的方法，同时可存储感知数据，中间运行数据以及系统输出数据。

本发明提供的多传感器融合的数据处理方法、装置与多传感器融合方法，能够将不同传感器测得的多个不同维度的数据以像素元素为基础，按照其成像的空间数据采样模型把多种数据映射,进行统一的数据对齐与归并,在数据结构上形成“多维度测量参数”矩阵数组的多维矩阵结构，用多维矩阵结构的形式组合在一起，进而，可对取得的数据做多层面的数据融合与深度学习，其可实现更多样更有效的数据挖掘与特征提取，从而产生更有效的环境感知与目标检测的能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明实施例1中多传感器融合的数据处理方法的一流程示意图；

图2是本发明实施例1中形成多维矩阵结构的一原理示意图；

图3是本发明实施例1中形成多维矩阵结构的另一原理示意图；

图4是本发明实施例1中形成多维矩阵结构的又一原理示意图；

图5是本发明实施例1中多传感器融合的数据处理方法的另一流程示意图；

图6是本发明实施例1中建立映射关系的流程示意图；

图7是本发明实施例1中步骤S121与步骤S123的流程示意图；

图8是本发明实施例1中步骤S16的流程示意图；

图9是本发明一实施例中投射的示意图；

图10是本发明一实施例中成像面的示意图；

图11是本发明实施例1中多传感器融合的数据处理装置的结构示意图；

图12是本发明一实施例中电子设备的结构示意图；

图13是本发明一实施例中传感设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

图1是本发明实施例1中多传感器融合的数据处理方法的一流程示意图。

请参考图1，多传感器融合的数据处理方法，包括：

S11：获取目标对象的图像数据与至少一组探测数据组。

其中的处理方法，可具体包括采集处理的过程，也可以包括在存储处理的过程，还可以包括采集后存储前的中间处理的过程，即：在数据的采集、中间处理与存储的任意之一过程中使用本实施例及其可选方案所涉及的方法，均可理解为实施了该处理方法。对应的，在采集数据的设备、处理数据的设备、存储数据的设备中使用本实施例及其可选方案所涉及的方法，也均可理解为对该处理方法的实施。即：其均不脱离本发明及其可选方案的描述范围。

图像数据，可以理解为是图像采集传感器探测到的，该图像采集传感器可以为任意能够实现图像采集的设备，例如可以为摄像头、还可以为手机、平板电脑、计算机等内置有摄像头的设备。该图像采集传感器的安装参数、图像的采集、存储格式等都可以预先确定。

图像数据，具体可用于利用至少一个像素数据矩阵表征所述图像采集传感器采集到的目标图像。该像素数据矩阵可根据图像采集传感器的不同而发生变化。

其中一种实施方式中，若该图像为RGB图像，其中的R可以表示Red红色，G可以表示Green，B可以表示Blue，则：该RGB图像可被三层数据表征，具体为红、绿、蓝三层数据，每个颜色的数据可通过一个像素数据矩阵表征；若该图像为YUV，其中的Y可以表示明亮度Luma，即灰阶值，U和V可以表示色度与色差信息，其中的每层数据可通过一个图像数据矩阵表征。

在另一可选实施方式中，也可仅具有明亮度Y的像素数据矩阵，而不具有U、V的图像数据矩阵，还可仅具有R、G、B中任意至少之一的像素数据矩阵，一种举例中，也可以只用U、V其中之一的像素数据矩阵。

具体实施过程中，目标图像可以利用RGB或者YUV三层数据矩阵来表征，也可以把数据封装到一层，即采用一层数据矩阵来表征三层的内容，还可用多位数据单元的一个单元来表述一个像素的RBG或者YUV组合值，该多位数据可例如24bit、32bit的数据甚至更多位的数据。

另一实施过程中，也可只有单色摄像头参与到融合中，例如作为图像采集传感器的摄像头可以只用于红外成像场景，摄像头只输出单色图像；在这种情况下，以上所涉及的多维像素结构仍然可有效，具体可将RGB三层或者YUV三层更改为单层明亮度Y数据结构，即仅具有明亮度Y的图像数据矩阵，在单层明亮度的基础上，可利用后文各可选实施方式所涉及的各步骤融合其他传感器的数据，产生多维矩阵结构。该单色摄像头可为非彩色的摄像头，具体可举例为红外摄像头，进而，可直接捕捉图像的灰度值。

不管是何种情况，同一目标对象可以被其他传感器捕捉的其它探测维度信息以分层的方式装配到它被图像采集传感器捕捉的图像数据的像素矩阵层上，进而，后文中可将图像的像素做为每个探测数据的组合基础，数据是一一与像素对应的。

具体举例中，作为图像采集传感器的摄像头可将采集到的图像数据，按照不局限顺序的RGB颜色进行三层排列，得到对应的图像数据矩阵，具体可例如摄像头分辨率为X*Y(例如：1920*1080，其可对应于1080P分辨率的摄像头)；另一举例中，如果原始数据输入是YUV格式，也可以按照YUV三层排列，得到对应的图像数据矩阵，再一举例中，还可将YUV格式转换为RGB格式的，其可有利于减少各层数据的关联，有利于后续独立的特征提取。

探测数据组，可理解为除了图像采集传感器以外的其他传感器探测到的任意数据组，每个数据组可理解为与一层传感矩阵层对应，一个传感器可产生一组或多组探测数据组。不同探测数据组为不同探测维度的探测数据，其中的不同的探测维度，可理解为：具有不同物理含义的探测数据，其也可被理解为：在同一探测维度下，在不考虑其空间位置的情况下，不同探测数据的差别在于数值本身的差别，而非其物理含义的差别。在举例中，同一探测维度下的探测数据的物理学单位通常是相同的，即：在举例中，若两个探测数据物理学单位不同，则其通常属于不同的探测维度。同时，本实施例也不排除例外的情形。

此外，一个其他传感器可能得到多个探测维度的多个探测数据组，也可能得到一个探测维度的一个探测数据组。

其中一种实施方式中，所述其他传感器为以下至少之一：微波雷达、超声波雷达、激光雷达，以及红外传感器。

其中的红外传感器，可用于检测热辐射温度数据等，微波雷达可以探测到目标距离，相对速度，雷达散射截面RCS(Radar-Cross Section)数据等，基于物体间距离与其他映射关系，具体实施方式中还可进一步计算获取到矢量速度、加速度、方位等等。故而，探测数据可以包括以下至少之一：距离数据、速度数据、加速度数据、方位数据、对微波的反射特性数据，以及热辐射温度数据等，进一步可以为对探测域中目标对象的距离数据的变化、速度数据的变化、加速度数据的变化、方位数据的变化、RCS数据，以及热辐射温度数据的变化的表征。

同时，以上所涉及的距离数据，以及基于距离数据获取到的速度数据、加速度数据、方位数据等等，也可利用雷达探测到。

所述其他传感器的探测数据：雷达散射截面RCS数据；其中的RCS，具体可以为Radar-Cross Section。进一步可理解为对探测域中目标对象的RCS数据的变化的表征。

从以上描述也可见，以上所涉及的探测数据，不论是其他传感器的探测数据，还是图像采集传感器的例如RGB数据的探测数据，均可以是传感器直接探测到的，也可以是传感器直接探测再间接计算得到的。

此外，探测数据还可以是传感器在直接产生探测数据时的中间数据，例如作为图像采集传感器的摄像头的光流数据。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。光流数据是作为图像采集传感器的摄像头连续图像帧之间的像素关系求导处理的参数，可以是二维的矢量(X、Y方向)。故而，本实施例可以把当前的像素对应与前续帧的光流数据加入进来，对应的，图像数据矩阵可增加一个光流数据矩阵，进而，可以为系统的数据组织增加更多的数据维度，用于后续的数据综合处理。

以上所涉及的中间数据，还可例如推算出的三维矢量速度，即运动速度的矢量数据等等。具体的，在有些场景，需要对目标对象的运动速度做精确的记录，为了增加精度，可以以矢量速度而非相对速度来表征，在这种情况下，我们可以利用系统推算出目标矢量速度数据在三维立体空间X/Y/Z轴或者对应的球坐标系(ρ,φ,θ)坐标的各个分量，进而，速度数据可对应于三层传感矩阵层，分别对应表示X、Y、Z的三个分量，或者ρ,φ,θ的三个分量。进而，本实施例所涉及的多维矩阵结构也可记录了目标对象的运动速度的矢量值。

故而，以上所涉及的速度数据，可以为运动速度的矢量分量，也可以是速度值。

可见，任意经传感器检测得到的可被二维分布的数据，均可理解为以上所涉及的探测数据，即均不脱离本实施例描述的范围。

此外，例如摄像头的图像采集传感器具体可以为能够感知目标对象的纹理(形状，轮廓，光照明暗等)与色彩，记录一瞬间的图像信息的传感器。摄像头还可以录制视频信息，把记录的事件用时间轴串起来形成视频流，可用于事件的回放与时间关联的事件分析。

以上所述涉及的红外传感器，其也可理解为一种图像采集传感器，故而，红外传感器可以作为前文所涉及的图像采集传感器被使用，也可作为一种其他传感器被使用，其能捕捉目标的红外辐射信息并以图片和视频的格式来保存。

以上所涉及的微波雷达可以捕捉目标的相对距离、相对运动速度、目标的雷达散射截面RCS数据，并以热图、目标对象的相对距离、相对运动速度、目标的雷达散射截面RCS数据维度的定量表述，或者点云数据输出。

以上所涉及的激光雷达则主要通过探测目标对象的空间位置(相对距离，空间角度位置坐标信息)输出目标的点云数据。

由于激光雷达通常输出的是点云数据结构：灰度像素点云数据(X1，Y1，Z1，灰度值1)，或者彩色点云数据(X1,Y1,Z1,r1,g1,b1)，同样可将这4层或者6层的数据组合到这个目标点按照光学摄像头捕捉图像的空间采样投射模型映射到矩阵层的对应位置。

可见，各种传感器都有自己的信息感知维度，例如本领域常用的摄像头，其可以捕捉目标的图像信息，栩栩如生的记录拍摄那一刻的环境与目标的纹理与色彩信息，但是可能无法从单张图片中准确提取目标的距离、速度信息，也很难从一张传统的照片来预测事件下一刻将要会发生什么。但是视频的方式会带来巨量的数据，以及因此带来的大传输带宽和存储数据的空间的需求。其它传感器的记录方式，比如说雷达，超声波以及激光雷达等，能记录各自传感器自身感知维度的信息，比如，目标的距离、速度；他们记录的数据信息以及目前的记录方式(数据结构)对于我们需要的全面描述记录目标特征并可以直接用于环境感知与事件预测，数据的维度与完整度不足。如何把这些不同种类的传感器采集的数据信息在统一的时间与空间轴上组织起来并高效记录保存下来，现有相关技术中缺乏通用的、可行的方法。本实施例所涉及的方法可以对所采集的各种数据做高效的多层数据融合，充分利用来自不同维度的信息组合来支持更多样有效的信息采样与保存，用于目标特征提取与数据分析。

S12：形成多维矩阵结构。

此外，在形成多维矩阵结构后，还可为该结构加上时间戳记录采样的时间，其可有利于实施环境与目标的多维信息数据采集与存储。

多维矩阵结构，以包括纵向分布的多个矩阵层，所述多个矩阵层包括至少一层像素矩阵层与至少一层传感矩阵层。所述探测数据组中的每个探测数据元素纵向对应于所述像素矩阵层中的像素元素，其可以是一一对应的，也可以是一对多或者多对一的，可见，单个探测数据矩阵可以纵向对应于单个像素元素，也可纵向对应于包含多个像素元素的区域范围。

可见，本实施例所涉及的方法增加了系统感知深度，建立了以像素为颗粒度的立体多维的深度感知的数组结构，即多维矩阵结构。简言之，本实施例可将现有相关技术中的每一个像素扩展为每一个多维的数据结构，即本实施例把不同维度的探测数据用矩阵数组的形式组合在一起，组成一个多维矩阵结构。

本实施例中，可利用多维矩阵结构来表征各探测数据与像素的映射结果，同时还可通过其他描述方式来表征探测数据与像素的映射结果，例如语义描述、表格等等。

图2是本发明实施例1中形成多维矩阵结构的一原理示意图；图3是本发明实施例1中形成多维矩阵结构的另一原理示意图；图4是本发明实施例1中形成多维矩阵结构的又一原理示意图。

本实施例中，每个像素矩阵层对应用于表征一个像素数据矩阵，其中，像素矩阵层可以为像素数据矩阵本身，例如前文所涉及的RGB三层或者YUV三层等等，以图2至图4所示实施方式为例，其可以为RGB三层像素矩阵层，其可具体理解为图3和图4中最左侧的三层数据结构，还可具体理解为图5中最靠前的三层数据结构。其他可选实施方式中，像素矩阵层也可以为根据像素数据矩阵而产生的其他矩阵层，例如可以为对像素数据矩阵进行插值后或者换算后产生的其他矩阵层。

图2至图4具体采用了图像采集传感器+雷达+红外传感器的组合来做示意，其仅为一种举例的组合，本实施例的可选方案还可再加入其他传感器，或去除部分传感器，其作用原理是一致的。

本实施例中，每个所述传感矩阵层用于表征一组探测数据组，所述探测数据元素的数值均是根据探测数据赋值确定的。

故而，多维矩阵结构中各矩阵层的各个位置的数据元素，也可利用多维矩阵结构的横截面坐标(x，y)来表征。可见，上下文所涉及的纵向，可理解为各矩阵层之间的分布方向，上下文所涉及的横向，可理解为单个矩阵中各元素的分布方向。

以图2和图4为例，其中的L层的传感矩阵层可理解为表征雷达所探测到的距离数据的传感矩阵层，其中的S层的传感矩阵层可理解为表征雷达所探测到的速度数据的传感矩阵层，其中的R层的传感矩阵层可理解为表征以上所涉及的RCS数据的传感矩阵层，其中的H层的传感矩阵层可理解为红外传感器探测到的热辐射温度数据的传感矩阵层。

可见，在其中一种实施方式中，所述探测数据元素的数值为对应的探测数据本身，具体可理解为所述探测数据元素的数值是对应的探测数据直接赋值确定的。

在另一实施方式中，所述探测数据元素的数值也可以是根据对应的探测数据换算确定的，具体可理解为所述探测数据元素的数值也可以是利用换算确定的数值赋值确定的。

例如：R层的传感矩阵层，可输入RCS映射到雷达接收功率P的相应值，进而，可先将对应多维矩阵结构的横截面坐标位置为(x,y)对应的RCS值先做如下计算：P(x,y)＝RCS(x,y)/(L(x,y)⁴)；

其中：

RCS(x,y)是指(x,y)的横截面坐标位置对应的RCS值；

L(x,y)是指雷达探测到目标对象的相对距离值。

进而，可利用换算后的P(x,y)进行复制。

可见，该换算确定的数值，可以是单个探测数据换算确定，也可以是利用多个不同类的探测数据换算确定的。

在图3所示实施方式中，其中的F1(L)中各数据元素所赋值的数值，可理解为对雷达所探测到的距离数据L进行函数换算后的数值；其中的F2(S)中各数据元素所赋值的数值，可理解为对雷达所探测到的速度数据S进行函数换算后的数值；其中的F3(R)中各数据元素所赋值的数值，可理解为对雷达所探测到的RCS数据进行函数换算后的数值；其中的F4(H)中各数据元素所赋值的数值，可理解为对红外传感器所探测到的热辐射温度数据进行函数换算后的数值。

本实施例可选方案所涉及的换算，也可仅针对部分探测数据实施，而不限于如图3所示。

此外，以上所涉及的赋值，主要是针对于探测域中目标对象部分的赋值，即赋值本身也可表征为对目标对象的检测结果。从中也可看出，在应用本实施例及其可选方案所涉及的多维矩阵结构时，可用于进行目标检测，以及与之相关的环境感知。

图5是本发明另一实施例中多传感器融合的数据处理方法的流程示意图。

请参考图5，本实施例中，在步骤S12，可包括：

S121：根据已建立的映射关系，确定所述目标对象的每一个探测数据对应的所述目标对象的像素元素。

确定目标对象的像素元素的过程可以为得到目标像素信息的过程，该目标像素信息可理解为用于表征所述探测数据所对应的像素。具体实施过程中，可以利用横截面坐标，例如以上所表征的(x，y)来表征该目标像素信息，也可以利用任意预设的标识信息来表征该目标像素信息。

由于像素矩阵层是表征像素数据矩阵的，而像素数据矩阵本身就是表征其中像素的，故而，本实施例在形成多维矩阵结构时，只需利用映射关系来确定该对应的像素元素即可。

映射关系，可以理解为用于表征所述其他传感器的探测域中不同探测维度的不同位置的探测数据与不同像素元素之间的映射关系。该映射关系可以利用任意的数据结构来表征，例如可以利用表格的形式，或者任意的语句形式来表征。

其中一种实施方式中，所述映射关系具体用于表征所述传感器的探测域中不同探测维度的不同位置的探测数据与不同的单个像素元素之间的对应关系。

图6是本发明一实施例中建立映射关系的流程示意图；图9是本发明一实施例中投射的示意图；图10是本发明一实施例中成像面的示意图。

请参考图6，建立所述映射关系的过程，包括：

S13：通过数据处理变动各传感器的探测坐标系，并使得各传感器的探测域的中心轴线与所述图像采集传感器的光轴一致，以及：各传感器的探测域的探测顶点与所述图像采集传感器的入瞳中心重合。

其中的入瞳中心27，可参照例如摄像头的图像采集传感器的常规原理理解，其可与探测顶点28重合，该探测顶点28也可理解为传感器的探测原点。

通过以上步骤，以统一探测域并将多传感器组合的探测空间映射关系经由空间坐标变换，统一转换到例如摄像头的图像采集传感器的三维探测空间上，进而可便于以图像采集传感器的探测方向、探测空间为依据实现投射，进而建立其所需的映射关系。其中的变动，可例如坐标系的平移、旋转和缩放。

其中一种实施方式中，该探测坐标系可以为直角坐标系，进而可具有互相垂直的X轴、Y轴与Z轴，进而，使用几何空间转换的方式可在标准的三维欧氏立体几何空间下，将各传感器的探测域(数据探测采集的物理空间区域)关联起来，通过对各自坐标系的平移、旋转和缩放，把它们统一到摄像头的3维探测空间坐标里，即通过以上步骤S13，确立系统的统一探测空间以及共同的探测视角。

具体实施过程中，由于各传感器安装的空间位置可能不同，本实施例可选方案可通过传感器安装的空间参数把各传感器各自的探测域(各自的探测空间)的中心轴线(X'/Y'/Z'轴)计算出来，进而以此为依据实施以上步骤S13。

其中一种举例中，由于真实系统往往有产品公差以及安装误差，本实施例可选方案还可结合几何标定的过程将各传感器各自的探测域的中心轴线检测出来，为了标定各中心轴线，可在多个确定空间位置坐标的位置上放置标靶，再用传感器测量到的这些标靶的位置读数，把标靶位置读数与它们在现实中的物理空间位置建立对应关系，从而确立该传感器探测目标空间的坐标读数与实际几何空间位置的空间对应关系。

另一实施方式中，该探测坐标系也可以为球坐标系。即，我们也可以用球坐标系把各传感器的探测域关联起来，建立一一对应关系。

例如，在球坐标系的坐标(ρ,φ,θ)中，具有三维变量，其中：

ρ可以理解为目标距离坐标系轴心的距离；

φ可以理解为目标相对z轴的角度；

θ可以理解为目标相对x轴的角度。

进而，其中的球坐标原点，可例如前文所涉及的入瞳中心，故而，映射关系可理解为目标对象对应该球坐标原点在径向方向上的空间映射关系。

具体的，欧式立体几何空间坐标与球坐标可以相互转换，其转换关系可表征如下：

x＝ρsinφcosθ

y＝ρsinφsinθ

z＝ρcosφ。

其中一种实施方式中，在变动后，图像采集传感器的探测域21与其他传感器的探测域，在图7中可利用一个参考平面中的位置关系来表达，具体的，其中的探测域22可理解为红外传感器的探测域，该红外传感器可具体为红外热成像仪，其对应的探测数据可例如热辐射温度数据；其中的探测域23可理解为雷达的探测域。

S14：根据所述图像采集传感器的光轴与入瞳中心，在变动后将各传感器的探测域投射到所述图像采集传感器的成像面所处的二维平面，得到每个传感器对应的投射区域。

请参考图10，图像采集传感器的探测域21，经投射后，可在成像面投射形成成像区域24，即图像采集传感器的投射区域，也可表征为成像区域；其他传感器的探测域，经投射后，可在成像面24投射形成投射区域，例如红外传感器的探测域22投射可得到投射区域26，雷达的探测域23投射可得到投射区域25。

各投射区域可处于成像区域24中，其他可选实施方式中，本实施例也不排除投射区域可部分处于成像区域24外。

S15：根据所述二维平面中所述投射区域与所述图像采集传感器的成像区域的位置关系，确定所述映射关系。

具体可以为：根据所述传感器的投射区域与当前的探测域之间的投射关系，以及所述二维平面中所述投射区域与所述图像采集传感器的成像区域的位置关系，确定所述映射关系。

本实施方式通过以上所涉及的变动与投射，可以将探测域统一到同一平面中，进而便于对各位置点之间的映射关系进行表征与确定。

具体实施过程中，若其他传感器的探测域发生了变动，则在步骤S15中，还可结合变动前后探测域的各位置的对应关系确定所述映射关系，即：根据所述传感器的投射区域与当前的探测域之间的投射关系、变动前后探测域的对应关系，以及所述二维平面中所述投射区域与所述图像采集传感器的成像区域的位置关系，确定所述映射关系。

步骤S121之后，可包括：S122：将所述探测数据赋值到其所对应的像素元素所纵向对应的探测数据元素。

图7是本发明实施例1中步骤S121与步骤S123的流程示意图。

其中，若在前述步骤S121中得到了目标像素信息，则在步骤S121之后，请参考图7，可以包括：

S123：根据所述目标像素信息，在所述探测数据对应的传感矩阵层中确定对应的一个目标探测数据元素。

该目标探测数据元素，可例如表征为特定传感矩阵层中的特定(x，y)坐标。

由于步骤S123确定的目标探测数据元素，在步骤S122中，可具体包括：根据所述探测数据，对其对应的目标探测数据元素进行赋值。

在赋值后，可理解为通过赋值的结果能够将目标对象的检测结果给表现出来，其也可进一步适于被识别。

图8是本发明实施例1中步骤S16的流程示意图。

其中一种实施方式中，在建立映射关系时，可以利用算法细微调整几何空间映射关系来减小几何映射定位误差，具体的，可在步骤S12之后，实施以下步骤S16，具体包括：

S161：对所述其他传感器的探测域中检测出来的任意的一个或多个参考目标对象进行定位计算，得到目标定位结果；所述目标定位结果用于表征所述参考目标对象在探测空间中的位置；

S162：将所述目标定位结果所表征的位置映射到像素矩阵层，得到校验定位信息；

S163：比对所述校验定位信息与原定位信息，得到定位误差信息；所述原定位信息用于表征对于同一所述参考目标对象，在形成多维矩阵结构时所确定的像素元素在所述像素矩阵层中的位置；

S164：根据所述定位误差信息，调整对应的所述传感矩阵层，以使得所述传感矩阵层与所述像素矩阵层的纵向对应关系发生变化；

S165：根据变化后的纵向对应关系调整所述传感矩阵层中探测数据元素的赋值。

具体可理解为：将探测域中的多个检出的目标对象在各自的传感器检测空间区域里做独立的定位计算，把最终的定位结果匹配到多维矩阵结构中，再将该匹配的结果与步骤S12中针对相同目标对象的检测结果进行比较，确定该相同目标对象的位置误差，具体可使用几何空间转换的方式计算该误差，进而，可通过缩放和平移的对应传感矩阵层与像素矩阵层的相对位置，即调整传感矩阵层中数据元素、像素矩阵层中数据元素的纵向对应关系，也可理解为调整传感矩阵层中数据元素与像素的对应关系，减少该误差，同时可对前文通过步骤S13至步骤S15确定的映射关系进行相应调整。

可见，以上实施方式在不使用所建立的映射关系的情况下，通过对目标对象的定位检测，以及将定位检测结果直接映射到对应的传感矩阵层，可以在传感矩阵层中再次表征出目标对象，其理应与利用预先建立映射关系即通过步骤S12通过赋值表现出的目标对象相一致，进而，可通过比对两者的差别表征出以上所涉及的误差，进而有效对目标对象的检测结果进行调整，还可对所建立的映射关系进行调整。

其可有利于进一步减小不同轴的几何空间转换引入的映射误差，使得数据结构的组合更精确。

在实际应用中，各个传感器应尽可能在空间结构上实现接近同轴安装，越靠近越好，这样有利于减少因为不同轴的几何空间转换引入的映射误差(结果类似于虚像)。

此外，由于初始输入时雷达和红外传感器的空间角度分辨率和图像采集传感器可能不同，即：所述其他传感器的分辨率与所述图像采集传感器的分辨率不匹配，在本实施例的可选方案中，还可对分辨率进行匹配处理，以保障各传感矩阵层中的探测数据元素能够与像素矩阵层中的图像数据元素一一对应。

以上的分辨率不一致，可理解为其他传感器的探测数据在投射到成像面所处二维平面后，在相同尺寸范围内，其行列分布与图像采集传感器的图像在该成像面中像素的行列分布不一致，具体可例如行数、列数至少之一不一致，也可以指探测数据经换算、计算等处理，且被投射到成像面后，在相同尺寸范围内数据的行列分布与成像面中像素的行列分布不一致。

为了实现该匹配，在其中一种实施方式中，可以通过像素平面定义宏块Macroblock来实现，进而，所述映射关系具体用于表征所述传感器的探测域中不同位置的探测数据与不同宏块之间的对应关系，所述宏块包含至少两个像素。

具体实施过程中，可通过将画面分割成一个个大小预先定义好的宏块以后，再同低分辨率传感器探测的数据进行一一对应映射关系的数据匹配。当然，宏块的具体定义参数需要在数据组织里说明，例如，可在数据文件头或者说明里注明。

为了实现该匹配，在另一实施方式中，还可通过插值的方式来实现，例如，所述传感矩阵层中的数据元素还包括第一插值数据元素，和/或：所述像素矩阵层中的数据元素还包括第二插值数据元素。该些插值数据元素的数值，可理解为插值确定的。

以雷达探测到的探测数据为例，把雷达的探测数据转换成具备张量结构的密集的类图像数据，其可作为一个探测数据组，再利用几何投影的方式，将雷达的探测域投射到成像面的二维平面，其可作为雷达探测的目标对象的投影面；其中的分辨率可等于系统里与之匹配的图像采集传感器的像素分辨率，建立雷达的数据与摄像头数据逐点的对应映射关系；雷达探测到的目标对象，投影到投影面上，可生成雷达的探测数据的雷达感知矩阵结构；雷达感知矩阵的数据层可例如包括L(目标距离值)层，S(相对速度值)层，R(雷达散射截面值)层；同样，这些层的顺序可以交互，也可以灵活组合，例如L、S、R可以全部激活，也可只选其中的一种或者其中两种激活，对应的可形成一个或多个传感矩阵层；目前，毫米波雷达的空间分辨率比较低，目标的角分辨率不高导致其数值投影在目标的二维映射面上会有比较大的可能覆盖面积，类似于雷达的原始像素颗粒尺寸比图像采集传感器的像素尺寸大，分辨率低，为了对每一个多维像素的每一层传感矩阵层中的数据元素都对应赋值，我们需对投射面进行插值，即对当前的传感矩阵层进行插值，提高其分辨率使其与图像采集传感器的像素匹配，然后再对对应传感矩阵层中的每一个数据元素逐一赋值，故而，匹配后的传感矩阵层可以具有插值数据元素；由于雷达数据是稀疏的，在雷达的数据结构(L层、S层、R层等)里，在雷达有探测到目标对象的区域(等效像素位置)雷达的数据会一一对应地赋值过去，但是在没有探测到目标的区域，可将这些区域对应的雷达的原始数据赋值为：“0”，或者设为按照事先约定代表背景的缺省数值，保证雷达数据对应的传感矩阵层中的每一个数据元素均完成了赋值。

若其他传感器为红外热成像仪，其采集的图像也是以像素为单位的。通过适当的插值方式可放大图像分辨率，进而匹配摄像头的分辨率，把红外热成像仪采集的图像(一般为黑白的亮度像素信息)逐点对应赋值到对应的传感矩阵层。一般情况下红外热成像仪的分辨率低于普通摄像头分辨率。

此外，本实施例也不排除其他传感器的分辨率高于图像采集传感器的情况，例如红外热成像仪的图像分辨率高于系统安装的摄像头分辨率，该情况下除了对像素矩阵层进行插值的方案，还可以采用缩小热成像仪分辨率的方式来处理；总之基本原理就是通过图像的合理缩放，使得两种传感器的分辨率相同然后对多维矩阵结构的对应矩阵层的数据元素赋值。

基于相类似的原因，也可对像素矩阵层中的数据元素进行插值。

关于以上所涉及的插值，可例如：最近邻插值、双线性插值、三次卷积法等。

其中一种实施方式中，所述多维矩阵结构中的矩阵层能够被有选择地激活。其中的激活，可理解为仅在激活时才能够使用到该矩阵层，且该矩阵层的数据会被更新迭代。同时，矩阵层可以是在预先编写程序中写入而存在，进而，其可以是被激活的，也可以是不被激活的。矩阵层也可以是在预先编写程序时不存在之后被添加的，还可以是根据预先定义的规则自动生成而存在的。可见，矩阵层的是否存在，以及是否被激活，可以被区分理解。

诚如前文所提及的，所述其他传感器为以下至少之一：微波雷达、超声波雷达、激光雷达，红外传感器、以及太赫兹图像传感器；所述其他传感器的探测数据包括以下至少之一：距离数据、速度数据、加速度数据、方位数据、雷达散射截面RCS数据，以及热辐射温度数据；所述图像数据矩阵包括以下至少之一：亮度数据矩阵、RGB三层数据矩阵、YUV三层数据矩阵，以及光流数据矩阵。

根据当前场景的不同，所应用的传感器，所存在的矩阵层，以及所激活的矩阵层均可以是变化的。

例如：具体举例中，可采用摄像头作为图像采集传感器，采用微波雷达以及红外热成像仪分别作为其他传感器，摄像头输出彩色图像(RGB或者YUV数据)，微波雷达输出目标对象的距离数据、相对的速度数据、例如方位角的方位数据以及目标对象的RCS数据，红外热成像仪输出目标的热辐射温度分布图像，其中各像素可理解为热辐射温度数据。该举例的组合可以从多个维度感知与探测目标，可以有效的工作在多种工况下(白天，黑夜，大雾雨天等恶劣环境)。

具体举例中，多种传感器可以灵活搭配组合，例如可以三者全用(摄像头+微波雷达+红外热成像仪)，又可以采用两两组合的方式：摄像头加微波雷达，摄像头加红外热成像仪，或者是微波雷达加红外热成像仪的组合。由于把多个维度的目标探测数据用多维矩阵结构的形式组合在一起，系统可以根据硬件配置或者场景(白天，夜晚等不同工况下)动态地调整用于目标识别的传感器输入参数的维度，即调整所激活的矩阵层，使用多维像素的子集来检测。比如：在夜晚行车中我们要检测车灯照射范围之外的目标，我们可以只激活雷达的输入矩阵而得到的传感矩阵层以及红外热成像仪的输入矩阵而得到的传感矩阵层。还可以采取硬件动态配置的方式，动态地加入或者移除一种传感器，不论何种方式，本实施例所涉及的方法均能保持工作，即系统依旧能保持工作。

该灵活组合，还可具有以下积极效果：在某种场景下系统的其中一种传感器失效(或者损坏)，可通过调整保持本实施例所涉及的方法及实施该方法的系统仍能保持有效运作，增强了系统运行的鲁棒性。在一些应用领域，比如ADAS或者是自动驾驶应用，增加系统的鲁棒性非常必要。

此外，针对多传感器的组合，同类传感器的数量也可以是灵活配置的，例如可以采用多个摄像头、多个雷达，以及多个热成像仪。在选择“摄像头+毫米波雷达+红外热成像仪”组合之上，具体还可以引入其他种类的传感器，比如激光雷达等，新的传感器带入的探测参数也可以附加在我们的“摄像头+毫米波雷达+红外热成像仪”系统的多维矩阵结构中，成为我们多维的一部分。

不论何种组合，均可有利于使得探测的目标对象可以在超越单一传感器探测维度被检测、分类、识别，系统能有更高的目标检出率和更好的识别能力与识别质量。

由于各传感器的探测视野可能不同，它们之间的映射关系可能会部分重叠。如图10所示，所标示的A类区域是三种传感器共同探测的区域，所标示的B类区域与C类区域是雷达与摄像头共同探测的区域，所标示的D类区域与E类区域是摄像头与红外热成像仪共同探测的区域，G类区域为只有摄像头探测的区域。

其中，A类区域为三种传感器共同探索的区域，这个区域可以最充分地利用多传感器融合带来的多数据维度的精确探测，故而，该区域的传感器融合较为重要。摄像头和雷达重叠探测的区域，例如B类区域与C类区域，摄像头与雷达的探测维度互补性很强，这两种传感器的融合也较为重要。再一个重要的融合区域是摄像头与红外热成像仪重叠的区域，在这个区域里，红外热成像仪可以弥补摄像头在夜晚、大雾天等工况下的不足；但是由于两者都是产生图像信息，他们之间的信息融合，更需要前文所涉及的分辨率匹配的过程，例如需要用图像插值的方式把红外传感器的图像分辨率(像素数目)放大，或者把摄像头图像分辨率缩小，以达到相互的匹配，然后，把红外传感器的图像(我们标记为H维度)组合摄像头的RGB(或者YUV)，形成所需的多维矩阵结构。

在步骤S12之后，本实施例可选方案可以采用各种传统的特征值+分类器的方式对各层矩阵层进行分析处理，来检测目标对象；也可以采用神经网络的方式做后续的检测处理；或者两种方式混合处理。无论那种方式，由于本实施例将多维度的探测信息统一到了一个数据结构中，并以像素为单元做映射组合起来，这样的深度融合数据组合，可有效提升对目标对象的检出质量。

其中，针对神经网络，由于输入为多维矩阵结构，网络会相应产生更多层的特征图(feature map)，有了更丰富的多层多维度的特性提取，有利于更加高效、高质量地做目标的检测与定位。多维矩阵对算法的匹配性较佳，目前流行的神经网络算法，比如R-CNN、Faster R-CNN、SSD等，均可匹配适用于本实施例所涉及的多维矩阵结构的应用。

对于目标对象的检测，本实施例中如果采用机器学习的方式，这就会涉及到目标样本的采集与系统的训练。本实施例所涉及的多维度测量参数的矩阵描述方式，能够对目标对象的样本采集与训练带来便利；每层矩阵层的信息相对是独立的，每层的结构可以增减，在后续处理中可以动态地对其中的一层或者是多层激活(这些层的信息参与目标的测定与描述)或者不激活(这些层的信息不参与目标的测定与描述)，但是总体上不妨碍以多维像素结构来对目标的探测与标记。我们建议在目标样本采集时，激活多维像素的所有矩阵数组层，但是在训练时可以根据特定的场景(白天、夜晚、传感器探测视野的重叠状态等不同情况)动态的组合其中的特定矩阵数组层的激活来用于训练，以匹配相应的场景。对于多传感器探测区域，无论是几种的组合，我们都可以利用多维矩阵结构把它们有机地结合在一起，用相同的处理算法框架来检测目标；他们的训练方式(包含数据样本的采集)也可以融合在一起，一次实现。

本实施例利用多传感器从多个探测维度来识别目标，这个多维矩阵结构能够有机结合多维度感知的探测数据，而且对后续的数据处理(无论采用传统的特征值加分类器的方法，还是神经网络的方法，或者是两者的结合)，以及训练样本的采样都带来了巨大的便利。这样的数据装配对与空间导航与定位(比如SLAM)也非常有效，具体的，利用该结构对目标对象的描述，不仅具备特征数据(用于分类识别)，还具备三维的位置空间信息(XY轴上的空间角度以及探测器到目标的距离)，目标识别的结果可以直接用来做空间定位。

本实施例可选方案中，来自不同维度的信息组合产生更多样有效的数据挖掘与特征提取潜力，不仅提供了一种更高效的事件记录方法(格式)，更有效的提高系统环境感知与目标检测能力，还可以大大节省传输数据所需的带宽和存储数据的空间，方便将有效并充分的数据流传输给不同的系统使用，同时降低系统(处理单元)做事件预测与分析的数据量与实时运算处理能力的要求，有效降低环境感知系统的成本。

由于本方法在多维矩阵结构里可以包含目标相对距离与速度信息，使用本方法可以在一帧像素对应的数据里就做出目标的意图描述以及预测事件将要发生的场景分析。

故而，本实施例及其可选方案所涉及的方法可适用于车辆驾驶辅助系统(ADAS)和自动驾驶系统、机器人、无人搬运车(AGV)，以及各种需要有环境感知与目标检测能力的设备与系统中。

若将本实施涉及的方法应用于及其学习，由于机器学习需要巨量的样本集，这些样本集还需要是针对自身多传感器组合系统量身定制采集的，本发明的数据组织方法，可以非常有针对性地用于特定组合多传感器系统采集多维度丰富有效的数据样本，非常适合多传感器融合的样本集(正、负样本集以及语义样本集)收集，而且大幅节省存储空间。当机器学习系统涉及到“云”+“端”或者“边缘计算”时，需要系统采样数据在本地与云端的传输，本可选方案涉及的方法可以实现更高效地传输多维度信息同时避免不必要的冗余数据占用数据传输带宽；另外，在一些特定领域(比如安防、监控、保险取证)的应用，系统要求用尽可能少的存储空间来保存尽可能多的信息，本发明的数据采样与存储方法能把多维度的目标信息存储在一帧数据矩阵上(可包含目标距离和运行速度矢量这些信息)，可大幅提升取证信息的保存效率。

图11是本发明实施例1中多传感器融合的数据处理装置的结构示意图。

请参考图11，多传感器融合的数据处理装置300，包括：

获取模块301，用于获取目标对象的图像数据与至少一组探测数据组；所述图像数据是图像采集传感器探测到的，所述探测数据组是其他传感器探测到的；所述图像数据用于利用至少一个图像数据矩阵表征所述图像采集传感器采集到的目标图像；不同探测数据组为不同探测维度的探测数据；

形成模块302，用于形成多维矩阵结构；其中：

所述多维矩阵结构包括纵向分布的多个矩阵层，所述多个矩阵层包括至少一层像素矩阵层与至少一层传感矩阵层，每个像素矩阵层对应用于表征一个图像数据矩阵，每个所述传感矩阵层用于表征一组探测数据组，所述探测数据组中的每个探测数据元素纵向对应于所述像素矩阵层中的一个像素元素；所述探测数据元素的数值均是根据探测数据赋值确定的。

所述形成模块，具体用于：

根据已建立的映射关系，确定所述目标对象的每一个探测数据对应的所述目标对象的像素元素，所述映射关系用于表征所述其他传感器的探测域中不同探测维度的不同位置的探测数据与不同像素元素之间的映射关系；

将所述探测数据赋值到其所对应的像素元素所纵向对应的探测数据元素。

可选的，建立所述映射关系的过程，包括：

通过数据处理变动各传感器的探测坐标系，并使得各传感器的探测域的中心轴线与所述图像采集传感器的光轴一致，以及：各传感器的探测域的探测顶点与所述图像采集传感器的入瞳中心重合；

根据所述图像采集传感器的光轴与入瞳中心，在变动后将各传感器的探测域投射到所述图像采集传感器的成像面所处的二维平面，得到每个传感器对应的投射区域；

根据所述传感器的投射区域与当前的探测域之间的投射关系，以及所述二维平面中所述投射区域与所述图像采集传感器的成像区域的位置关系，确定所述映射关系。

可选的，所述探测坐标系为空间直角坐标系，或者球坐标系。

可选的，所述映射关系具体用于表征所述传感器的探测域中不同位置的探测数据与不同的单个像素之间的对应关系，或者：

所述其他传感器的分辨率与所述图像采集传感器的分辨率不匹配，所述映射关系具体用于表征所述传感器的探测域中不同位置的探测数据与不同宏块之间的对应关系，所述宏块包含至少两个像素。

可选的，若所述其他传感器的分辨率与所述图像采集传感器的分辨率不匹配；则：

所述传感矩阵层中的数据元素还包括第一插值数据元素，和/或：所述像素矩阵层中的数据元素还包括第二插值数据元素。

可选的，所述探测数据元素的数值为对应的探测数据本身，或者所述探测数据元素的数值是根据对应的探测数据换算确定的。

可选的，所述多维矩阵结构中的矩阵层能够被有选择地激活。

可选的，所述其他传感器为以下至少之一：微波雷达、超声波雷达、激光雷达、红外传感器，以及太赫兹成像传感器；所述其他传感器的探测数据包括以下至少之一：距离数据、速度数据、加速度数据、方位数据、雷达散射截面RCS数据，以及热辐射温度数据；

所述像素数据矩阵包括以下至少之一：亮度数据矩阵、灰度数据矩阵、RGB三层数据矩阵、R层数据矩阵、G层数据矩阵、B层数据矩阵、YUV三层数据矩阵Y层数据矩阵、U层数据矩阵、V层数据矩阵，以及光流数据矩阵。

本实施例提供的多传感器融合的数据处理装置，能够将不同传感器测得的多个不同维度的数据以像素元素为基础，用多维矩阵结构的形式组合在一起，进而，可有利于对取得的数据做多层面的数据融合与深度学习，其可有利于实现更多样更有效的数据挖掘与特征提取，从而产生更有效的环境感知与目标检测的能力。

实施例2

本实施例提供了一种多传感器融合方法，包括：

把来自多传感器的多个维度的探测数据用多维像素矩阵的形式组合在一起，建立以摄像头像素为颗粒度的立体多维深度感知矩阵数组；

在多维像素矩阵中，把每个像素包含的信息做了纵向扩展，除了其原本包含的亮度与颜色信息，还为每个像素增加了多个纵向维度，在增加的纵向维度上能够输入该像素在摄像头探测空间映射的目标对象被其它传感器探测到的多种对应维度的探测信息，所述探测信息包括以下至少之一：相对距离、相对运动速度、目标的雷达散射截面RCS数据以及目标的热辐射温度分布等数据；其中，把多维度的探测信息以分层的方式装配到原本以图像像素为单元的目标对象描述之上，产生多维像素，其在数学上表现为统一结构的矩阵数组，以使得原来的每一个像素变成了一个多维像素，得到多维像素矩阵。其中的多维像素矩阵，可理解为因其是以像素为单元的，故而，表述成多维像素矩阵，其实际是由多个矩阵装配在一起的，可见，其可对应理解为实施例1所涉及的多维矩阵结构，即多维像素矩阵与多维矩阵结构是表征同一含义的。

可见，本实施例把多个维度的目标探测数据用矩阵数组(类似一个立体矩阵)的形式组合在一起。在摄像头成像的二维像面空间基础上，本实施例把每个像素包含的信息做了扩展，除了其原本包含的亮度与颜色信息，本实施例还为每个像素增加了多个纵向维度，在增加的纵向维度上输入该像素在摄像头探测空间(物方空间)映射的目标物体单元被其它传感器探测到的多种对应维度的信息，如相对距离、相对运动速度、目标的雷达散射截面RCS数据以及目标的热辐射温度分布等数据，把多维度信息以分层的方式装配到原本以图像像素为单元的目标物体描述子之上，在数学上表现为统一结构的矩阵数组。在本文中本实施例把这种目标的“多维度测量参数”的矩阵数组描述称之为“多维像素”结构。在摄像头成像的每个像素为基础维度上增加了其它传感器如雷达和红外传感器带来的距离、相对速度、目标的雷达散射截面RCS数据以及目标的热辐射温度分布等数据，增加系统感知深度，建立了以摄像头像素为颗粒度的立体多维深度感知矩阵数组，原来的每一个像素变成了本实施例中的每一个多维像素。本实施例把不同维度的探测数据用矩阵数组的形式组合在一起，组成一个“多维度测量参数”的矩阵数组，简称多维像素矩阵。

“多维度测量参数”的矩阵数组(既多维像素矩阵)描述示意图2至图4所示。本实施例还可以在此基础上增加更多的数据维度(带入更多传感器的数据封装)，组合方式相同。另外，纵向的矩阵数组顺序可以改变(当然，顺序的改变可能意味着机器学习要重新再次训练)。

以上描述，结合图2和图3的示意，可以毫无疑义地得到方案的实施需获取到图像数据与探测数据组，进而需基于图像数据与探测数据组得到多维矩阵结构，其中图像数据是利用像素矩阵表征的；进而，可得到包含多个矩阵维度的多维矩阵结构，该多维矩阵结构即以上所涉及的多维像素矩阵，多维像素矩阵必然包含探测数据对应的传感矩阵层，即以上所涉及的纵向维度上分层的内容，多维像素矩阵必然也包含像素对应的像素矩阵层，即以上所涉及的原本包含的亮度与颜色信息的像素，其中的每个像素可表述为像素元素，而像素元素与探测数据元素必然是纵向对应的，综上可见，通过以上描述，可毫无疑义地推知实施例1中图1所示的步骤S11与步骤S12的内容。

在有些特殊情况下，本实施例会只有单色摄像头参与到多传感器的组合中，比如摄像头只用于红外成像场景，摄像头只输出单色图像；在这种情况下，本实施例的多维像素结构仍然有效，只是RGB(或者YUV)三层输入数据更改为单层Y(像素亮度)数据结构，在单层像素亮度的基础上用上述相同的多维像素结构方法来组合其它传感器的输入信息，产生“多维度测量参数”的矩阵数组，既多维像素矩阵。

即：所述摄像头为彩色摄像头或者单色摄像头；

若所述摄像头为彩色摄像头，则：彩色摄像头输出的数据矩阵为RGB或者YUV三层，所述多维像素矩阵是将其他传感器的探测信息封装在这三层数据矩阵之上得到的；

若所述摄像头为单色摄像头，则：摄像头只输出单色图像，所述多维像素矩阵是在单层像素亮度的基础上组合其它传感器的探测信息得到的。

多维像素的横截面坐标对等于摄像头像平面的像素坐标，因为多维像素是基于摄像头像平面的像素信息做了扩展，每个像素增加了多个纵向维度的信息组合而来；本实施例把从摄像头像素平面坐标位置为(x,y)的像素(既“像素(x,y)”)扩展而来的多维像素的个体称之为“多维像素(x,y)”。

对于雷达等其他传感器带来的目标相对距离、相对速度、目标的雷达散射截面RCS数据，本实施例可直接把相对距离、相对速度、目标的雷达散射截面RCS数据值直接赋值到各多维像素对应的矩阵层上，也可以把这些赋值先经过相应的公式计算后把计算结果再赋值到各多维像素对应的矩阵层上，比如：本实施例希望在多维像素的R(RCS)层输入的是RCS映射到雷达接收功率P的相应值，那本实施例可以先将对应多维像素横截面坐标位置为(x,y)上的“多维像素(x,y)”之RCS值先做如下计算：P(x,y)＝RCS(x,y)/(L(x,y)⁴),其中，RCS(x,y)是指“多维像素(x,y)”的RCS值，L(x,y)是指“多维像素(x,y)”中雷达探测到目标的相对距离值。所以，多维像素在每个像素为基础维度上增加了其他传感器如雷达和红外传感器带来的距离、相对速度、目标的雷达散射截面RCS数据以及目标的热辐射温度分布图像等数据，既可以是探测数据的直接赋值，也可以是这些数据经过函数换算后再赋值，如图2示意图所示。

系统数据处理的流程以及数据结构如下(多层结构的矩阵数组)：首先，本实施例要把来自不同传感器的探测目标数据组合起来。在本实施例里第一步本实施例先使用几何空间转换的方式在标准的三维欧氏立体几何空间(空间坐标系标注为X/Y/Z轴)把各传感器的探测域(数据探测采集的物理空间区域)关联起来，建立一一对应关系。

由于各传感器安装的空间位置可能不同，本实施例通过传感器安装的空间参数把各传感器各自的探测域(各自的探测空间)的中心轴线(X'/Y'/Z'轴)计算出来，然后通过对各自坐标系的平移、旋转和缩放，把它们统一到摄像头的3维探测空间(物方视场)坐标里，使得其与摄像头的光轴对齐一致，以确定系统的统一探测空间以及共同的探测视角，然后根据雷达、红外热成像仪等其它传感器探测域在摄像头成像面对应之2维物面上建立映射关系(2维物面在物方空间)。

进而，把它们探测到的目标根据此映射关系与摄像头成像的各像素建立对接，将目标探测数据一一对应地赋值到多维像素矩阵中的相应位置上。

通过以上描述，可以毫无疑义地获悉，由于映射关系是建立在探测域中与物面的，必然表征探测域中各点与物面各点的映射关系，故而，对映射关系的使用必然是用其确定探测域中的探测数据映射到那个像素，即其可毫无疑义地推知需实施步骤S121，同时，由于赋值必然是需赋值到传感矩阵层的，所以，其可毫无疑义地推知需实施步骤S122，故而，通过以上内容，可毫无疑义地推知图5所示步骤S121与步骤S122的内容。

由于真实系统往往有产品公差以及安装误差，本实施例也可结合几何标定的方法把各传感器各自的探测域(各自的探测空间)的中心轴线(X'/Y'/Z'轴)检测出来，再通过对各自坐标系的平移、旋转和缩放，把它们统一到同一个坐标系里，建立起系统的统一探测域(三维的几何空间)，把各传感器各自独立的探测区域在系统的统一区域里建立起一一对应关系。(几何标定的方法是：本实施例在多个确定空间位置坐标的位置上放置标靶，再用传感器测量到的这些标靶的位置读数，把标靶位置读数与它们在现实中的物理空间位置建立映射关系，从而确立该传感器探测目标空间的坐标读数与实际几何空间位置的对应关系)。

本实施例也可以再进一步，利用算法细微调整几何空间映射关系来减小几何映射定位误差。原理如下：在系统最终目标检测出来后，本实施例把探测域中的多个检出目标在各自的传感器检测空间区域里做独立的定位计算，把最终的结果映射到“多维像素”的对应矩阵数组(层)上，在这个维度(当前层)去比较(计算)与之前使用几何空间转换方式产生的相同目标之定位位置的误差(本实施例称之为“几何映射定位误差”)，然后缩放和平移的对应矩阵数组(层)与摄像头的像素图层的相对位置，减少误差，即减少“几何映射定位误差”，同时对“多维像素”的对应数据矩阵数组(层)里的值按照新的像素纵向对应关系做调整。这样本实施例可以进一步减小不同轴的几何空间转换引入的映射误差，使得“多维像素”矩阵数组组合地更精确。

通过以上描述，可以毫无疑义地获悉，误差的确定，是通过对对象进行定位计算，再将定位结果映射到像素矩阵层中，将之与利用映射关系映射识别同一对象的结果进行比较，进而得到的，可见，以上实施方式的内容可毫无疑义地推知实施例1中步骤S16的方案。

建立起系统的统一探测域后，多传感器组合的探测域空间投射关系如图9所示。由于本实施例的多维像素的组合是“每个像素增加了多个纵向维度，在增加的纵向维度上输入该像素在摄像头探测空间(物方空间)映射的目标物体单元被其它传感器探测到的多种对应维度的信息”，所以把其它各种传感器的探测空间统一映射到摄像头探测空间上与其光轴对齐一致，并且其它各种传感器探测域的顶点与摄像头的入瞳中心重合，参照图9和图10，本实施例可选方案可采用了摄像头+雷达+红外热成像仪的组合来做示意，这是一种比较典型的组合，如果再加入其他传感器，多维像素数据映射的原理也是一样的。

在实际应用中，各个传感器应尽可能在空间结构上实现接近同轴安装，越靠近越好，这样有利于减少因为不同轴的几何空间转换引入的映射误差(结果类似于虚像)。

由于初始输入时雷达和红外传感器的空间角度分辨率和摄像头可能不同(目前雷达的空间角度分辨率还不高)，在数据装配的时候本实施例会采用插值的方法解决这个问题。

当多维像素对应的矩阵数组生成后，后续本实施例可以采用各种传统的特征值+分类器的方式对各层数据进行分析处理，来检测目标；也可以采用神经网络的方式做后续的检测处理；或者两种方式混合处理。无论那种方式，由于本实施例把多维度的目标探测信息统一到了一个矩阵数组中，以像素为单元做映射组合起来，这样的深度融合数据组合，对目标的检出质量的提升有巨大的帮助。特别是针对神经网络，由于输入多维像素矩阵，网络会相应产生更多层的feature map，有了更丰富的多层多维度的特性提取，本实施例可以更加高效高质量地做目标的检测与定位。多维像素矩阵对算法的匹配性非常好，目前流行的神经网络算法，比如R-CNN、Faster R-CNN、SSD等，对应本实施例的多维像素矩阵输入(多层输入)做相应的改动即可适用。

本实施例对于目标的检测往往采用机器学习的方式，这就会涉及到目标样本的采集与系统的训练。本实施例之多维度测量参数的矩阵数组描述方式(多维像素)对于目标样本的采集与训练带来便利；多维像素每层的信息相对是独立的，每层的结构可以增减，在后续处理中可以动态地对其中的一层或者是多层激活(这些层的信息参与目标的测定与描述)或者不激活(这些层的信息不参与目标的测定与描述)，但是总体上不妨碍以多维像素结构来对目标的探测与标记。本实施例建议在目标样本采集时，激活多维像素的所有矩阵数组层，但是在训练时可以根据特定的场景(白天、夜晚、传感器探测视野的重叠状态等不同情况)动态的组合其中的特定矩阵数组层的激活来用于训练，以匹配相应的场景。对于多传感器探测区域，无论是几种的组合，本实施例都可以利用“多维像素”矩阵数组把它们有机地结合在一起，用相同的处理算法框架来检测目标；他们的训练方式(包含数据样本的采集)也可以融合在一起，一次实现。这是本实施例的另一个技术特点，也是使用“多维像素”结构来描述目标物体的方法带来的好处。

本实施例采用摄像头，微波雷达以及红外热成像仪组成多传感器融合系统。这是一种常用的多传感器组合，摄像头输出彩色图像(RGB或者YUV数据)，微波雷达输出探测目标的距离、相对速度、方位角以及目标的雷达散射截面RCS(Radar Cross-Section)数据，红外热成像仪输出目标的热辐射温度分布图像。这样的组合可以从多个维度感知与探测目标，可以有效的工作在多种工况下(白天，黑夜，大雾雨天等恶劣环境)。在本实施例里，多种传感器可以灵活搭配组合，所以在这里可以一个系统里三者全用(摄像头+微波雷达+红外热成像仪)，又可以采用两两组合的方式：摄像头加微波雷达，摄像头加红外热成像仪，甚至是微波雷达加红外热成像仪的组合。由于把多个维度的目标探测数据用矩阵数组(类似一个立体矩阵)的形式组合在一起，系统可以根据硬件配置或者场景(白天，夜晚等不同工况下)动态地调整用于目标识别的传感器输入参数的维度(调整多维度目标探测数据矩阵数组的激活层数)，使用多维像素的子集来检测，比如在夜晚行车中本实施例要检测车灯照射范围之外的目标，本实施例可以只激活雷达的输入矩阵以及红外热成像仪的输入矩阵。甚至还可以采取硬件动态配置的方式，动态地加入或者移除一种传感器，系统仍能工作。系统硬件的灵活组合能力，除了提供系统硬件配置成本选择的灵活性之外，还能给用户带来的好处是：在某种场景下系统的其中一种传感器失效(或者损坏)，系统通过软件配置的调整仍能保持有效运作，增强了系统运行的鲁棒性。在一些应用领域，比如ADAS或者是自动驾驶应用，增加系统的鲁棒性非常必要。

以上有关激活的描述，必然可得到部分矩阵层被激活，部分未被激活的结果，故而，可以毫无疑义推知矩阵层能够被有选择地激活的结论。

由于各传感器的探测视野可能不同，它们之间的映射关系可能会部分重叠。如图10所示，外面的单实线框表示摄像头成像区域，里面的单实线框内是红外热成像仪成像区域，虚线框内标识区域是雷达探测区域，它们部分重叠组成交错的探测区域：1)A类区域是三种传感器共同探测的区域，2)B与C类区域是雷达与摄像头共同探测的区域，3)D与E类区域是摄像头与红外热成像仪共同探测的区域，4)G类区域为只有摄像头探测的区域。本实施例最关心的是三种传感器共同探索的区域(A类区域)，这个区域可以最充分地利用多传感器融合带来的多数据维度的精确探测。第二个重要的区域是摄像头和毫米波雷达重叠的区域(B与C类区域)，摄像头与毫米波雷达的探测维度互补性很强，这两种传感器的融合也非常有意义。第三个重要的融合区域是摄像头与红外热成像仪重叠的区域，在这个区域里，红外热成像仪可以弥补摄像头在夜晚、大雾天等工况下的不足；但是由于两者都是产生图像信息，他们之间的信息融合，更多的技术挑战来自与分辨率上面的匹配，需要用图像插值的方式把红外传感器的图像分辨率(像素数目)放大，或者把摄像头图像分辨率缩小，以达到相互的匹配，然后，把红外传感器的图像(本实施例标记为H维度)附加到有摄像头的RGB(或者YUV)数据结构的矩阵数组中。

在A区域(三种传感器共同探测到的区域)，本实施例把摄像头把采集到的数据，按照RGB颜色(顺序可以交换)三层排列，假设每层的像数尺寸(既分辨率)为X*Y(例如：1920*1080–对应1080P分辨率的摄像头)，如果原始数据输入是YUV格式，也可以按照YUV三层排列，但是本实施例建议最好转换为RGB数据结构(YUV转RGB)，因为这样可以减少各层数据的关联，有利于后续独立的特征提取。本实施例把这三层立体的数据结构(大小为：X*Y*3)作为“摄像头的原始数据输入层”，然后，在摄像头的原始数据输入层上按照多维像素的结构加入微波雷达采集的数据。

雷达采集的数据如果和摄像头像素数据直接匹配的话，雷达数据过于稀疏，如果要同摄像头影像数据按照像素关系来直接逐点匹配，需要先做处理，把雷达数据转换成具备张量结构的密集的类图像数据。在本实施例里本实施例设计了如下的方法把雷达的数据输入到本实施例的系统“多维像素矩阵”：1)利用几何投影的方式，把雷达的探测空间投影到摄像头成像面对应的2维物面之上，作为雷达目标的2维映射面(如图3示意图所示)；其2维空间分辨率等于系统里与之匹配的摄像头的像素分辨率，建立雷达的数据与摄像头数据逐点的一一对应映射关系；雷达探测到的目标(像)，映射到雷达目标的2维映射面上，生成“雷达感知矩阵”；在矩阵层(深度)上雷达感知矩阵的数据(层)由以下“雷达原始数据输入”分门别类复合组成：L(目标距离值)层，S(相对速度值)层，R(雷达散射截面值)层；同样，这些层的顺序可以交互，也可以灵活组合(L、S、R全部激活),或者只选其中的一种(L或者S或者R)或者其中2种(L+S、S+R等)。目前毫米波雷达的空间分辨率比较低，目标的角分辨率不高导致其数值投影在目标的2维映射面上会有比较大的“可能覆盖面积”，类似于雷达的原始像素颗粒尺寸比摄像头的像素尺寸大，分辨率低，为了把每一个“多维像素”的每一层数据矩阵都对应赋值，本实施例需要对“雷达二维映射面”插值，提高其分辨率使其与摄像头的像素匹配，然后再对每一个“多维像素”都逐一赋值。常用的插值方法，比如：最近邻插值、双线性插值、三次卷积法等都可以采用。2)由于雷达数据是稀疏的，在雷达的数据结构(矩阵数据层L、S、R等)里，在雷达有探测到目标的区域，雷达的数据会一一对应地赋值过去。但是在没有探测到目标的区域，本实施例把这些区域对应的雷达的原始数据赋值为“0”，或者按照事先设定的代表背景的缺省数值，以保证雷达数据矩阵中的每一个矩阵单元都有赋值。

红外热成像仪采集的图像也是以像素为单位的。本实施例通过适当的插值方式放大图像分辨率来匹配摄像头的分辨率，把红外热成像仪采集的图像(一般为黑白的亮度像素信息)逐点对应赋值到“多维像素”数据结构里对应的矩阵，在这里本实施例把它称为“H”矩阵。一般情况下红外热成像仪的分辨率低于普通摄像头分辨率，本实施例用插值放大分辨率的方式来处理；当然也不排除特殊情况，红外热成像仪的图像分辨率高于系统安装的摄像头分辨率，这样的话本实施例可以采用缩小热成像仪分辨率的方式来处理；总之基本原理就是通过图像的合理缩放，使得两种传感器的分辨率相同然后对多维像素的对应数据层赋值。

通过以上列举可知，在插值后，矩阵中必然就包含了插值数据元素，即其可毫无疑义地得到在矩阵中可包含插值数据元素的内容。

针对多传感器的组合，目前本实施例选择最通用的摄像头+毫米波雷达+红外热成像仪；这个组合是灵活多样的，可以三种传感器都选择组成一个系统，也可以选择其中的两样传感器(摄像头+其他)组成一个系统，传感器的数量也是灵活配置，可以是多个摄像头加多个雷达加多个热成像仪组成一套系统。但是各种组合不变的原则是：摄像头输出彩色图像(RGB或者YUV数据)，微波雷达输出探测目标的距离、相对速度、方位角以及目标的雷达散射截面RCS数据，红外热成像仪输出目标的温度分布图像，本实施例把这些物理探测维度映射到探测目标上，使得探测目标可以在超越单一传感器探测维度被检测、分类、识别，系统能有更高的目标检出率和更好的识别能力与识别质量。

在本实施例的系统里，在选择“摄像头+毫米波雷达+红外热成像仪”组合之上，本实施例还可以引入其他种类的传感器，比如激光雷达等，新的传感器带入的探测参数也可以附加在本实施例的“摄像头+毫米波雷达+红外热成像仪”系统的数据结构组合中，成为本实施例“多维像素”的一部分。

本实施例中，本实施例使用多传感器从多个探测维度来识别目标，本实施例把多个维度的目标探测数据用矩阵数组(类似一个立体矩阵)的形式组合在一起，这个数据的矩阵数组的每一个“多维像素”都有机结合了多维度感知的探测信息，而且在一个单元里(一个“多维像素”里)，这样的结构对后续的数据处理(无论采用传统的特征值加分类器的方法，还是神经网络的方法，或者是两者的结合)，以及训练样本的采样都带来了巨大的便利。这样的数据装配对与空间导航与定位(比如SLAM)也非常有效，因为在本实施例这种“多维像素”描述体系里，目标物体的直接描述不仅具备特征数据(用于分类识别)，还具备三维的位置空间信息(XY轴上的空间角度以及探测器到目标的距离)，目标识别的结果可以直接用来做空间定位。

本实施例适用于车辆驾驶辅助系统(ADAS)和自动驾驶系统、机器人、无人搬运车(AGV)，以及各种需要有环境感知与目标检测能力的设备与系统中。

图12是本发明一实施例中电子设备的结构示意图。

请参考图12，电子设备40，可以包括存储器42与处理器41。所述存储器42，用于存储感知数据，中间运行数据，系统输出数据和所述处理器41的可执行指令。所述处理器41配置为经由执行所述可执行指令来执行实施例1与实施例2及其可选方案所涉及的方法。

其中，存储器42与处理器41可通过总线43进行通讯。

图13是本发明一实施例中传感设备的结构示意图。

请参考图13，传感设备50，包括存储器52、处理器51与传感器54；所述存储器52，用于存储感知数据，中间运行数据，系统输出数据和所述处理器51的可执行指令；所述处理器51配置为经由执行所述可执行指令来执行实施例1与实施例2及其可选方案所涉及的方法。

其中，存储器52、处理器51与传感器54可通过总线53进行通讯。

本发明一实施例还提供了一种存储介质，其上存储有感知数据，中间运行数据，系统输出数据和程序，该程序被处理器执行时实现实施例1与实施例2及其可选方案所涉及的方法。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。