目标对象的位置确定方法、装置、电子设备及存储介质

摘要

本申请涉及一种目标对象的位置确定方法、装置、电子设备及存储介质，通过获取相机拍摄的图像；确定相机的参数；基于图像和相机的参数确定目标对象的类型和目标对象的特征点信息；特征点信息包括特征点的入射光角度和去畸变后的焦距；根据入射光角度和去畸变后的焦距确定特征点在理论成像平面上的坐标信息；理论成像平面为图像去畸变后的图像；根据特征点在理论成像平面上的坐标信息确定目标对象在理论成像平面内的高度；根据目标对象的类型确定目标对象的实际高度；根据目标对象在理论成像平面内的高度、实际高度和去畸变后的焦距确定目标对象的位置。如此，可以提高单目相机检测目标对象的精度，且复杂度低、实时性高。

说明书

技术领域

本申请涉及车辆技术领域，特别涉及一种目标对象的位置确定方法、装置、电子设备及存储介质。

背景技术

基于视觉障碍物检测是无人驾驶中是非常重要的技术，通过视觉检测障碍物在三维空间的位置可以提高无人驾驶的安全性。为了实现车身360度视场角覆盖，会布置多个相机，包括长焦、短焦、广角和鱼眼等多种类型相机。现实世界是三维空间，通过相机成像得到的是二维图像，损失了深度信息，因此为了估算障碍物位置信息，常用的方法有：双目测距和单目测距。双目测距是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。单目测距主要是利用小孔成像的几何关系和摄像机内参来估算障碍物距离。如图1所示，小孔成像模型是最常用的模型；其中，O是相机坐标系的中心点；Z轴是相机的主轴；O

小孔模型的测距方案是一个理想模型，根据成像点和目标点的映射关系，建立线性模型，这对于长焦等镜头畸变不大的相机可以较好的估算距离。但是，小孔模型的测距方案没有考虑镜头畸变的影响，因此对于广角、鱼眼等相机来说，并不能得到线性模型，因此使用小孔模型方案估算障碍物的距离误差比较大。

发明内容

本申请实施例提供了一种目标对象的位置确定方法、装置、电子设备及存储介质，可以提高单目相机检测目标对象的精度，且复杂度低、实时性高。

一方面，本申请实施例提供了一种目标对象的位置确定方法，包括：

获取相机拍摄的图像；

确定相机的参数；

基于图像和相机的参数确定目标对象的类型和目标对象的特征点信息；特征点信息包括特征点的入射光角度和去畸变后的焦距；

根据入射光角度和去畸变后的焦距确定特征点在理论成像平面上的坐标信息；理论成像平面为图像去畸变后的图像；

根据特征点在理论成像平面上的坐标信息确定目标对象在理论成像平面内的高度；

根据目标对象的类型确定目标对象的实际高度；

根据目标对象在理论成像平面内的高度、实际高度和去畸变后的焦距确定目标对象的位置。

另一方面，本申请实施例提供了一种目标对象的位置确定装置，包括：

获取模块，用于获取相机拍摄的图像；

第一确定模块，用于确定相机的参数；

第二确定模块，用于基于图像和相机的参数确定目标对象的类型和目标对象的特征点信息；特征点信息包括特征点的入射光角度和去畸变后的焦距；

第三确定模块，用于根据入射光角度和去畸变后的焦距确定特征点在理论成像平面上的坐标信息；理论成像平面为图像去畸变后的图像；

第四确定模块，用于根据特征点在理论成像平面上的坐标信息确定目标对象在理论成像平面内的高度；

第五确定模块，用于根据目标对象的类型确定目标对象的实际高度；

第六确定模块，用于根据目标对象在理论成像平面内的高度、实际高度和去畸变后的焦距确定目标对象的位置。

另一方面，本申请实施例提供了一种电子设备，设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行上述的目标对象的位置确定方法。

另一方面，本申请实施例提供了一种计算机存储介质，存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现上述的目标对象的位置确定方法。

本申请实施例提供的一种目标对象的位置确定方法、装置、电子设备及存储介质具有如下有益效果：

通过获取相机拍摄的图像；确定相机的参数；基于图像和相机的参数确定目标对象的类型和目标对象的特征点信息；特征点信息包括特征点的入射光角度和去畸变后的焦距；根据入射光角度和去畸变后的焦距确定特征点在理论成像平面上的坐标信息；理论成像平面为图像去畸变后的图像；根据特征点在理论成像平面上的坐标信息确定目标对象在理论成像平面内的高度；根据目标对象的类型确定目标对象的实际高度；根据目标对象在理论成像平面内的高度、实际高度和去畸变后的焦距确定目标对象的位置。如此，可以提高单目相机检测目标对象的精度，且复杂度低、实时性高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种小孔成像模型的示意图；

图2是本申请实施例提供的一种应用场景的示意图；

图3是本申请实施例提供的一种目标对象的位置确定方法的流程示意图；

图4是本申请实施例提供的一种目标对象在图像中的边界框的示意图；

图5是本申请实施例提供的一种鱼眼相机模型的示意图；

图6是本申请实施例提供的一种目标对象投影到理论成像平面的示意图；

图7是本申请实施例提供的一种目标对象的位置确定装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图2，图2是本申请实施例提供的一种应用场景的示意图，包括车辆201和目标对象202，车辆201配置有多个相机2011。车辆201基于相机2011拍摄的图像经车载系统计算确定目标对象202的位置。

车辆201的车载系统获取相机2011拍摄的图像，并确定相机2011的参数。车辆201的车载系统基于图像和相机2011的参数确定目标对象202的类型和目标对象202的特征点信息，特征点信息包括特征点的入射光角度和去畸变后的焦距。车辆201的车载系统根据入射光角度和去畸变后的焦距确定特征点在理论成像平面上的坐标信息，这里理论成像平面为图像去畸变后的图像。车辆201的车载系统根据特征点在理论成像平面上的坐标信息确定目标对象202在理论成像平面内的高度，并根据目标对象202的类型确定目标对象202的实际高度。车辆201的车载系统根据上述目标对象202在理论成像平面内的高度、上述实际高度和上述去畸变后的焦距确定目标对象202的位置。

可选的，相机2011可以是鱼眼相机、广角相机、短焦相机和长焦相机中任一种相机。

以下介绍本申请一种目标对象的位置确定方法的具体实施例，图3是本申请实施例提供的一种目标对象的位置确定方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图3所示，该方法可以包括：

S301：获取相机拍摄的图像。

S303：确定相机的参数。

本申请实施例的执行主体可以是车辆的车载系统。该车辆配置有相机，车载系统获取相机拍摄的图像，并确定相机的参数。相机的参数包括归一化焦距f、图像中心位置信息(u

一种可选的确定相机的归一化焦距f的实施方式中，可以根据公式(1)确定归一化焦距f：

f＝(f

其中，f

可选的，相机参数f

S305：基于图像和相机的参数确定目标对象的类型和目标对象的特征点信息；特征点信息包括特征点的入射光角度和去畸变后的焦距。

本申请实施例中，车载系统利用目标检测算法对图像进行检测以确定目标对象的类型和边界框，基于边界框确定出目标对象的特征点，然后根据相机的归一化焦距f、图像中心位置信息(u

在一种可选的基于图像和相机的参数确定目标对象的类型和目标对象的特征点信息的实施方式中，车载系统可以利用YOLO算法确定目标对象的类型和边界框，请参阅图4，图4是本申请实施例提供的一种目标对象在图像中的边界框的示意图，图像平面坐标系为xoy。车载系统首先确定出边界框左上角的坐标为P

x

y

x

y

其中，x

其次，请参阅图5，图5是本申请实施例提供的一种鱼眼相机模型的示意图。车载系统基于鱼眼相机模型，根据特征点P

dy

其中，(x

其次，车载系统根据特征点到图像中心的距离dx

θ

θ

其中，θ

其次，车载系统根据特征点到图像中心的距离和归一化焦距f确定特征点去畸变后的焦距。具体的，车载系统可以根据公式(5)计算得到去畸变后的焦距：

f

其中，f

S307：根据入射光角度和去畸变后的焦距确定特征点在理论成像平面上的坐标信息；理论成像平面为图像去畸变后的图像。

S309：根据特征点在理论成像平面上的坐标信息确定目标对象在理论成像平面内的高度。

本申请实施例中，特征点的数量为2。车载系统根据特征点的入射光角度和去畸变后的焦距确定特征点在理论成像平面上的坐标信息，即特征点去畸变后的坐标信息。然后根据两点之间的距离公式计算出2个特征点之间距离，将2个特征点之间距离确定为目标对象在理论成像平面内的高度。

下面基于上述的可选的实施方式继续说明。请参阅图6，图6是本申请实施例提供的一种目标对象投影到理论成像平面的示意图。在一种可选的根据入射光角度和去畸变后的焦距确定特征点在理论成像平面上的坐标信息的实施方式中，车载系统可以根据公式(6)计算得到特征点在理论成像平面上的坐标信息：

x′

y′

其中，scale＝tan(θ

如此，得到特征点在理论成像平面上的坐标P’

S311：根据目标对象的类型确定目标对象的实际高度。

S313：根据目标对象在理论成像平面内的高度、实际高度和去畸变后的焦距确定目标对象的位置。

本申请实施例中，车载系统根据目标对象的类型估算得到目标对象的实际高度，然后根据目标对象在理论成像平面内的高度、实际高度和去畸变后的焦距利用相似三角形定理确定出目标对象到相机的距离。其次，基于目标对象到相机的距离和入射光角度确定目标对象基于相机的位置，即目标对象在相机坐标系中的坐标信息。

下面基于上述的可选的实施方式继续说明。如图6所示，在一种可选的根据目标对象在理论成像平面内的高度、实际高度和去畸变后的焦距确定目标对象的位置的实施方式中，假设车载系统确定目标对象的类型为小汽车，则估算其实际高度为H

H

其中，d

可选的，将d

其次，根据公式(8)计算得到目标对象在相机坐标系的坐标信息：

X＝sinθ

Y＝cosθ

其中，d

综上，本申请实施例提供方法可以应用于车辆的车载系统，基于车载相机确定目标对象的位置。车载相机可以是鱼眼相机、广角相机、短焦相机和长焦相机中任一种，适用范围广，且算法简单、实时性好。

本申请实施例还提供了一种目标对象的位置确定装置，图7是本申请实施例提供的一种目标对象的位置确定装置的结构示意图，如图7所示，该装置包括：

获取模块701，用于获取相机拍摄的图像；

第一确定模块702，用于确定相机的参数；

第二确定模块703，用于基于图像和相机的参数确定目标对象的类型和目标对象的特征点信息；特征点信息包括特征点的入射光角度和去畸变后的焦距；

第三确定模块704，用于根据入射光角度和去畸变后的焦距确定特征点在理论成像平面上的坐标信息；理论成像平面为图像去畸变后的图像；

第四确定模块705，用于根据特征点在理论成像平面上的坐标信息确定目标对象在理论成像平面内的高度；

第五确定模块706，用于根据目标对象的类型确定目标对象的实际高度；

第六确定模块707，用于根据目标对象在理论成像平面内的高度、实际高度和去畸变后的焦距确定目标对象的位置。

本申请实施例中的装置与方法实施例基于同样地申请构思。

本申请的实施例提供了一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行上述目标对象的位置确定方法。

本申请的实施例提供了一种计算机存储介质，存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现上述目标对象的位置确定方法。

可选的，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选的，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的目标对象的位置确定方法、装置、电子设备或存储介质的实施例可见，本申请中通过获取相机拍摄的图像；确定相机的参数；基于图像和相机的参数确定目标对象的类型和目标对象的特征点信息；特征点信息包括特征点的入射光角度和去畸变后的焦距；根据入射光角度和去畸变后的焦距确定特征点在理论成像平面上的坐标信息；理论成像平面为图像去畸变后的图像；根据特征点在理论成像平面上的坐标信息确定目标对象在理论成像平面内的高度；根据目标对象的类型确定目标对象的实际高度；根据目标对象在理论成像平面内的高度、实际高度和去畸变后的焦距确定目标对象的位置。如此，可以提高单目相机检测目标对象的精度，且复杂度低、实时性高。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。