焦距估计方法、焦距估计装置以及存储介质

摘要

本公开内容涉及用于计算机视觉的焦距估计方法、焦距估计装置以及存储介质。根据本公开内容的一个实施例，该焦距估计方法包括：确定真实空间中的道路上的车辆配备的摄像装置拍摄的图像中的与道路的真实标记区对应的图像标记区；基于图像标记区确定图像中的虚拟梯形；以及基于虚拟梯形的上底尺寸、虚拟梯形的下底尺寸、第一路面标记尺寸及第二路面标记尺寸估计摄像装置的焦距。本公开内容的方法、装置和存储介质的有益效果至少包括：利用道路标记的已知的标准尺寸估计焦距，减少焦距估计中需要检测的参数的数量，降低焦距估计的复杂程度。

说明书

技术领域

本公开内容总体上涉及计算机视觉，更具体的，涉及焦距估计方法、焦距估计装置以及存储介质。

背景技术

近年来，随着计算机的信息处理性能的提升，计算机视觉技术受到人们越来越多的关注。计算机视觉包括利用摄像机和计算机代替人眼对目标进行识别、跟踪和测量等的机器视觉，并且还包括进一步做图形处理，获得更适合人眼观察或传送给仪器检测的图像。例如，计算机视觉可用于车辆的自动驾驶或辅助驾驶。在计算机视觉处理中，摄像机是重要组件。摄像机的焦距是重要的参数。例如，检测由摄像机拍摄的图像中的实体的真实尺寸或实体之间的距离可能需要知道该摄像机的焦距。由计算机自主确定摄像机的焦距，而不是人工手动提供，这是期望的。

常规的焦距估计方法除了需要拍摄的图像外，还可能需要诸如摄像机高度、垂直于道路方向的物理长度、平行于道路方向的物理长度、摆角、倾斜角和/或旋转角等的参数。

发明内容

在下文中将给出关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，此概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

根据本公开内容的一个方面，提供了一种用于计算机视觉的焦距估计方法。该焦距估计方法包括：确定真实空间中的道路上的车辆配备的摄像装置拍摄的图像中的与道路的真实标记区对应的图像标记区；基于图像标记区确定图像中的虚拟梯形；以及基于虚拟梯形的上底尺寸、虚拟梯形的下底尺寸、第一路面标记尺寸及第二路面标记尺寸估计摄像装置的焦距；其中，真实标记区包括至少部分真实预定路面标记；第一路面标记尺寸为真实空间中的与虚拟梯形对应的虚拟图形在第一方向上的长度；第二路面标记尺寸为虚拟图形在与第一方向垂直的第二方向上的长度；并且第一方向为道路在拍摄图像的位置处的延伸方向。

据本公开内容的一个方面，提供了一种用于计算机视觉的焦距估计装置。该焦距估计装置包括：存储器，其上存储有指令；以及一个或更多个处理器，一个或更多个处理器能够与存储器通信以执行从存储器获取的指令，并且指令使一个或更多个处理器：确定真实空间中的道路上的车辆配备的摄像装置拍摄的图像中的与道路的真实标记区对应的图像标记区；基于图像标记区确定图像中的虚拟梯形；以及基于虚拟梯形的上底尺寸、虚拟梯形的下底尺寸、第一路面标记尺寸及第二路面标记尺寸估计摄像装置的焦距；其中，真实标记区包括至少部分真实预定路面标记；第一路面标记尺寸为真实空间中的与虚拟梯形对应的虚拟图形在第一方向上的长度；第二路面标记尺寸为虚拟图形在与第一方向垂直的第二方向上的长度；并且第一方向为道路在拍摄图像的位置处的延伸方向。

据本公开内容的另一方面，提供了一种其上存储有程序的计算机可读存储介质。该程序使运行程序的计算机：确定真实空间中的道路上的车辆配备的摄像装置拍摄的图像中的与道路的真实标记区对应的图像标记区；基于图像标记区确定图像中的虚拟梯形；以及基于虚拟梯形的上底尺寸、虚拟梯形的下底尺寸、第一路面标记尺寸及第二路面标记尺寸估计摄像装置的焦距；其中，真实标记区包括至少部分真实预定路面标记；第一路面标记尺寸为真实空间中的与虚拟梯形对应的虚拟图形在第一方向上的长度；第二路面标记尺寸为虚拟图形在与第一方向垂直的第二方向上的长度；并且第一方向为道路在拍摄图像的位置处的延伸方向。

本公开内容的焦距估计方法、焦距估计装置以及存储介质的有益效果至少包括：减少焦距估计中需要检测的参数的数量，降低焦距估计的复杂程度。

附图说明

参照附图下面说明本公开内容的实施例，这将有助于更加容易地理解本公开内容的以上和其他目的、特点和优点。附图只是为了示出本公开内容的原理。在附图中不必依照比例绘制出单元的尺寸和相对位置。相同的附图标记可以表示相同的特征。在附图中：

图1示出了根据本公开内容的一个实施例的焦距估计方法的示例性流程图；

图2示出了根据本公开内容的一个实施例的图像标记区的示意图；

图3示出了根据本公开内容的一个实施例的图像标记区的示意图；

图4示出了根据本公开内容的一个实施例的图像标记区中的菱形标记的边界的示意图；

图5示出了根据本公开内容的一个实施例的识别菱形标记的外边界线的方示例方法；

图6示出了根据本公开内容的一个实施例的焦距估计装置；

图7示出了根据本公开内容的一个实施例的焦距估计装置；以及

图8示出了根据本公开内容的一个实施例的信息处理设备的示例性框图。

具体实施方式

在下文中将结合附图对本公开内容的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施例的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中可以做出很多特定于实施例的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施例的不同而有所改变。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开内容，在附图中仅仅示出了与根据本公开内容的方案密切相关的装置结构，而省略了与本公开内容关系不大的其他细节。

应理解的是，本公开内容并不会由于如下参照附图的描述而只限于所描述的实施形式。在本文中，在可行的情况下，实施例可以相互组合、不同实施例之间的特征替换或借用、在一个实施例中省略一个或多个特征。

用于执行本公开内容的实施例的各方面的操作的计算机程序代码可以以一种或多种程序设计语言的任何组合来编写，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++之类，还包括常规的过程式程序设计语言，诸如"C"程序设计语言或类似的程序设计语言。

本公开内容的方法可以通过具有相应功能配置的电路来实现。所述电路包括用于处理器的电路。

本公开内容的一个方面提供了一种用于计算机视觉的焦距估计方法。更具体的，该焦距估计方法可以用于车辆的自动驾驶、车辆的辅助驾驶、真实空间中的实体的尺寸估计、交通状况监视。例如，利用已知的焦距，就可以用交通场景中目标在图中的坐标估算出本车与前车之间的距离。

这里的“焦距”是指用于拍摄图像的摄像装置的镜头具有焦距f。

一般来说，焦距估计可以基于小孔相机模型。基于小孔相机模型，根据所选择的图像和物理测量值，可以构思出各种焦距估计方法。

发明人注意到：车辆行驶的道路上(即，路面上)存在诸如菱形人行横道预告标线、虚线车道分界线段等的道路标记，并且道路标记的尺寸符合相关标准，即，道路标记的尺寸是已知的，并且具有标准的统一尺寸。基于此，经过分析和推研，发明人构思了本公开内容的技术方案：利用道路标记来估计焦距。具体而言，以小孔相机模型为基础，利用相似三角形原理实现摄像装置的焦距的估计。本公开内容的焦距估计方案例如可以：无需摄像装置的其他参数，仅利用两个物理长度来估计焦距：一个是垂直于道路方向的长度，另一个是平行于道路方向的长度。这两个物理长度与道路标记有关，从而都可以从与道路标记的尺寸有关的标准中获得或简单计算得到。一方面，这可以减少焦距估计中需要检测的参数的数量，降低焦距估计的复杂程度，提高了估计速度。

下面参照图1对本公开内容的用于计算机视觉的焦距估计方法进行示例性说明。

图1示出了根据本公开内容的一个实施例的焦距估计方法100的示例性流程图。

在步骤S101，确定真实空间中的道路上的车辆配备的摄像装置拍摄的图像Im中的与道路的真实标记区对应的图像标记区。摄像装置例如为摄像机。道路的真实标记区为至少包括部分道路标记的区域，例如，包括部分道路标记、一个道路标记、多个道路标记、非整数数量的道路标记的区域。道路标记例如为：菱形人行横道预告标线(也简称为“菱形标记”)。图像标记区例如为图像Im中的包含道路标记的矩形区。例如，通过能够识别图像中的预定道路标记的神经网络模型(也称为“交通目标提取模型”)从图像Im中提取与道路的真实标记区对应的图像标记区来确定图像标记区。该神经网络模型可以包括特征提取部分和分类部分。用于训练该神经网络模型的数据例如是标出交通场景中各目标的边框及类别的交通图像样本。图像标记区例如为图像Im中的单个菱形标记的外接框限定的区域。对于摄像装置拍摄的图像中不包括道路标记或包括的道路标记无法用于焦距估计的情况，可以舍弃这样的图像。

参考图2来说明图像标记区。图2示出了根据本公开内容的一个实施例的图像标记区200的示意图，其中，为了方便描述，图中添加了多个符号以标识各点：消失点O，具有顶点T

此外，还参考图3来说明图像标记区。图3示出了根据本公开内容的一个实施例的图像标记区300的示意图，其中，为了方便描述，图中添加了多个符号以标识各点：消失点O，对应虚线车道分界线的端点的点T

本公开内容中的道路标记不限于虚线车道分界线和菱形人行横道预告标线。

在步骤S103，基于图像标记区确定图像Im中的虚拟梯形。虚拟梯形具有上底、下底及两条腰。这里的“虚拟”是指：从图像Im中提取图像标记区中并不存在由道路标记线构成的梯形，而是为了估计焦距人为勾画出的梯形。例如，在图2所示的图像标记区200中，该虚拟梯形可以为：梯形T

在步骤S105，基于虚拟梯形的上底尺寸lu、虚拟梯形的下底尺寸l

例如，当虚拟梯形为图2中的梯形T

由等式(1)和(2)可得等式(3)。

由等式(3)可得等式(4)。

由L＝D

根据与道路标记有关的标准，可以确定第一路面标记尺寸L及第二路面标记尺寸W。即，L和W是已知的。虚拟梯形的上底尺寸w

当将虚拟梯形选择为图2中的梯形T

当将虚拟梯形选择为图3中的梯形T

参考图2可知，当将用于估计焦距的道路标记选择为菱形人行横道预告标线时，真实标记区包括至少部分菱形人行横道预告标线，例如真实标记区未包括与点T

参考图2可知，当将用于估计焦距的道路标记选择为菱形人行横道预告标线时，虚拟梯形与选定菱形人行横道预告标线的图案的外轮廓可以具有两个、三个或四个公共点。

在一个实施例中，方法100还包括基于图像标记区确定针对道路的消失点。该消失点可以是拍摄图像Im处的道路所对应的消失点。消失点可用于确定虚拟梯形的顶点。消失点的确定可以包括两部分：一是道路边界的检测，可以用立体视觉、色彩检测或霍夫(Hough)变换等方法实现；二是找到消失点，一个示例性实现方式是通过利用纹理特征进行投票来找到消失点。确定图像中的消失点是常规技术，在此不再赘述。

下面对如何优化选择道路标记进行描述。如图2、3中所示，图像Im中可能包括多个可选的虚拟梯形。当确定图像标记区包含对应多个真实路面标记的多个候选路面标记图案时，选择与多个真实路面标记中离摄像装置最近的真实路面标记对应的候选路面标记图案来确定虚拟梯形。即，优选使用离摄像装置最近的道路标记来估计焦距。这可以参考以下推导来被确认。

参考等式(4)，通过求偏微分，可得等式(6)。

令

上式中的

例如，在图2中，优选使用梯形T

从应用的角度来说，通常摄像装置(例如，行车记录仪)更关注较近的目标，因而一般拍到的近处的目标更清晰。所以，选用近的道路标记图案能在更大程度上保证道路标记图案的顶点被准确提取，从而提高焦距估计的准确度。

下面对确定虚拟梯形作进一步的描述。国标中通常规定了道路标记外边界包围的区域的尺寸。因而，在利用路面标记估计焦距时，从检测出的直线条带图案中找到图案的外边界(即，外边缘)是优选的。确定外边界后，可以确定线段的顶点，从而基于顶点确定虚拟梯形。在本公开内容分一个实施例中，估计摄像装置的焦距包括：识别菱形人行横道预告标线的外边缘。下面以菱形标记为例示例性说明检测外边界的方法。

图4示出了根据本公开内容的一个实施例的图像标记区中的菱形标记的边界的示意图，其中，示出了由直线检测确定的8条直线l

在一个示例中，可以根据8条直线的8个参数对(ρ,θ)识别出8条线中的构成外边界的4条直线l

本领域技术人员能够理解，本公开内容的检测外边界的方法不限于上述示例性方式。

本公开内容还提供一种用于计算机视觉的焦距估计装置。下面参照图6进行示例性描述。图6示出了根据本公开内容的一个实施例的焦距估计装置600。装置600包括：第一确定单元601、第二确定单元603及估计单元605。第一确定单元601被配置成：确定真实空间中的道路上的车辆配备的摄像装置拍摄的图像中的与道路的真实标记区对应的图像标记区。第二确定单元603被配置成：基于图像标记区确定图像中的虚拟梯形。估计单元605配配置成：基于虚拟梯形的上底尺寸、虚拟梯形的下底尺寸、第一路面标记尺寸及第二路面标记尺寸估计摄像装置的焦距；其中，真实标记区包括至少部分真实预定路面标记；第一路面标记尺寸为真实空间中的与虚拟梯形对应的虚拟图形在第一方向上的长度；第二路面标记尺寸为虚拟图形在与第一方向垂直的第二方向上的长度；并且第一方向为道路在拍摄图像的位置处的延伸方向。装置600与方法100存在对应关系。装置600的进一步配置情况可参考本公开内容对焦距估计方法的描述。

本公开内容还提供一种焦距估计装置。下面参照图7进行示例性描述。图7示出了根据本公开内容的一个实施例的焦距估计装置700，其可以用于估计用于计算机视觉的摄像装置的焦距。焦距估计装置700包括：存储器701，其上存储有指令；以及一个或更多个处理器703，一个或更多个处理器703能够与存储器通信以执行从存储器获取的指令，并且指令使一个或更多个处理器：确定真实空间中的道路上的车辆配备的摄像装置拍摄的图像中的与道路的真实标记区对应的图像标记区；基于图像标记区确定图像中的虚拟梯形；以及基于虚拟梯形的上底尺寸、虚拟梯形的下底尺寸、第一路面标记尺寸及第二路面标记尺寸估计摄像装置的焦距；其中，真实标记区包括至少部分真实预定路面标记；第一路面标记尺寸为真实空间中的与虚拟梯形对应的虚拟图形在第一方向上的长度；第二路面标记尺寸为虚拟图形在与第一方向垂直的第二方向上的长度；并且第一方向为道路在拍摄图像的位置处的延伸方向。该装置与本公开内容的焦距估计方法对应。该装置的进一步配置情况可参考本公开内容对焦距估计方法的描述。

本公开内容的一个方面提供一种其上存储有程序的计算机可读存储介质。该程序使运行程序的计算机：确定真实空间中的道路上的车辆配备的摄像装置拍摄的图像中的与道路的真实标记区对应的图像标记区；基于图像标记区确定图像中的虚拟梯形；以及基于虚拟梯形的上底尺寸、虚拟梯形的下底尺寸、第一路面标记尺寸及第二路面标记尺寸估计摄像装置的焦距；其中，真实标记区包括至少部分真实预定路面标记；第一路面标记尺寸为真实空间中的与虚拟梯形对应的虚拟图形在第一方向上的长度；第二路面标记尺寸为虚拟图形在与第一方向垂直的第二方向上的长度；并且第一方向为道路在拍摄图像的位置处的延伸方向。该程序的更多配置细节可参考本公开内容对焦距估计方法的描述。

根据本公开内容一个方面，还提供一种信息处理设备。

图8是根据本公开内容的一个实施例的信息处理设备800的示例性框图。在图8中，中央处理单元(CPU)801根据存储在只读存储器(ROM)802中的程序或从存储部分808加载到随机存取存储器(RAM)803的程序来进行各种处理。在RAM 803中，也根据需要来存储在CPU801执行各种处理时所需的数据等。

CPU 801、ROM 802以及RAM 803经由总线804彼此连接。输入/输出接口805也连接至总线804。

下述部件连接至输入/输出接口805：包括软键盘等的输入部分806；包括诸如液晶显示器(LCD)等的显示器以及扬声器等的输出部分807；诸如硬盘的存储部分808；以及包括网络接口卡如LAN卡、调制解调器等的通信部分809。通信部分809经由诸如英特网、局域网、移动网络的网络或其组合执行通信处理。

驱动器810根据需要也连接至输入/输出接口805。可拆卸介质811如半导体存储器等根据需要安装在驱动器810上，使得从其中读取的程序根据需要被安装到存储部分808。

CPU 801可以运行程序，该程序能够实现本公开内容的焦距估计方法所具有的功能。

本公开内容的方案包括利用路面上的道路标记的标准尺寸估计摄像装置的焦距。这有利于：减少焦距估计中需要检测的参数的数量，降低焦距估计的复杂程度，提高估计速度。

如上所述，根据本公开内容，提供了估计摄像装置的焦距的原理。需要注意的是，本公开内容的方案的效果不一定限于上述效果，并且除了前面段落中描述的效果之外或代替前面段落中描述的效果，可以取得本说明书中示出的效果中的任何效果或者可以从本说明书中理解的其他效果。

尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改(包括在行的情况下，各实施例之间特征的组合或替换)、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

此外，本发明的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

本公开内容包括但不限于以下方案。

1.一种用于计算机视觉的焦距估计方法，其特征在于，包括：

确定真实空间中的道路上的车辆配备的摄像装置拍摄的图像中的与所述道路的真实标记区对应的图像标记区；

基于所述图像标记区确定所述图像中的虚拟梯形；以及

基于所述虚拟梯形的上底尺寸、所述虚拟梯形的下底尺寸、第一路面标记尺寸及第二路面标记尺寸估计所述摄像装置的焦距；

其中，所述真实标记区包括至少部分真实预定路面标记；

所述第一路面标记尺寸为所述真实空间中的与所述虚拟梯形对应的虚拟图形在第一方向上的长度；

所述第二路面标记尺寸为所述虚拟图形在与所述第一方向垂直的第二方向上的长度；并且

所述第一方向为所述道路在拍摄所述图像的位置处的延伸方向。

2.根据附记1所述的焦距估计方法，其中，所述真实标记区包括至少部分菱形人行横道预告标线。

3.根据附记2所述的焦距估计方法，其中，估计所述摄像装置的焦距包括：识别菱形人行横道预告标线的外边缘。

4.根据附记2所述的焦距估计方法，其中，在所述图像标记区中，所述虚拟梯形与选定菱形人行横道预告标线的图案的外轮廓具有两个、三个或四个公共点。

5.根据附记1所述的焦距估计方法，其中，所述真实标记区包括一个菱形人行横道预告标线。

6.根据附记1所述的焦距估计方法，其中，所述真实标记区包括多个菱形人行横道预告标线。

7.根据附记6所述的焦距估计方法，其中，基于所述真实标记区中与所述多个菱形人行横道预告标线中离所述摄像装置最近的菱形人行横道预告标线对应的标记图案确定所述图像中的虚拟梯形。

8.根据附记1所述的焦距估计方法，其中，所述真实标记区包括至少一对虚线车道分界线段。

9.根据附记1所述的焦距估计方法，其中，所述真实标记区包括两对部分虚线车道分界线段。

10.根据附记1所述的焦距估计方法，其中，基于所述图像标记区确定所述图像中的虚拟梯形包括：当确定所述图像标记区包含对应多个真实路面标记的多个候选路面标记图案时，选择与所述多个真实路面标记中离所述摄像装置最近的真实路面标记对应的候选路面标记图案来确定所述虚拟梯形。

11.根据附记1所述的焦距估计方法，其中，所述虚拟图形包括矩形。

12.根据附记1所述的焦距估计方法，还包括：基于所述图像标记区确定针对所述道路的消失点。

13.一种用于计算机视觉的焦距估计装置，其特征在于，包括：

存储器，其上存储有指令；以及

一个或更多个处理器，所述一个或更多个处理器能够与所述存储器通信以执行从所述存储器获取的所述指令，并且所述指令使所述一个或更多个处理器：

确定真实空间中的道路上的车辆配备的摄像装置拍摄的图像中的与所述道路的真实标记区对应的图像标记区；

基于所述图像标记区确定所述图像中的虚拟梯形；以及

基于所述虚拟梯形的上底尺寸、所述虚拟梯形的下底尺寸、第一路面标记尺寸及第二路面标记尺寸估计所述摄像装置的焦距；

其中，所述真实标记区包括至少部分真实预定路面标记；

所述第一路面标记尺寸为所述真实空间中的与所述虚拟梯形对应的虚拟图形在第一方向上的长度；

所述第二路面标记尺寸为所述虚拟图形在与所述第一方向垂直的第二方向上的长度；并且

所述第一方向为所述道路在拍摄所述图像的位置处的延伸方向。

14.一种其上存储有程序的计算机可读存储介质，其特征在于，所述程序使运行该程序的计算机：

确定真实空间中的道路上的车辆配备的摄像装置拍摄的图像中的与所述道路的真实标记区对应的图像标记区；

基于所述图像标记区确定所述图像中的虚拟梯形；以及

基于所述虚拟梯形的上底尺寸、所述虚拟梯形的下底尺寸、第一路面标记尺寸及第二路面标记尺寸估计所述摄像装置的焦距；

其中，所述真实标记区包括至少部分真实预定路面标记；

所述第一路面标记尺寸为所述真实空间中的与所述虚拟梯形对应的虚拟图形在第一方向上的长度；

所述第二路面标记尺寸为所述虚拟图形在与所述第一方向垂直的第二方向上的长度；并且

所述第一方向为所述道路在拍摄所述图像的位置处的延伸方向。