路标位置估计设备和方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质

摘要

公开了由路标位置估计设备执行的路标位置估计方法，该方法包括：用于在由车辆的图像捕获装置捕获并且包括沿着行驶路线的各种路标的图像中的路标中识别第一类型路标和第二类型路标的步骤；用于基于其中已经识别了第一类型路标的多个图像和包括车辆已经行驶的区域的数字地图来估计第一类型路标的三维位置的步骤；以及用于估计第二类型路标在包括第一类型路标的三维位置的虚拟平面上的位置的步骤。

说明书

技术领域

本公开内容涉及用于估计驾驶路线上各种路标的位置的设备、其方法以及存储被编程为执行该方法的计算机程序的计算机可读存储介质。作为参考，本申请要求于2019年1月28日提交的韩国专利申请第10-2019-0010528号的优先权。优先权所基于的申请的全部内容通过引用结合到本文中。

背景技术

一般来说，车辆是指使用化石燃料、电力等作为动力源在道路或轨道上驾驶的运输机械。

根据技术的发展，车辆已经被开发为向驾驶员提供各种功能。特别地，根据车辆电气化的趋势，具有车辆导航装备的车辆已经广泛普及。车辆导航装备可以以嵌入在车辆中的形式来提供，或者可以以单独产品的形式安装在车辆上。

另外，车辆导航装备可以以应用程序的形式安装在诸如具有高级计算功能的智能手机的各种信息处理装置中。

车辆导航装备的主要功能包括：在数字地图上显示到目的地的路线，通过语音提供路线信息，在数字地图上显示用于安全驾驶的各种信息，或者通过语音提供各种信息。例如，用于安全驾驶的信息包括关于驾驶路线的弯曲度的指导、关于根据《交通法》的限速的指导以及关于限速执法的位置的指导。在关于限速执法的位置的指导的情况下，车辆导航装备通过预先提供关于超速摄像机的安装位置或者点对点速度执法的位置的信息以使得驾驶员能够识别它，来降低由驾驶速度的突然变化引起的事故的风险。

另一方面，超速摄像机是用于捕获以超速的速度行驶的车辆的装备，并且具有通过诱导驾驶员不要超速来降低事故风险的效果。超速摄像机通常安装在这样的结构上：该结构安装在车辆的驾驶路线例如道路上。

然而，由于这样的超速摄像机的购买和操作费用昂贵，因此改变安装位置而不是增加道路上的安装数量，以提高超速防止效果。

因此，为了使车辆导航装备能够准确地提供用于安全驾驶的包括关于限速执法的位置的指导的信息，有必要始终将关于限速执法的位置(包括超速摄像机的安装位置)的信息保持在最新。

发明内容

作为降低将关于车辆驾驶路线上的限速执法的位置的信息保持在最新的维护成本的努力以及提高关于超速摄像机的安装位置的信息的可靠性的努力的一部分，可以考虑将图像捕获与通过图像分析的机器学习方法相结合的方法。可以通过使用安装在车辆上的图像捕获装置来获得包括超速摄像机的图像，并且然后可以通过使用通过图像分析的机器学习方法来识别图像上的超速摄像机，从而估计包括超速摄像机的图像被捕获的位置作为超速摄像机的安装位置。

然而，与诸如限速标志或超速警告标志的交通标志不同，超速摄像机具有低的图像识别度，因此通过图像分析的机器学习方法可能无法可靠地识别图像内的超速摄像机，因此可能无法保证关于超速摄像机的安装位置的信息的可靠性。

根据本公开内容的第一方面，提供了一种由路标位置估计设备执行的路标位置估计方法。该方法包括：从由车辆的图像捕获装置捕获的图像中识别第一类型路标和第二类型路标，该图像包括驾驶路线上的各种路标；基于在其上识别第一类型路标的多个图像和包括车辆的驾驶区域的数字地图来估计所识别的第一类型路标的三维位置；以及估计所识别的第二类型路标在包括第一类型路标的三维位置的虚拟平面上的位置。

根据本公开内容的第二方面，提供了一种存储计算机程序的非暂态计算机可读存储介质，其中，该计算机程序包括指令，该指令在由处理器执行时使得处理器执行路标位置估计方法。

根据本公开内容的第三方面，提供了一种路标位置估计设备。路标位置估计设备包括：图像处理单元，被配置成从由车辆的图像捕获装置捕获的图像中识别第一类型路标和第二类型路标，该图像包括驾驶路线上的各种路标；存储单元，被配置成存储包括车辆的驾驶区域的数字地图；以及控制单元，被配置成基于在其上识别第一类型路标的多个图像和数字地图来估计所识别的第一类型路标的三维位置，并且估计所识别的第二类型路标在包括第一类型路标的三维位置的虚拟平面上的位置。

根据实施方式，提供了用于可靠地估计安装在车辆驾驶路线上的路标(例如超速摄像机)的位置的设备和方法，以及存储被编程为执行路标位置估计方法的计算机程序的计算机可读存储介质。

根据实施方式，首先，估计在车辆驾驶期间捕获的图像中包括的各种路标中具有相对高的图像识别度的路标的三维位置。此后，基于估计的三维位置来估计具有相对低的图像识别度的路标的位置。例如，当估计驾驶路线上的路标中的超速摄像机的位置时，可以预先估计诸如包括数字的限速标志或包括字母的超速警告标志的交通标志的三维位置，所述交通标志安装在安装有该超速摄像机的同一结构上。此后，可以基于交通标志的三维位置来估计超速摄像机的位置。

因此，可以快速估计具有相对低的图像识别度的路标的位置信息，并且估计的位置信息的可靠性可以被提高得与具有相对高的图像识别度的路标的估计的位置信息的可靠性一样高。

如果本公开内容的实施方式用于将车辆导航装备上的关于车辆驾驶路线上的限速执法的位置的信息保持在最新状态的目的，则可以降低维护成本，并且可以提高关于超速摄像机的安装位置的信息的可靠性。

附图说明

图1示出了示出根据本公开内容的实施方式的路标位置估计系统的配置的图。

图2示出了示出根据本公开内容的另一实施方式的路标位置估计系统的配置的图。

图3示出了示出根据本公开内容的实施方式的路标位置估计方法的流程图。

图4示出了安装在车辆驾驶路线上的第一类型路标和第二类型路标的图。

图5示出了示出根据本公开内容的实施方式的估计第一类型路标的三维位置的方法的流程图。

图6示出了示出根据本公开内容的实施方式的车辆和图像捕获装置各自的坐标系的图。

图7示出了示出根据本公开内容的实施方式的获取图像捕获装置的初始位置信息的方法的流程图。

图8示出了示出根据本公开内容的实施方式的路标匹配方法的图。

图9示出了示出根据本公开内容的实施方式的基于图像捕获装置的初始位置信息来获取图像捕获装置的位置信息的方法的流程图。

图10示出了示出根据本公开内容的实施方式的通过使用两幅图像来估计第一类型路标的三维位置的方法的图。

图11示出了示出根据本公开内容的实施方式的第一类型路标的估计三维位置的准确度的图。

图12示出了示出根据本公开内容的实施方式的估计第二类型路标的位置的方法的流程图。

图13示出了示出根据本公开内容的实施方式的估计第二类型路标的三维位置的原理的图。

图14示出了示出根据本公开内容的实施方式的估计第二类型路标的三维位置的原理的图。

图15示出了示出根据本公开内容的实施方式的估计第二类型路标的三维位置的原理的图。

图16示出了示出根据本公开内容的另一实施方式的路标位置估计方法的流程图。

图17示出了示出根据本公开内容的另一实施方式的通过路标位置估计方法来估计第二类型路标的三维位置的原理的图。

具体实施方式

根据结合附图进行的以下描述，将清楚地理解实施方式的优点和特征以及实现这些优点和特征的方法。然而，实施方式不限于所描述的那些实施方式，因为实施方式可以以各种形式来实现。应当注意，提供本实施方式是为了进行全面公开，并且也是为了使本领域技术人员了解实施方式的全部范围。因此，仅由所附权利要求的范围限定实施方式。

在描述本公开内容的实施方式时，如果确定相关已知部件或功能的详细描述不必要地模糊了本公开内容的主旨，则将省略其详细描述。此外，下面要描述的术语是考虑本公开内容的实施方式的功能而定义的，并且可以根据用户或操作者的意图或实践而变化。因此，可以基于整个说明书的内容对其做出定义。

在下文中，将参照图1至图16描述根据本公开内容的实施方式的路标位置估计设备和路标位置估计方法。

图1示出了示出根据本公开内容的实施方式的路标位置估计系统的配置的图，以及图2示出了示出根据本公开内容的另一实施方式的路标位置估计系统的配置的图。

在根据实施方式的路标位置估计系统中，如图1所示，路标位置估计设备100可以安装在车辆V上，并且可以与安装在车辆V上的图像捕获装置10和车辆导航装备20配合工作。图像捕获装置10、车辆导航装备20和路标位置估计设备100中的一个或更多个可以一体地实现。

在根据另一实施方式的路标位置估计系统中，如图2所示，图像捕获装置10和车辆导航装备20可以安装在车辆V上，并且支持图像捕获装置10和车辆导航装备20与路标位置估计设备200配合工作的车辆终端设备100a可以安装在车辆V上。图像捕获装置10、车辆导航装备20和车辆终端设备100a中的一个或更多个可以一体地实现。例如，车辆终端设备100a可以包括诸如微处理器的计算装置。虽然在图2中示出了一个车辆V，但是可以存在多个车辆V，图像捕获装置10、车辆导航装备20和车辆终端设备100a安装在这些车辆V上，并且路标位置估计设备200可以执行与安装在多个车辆V上的多个车辆终端设备100a配合工作的通信。

车辆V可以指示能够在沿着道路或轨道驾驶时将人、物体或动物从一个位置移动到另一位置的运输工具。根据实施方式的车辆V可以包括具有三个车轮的车辆或具有四个车轮的车辆、具有两个车轮的车辆例如摩托车、建筑机械、电动自行车、自行车以及在轨道上行进的火车。

安装在车辆V上的图像捕获装置10或车辆导航装备20可以包括全球定位系统(GPS)模块，并且因此可以通过GPS模块从GPS卫星接收GPS信号，并且可以基于所接收的GPS信号获得位置信息。

图像捕获装置10可以是信息处理装置例如包括摄像机的智能手机或用于车辆的包括摄像机的仪表板摄像机。可替选地，图像捕获装置10可以是安装在车辆V上用于路标位置估计设备100或200的专用摄像机。在图像捕获装置10中，可以提供多个摄像机以面向车辆V的前部、侧面和/或后部，并且多个摄像机可以在各自相应的方向上捕获图像。捕获的图像可以用作用于通过图像处理过程获得关于各种路标例如交通车道和交通标志以及车辆V周围的对象的信息的基础。

包括车辆V的驾驶区域的数字地图可以预先存储在车辆导航装备20中，并且车辆导航装备20可以基于数字地图和GPS信号提供导航服务，例如，根据车辆V的行驶的路线信息或用于安全驾驶的各种信息。本文中，数字地图可以指示这样的地图：针对对车辆V的安全和精确控制，具有高准确度，并且包括关于驾驶路线的高度、坡度、曲率等以及平面位置的信息。另外，数字地图可以指示还包括关于道路上的各种路标的信息(例如，路标标识符等)的地图，所述各种路标例如交通车道、交通标志、超速摄像机、交通灯和护栏。

参照图1，路标位置估计设备100可以包括图像处理单元110、存储单元120、通信单元130和控制单元140，以便估计车辆V的驾驶路线上的各种路标的位置。

路标位置估计设备100的图像处理单元110可以从由车辆V的图像捕获装置10捕获的图像中识别第一类型路标和第二类型路标，所述图像包括驾驶路线上的各种路标。例如，第一类型路标可以是诸如超速警告标志的包括字母的交通标志或诸如限速标志的包括数字的交通标志，以及第二类型路标可以是不包括任何字母或任何数字的超速摄像机。

包括车辆V的驾驶区域的数字地图可以预先存储在路标位置估计设备100的存储单元120中。数字地图可以指示包括关于驾驶路线的高度、坡度、曲率等以及平面位置的信息的地图。另外，数字地图可以指示还包括关于各种路标的信息(例如，路标标识符等)的地图，所述各种路标例如交通车道、交通标志、超速摄像机、交通灯和护栏。存储单元120可以存储使处理器执行根据各种实施方式的路标位置估计方法的计算机程序。例如，存储单元120可以指示计算机可读介质(例如，诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学介质、诸如软式光盘的磁光介质)以及专门被配置成存储和执行程序命令的硬件装置(例如闪存)。

路标位置估计设备100的通信单元130可以通过在控制单元140的控制下通过各种公知的通信方法与图像捕获装置10和车辆导航装备20进行通信来发送和接收信息。通信单元130可以通过有线信道或无线信道与图像捕获装置10和车辆导航装备20进行通信。例如，通信单元130可以通过采用公知的通信方法来执行通信，所述通信方法例如近场通信(NFC)、无线LAN、Wi-Fi、蓝牙、紫蜂(Zigbee)、Wi-Fi直接(WFD)、超宽带(UWB)、红外数据协会(IrDA)、蓝牙低能量(BLE)、码分多址(CDMA)、全球移动通信系统(GSM)、宽带CDMA(W-CDMA)和长期演进(LTE)等。通信单元130的通信方法不限于上述实施方式。

路标位置估计设备100的控制单元140可以基于存储在存储单元120中的数字地图和由图像捕获装置10捕获的多个图像来估计路标中的第一类型路标的三维位置，并且然后可以估计路标中的第二类型路标在包括第一类型路标的三维位置的虚拟平面上的位置。控制单元140可以控制图像处理单元110、存储单元120和通信单元130，并且可以执行根据本公开内容的各种实施方式的路标位置估计方法，这将在下面参照图3、图5、图7、图9和图12进行描述。例如，控制单元140可以包括诸如微处理器的计算装置。

参照图2，路标位置估计设备200可以包括通信单元210、收集单元220、存储单元230和控制单元240，以便估计车辆V的驾驶路线上的各种路标的位置。

路标位置估计设备200的通信单元210可以通过在控制单元240的控制下通过各种公知的通信方法与车辆终端设备100a执行通信来发送和接收信息。通信单元210可以通过有线信道或无线信道与车辆终端设备100a进行通信。例如，通信单元210可以通过采用公知的通信方法来执行通信，所述通信方法例如NFC、无线LAN、Wi-Fi、蓝牙、紫蜂(Zigbee)、WFD、UWB、IrDA、BLE、CDMA、GSM、W-CDMA、LTE等。通信单元210的通信方法不限于上述实施方式。

路标位置估计设备200的收集单元220可以在控制单元240的控制下通过通信单元210从多个车辆V的车辆终端设备100a收集各种数据，并且可以向控制单元240提供各种数据。例如，从收集单元220提供给控制单元240的各种数据不仅可以包括由图像捕获装置10捕获的图像，还可以包括车辆导航装备20的GPS信号或车辆V的位置信息。可替选地，由收集单元220提供给控制单元240的各种数据可以包括由车辆终端设备100a针对根据另一实施方式的路标位置估计方法计算的数据。例如，收集单元220可以包括诸如微处理器的计算装置。

包括多个车辆V的驾驶区域的数字地图可以预先存储在路标位置估计设备200的存储单元230中。数字地图可以指示包括关于驾驶路线的高度、坡度、曲率等以及平面位置的信息的地图。另外，数字地图可以指示还包括关于各种路标的信息(例如，路标标识符等)的地图，所述各种路标例如交通车道、交通标志、超速摄像机、交通灯和护栏。存储单元230可以存储使处理器执行根据各种实施方式的路标位置估计方法的计算机程序。例如，存储单元230可以指示计算机可读介质(例如，诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学介质、诸如软式光盘的磁光介质)以及专门被配置成存储和执行程序命令的硬件装置(例如闪存)。

路标位置估计设备200的控制单元240在由安装在多个车辆V中的每一个车辆上的图像捕获装置10捕获的图像上识别第一类型路标和第二类型路标，所述图像包括驾驶路线上的各种路标。另外，控制单元240基于包括多个车辆V的驾驶区域的数字地图和由安装在多个车辆V上的图像捕获装置10捕获的图像来估计第一类型路标的三维位置。此外，控制单元140可以基于——根据由安装在多个车辆V上的图像捕获装置10捕获的图像分别估计的——第一类型路标的三维位置来确定第一类型路标的最终三维位置。此外，控制单元240获得包括第一类型路标的最终三维位置的虚拟平面与三维方向向量的交点作为候选组，所述三维方向向量从安装在多个车辆V上的每个图像捕获装置10的坐标系的原点经过由图像捕获装置10的每一个捕获的图像上被识别为第二类型路标的坐标。另外，控制单元240可以基于获得的候选组来确定第二类型路标的最终位置。对于这些各种操作，控制单元240可以包括诸如微处理器的计算装置。例如，第一类型路标可以是诸如超速警告标志的包括字母的交通标志或诸如限速标志的包括数字的交通标志，以及第二类型路标可以是不包括任何字母或任何数字的超速摄像机。

控制单元240可以控制通信单元210、收集单元220和存储单元230，并且可以执行根据本公开内容的各种实施方式的路标位置估计方法，这将在下面参照图3、图5、图7、图9、图12和图15进行描述。

另外，车辆终端设备100a可以通过执行由路标位置估计设备100执行的任务以及支持路标位置估计设备200与图像捕获装置10和车辆导航装备20配合工作的功能来分担路标位置估计设备200的任务。例如，车辆终端设备100a可以在由安装有车辆终端设备100a的车辆V的图像捕获装置10捕获的图像上识别第一类型路标和第二类型路标，所述图像包括驾驶路线上的各种路标。此外，车辆终端设备100a可以基于预先存储的数字地图和由图像捕获装置10捕获的多个图像来估计路标中的第一类型路标的三维位置。此外，车辆终端设备100a可以向路标位置估计设备200发送关于第一类型路标的估计三维位置的信息。

首先，将参照图1至图15描述根据实施方式的可以由路标位置估计设备100或200执行的路标位置估计方法。

参照图3，车辆V的图像捕获装置10捕获包括车辆V的驾驶路线上的各种路标的图像，并且将捕获的图像发送至路标位置估计设备100或200。然后，在步骤S310中，路标位置估计设备100或200识别由图像捕获装置10捕获的图像上包括的路标中的第一类型路标和第二类型路标。例如，路标位置估计设备100或200可以通过使用公知的通过图像分析的机器学习方法来识别第一类型路标和第二类型路标。

参照图4，诸如限速标志的包括数字的交通标志401、诸如超速警告标志的包括字母的交通标志402以及不包括任何字母或任何数字的超速摄像机403可以一起安装在车辆V的驾驶路线上的单个结构上。在这些路标中，具有由其中的数字或字母引起的相对高的图像识别度的路标可以被分类为第一类型路标，以及不包括任何数字或任何字母的具有相对低的图像识别度的路标可以被分类为第二类型路标。

返回参照图3，路标位置估计设备100或200可以预先学习第一类型路标的图像特征信息和第二类型路标的图像特征信息。此后，路标位置估计设备100或200可以通过基于所学习的图像特征信息分析由图像捕获装置10捕获的图像来在图像上识别存在第一类型路标的像素或坐标和存在第二类型路标的像素或坐标。此时，在识别与第一类型路标相比具有相对低的图像识别度的第二类型路标时或者在识别第二类型路标的像素或坐标时可能出现识别误差。然而，由于第二类型路标的位置是基于第一类型路标的三维位置以高可靠性估计的，因此尽管出现了识别误差，但是识别误差可能不会影响第二类型路标的位置的估计。

此后，在步骤S320中，路标位置估计设备100或200通过使用在其上捕获相同的第一类型路标的多个图像来估计第一类型路标的三维位置。

图5中详细示出了其中路标位置估计设备100或200通过步骤S320估计第一类型路标的三维位置的实施方式。

参照图5，在步骤S510中，路标位置估计设备100或200确定多个图像中的每一个图像被图像捕获装置10捕获的每个位置。换句话说，分别确定捕获每个图像的图像捕获装置10的位置。例如，当图像捕获装置10捕获图像时，路标位置估计设备100或200可以通过车辆导航装备20确定位置信息作为图像捕获装置10的位置。然而，由于车辆导航装备20和图像捕获装置10可能彼此相距较远，因此可能要更准确地确定图像捕获装置10的位置。

将参照图6至图9描述路标位置估计设备100或200确定图像捕获装置10的位置的过程。

图6示出了示出根据实施方式的车辆V和图像捕获装置10各自的坐标系的图，更具体地，示出了车辆V的车辆坐标系和安装在车辆V上的摄像机C的摄像机坐标系。车辆V可以具有包括以下的车辆坐标系：作为原点的O

为此，可以在车辆V被驾驶之前执行摄像机校准。具体地，可以通过使用安装在车辆V上的摄像机C来获得用于校正的识别模式图像，并且可以通过使用所获得的识别模式图像来手动获得摄像机C安装的姿态角和安装位置。作为另一示例，当驾驶车辆V时，可以通过摄像机C识别交通车道，并且可以通过基于所识别的交通车道识别消失点的位置来获得摄像机C的姿态角。

路标位置估计设备100或200可以通过将摄像机C捕获的图像与数字地图上的路标进行匹配来估计摄像机C的位置信息。由于图像与数字地图的匹配，可以使用摄像机C的准确位置信息。然而，由于车辆V的车辆坐标系和摄像机C的摄像机坐标系可能如上所述不同地设置，因此可能要执行坐标系的转换。另外，由于在高层建筑密集集中的区域中车辆V的基于GPS的初始位置信息可能不准确，因此可能要在估计摄像机C的位置之前执行摄像机C的摄像机校准。

图7示出了示出根据实施方式的获取摄像机C的初始位置信息的方法的流程图，以及图8示出了示出根据实施方式的路标匹配方法的图。

参照图7，在步骤S610中，可以获得车辆V的基于GPS信息的初始位置信息，并且可以基于所获得的车辆V的初始位置信息获得摄像机C的初始位置。

路标位置估计设备100或200可以基于车辆V的初始位置重复获得指示车辆V的驾驶方向的X

通过以上描述，路标位置估计设备100或200可以获得指示摄像机C的初始位置的三维坐标和指示摄像机C的初始姿态角的三维坐标系的轴。

此后，在步骤S620中，路标位置估计设备100或200可以基于车辆V的初始位置信息来在数字地图上确定第一感兴趣区域。具体地，路标位置估计设备100或200可以将围绕车辆V的初始位置信息的第一半径内的区域确定为第一感兴趣区域。例如，第一半径可以是若干米或更小。

当确定第一感兴趣区域时，在步骤S630中，路标位置估计设备100或200可以通过将存在于第一感兴趣区域上的针对交通车道的第一类型路标匹配到由摄像机C捕获的图像上来获得摄像机C的初始姿态角。具体地，路标位置估计设备100或200可以根据等式1获得针对摄像机C的初始姿态角的旋转矩阵R。

[等式1]

本文中，等式1的解S*可以指示初始位置信息，该初始位置信息包括针对摄像机C的初始姿态角的旋转矩阵R和针对摄像机C的初始位置的转换矩阵T。Z

[等式2]

h(T，R，P)＝K(R×P+T)

本文中，T可以指示针对摄像机C的初始位置的转换矩阵，R可以指示针对摄像机C的初始姿态角的旋转矩阵。P可以指示数字地图上的路标的坐标。K可以指示摄像机C的用于将基于摄像机坐标系的坐标投影到由摄像机C捕获的图像上的内在参数矩阵。

为了获得等式1的解S*，路标位置估计设备100或200可以选择至少一种公知的算法，例如高斯牛顿算法或莱文伯格-马夸特算法。

图8示出了示出二维空间上包括特征点P

参照图8，在一个方向上延伸的路标(例如交通车道)的点云集合的特征点的协方差可以是在延伸方向上形成的椭圆形。基于以上描述，路标位置估计设备100或200可以通过——使用彼此最接近的特征点作为对应关系来重复计算等式1的解——来将第一类型路标匹配到图像上。图8中由粗虚线连接的特征点可以表示相互的对应关系。

当计算等式1以便将针对在一个方向上延伸的交通车道的第一类型路标匹配到图像上时，在交通车道延伸的纵向方向上误差可能较大，而在横向方向上误差可能较小。结果，针对摄像机C的初始姿态角的旋转矩阵R可以具有可靠的准确度。

另一方面，与旋转矩阵R相比，针对摄像机C的初始位置的转换矩阵T可能不准确。因此，路标位置估计设备100或200可以通过将除交通车道之外的第二路标匹配到图像上来获得针对摄像机C的初始位置的转换矩阵T。具体地，在步骤S640中，路标位置估计设备100或200可以基于车辆V的初始位置信息在数字地图上确定第二感兴趣区域。具体地，路标位置估计设备100或200可以将车辆V的初始位置信息周围的等于或大于第一半径的第二半径内的区域确定为第二感兴趣区域。可以获得摄像机C的初始位置信息中的初始姿态角，以便通过使用更宽范围内的路标来准确地获得摄像机C的初始位置。本文中，第二半径可以是几百米或更小。

此后，在步骤S650中，路标位置估计设备100或200可以通过基于摄像机C的初始姿态角将除了存在于第二感兴趣区域上的交通车道之外的第二路标匹配到图像上来获得摄像机C的初始位置。具体地，路标位置估计设备100或200可以通过将先前获得的针对摄像机C的初始姿态角的旋转矩阵R输入到等式1中来计算以获得针对摄像机C的初始位置的转换矩阵T。

此时，可以获得与针对单个摄像机C的初始姿态角的旋转矩阵R相对应的针对多个摄像机C的初始位置的转换矩阵T。

包括所获得的摄像机C的初始位置和初始姿态角的初始位置信息可以用作用于估计摄像机C的位置信息的输入值，其将被描述。

与通过单纯地使用车辆V的初始位置信息作为摄像机C的初始位置信息来估计摄像机C的位置信息的情况相比，可以提高估计摄像机C的位置信息的准确度和处理速度，因为如果遵循上述方法则摄像机C的更准确的初始位置信息被用作输入值。

在获得摄像机C的初始位置信息之后，路标位置估计设备100或200可以通过使用摄像机C的初始位置作为输入值来估计摄像机C的位置信息。图9示出了示出根据实施方式的基于摄像机C的初始位置信息获得摄像机C的位置信息的方法的流程图。在下文中，将参照图9详细描述估计摄像机C的位置信息的方法。

参照图9，在步骤S710中，路标位置估计设备100或200可以对围绕摄像机C的初始位置信息的多个候选位置信息执行采样。具体地，路标位置估计设备100或200可以将摄像机C的初始位置信息设置为平均值，以通过使用其中以预定协方差设置误差建模的高斯概率模型来执行采样。此时，高斯概率模型可以被定义为最少具有针对姿态角的三个自由度和针对位置的三个自由度的六个维度。

如果存在摄像机C的多个初始位置信息，则路标位置估计设备100或200可以根据高斯概率模型对摄像机C的每一个初始位置信息执行采样。

然后，路标位置估计设备100或200可以通过使用粒子滤波器来获得摄像机C的估计位置信息。具体地，在步骤S720中，路标位置估计设备100或200可以将关于车辆V的驾驶信息反映到多个候选位置信息中。此时，路标位置估计设备100或200可以遵循等式3。

[等式3]

本文中，矩阵[x(k)；y(k)；θ(k)]可以指示车辆V在时间k处的位置和驾驶方向。S

为此，路标位置估计设备100或200可以从车辆V接收包括车轮速度信息和横摆率信息的驾驶信息。

此后，在步骤S730中，路标位置估计设备100或200可以基于图像与数字地图上同多个候选位置信息中的每一个相对应的路标之间的匹配误差来对多个候选位置信息中的每一个赋予权重。

为此，路标位置估计设备100或200可以使用提取了路标的图像。此时，作为驾驶信息的反映的结果，可以排除脱离道路的候选位置信息或与车辆V的驾驶方向相反的道路的候选位置信息。

当从图像中提取第一类型路标和第二路标时，路标位置估计设备100或200可以将数字地图上与多个候选位置信息中的每一个相对应的路标匹配到图像上。此外，如果匹配误差被识别，则路标位置估计设备100或200可以获得对应于匹配误差的权重。这可以遵循等式4。

[等式4]

本文中，G

然后，路标位置估计设备100或200可以通过向候选位置信息分配相应的权重来反映匹配误差。

在分配权重之后，在步骤S740中，路标位置估计设备100或200可以通过使用分配了权重的多个候选位置信息来对多个候选位置信息重新执行采样。由于采样是基于分配权重的结果而重新执行的，因此多个候选位置信息可以在具有小匹配误差的候选位置信息周围聚集。

当采样完成时，在步骤S750中，路标位置估计设备100或200可以识别重新执行采样的多个候选位置信息的标准偏差是否等于或小于参考标准偏差。本文中，参考标准偏差可以指示能够通过使用多个候选位置来获得摄像机C的估计位置信息的最大标准偏差。

如果多个重新采样的候选位置信息的标准偏差等于或小于参考标准偏差，则在步骤S760中，路标位置估计设备100或200可以获得多个重新采样的候选位置信息的平均值作为摄像机C的估计位置信息。

另一方面，如果多个重新采样的候选位置信息的标准偏差大于参考标准偏差，则在步骤S770中，路标位置估计设备100或200可以将车辆V的驾驶信息反映到多个重新采样的候选位置信息中，并且然后步骤S770可以再次前进至步骤S730。

至此，已经参照图6至图9描述了路标位置估计设备100或200确定图像捕获装置10的位置的过程。上述确定图像捕获装置10的位置的过程可以由本申请人先前提交的PCT国际申请第PCT/KR2018/013252号和韩国专利申请第10-2018-0059626号支持。

返回参照图5，路标位置估计设备100或200通过步骤S510确定捕获多个图像的图像捕获装置10的位置，并且然后，在步骤S520中，基于在步骤S510中确定的图像捕获装置10的位置和多个图像来测量第一类型路标的三维位置。

图10示出了示出根据本公开内容的一个实施方式的通过使用两幅图像来估计第一类型路标的三维位置的方法的图，以及图11示出了示出根据本公开内容的实施方式的第一类型路标的估计三维位置的准确度的图。

参照图10，路标位置估计设备100或200获得从捕获第一图像I

返回参照图5，路标位置估计设备100或200可以使用至少两个图像来估计第一类型路标的三维位置。然而，路标位置估计设备100或200可以使用大量图像来估计第一路标的三维位置，从而减少测量误差。换句话说，在步骤S530中，在改变图像的同时，可以通过参照图10描述的过程来校正先前测量的第一类型路标的三维位置。

参照图11，可以分别在多个位置810、820和830处捕获真实图像，并且可以识别出根据在第一位置810处捕获的真实图像估计的第一类型路标的位置的误差范围811相对较大。然而，可以识别出通过考虑在第一位置810处的估计结果而在第二位置820处估计的第一类型路标的位置的误差范围821小于误差范围811。此外，可以识别出通过考虑在第二位置820处的估计结果而在第三位置830处估计的第一路标位置的误差范围831小于误差范围821。

另一方面，路标位置估计设备100或200可以使用等式5至等式8来根据多个图像估计第一类型路标的三维位置。

[等式5]

d＝λK

本文中，d指示从图像捕获装置10的镜头到第一类型路标的位置的三维方向向量。λ指示使d＝(a,b,c)

另外，路标位置估计设备100或200可以使用如下等式6至等式8来获得第一类型路标的三维位置P*。

[等式6]

P

[等式7]

[等式8]

本文中，(x

基于等式6估计的第一类型路标的三维位置P指示基于第一捕获位置(i＝1)表示的坐标，并且协方差是A

另一方面，如果将三维变换矩阵T应用于基于图像捕获装置10的摄像机坐标系的第一类型路标的三维位置P，则可以获得基于数字地图的坐标系的第一类型路标的三维坐标P

[等式9]

本文中，J

返回参照图3，在步骤S330中，路标位置估计设备100或200估计在步骤S310中识别的第二类型路标在虚拟平面上的位置，该虚拟平面包括在步骤S320中估计的第一类型路标的三维位置。

图12示出了根据实施方式的由路标位置估计设备100或200进行的在步骤S330中描述的估计第二类型路标的位置的详细过程。

参照图12，在步骤S910中，路标位置估计设备100或200可以计算三维方向向量与包括第一类型路标的三维位置的虚拟平面的交点作为第二类型路标的位置，所述三维方向向量从图像捕获装置10的摄像机坐标系的原点经过图像上被识别为第二类型路标的坐标。

如图13所示，路标位置估计设备100或200生成垂直于驾驶路线的平面作为虚拟平面，该虚拟平面包括：诸如限速标志的包括数字的交通标志401和诸如超速警告标志的包括字母的交通标志402的每个三维位置的坐标。另外，路标位置估计设备100或200可以计算三维方向向量901与包括第一类型路标的三维位置的虚拟平面的交点P

例如，路标位置估计设备100或200可以使用等式10和等式11来计算第二类型路标的位置。

路标位置估计设备100或200获得等式10的解，以便生成垂直于驾驶路线的包括第一类型路标的三维位置的坐标的虚拟平面。

[等式10]

ax+by+cz+d＝0

本文中，a、b、c和d是平面方程的系数，并且可以通过使用至少四个点求解联立方程(例如AX＝B的形式)来获得。通过使用交通标志401和402的三维位置的坐标(x

另外，当路标位置估计设备100或200生成垂直于驾驶路线的平面作为虚拟平面时(该虚拟平面包括：诸如限速标志的包括数字的交通标志401和诸如超速警告标志的包括字母的交通标志402的三维位置的坐标)，路标位置估计设备100或200可以通过使用交通标志401和402中的单个交通标志来生成虚拟平面。换句话说，即使存在包括数字的交通标志401和包括字母的交通标志402中的任何一个，也可以生成垂直于驾驶路线的虚拟平面。图14示出了示出在存在单个第一类型路标(例如包括数字的交通标志401)的情况下生成虚拟平面的过程的图。

参照图14，路标位置估计设备100或200通过使用摄像机C在绝对坐标系中的包括姿态角和位置的姿势，将先前获得的交通标志401的三维位置从绝对坐标系转换到摄像机坐标系中。如果获得了车辆V在绝对坐标系中的包括姿态角和位置的姿势，假设虚拟摄像机位于车辆坐标系的原点上，并且摄像机C面对的方向(或z轴Z

[等式11]

P

本文中，P

[等式12]

本文中，当在等式11中获得的P

等式13可以根据等式12获得。另外，在等式11中获得的Z

[等式13]

本文中，如果在等式13中使用在等式11中获得的Z

另外，路标位置估计设备100或200计算虚拟平面与三维方向向量P

[等式14]

P

本文中，P

返回参照图12，在步骤S920中，在改变图像捕获装置10的位置的同时，路标位置估计设备100或200可以获得关于针对一个第一类型路标计算的第二类型路标的位置的位置信息作为候选组，并且可以基于所获得的候选组来校正在步骤S910中计算的第二类型路标的位置。

图15示出了候选组(或P

图16示出了示出根据本公开内容的另一实施方式的由路标位置估计设备200执行的路标位置估计方法的流程图。

首先，在步骤S1010中，路标位置估计设备200识别由N个车辆V中的第一车辆的图像捕获装置10捕获的图像上的第一类型路标和第二类型路标中的每一个，所述图像包括驾驶路线上的各种路标。另外，在步骤S1020中，路标位置估计设备200识别由多个车辆中的第二车辆的图像捕获装置10捕获的图像上的第一类型路标和第二类型路标中的每一个，所述图像包括驾驶路线上的各种路标。以这种方式，针对由安装在N个车辆V上的图像捕获装置10捕获的每个图像来执行识别第一类型路标和第二类型路标中的每一个的处理。

此外，在步骤S1030中，路标位置估计设备200基于由多个车辆V中的第一车辆的图像捕获装置10捕获的图像来估计第一类型路标的三维位置。此后，在步骤S1040中，路标位置估计设备200基于由多个车辆V中的第二车辆的图像捕获装置10捕获的图像来估计第一类型路标的三维位置。如上所述，基于由安装在N个车辆V上的图像捕获装置10捕获的每个图像来执行估计第一类型路标的三维位置的处理。

此后，在步骤S1050中，路标位置估计设备200收集多次估计的第一类型路标的三维位置作为候选组，并且基于收集的候选组确定第一类型路标的最终三维位置。例如，路标位置估计设备200可以确定多次估计的第一类型路标的三维位置的平均值作为第一类型路标的最终三维位置。例如，由于包括数字的交通标志401和包括诸如超速警告标志的字母的交通标志402的三维位置可以表示为平均值和协方差，因此最终位置可以通过使用卡尔曼滤波器来进行更新。在这种情况下，当更新的协方差的大小小于或等于阈值并且估计的三维位置的数量大于或等于阈值时，可以确定第一类型路标的三维位置被稳定地估计。由于对图像上包括数字的交通标志401的图像分析的结果不仅提供了位置，还提供了限速信息，因此可以通过对被确定为具有相同限速的交通标志401进行聚类来估计最终的三维位置。类似地，在图像上识别的包括字母的交通标志402也可以基于识别的短语(无论是针对普通超速摄像机还是点对点超速执法)来识别，因此可以通过对具有相同警告短语的交通标志402进行聚类来估计最终的三维位置。

此后，在步骤S1060中，路标位置估计设备200生成垂直于驾驶路线的虚拟平面，该虚拟平面包括在步骤S1050中确定的第一类型路标的最终三维位置，并且确定第二类型路标在生成的虚拟平面上的最终位置。

例如，当确定第二类型路标的最终位置时，路标位置估计设备200可以基于候选组中的交点来确定第二类型路标的最终位置，所述候选组包括针对第二类型路标估计的三维位置，所述交点距经过包括数字的交通标志401和诸如超速警告标志的包括字母的交通标志402的虚拟线404在预定距离内，如图17所示。因此，可以提高所确定的第二类型路标的最终位置的可靠性。在没有上述方法的情况下，第二类型路标中不同于超速摄像机的安全摄像机可能在图像中被识别，或者超速摄像机的误识别可能包括在结果中。另外，由于难以在图像中区分超速摄像机与安全摄像机，因此当在图像中识别摄像机时，可以使用进一步识别包括数字的交通标志401或者诸如超速警告标志的包括字母的交通标志402的条件，从而去除大量噪声。

另外，如果在包括第二类型路标的估计三维位置的候选组中获得的交点的数量等于或大于预定阈值数量，则路标位置估计设备200计算交点的平均值和标准偏差。此后，如果计算的标准偏差小于或等于预定阈值偏差，则路标位置估计设备200可以确定平均值作为第二类型路标的最终位置。

根据此前描述的本公开内容的实施方式，预先估计在驾驶车辆时捕获的图像上包括的各种路标中具有相对高的图像识别度的路标的三维位置，并且然后，基于所估计的三维位置来估计具有相对低的图像识别度的路标的位置。例如，当估计驾驶路线上的路标中的超速摄像机的位置时，可以预先估计诸如包括数字的限速标志或包括字母的超速警告标志的交通标志的三维位置，所述交通标志安装在安装有超速摄像机的同一结构上。此后，可以基于交通标志的三维位置来估计超速摄像机的位置。

因此，可以快速估计具有相对较低图像识别度的路标的位置信息，并且估计的位置信息的可靠性可以被提高得与具有相对高的图像识别度的路标的估计的位置信息的可靠性一样高。

本公开内容的每个流程图可以通过计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现流程图的步骤中指定的功能的装置。这些计算机程序指令也可以存储在可以指导计算机或其他可编程数据处理设备以特定方式运行的计算机可用或计算机可读存储器中，使得存储在计算机可用或计算机可读介质中的指令可以产生包括实现流程图的框中指定的功能的指令的制品。计算机程序指令也可以被加载到计算机或其他可编程数据处理设备上，以使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，使得在计算机或其他可编程设备上执行的指令提供用于实现流程图的框中指定的功能的处理。

流程图中的每个步骤可以表示包括用于实现指定逻辑功能的一个或更多个可执行指令的模块、代码段或代码部分。还应当注意，在一些可替选实现方式中，在框中指出的功能可以不按照附图中指出的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这两个框有时可以根据所涉及的功能而按照相反的顺序执行。

以上描述仅仅是本公开内容的技术范围的示例性描述，并且本领域技术人员将理解，在不脱离本公开内容的原始特征的情况下，可以进行各种改变和修改。因此，本公开内容中公开的实施方式旨在说明而非限制本公开内容的技术范围，并且本公开内容的技术范围不受实施方式的限制。本公开内容的保护范围应当基于所附权利要求来解释，并且应当理解的是，包括在与其等同的范围内的所有技术范围都包括在本公开内容的保护范围内。

工业适用性

根据实施方式，车辆导航装备可以用于将关于车辆V的驾驶路线上的限速执法的位置的信息保持在最新状态的目的。另外，可以在同时识别具有相对低的图像识别度的对象和具有相对高的图像识别度的对象的技术领域中应用和使用该车辆导航装备。