坐标变换表创建系统和坐标变换表创建方法

摘要

提供了一种坐标变换表创建系统，利用其创建在被设定到拍摄图像的图像系统坐标和设定到不可移动物体的世界坐标系统之间的坐标变换表。该系统包括：图像系统信息获取单元，其拍摄行驶车辆，获取根据设定在拍摄图像中的图像系统坐标的图像系车辆位置，并且将其输出为基于图像的信息；世界系统信息获取单元，其获取相对于世界坐标的车辆的世界系统位置；以及坐标变换信息创建单元，其在图像系统信息和基于世界的信息的基础上，创建在图像系统坐标和世界系统坐标之间的坐标变换表。

说明书

技术领域

本发明涉及坐标变换表创建系统和坐标变换表创建方法。

背景技术

现今，已经提出了一种安全驾驶支持系统，该安全驾驶支持系统 通过使用布置在路侧的摄像装置拍摄车辆，并且在拍摄图像的基础上 检测车辆的位置和速度，以便测量交通量并且防止在能见度差的弯道 或十字路口发生碰撞。

根据安全驾驶支持系统，在从拍摄图像获取的车辆的位置和速度 的基础上，估算TTC(time-to-collision：碰撞时间)。然后，在估算结 果的基础上，执行唤起用户的注意或控制车辆的制动。相应地，有必 要优异精度地获取车辆的位置和速度。

为从拍摄图像优异精度地获取车辆的位置和速度，有必要将根据 对拍摄图像设定的坐标(在下文中，称为图像坐标)的车辆的位置转 换成根据对诸如道路等等的实空间设定的坐标(在下文中，称为世界 坐标)的车辆的位置。即，有必要在图像坐标和世界坐标之间执行坐 标变换。

因此，当新布置摄像装置，诸如监视车辆的监视摄像机等等时， 创建执行图像坐标和世界坐标之间的变换的坐标变换表。

作为用于创建坐标变换表的技术，日本专利申请公开No. 2010-236891描述了下述方法。即，由路侧摄像机(摄像装置)拍摄搭 载目标物体的车辆，并且在拍摄图像的基础上，找出根据图像坐标的 目标物体的位置。同时，通过使用GPS(全球定位系统)，找出根据 世界坐标的目标物体的位置。然后，通过比较和关联根据世界坐标的 目标物体的位置和根据图像坐标的目标物体的位置，创建转换表。

发明内容

(要由本发明解决的问题)

然而，在日本专利申请公开No.2010-236891中所述的技术具有在 诸如隧道等等的、GPS不可用的空间中布置路侧摄像机的情况下，不 可能创建坐标变换表的问题。

本发明的主要目的是提供一种坐标变换表创建系统和坐标变换表 创建方法，即使在诸如隧道的、GPS不可用的环境中，也可以优异精 度地获取图像坐标和世界坐标之间的坐标变换表。

(解决该问题的手段)

为解决这一问题，一种坐标变换表创建系统包括：基于图像的信 息获取单元，其拍摄行驶车辆，并且根据设定到拍摄图像的基于图像 的坐标，获取基于图像的车辆位置，并且将所获取的基于图像的车辆 位置输出为基于图像的信息；基于世界的信息获取单元，其根据基于 世界的坐标，获取车辆的基于世界的车辆位置，并且将所获取的基于 世界的车辆位置输出为基于世界的信息；以及坐标变换信息创建单元， 其在基于图像的信息和基于世界的信息的基础上，创建在基于图像的 信息和基于世界的信息之间的坐标变换表。

此外，一种坐标变换表创建方法包括：基于图像的信息获取过程， 其拍摄行驶车辆，并且根据设定到拍摄图像的基于图像的坐标，获取 基于图像的车辆位置，并且将所获取的基于图像的车辆位置输出为基 于图像的信息；基于世界的信息获取过程，其根据基于世界的坐标， 获取车辆的基于世界的车辆位置，并且将所获取的基于世界的车辆位 置输出为基于世界的信息；以及坐标变换信息创建过程，其在基于图 像的信息和基于世界的信息的基础上，创建在基于图像的信息和基于 世界的信息之间的坐标变换表。

(本发明的有益效果)

根据本发明，即使在诸如隧道段的GPS不可用的环境中，也可以 优异精度地获取图像坐标和世界坐标之间的坐标变换表。

附图说明

图1是示出根据本发明的坐标变换表创建系统的示意图；

图2是示出路侧摄像装置以及车载装置的框图；

图3是示出创建坐标变换表的过程的流程图；

图4A是在车辆经过判断线时，路侧拍摄的路侧拍摄图像；以及

图4B是在车辆经过判断线后时，路侧拍摄的路侧拍摄图像。

具体实施方式

在下文中，将描述根据本发明的示例性实施例。图1是示出根据 本发明的坐标变换表创建系统2的示意图。坐标变换表创建系统2包 括布置在路侧的路侧摄像装置10，以及安装在车辆30上的车载装置 20。图2是示出路侧摄像装置10和车载装置20的框图。

路侧摄像装置10包括路侧摄像机11、车辆检测单元12、基于图 像的车辆检测单元13和坐标变换表创建单元14。其中，路侧摄像机 11、车辆检测单元12和基于图像的车辆检测单元13被包括在基于图 像的信息获取单元3中，并且坐标变换表创建单元14被包括在坐标变 换信息创建单元4中。

路侧摄像机11是诸如布置在路侧的道路监视摄像机等等的摄像 机。通过路侧摄像机11，拍摄行驶车辆30，并且将拍摄图像输出到车 辆检测单元12和基于图像的车辆检测单元13，作为路侧拍摄图像。其 中，假定在道路上布置为虚线的车道区分边界线K(参见图1)。

车道区分边界线K用作用于路侧摄像装置10和车载装置20的不 可移动物体(在下文中，示为参照物)。参照物不限于车道区分边界 线。参照物可以是布置在道路上的反射板等等。因此，通过使用参照 物K，找出在图像坐标和世界坐标之间的坐标变换的参照点。

此外，路侧摄像机11拍摄变得远离路侧摄像机11的车辆的尾部 (车辆的后部)。图1和图4中的箭头指示车辆30的行驶方向。

车辆检测单元12从路侧拍摄图像提取车辆30，并且判断所提取 的车辆30是否存在于预先设定的测量区域中。通过使用无线电电波等 等的无线装置，将判断发送到基于世界的车辆检测单元22，作为区域 判断信息。其中，测量区域是指用于检测车辆30的位置的范围。在路 侧拍摄图像中的车辆的大小小的情况下(在远点拍摄的情况下)，降 低车辆位置的精度。因此，通过考虑路侧摄像机11等等的分辨率，预 先设定测量区域。

此外，车辆检测单元12判断所提取的车辆30是否接近参照物K。 在车辆30接近参照物K的情况下，车辆检测单元12将指示车辆30接 近参照物K的车辆接近信息发送到基于世界的车辆检测单元22。

如图1所示，车道区分边界线K由断续绘制的多个白线K1组成， 并且每一白线K1具有预定长度。因此，车辆30是否接近的判断取决 于哪一白线K1的位置对应于参照点的判断。然后，假定白线K1的端 点K2(K2_i，其中，i是正整数)是用于判断车辆30是否接近的参照 点。由于存在多个白线K1，因而存在多个端点K2。因此，在每一端点 K2执行车辆30是否接近的判断。

基于图像的车辆检测单元13从路侧拍摄图像获取光源单元23的 位置。由于光源单元23安装在车载装置20内，光源单元23的位置对 应于车辆的位置。其中，从路侧拍摄图像找出基于图像的车辆检测单 元13所获取的车辆的位置，因此，是基于图像坐标。

基于图像的车辆检测单元13定义车辆的位置是基于图像的车辆 位置，以及获取车辆的位置的时间是基于图像的位置获取时间。因此， 基于图像的车辆检测单元13将这两个信息输出到坐标变换表创建单元 14，作为基于图像的信息。由安装在路侧摄像机11、基于图像的车辆 检测单元13等等上的计时器(图中未示出)，测量基于图像的位置获 取时间。

坐标变换表创建单元14在从基于图像的车辆检测单元13接收的 基于图像的信息，以及从稍后所述的基于世界的车辆检测单元22接收 的基于世界的信息的基础上，创建在图像坐标和世界坐标之间的坐标 变换表。

接着，将描述车载装置20的配置。其中，车载装置20包括在基 于世界的信息获取单元5中。车载装置20包括车载摄像机21、基于世 界的车辆检测单元22和光源单元23，并且车载装置20被安装在车辆 30上。

车载摄像机21拍摄参照物K。基于世界的车辆检测单元22在车 载摄像机21拍摄的图像(车载拍摄图像)和从车辆检测单元12接收 的车辆接近信息的基础上，检测参照物K的端点K2，然后，在基于世 界的车辆位置的基础上，获取车辆相对于端点K2的位置的位置。此外， 假定获取基于世界的车辆位置的时间是基于世界的位置获取时间。将 基于世界的车辆位置和基于世界的位置获取时间发送到坐标变换表创 建单元14，作为基于世界的信息。由安装在车载摄像机21和基于世界 的车辆检测单元22上的计时器(图中未示出)测量基于世界的位置获 取时间。

此外，当基于世界的车辆检测单元22获取基于世界的信息时，基 于世界的车辆检测单元22将触发信号输出到光源单元23。一旦光源单 元23从基于世界的车辆检测单元22接收到触发信号，包括诸如LED 等等的光源的光源单元23开关灯一次。

接着，将参考图3所示的流程图，描述通过使用如上所述的坐标 变换表创建系统2，创建坐标变换表的过程。其中，为描述方便起见， 假定在隧道的内部布置路侧摄像机，示例性实施例不限于上述环境中 的使用。

步骤SA1：车辆30行驶在隧道中的道路上。路侧摄像装置10的 路侧摄像机11拍摄道路。因此，拍摄到进入拍摄区的车辆30。

步骤SA2：车辆检测单元12通过对路侧摄像机11拍摄的路侧拍 摄图像执行预定图像处理来检测车辆30，并且获取车辆30的位置。此 时所获取的车辆30的位置是根据图像坐标的位置。

作为用于检测车辆30的方法，能例示下述方法。即，预先获取不 存在车辆30的图像，作为背景图像，并且找出由路侧摄像机11拍摄 的路侧拍摄图像与背景图像之间的差异。通过找出该差异，可以提取 车辆30。计算车辆离预先设定的图像坐标的原点的位置。可以将原点 定义为在拍摄区中设定的点(例如，路侧拍摄图像的角部的点)。如 稍后所述，此时的位置用于判断车辆30是否存在于测量区域中，以及 用于判断车辆30是否接近。其中，示例性实施例不限于背景差异处理， 诸如模式匹配等等公知的方法是可行的。

步骤SA3：接着，车辆检测单元12判断所获取的车辆位置是否在 预先设定的测量区域中，并且将判断结果发送到基于世界的车辆检测 单元22，作为区域判断信息。

步骤SA4：此外，在车辆检测单元12判断车辆30存在于测量区 域中的情况下，车辆检测单元12通过根据稍后所述的过程，将均在路 侧拍摄图像内的车辆30的位置与参照物K的端点K2的位置进行比较， 判断车辆30是否接近。

例如，图1示出了车辆30变得远离端点K2_4，但接近端点k2_5 的状态。由于路侧摄像机11固定在用于道路的不可移动位置，路侧摄 像机11也处于用于端点K2的不可移动位置。因此，如果预先获取存 在于测量区域中并且以基于图像的坐标为基础的端点K2的位置，可以 判断车辆30是否接近每一端点K2。

车辆检测单元12在多个端点K2中选择最近端点K2，以及判断车 辆30是否接近该最近端点K2。例如，图1示出了车载装置20接近端 点K2_4至端点K2_7的状态，并且多个端点中最近端点是端点K2_4。 因此，车辆检测单元12判断车辆30接近端点K2_4。在车辆检测单元 12判断车辆30接近的情况下，过程进入步骤SA5，并且在车辆检测单 元12判断车辆30未接近的情况下，过程返回到步骤SA2。其中，在 车辆检测单元12判断车辆30不接近端点K2的情况下，该情形是指车 辆30移动到测量区域外。

车辆30是否接近的判断如下执行。即，以路侧拍摄图像中的白线 等等的形状，拍摄参照物K。然后，车辆检测单元12通过对路侧拍摄 图像执行提取边缘的过程和提取强亮度部分的过程，获取参照物K。 即，车辆检测单元12获取包括多个白线K1的参照物K。

图4A、4B的每一个是示出如上所述获取的参照物K以及步骤SA2 中获取的车辆30的图。其中，图中示出的虚线(判断线)L是通过参 照物K的端点K2并且垂直于参照物K的线。此外，标记X指示车辆 30内的车载装置20的位置。图4A是在车辆30正好经过判断线L时 的时间t拍摄的路侧拍摄图像，并且图4B是在车辆30经过判断线L 后的时间t+δ(δ>0)时拍摄的路侧拍摄图像。在如上所述，车辆30经 过判断线L的情况下，判断车辆30接近。判断线L的设定对应于指定 处于车辆30接近的状态中的端点K2_4至端点K2_7中的端点K2_4。

步骤SA5：在判断车辆30接近的情况下，车辆检测单元12将车 辆接近信息发送到基于世界的车辆检测单元22。

其中，通过使用无线LAN等等执行发送信息，但在发送信息所需 的时间短的条件下可以使用另一发送方式。发送信息所需时间短是指 信息传输的延迟时间从所需精度的观点看不会产生问题。

在通过分组方法执行发送信息的情况下，基于世界的车辆检测单 元22执行处理，以便能识别包括车辆接近信息的分组。例如，将分组 数据的特定位定义为标志，并且发送其标志设定成指示该分组具有车 辆接近信息的分组。很显然，示例性实施例不限于上述方法。

步骤SA6：另一方面，在车辆检测单元12判断车辆30不存在于 测量区域中的情况下，基于图像的车辆检测单元13在路侧拍摄图像中， 选择在当光源单元23开关的时刻拍摄的路侧拍摄图像。然后，基于图 像的车辆检测单元13从所选择的路侧拍摄图像获取车辆的位置(基于 图像的车辆位置)，并且进一步将拍摄时间获取为基于图像的位置获 取时间。如上所述，基于图像的车辆检测单元13获取基于图像坐标的 位置和基于图像的位置获取时间，并且将这两个信息输出到坐标变换 表创建单元14，作为基于图像的信息。重复地执行对基于图像的位置 信息的获取。重复次数对应于光源单元23开关的次数。

在包括光源单元23的区域的亮度的基础上，在路侧拍摄图像中， 能判断在光源单元23开关时的时刻是否拍摄路侧拍摄图像。即，通过 对路侧拍摄图像执行轮廓提取过程，找出车辆30的轮廓。由于预先已 知光源单元23相对于车辆30的轮廓的位置，可以通过找出车辆30的 轮廓，指定光源单元23的区域。然后，在指定区域的亮度不弱于预定 亮度的情况下，基于图像的车辆检测单元13判断在光源单元23打开 时的时刻，拍摄了路侧拍摄图像。

根据环境，适当地设定预定亮度。例如，在诸如隧道的环境中布 置坐标变换表创建系统2的情况下，车辆30打开前灯或尾灯。因此， 将预定亮度设定成稍微更亮，以便防止当不改变光源单元23的亮度时， 由于这些灯导致误判断。如上所述，基于图像的车辆检测单元13判断 在当光源单元23打开时的时刻，是否拍摄了路侧拍摄图像。

当然，示例性实施例不限于上述方法。例如，在路侧拍摄图像中 找出其亮度不弱于预定亮度的区域时，也可以判断区域的亮度是由于 开启的光源单元23。在这种情况下，由于不必要执行找出车辆30的轮 廓的过程，处理速度变高。

步骤SA7：坐标变换表创建单元14等待从基于图像的车辆检测单 元13接收基于图像的位置信息，并且从基于世界的车辆检测单元22 接收基于世界的信息。

步骤SA8：坐标变换表创建单元14将基于图像的车辆位置与基于 世界的车辆位置关联。如上所述，基于图像的车辆位置和基于世界的 车辆位置是根据在光源单元23打开时的时刻的图像坐标的车辆位置。 即，基于图像的车辆位置和基于世界的车辆位置是同时在光源单元23 打开时的时刻的条件下的车辆位置。因此，可以创建在图像坐标和世 界坐标之间的坐标变换表。其中，可以由函数逼近实现坐标变换表。

顺便提一下，基于图像的车辆检测单元13将基于图像的车辆位置 和基于图像的位置获取时间输出到坐标变换表创建单元14，作为基于 图像的信息，并且基于世界的车辆检测单元22将基于世界的车辆位置 和基于世界的位置获取时间输出到坐标变换表创建单元14，作为基于 世界信息。

然而，当创建上述坐标变换表时，不使用基于图像的位置获取时 间和基于世界的位置获取时间。原因在于基于图像的车辆检测单元13 从当光源单元23打开时拍摄的路侧拍摄图像提取车辆位置，并且将所 提取的车辆位置定义为基于图像的车辆位置，因此，基于图像的车辆 位置和基于世界的车辆位置是位置同步的。

与上述方法相比，坐标变换表创建单元14能通过使用基于图像的 位置获取时间和基于世界的位置获取时间相同的基于图像的车辆位置 和基于世界的车辆位置，来创建坐标变换表。即，在这种情况下，基 于图像的车辆位置和基于世界的车辆位置是时间同步的。

考虑处理速度和精度，确定应当采用位置同步和时间同步中的哪 种同步，并且设定所确定的同步。此外，可以使用两种同步。关于位 置同步，最好检测当光源23打开时的时刻。但在一些情况下，由于拍 摄条件精度(例如，拍摄帧数)，选择不等于当光源单元23打开时的 时刻的时刻的基于图像的车辆位置。然后，将当判断光源单元23打开 时的时刻拍摄的基于图像的车辆位置的前一和后一基于图像的车辆位 置视为候选，并且也输出到坐标变换表创建单元14。坐标变换表创建 单元14计算等于基于世界的位置获取时间的基于图像的位置获取时 间。然后，坐标变换表创建单元14对接收为候选的多个基于图像的车 辆位置执行诸如线性内插的内插处理，并且计算对应于所计算的基于 图像的位置获取时间的基于图像的车辆位置。根据上述方法，可以优 异精度地创建坐标变换表。

接着，将描述由车载装置20执行的过程。在车载装置20的情况 下，上述基于世界的位置信息被获取并且发送到坐标变换表创建单元 14。

步骤SB1：首先，车载摄像机21拍摄参照物K。

步骤SB2：基于世界的车辆检测单元22通过对由车载摄像机21 提供的车载拍摄图像执行预定图像处理，检测参照物K的端点K2。因 此，可以获取装置本身(车辆30)相对于参照物K的位置的位置。由 于所获取的装置本身的位置是相对于布置在道路上的参照物K的位置 的位置，所获取的装置本身的位置是基于世界坐标的。

作为预定图像处理方法，诸如边缘提取方法、强亮区提取方法等 等的公知方法是可行的。例如，在使用边缘提取方法的情况下，假定 由车载摄像机21拍摄的车载拍摄图像包括多个像素。在这种情况下， 计算彼此相邻的像素之间的亮度差(微分)。在边缘等等的亮度大大 地改变的区域中，微分值变大。因此，可以提取该区域。当然，上述 仅是举例，并且另一方法也是可行的。

步骤SB3：接着，基于世界的车辆检测单元22在从车辆检测单元 12接收的区域判断信息的基础上，判断装置本身(车辆30)是否存在 于测量区域中。然后，在装置本身存在于测量区域外的情况下，过程 进行到步骤SB10。另一方面，在装置本身存在于测量区域内的情况下， 过程进行到步骤SB4。

步骤SB4：基于世界的车辆检测单元22等待从车辆检测单元12 接收车辆接近信息。

步骤SB5：当基于世界的车辆检测单元22接收到车辆接近信息时， 基于世界的车辆检测单元22停止检测参照物K，并且改变参照物检测 参数，使得检测精度高。

例如，在每秒10帧用于作为一般精度的图像处理时，基于世界的 车辆检测单元22改变参照物检测参数(在这种情况下，每秒的帧数)， 使得当基于世界的车辆检测单元22接收车辆接近信息时，通过使用每 秒15帧，检测参照物K的端点K2。因此，可以抑制导致车辆30在拍 摄彼此相邻的两个帧时的时间之间的时段通过参照物K的端点K2的错 误。即，可以以优异精度检测端点K2。

步骤SB6：基于世界的车辆检测单元22通过使用新设定的基准检 测参数，重新开始检测参照物K。

步骤SB7：然后，基于世界的车辆检测单元22判断是否检测到参 照物K的端点K2。在检测到端点K2的情况下，过程进行到步骤SB8， 并且在未检测到端点K2的情况下，过程返回到步骤SB6。

步骤SB8：在检测到参照物K的端点K2的情况下，基于世界的 车辆检测单元22将触发信号输出到光源单元23。通过接收触发信号， 光源单元23将诸如LED等等的光源打开和关闭一次。

步骤SB9：基于世界的车辆检测单元22将基于世界的车辆检测单 元22输出触发信号时的时间定义为基于世界的位置获取时间，并且将 在输出触发信号时车辆存在的位置获取为基于世界的车辆位置。然后， 过程返回到步骤SB2。

其中，通过下述方法，获取基于世界的车辆位置。在高速公路等 等的情况下，由于将参照物K的长度调节成8米，并且将参照物K之 间的间隔调节成12米，可以根据世界坐标计算每一点K2的位置。此 外，基于世界的车辆检测单元22通过使用Tsai照相机模型(R.,Y.Tsai: "A Versatile Camera Calibration Technique for High-Accuracy3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", IEEE journal of Robotics and Automation,卷RA-3,No.4,pp.323.344, 1999)等等，计算装置本身(车辆30)相对于端点K2的位置的位置。 因此，可以根据基于世界坐标，获取车辆的位置。

步骤SB10：在步骤SB3中判断车辆30在测量区域外的情况下(在 车辆远离的情况下)，基于世界的车辆检测单元22将所存储的基于世 界的信息发送到坐标变换表创建单元14。

根据上述过程，坐标变换表创建单元14在基于图像的车辆位置和 基于世界的车辆位置的关系的基础上，创建坐标变换表。

如上所述，可以创建即使在诸如隧道等等的GPS不可用的环境中， 也可以以优异精度指示从路侧拍摄图像获取的基于图像的车辆位置和 从车载拍摄图像获取的基于世界的车辆位置之间的关系的坐标变换表。

本申请基于并要求2011年12月13日提交的日本专利申请No. 2011-272449的优先权，其全部内容在此引入以供参考。

参考符号列表

2 坐标变换表创建系统

3 基于图像的信息获取单元

4 坐标变换信息创建单元

5 基于世界的信息获取单元

10路侧摄像装置

11路侧摄像机

12车辆检测单元

13基于图像的车辆检测单元

14坐标变换表创建单元

20车载装置

21车载摄像机

22基于世界的车辆检测单元

23光源单元

30车辆