首页> 中国专利> 用于校正车载照相机的校正指标、利用该校正指标的车载照相机的校正方法以及用于使用该校正指标的车载照相机的校正装置的程序

用于校正车载照相机的校正指标、利用该校正指标的车载照相机的校正方法以及用于使用该校正指标的车载照相机的校正装置的程序

摘要

对于车载照相机的校正,提供没有误检测的校正指标和利用了这样的校正指标的车载照相机的校正方法。在用于校正这样的车载照相机的校正指标中,由包围规定区域的曲线形成的曲线图形和由在特定区域内形成交点的至少两条直线构成的直线图形形成为同一平面状,并且,由形成曲线图形的曲线和形成直线图形的直线分割的区域被涂色成不同颜色相间图案,该特定区域是指被该曲线图形包围的区域。

著录项

  • 公开/公告号CN102342088A

    专利类型发明专利

  • 公开/公告日2012-02-01

    原文格式PDF

  • 申请/专利号CN201080010032.X

  • 发明设计人 乾阳司;齐木充义;

    申请日2010-03-19

  • 分类号H04N5/225(20060101);H04N5/232(20060101);H04N17/00(20060101);B60R1/00(20060101);

  • 代理机构72003 隆天国际知识产权代理有限公司;

  • 代理人聂宁乐;向勇

  • 地址 日本国爱知县

  • 入库时间 2023-12-18 04:34:25

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2015-04-29

    授权

    授权

  • 2012-03-28

    实质审查的生效 IPC(主分类):H04N5/225 申请日:20100319

    实质审查的生效

  • 2012-02-01

    公开

    公开

说明书

技术领域

本发明涉及用于校正车载照相机的校正指标、利用该校正指标的车载 照相机的校正方法以及用于使用该校正指标的车载照相机的校正装置的 程序。

背景技术

近年来,安装有照相机的车辆正在增加,该照相机能够使车辆的驾驶人 员通过车内的监视器来视认(以肉眼确认)车辆的侧方及后方等的情景。进 一步,还开发出了利用由该照相机取得的拍摄图像进行图像处理等并以此支 援驻车(停车辅助)等的驾驶的装置。在这样的装置中,用于取得拍摄图像 的照相机需要特别高的光轴精度,所述拍摄图像作为用于计算特定信息的基 础,所述特定信息是指用于决定车辆的位置等的信息。这样的高的光轴精度 是不能在其安装时容易实现的,而是在将照相机安装到车辆上后,通过以高 精度对光轴进行校正来实现的。作为用于进行这样的校正的技术,例如具有 在下述中示出资料来源的专利文献1所记载的技术。

在专利文献1中记载的车载照相机的校正装置中,在车载照相机的视场 内配设具有黑白相间的花纹图案(black-and white checkered pattern、市松模 様)的标记(校正指标),并对拍摄该标记得到的拍摄图像进行图像识别处 理来检测标记的中心点(校正点)。该校正装置利用检测出的标记的中心点, 对车载照相机进行校正。将该标记涂色成黑白相间的花纹图案,并根据包含 在利用车载照相机取得的拍摄图像中的边缘来确定由黑白相间的花纹图案 形成的校正点,由此利用该校正点对车载照相机进行校正。

现有技术文献

专利文献

专利文献1:日本特开2008-131250号公报

发明内容

发明要解决的问题

如上述,在专利文献1中记载的车载照相机的校正过程中,利用了涂色 成黑白相间的花纹图案的校正用标记,并基于校正用标记的边缘来对校正点 (校正用标记的中心点)进行检测。然而,一般在工厂对这样的车载照相机 进行校正,这样种工厂中存在多个规定工作人员能够步行的位置的步行带、 白线或栅栏等。这些步行带、白线或栅栏等一般多采用直线形状的结构,导 致存在错误检测校正用标记的直线的可能性。

本发明是鉴于上述问题而做出的,其目的在于,提供一种在车载照相机 的校正过程中没有误检测的校正指标(标记)和使用这样的校正指标的车载 照相机的校正方法。

用于解决问题的手段

用于达成上述目的本发明的用于校正车载照相机的校正指标的特征结 构在于,由曲线图形和直线图形形成为同一平面状,所述曲线图形由包围规 定区域的曲线形成,所述直线图形由在特定区域内形成交点的至少两条直线 构成,所述特定区域是指被所述曲线图形包围的区域;被用于形成所述曲线 图形的曲线和用于形成所述直线图形的直线分割的区域,被涂色成不同颜色 相间图案。

若采用这样的特征结构,则在对车载照相机进行校正的场所,检测由相 同形状少的曲线图形包围的区域,进一步检测被包围的该区域内的两条直线 图形,由此确定校正点,因此能够防止校正指标的误检测。另外,在图像识 别中,不同颜色相间图案容易检测界限,因此能够减轻校正装置的计算负荷。 因此,能够在减轻计算负荷的基础上,提高对由校正指标规定的校正点的检 测精度。

另外,优选地,所述曲线图形及所述直线图形被具有其他的轮廓的图形 包围。

若采用这样的结构,能够将包括曲线图形及直线图形的周围的区域涂色 成不同颜色相间图案。由此,能够提高校正点的检测精度,从而能够防止校 正指标的误检测。

另外,优选用于形成所述直线图形的直线被设定为相对于车载照相机的 视场的水平面及与该水平面垂直的垂直面而具有角度。

若采用这样的校正处理,则在利用车载照相机拍摄的情况下,不收车载 照相机的位置或角度限制,交叉的两条直线的边界线的长度接近。因此,能 够提高对直线的检测精度,从而能够提高直线的交点即校正点的检测精度。

另外,优选地,所述两条直线相对于所述水平面及所述垂直面大致形成 有45度的角度,且形成为相互垂直相交。

若采用这样的校正处理,由于在于校正车载照相机的位置上大致形成为 45度的角度的情况少,因而能够提高校正点的检测精度。

另外,本发明的车载照相机的校正方法具有:拍摄工序,使用车载照相 机拍摄与所述车载照相机相对置并且各自分开的一对校正指标,所述一对校 正指标是用于校正车载照相机的上述校正指标;接收在所述拍摄工序中得到 的拍摄图像,并将其存储在存储部中;边缘检测工序,对存储在所述存储部 中的拍摄图像所含的边缘进行检测;曲线图形检测工序,基于检测出的所述 边缘,对所述曲线图形进行检测;直线图形检测工序,对所述直线图形进行 检测;校正点设定工序,对检测出的所述直线图形的交点进行检测,并基于 该交点和所述曲线图形,将该交点设定为用于校正所述车载照相机的校正 点;照相机修正参数计算工序,基于一对设定点和包含在所述拍摄图像中的 所述一对校正点,来计算用于修正光轴偏差的照相机修正参数,所述一对设 定点与根据所述一对校正指标设定的一对校正点相对应,并且所述一对设定 点是根据所述车载照相机的安装位置来预先设定的一对设定点,所述光轴偏 差是指将所述车载照相机安装到车辆上时产生的光轴偏差。

若采用这样的方法,则能够可靠地检测由校正指标规定的校正点,并且, 能够利用该校正点恰当地对车载照相机进行校正。

进一步,在本发明中,利用本申请的发明的校正指标优选地用于构成车 载照相机的校正装置的程序也在权利范围内,该程序的特征结构使计算机执 行以下的功能:拍摄功能,利用所述车载照相机拍摄一对校正指标,所述一 对校正指标与该车载照相机相对,且以各自分开的方式配设有一对该校正指 标;图像接收功能,接收利用所述拍摄功能得到的拍摄图像,并将其存储至 存储部;边缘检测功能,对包含在拍摄图像中的边缘进行检测,该拍摄图像 存储在所述存储部中;曲线图形检测功能,基于所述检测出的边缘来对曲线 图形进行检测;直线图形检测功能,对直线图形进行检测;校正点设定功能, 对检测出的所述直线图形的交点进行检测,并基于该交点和所述曲线图形, 将该交点设定为用于校正所述车载照相机的校正点;照相机修正参数计算功 能,基于一对设定点和包含在所述拍摄图像中的所述一对校正点,来计算用 于修正光轴的偏差的照相机修正参数,所述一对设定点与由所述一对校正指 标设定的一对校正点相对应,是根据所述车载照相机的安装位置来预先设定 的一对设定点,光轴的所述偏差是指将所述车载照相机安装到车辆上时产生 的光轴的偏差。

与对作为上述的本发明的对象的车载照相机的校正方法同样地,用于这 样的校正装置的程序也能够得到上述的作用效果,能够具有上述的各种付加 的特征结构。

附图说明

图1是示出了本实施方式的校正指标的图。

图2是示出了车辆和校正指标的位置关系的图。

图3是示出了利用本实施方式的校正指标对车载照相机进行校正的车载 照相机的校正装置的概略的框图。

图4是示出了另一实施方式的校正指标的一例的图。

图5是示出了另一实施方式的校正指标的一例的图。

图6是示出了另一实施方式的车辆和校正指标的位置关系的鸟瞰图。

图7是示出了另一实施方式的校正指标的一例的图。

具体实施方式

下面,对本发明的实施方式进行详细说明。安装在车辆100上的车载照 相机20用于取得车辆100的后方图像,其中,车辆100的该后方图像例如 用于后退行驶时以及对用户的驻车操作进行支援(停车辅助)的情况等。由 车载照相机20取得这样的后方图像作为拍摄图像,但该后方图像还用在利 用图像识别处理来求出特定距离的计算中,该特定距离是指车辆100和包含 在拍摄图像中的障碍物之间的距离。然而,在车载照相机20的光轴与预先 设定的设定值(例如设计值)之间发生偏差的情况下,在对从车辆100到障 碍物之间的距离进行计算而求出的结果和实际距离之间也会发生偏差。在这 样的状况下,若基于所述计算来行驶车辆100,则存在与障碍物碰撞的可能 性。

于是,将车载照相机20安装到车辆100上之后,在工厂对光轴进行校 正。在工厂对车载照相机20进行那样校正时使用本发明的校正指标10。下 面,利用附图进行说明。此外,本实施方式的对车载照相机20进行的校正 处理是指,基于配设车载照相机20的位置及角度与预先设定的设定值之间 的差分,来计算车载照相机20的光轴偏差,由此对其进行校正(修正), 而不是变更车载照相机20的物理位置(实际空间中的位置)来进行校正的 处理。

图1是示出了本实施方式的校正指标10的图。校正指标10由曲线图形 2、直线图形4及外围图形6构成,且形成为同一平面状。曲线图形2由包 围规定区域的曲线构成。规定区域是指由曲线包围的区域,并无特别限定。 在图1示出的校正指标10中,曲线图形2相当于圆2a。因此,在本实施方 式中,曲线图形2相当于包围规定区域的圆2a。此外,在用圆2a作为包围 这样的规定区域的曲线的情况下,若将该曲线考虑为一个封闭的曲线(封闭 曲线),则容易理解。详细内容如后所述,包围规定区域的曲线并不限定于 一个封闭的曲线。

直线图形4由在被曲线图形2包围的区域内形成交点的至少两条直线构 成。曲线图形2所包围的区域相当于由如上述那样的圆2a包围的区域。在 图1示出的校正指标10中,直线图形4相当于两条直线4a、4b。在这里, 本发明的校正指标10所具有的直线图形4,只要是至少两条即可,在本实施 方式中,说明直线图形4由两条直线构成的情况。这样的两条直线4a、4b 配设为在圆2a所包围的区域内交叉,由此形成交点8。

在这里,将构成这样的直线图形4的直线4a、4b,设为相对于车载照相 机20的视场的水平面及与该水平面相垂直的垂直面而形成有角度。例如, 如图1所示,优选两条直线4a、4b相对于水平面及垂直面具有大致45度的 角度且相互垂直相交。

外围图形6配设为,由具有其他轮廓的图形包围曲线图形2及直线图形 4。在本实施方式中,具有其他的轮廓的图形相当于四角形6a。因此,外围 图形6配设为由四角形6a包围曲线图形2及直线图形4。

另外,被外围图形6包围且由形成曲线图形2的曲线和形成直线图形4 的直线4a、4b分割的区域12,被涂色成不同颜色相间图案(checkered pattern, チエツク模様)。即,不同颜色相间图案是指,由线分割的相邻区域被涂色 成不同的颜色(在本例中是白色和黑色两个颜色)的图案。在本实施方式中, 外围图形6是四角形6a。即,被外围图形6包围表示被四角形6a包围。另 外,曲线图形2是圆2a。即,形成曲线图形2的曲线相当于形成圆2a的曲 线。因此,被外围图形6包围且由形成曲线图形2的曲线和形成直线图形4 的直线4a、4b分割的区域12,相当于被四角形6a包围且由圆2a和直线4a、 4b分割的区域12。在图1中,区域12被分割为八个区域12a-12h。如图1 所示,这些区域12a-12h被涂色成不同颜色相间图案,以使这些区域12a-12h 和与各自邻接的区域成为不同的颜色。对于该不同颜色相间图案,不特别限 定,但优选地例如使用白色与黑色的组合、绿色和红色的组合这样的浓淡鲜 明的颜色组合。当然,显然也能够涂色成其他颜色的组合。

详细内容如后所述,利用车载照相机20拍摄这样构成的校正指标10来 进行使用。并且,对拍摄取得的拍摄图像进行图像处理,并利用该图像处理 的结果来对车载照相机20进行校正。因此,校正指标10可以是适度的大小。 例如,优选地,校正外围图形6的四角形6a的一个边的长度是400mm。

接着,针对利用本实施方式的校正指标10的车载照相机20的校正方法 进行说明。图2的(a)部分是示出了车辆100和校正指标10的位置关系的 鸟瞰图。另外,图2的(b)部分是示出了车辆100和校正指标10的位置关 系的立视图。在这里,本实施方式的车载照相机20是用于拍摄车辆100的 后方的后视照相机。如图2所示,这样的车载照相机20配设在设在车辆100 的外侧后部的汽车牌照的附近或者设在车辆100的外侧后部的汽车标志的附 近等。此外,在图2中,为了更加明确地示出本发明的校正指标10,忽略车 辆100和校正指标10的尺寸的比率来进行了记载。

校正指标10配设为,与车载照相机20相对,且一对该校正指标10各 自分开。即,如图2的(a)部分及(b)部分所示,在车载照相机20的视 场范围内配设两个校正指标10。关于这样的校正指标10,一对校正指标10a、 10b配设在假想平面上,并使得这些校正指标与车辆100的后端面100a之间 的正交距离分别为规定距离L1、L2。例如,优选配设为屏风形状。另外, 分开配设各校正指标10a、10b。在本实施方式中,校正指标10a、10b配设 为各自的中心分别与车辆100的中心线100b相距W1、W2。进一步,将校 正指标10a、10b配设为各自中心分别与车辆100驻车的地面100c相距H1、 H2。

对车载照相机20进行校正时,如上述那样配设校正指标10a、10b。此 外,能够将W1及W2、L1及L2、H1及H2分别配设为相同的值,也可以 配设为分别不同的值。通过利用这样的校正指标10,在对车载照相机20进 行校正的情况下,能够不误检测地对校正点进行检测。

图3是示意地示出了能够利用本发明的校正指标10对车载照相机20进 行校正的校正装置200的结构的框图。校正装置200具有图像接收部40、图 像输出部30、系统控制部50、输入接口(I/F)部60、输出接口(I/F)部70、 图像处理部80等各功能部。这样构成的校正装置200以CPU(中央处理单 元)作为核心构件,利用硬件、软件或这两者构建用于对车载照相机20进 行校正等各种处理的上述的功能部。

图像接收部40接收拍摄图像并将其存储至存储部40a,该拍摄图像是指 利用车载照相机20拍摄一对校正指标10a、10b而得到的拍摄图像。存储部 40a在本实施方式中相当于图像存储器40a。因此,图像接收部40将由车载 照相机20取得的拍摄图像存储至图像存储器40a。在这里,将利用车载照相 机20拍摄校正指标10a、10b的工序称为拍摄工序,另外,将接收在拍摄工 序中得到的拍摄图像并将其存储至图像存储器40a的工序称为图像接收工 序。

图像输出部30具有显示控制器30a和描画部30b,生成用于在显示器 25等上显示拍摄图像的视频信号。描画部30b基于后述的图像处理的结果, 利用重叠(superimpose)技术来描画校正精度的验证结果等。显示控制器30a 在拍摄图像上重叠该描画图像来输出视频信号。

输入接口(I/F)部60从本校正装置200的上位的系统接收用于开始车 载照相机20的校正处理的指示等的输入信号,并将其传送至系统控制部50。 在这里,上位的系统相当于车辆100的装配调整系统及车辆100的反馈监视 器系统(back monitoring system)等。系统控制部50是用于整体控制校正装 置200的功能部,基于上述的用于开始校正的指示等,对后述的图像处理部 80等进行控制。输出接口(I/F)部70经由系统控制部50接收图像处理结 果等,并向上位的系统等输出输出信号。

图像处理部80具有图像取得部80a、区域设定部80b、校正指标检测部 80c、校正点确定部80d及照相机修正角度计算部80e。图像取得部80a若从 上述的系统控制部50接收到校正指示,则从图像存储器40a取得与该指示 相对应的拍摄图像。

区域设定部80b根据已知的车载照相机20的安装位置、车载照相机20 的安装角度的设定值及校正指标10a、10b的配设位置,与已知的车载照相 机20的安装位置及车载照相机20的安装角度之间的偏差,来针对每一个校 正指标10a、10b计算可预测为存在校正指标的校正指标存在区域,并针对 每一个校正指标10a、10b设定图像处理区域。

校正指标检测部80c基于由区域设定部80b设定的图像处理区域的边缘 (轮廓线),来检测构成结构指标10a、10b的曲线图形2。按照边缘检测工 序、曲线图形检测工序的顺序进行该检测处理。下面,对各工序进行说明。

在边缘检测工序中,检测存储在图像存储器40a中的拍摄图像所含的边 缘。在这里,如上述那样,通过区域设定部80b设定图像处理区域。在边缘 检测工序中,利用边缘过滤器对该图像处理区域进行边缘检测。边缘检测是 公知技术,因而省略详细的说明,但为了提高检测精度,优选对图像处理区 域进行水平扫描和垂直扫描。在边缘检测工序中检测出的边缘表示边缘的点 的集合,因而称为边缘点群。

在曲线图形检测工序中,基于检测出的边缘对曲线图形2进行检测。在 本实施方式中,曲线图形2是圆2a。因此,在曲线图形检测工序中,基于在 边缘检测工序中检测出的边缘,来对圆2a进行检测。在这里,从正面观察 圆2a时是正圆形,但根据拍摄的位置和车载照相机20的位置的关系,在拍 摄图像上成为接近椭圆的形状。因此,在曲线图形工序中,利用椭圆的检测 方法对圆2a进行检测。作为这样的对椭圆的检测方法,在本实施方式中利 用基于RANSAC(Random Sample Consensus:随机抽样一致性算法)方法 的椭圆对照处理。RANSAC方法是公知技术,因而以下进行简单说明。

首先,从表示在边缘检测工序中检测出的边缘的边缘点群中,随机选择 五个点。接着,计算出符合选择出的五个点的椭圆方程式,并将该椭圆方程 式设定为椭圆模型。并且,评定(吻合性评定)特定点相对于该椭圆模型吻 合的程度,该特定点是指,在边缘点群中的除了在设定椭圆模型时使用的五 个点以外的点。重复进行这样的五个点的选择、椭圆模型的设定以及吻合性 评定。这样重复进行的结果,将由最吻合的椭圆模型规定的椭圆决定为该边 缘点群所表示的形状。通过这样的曲线图形检测工序对曲线图形2进行检测。

校正点确定部80d根据通过曲线图形检测工序而确定的椭圆内部的边缘 点群来检测两条直线,并对所检测出的直线的交点进行检测,将该交点作为 校正点。按照失真修正工序(distortion correcting step)、直线图形检测工序、 校正点设定工序的顺序来进行该检测处理。下面,对各工序进行说明。

在失真修正工序中,修正拍摄图像的失真。利用如上述那样的车载照相 机20取得拍摄图像,但在刚刚拍摄之后的拍摄图像(以下称实时拍摄图像) 中含有因车载照相机20镜头的镜头失真导致的失真。例如,即使被拍摄体 是直线,但在实时拍摄图像中失真而成为曲线的形状。因此,不仅为了正确 显示直线形状,还为了正确显示被拍摄体,进行失真修正处理。在本实施方 式中,为了减轻计算处理负荷,针对通过将直线形状作为检测对象的边缘检 测工序检测出的曲线图形2所包围的区域内的边缘点群的失真进行修正。失 真修正是众所周知的技术,因而省略详细的说明。

在直线图形检测工序中,对特定区域内的直线图形4进行检测,该特定 区域是指被检测出的曲线图形2包围的区域。即,已知校正指标10上的曲 线图形2和直线图形4的配置关系,因此,校正装置200基于已知的该配置 关系来对直线图形4进行检测。在这里,“已知配置关系”可以仅是配置关 系(例如是存在于封闭曲线中这样的配置关系),也可以是利用规定数值来 规定出相对位置关系。所检测出的曲线图形2是指进行了上述的失真修正处 理的曲线图形2。另外,在本实施方式中,直线图形4是两条直线4a、4b。 因此,在直线图形检测工序中,对特定区域内的两条直线4a、4b进行检测, 该特定区域是被进行了失真修正处理的曲线图形2包围的区域。通过这样的 处理,能够限定直线4a、4b的搜索区域,从而能够减低计算成本,并且能 够可靠地进行检测。

与上述的曲线图形检测工序同样地,在该直线图形检测工序中,也利用 RANSAC方法。下面,进行简单的说明。

首先,对一条直线4a进行检测。从进行了失真修正处理的边缘点群中 随机选择两个点。接着,计算符合选择出的两个点的直线方程式,并将该直 线方程式设定为直线模型。并且,评定(吻合性评定)特定点相对于该直线 模型吻合的程度,该特定点是指在边缘点群中除了在设定直线模型时使用的 两个点以外的点。重复进行这样的两个点的选择、直线模型的设定以及吻合 性评定。这样重复进行的结果,将由最吻合的直线模型规定的直线,决定为 一条直线4a。

接着,对另一条直线4b进行检测。在这里,在对另一条直线4b进行检 测时,将剩余的特定边缘点群作为对象,该特定边缘点群是指,从进行了失 真修正处理的边缘点群中除去在决定一条直线4a时使用的边缘点群之后剩 余的边缘点群。首先,从作为对象的边缘点群中随机选择两个点。接着,计 算符合选择出的两个点的直线方程式,并将该直线方程式设定为直线模型。 并且,评定(吻合性评定)特定点相对于该直线模型吻合的程度,该特定点 是指在作为对象的边缘点群中除了在设定直线模型时使用的两个点以外的 点。重复进行这样的两个点的选择、直线模型的设定以及吻合性评定。这样 重复进行的结果,将由最吻合的直线模型规定的直线决定为另一条直线4b。 通过这样的直线图形检测工序来检测出检测直线图形4。

在校正点设定工序中,对所检测出的直线图形4的交点进行检测,并将 该交点设定为用于校正车载照相机20的校正点。所检测出的直线图形4相 当于在上述的直线图形检测工序中检测出的两条直线4a、4b。在校正点设定 工序中,检测两条直线4a、4b的交点,并将该交点设定为校正点。由此, 校正点确定部80d设定对车载照相机20进行校正时所使用的校正点。

照相机修正角度计算部80e根据已知的车载照相机20的安装位置和安 装车载照相机20的安装角度的设定值以及校正指标10a、10b的配设位置, 来计算与在假想图像中的左右的校正点相对应的对应点,并根据该对应点与 由上述校正点确定部80d设定的校正点之间的差分,来计算照相机修正参数。 通过照相机修正参数计算工序来进行该计算。此外,照相机修正参数表示照 相机参数的设计值与实际的值之差。因此,利用照相机修正参数对设计值进 行修正,将其修正为实际的值。下面进行说明。

在照相机修正角度计算工序中,基于根据车载照相机20的安装位置预 先设定的一对设定点以及包含在拍摄图像中一对校正点,来计算用于修正光 轴的偏差的照相机修正角度,光轴的所述偏差是指将车载照相机20安装到 车辆100上时所产生的光轴的偏差,所述一对设定点与根据一对校正指标设 定的一对校正点相对应。与根据一对校正指标设定的一对校正点对应的、根 据车载照相机20的安装位置预先设定的一对设定点,相当于与假想图像中 的左右的校正点相对应的一对对应点。计算该一对对应点和一对校正点之间 的差分,并基于该差分来计算用于修正光轴的偏差的照相机修正角度,所述 光轴的偏差是指将车载照相机20安装到车辆100上时所产生的光轴的偏差。

对车载照相机20的角度进行修正时使用照相机修正角度。在这里,将 由车载照相机20取得的拍摄图像显示在显示器25上,并在该拍摄图像上重 叠规定的描画图像(例如,在将车辆100停在驻车位上或者在后退行驶时, 对驾驶员的驾驶进行支援的公知的驻车支援装置或驾驶支援装置等中对车 辆100的路线预想出的预想行进路线等)时,优选使用该照相机修正角度。 即,在车载照相机20的角度与设计值发生之间偏差的情况下,若将该车载 照相机20的拍摄图像和根据所述设计值描画的描画图像重叠显示,则拍摄 图像和描画图像之间发生偏差,导致驾驶人员误识别。在此情况下,基于该 照相机修正角度来修正为与实际拍摄图像(利用以特定照相机角度设置的车 载照相机20拍摄的拍摄图像,特定照相机角度是指与设计值存在偏差的照 相机角度)相符的描画图像。因此,能够在由车载照相机20取得的拍摄图 像上,准确地重叠所述规定的描画图像。

另外,在计算出用于对车载照相机20的角度进行修正的角度来对拍摄 图像进行修正时,也能够使用照相机修正角度。车载照相机20的角度,相 当于沿着车载照相机20的镜头的铅垂方向的车载照相机20的角度(旋转 角)、车载照相机20的铅垂方向的角度(仰角)以及车载照相机20的水平 方向的角度(方位角)。因此,用于对车载照相机20的角度进行修正的角 度,由用于修正沿着车载照相机20的镜头的铅垂方向的车载照相机20的角 度进行修正的旋转角(转角(Roll角))、用于对车载照相机20的铅垂方 向的角度进行修正的仰角(倾斜角(Tilt角))、用于对车载照相机20的水 平方向的角度进行修正的方位角(水平角(Pan角))构成,若使用照相机 修正角度,则能够对车载照相机20的各角度进行修正。即,使由车载照相 机20所拍摄的拍摄图像按照转角(Roll角)旋转(面旋转)之后,按照倾 斜角(Tilt角)对按照该转角旋转的拍摄图像调整仰角,再按照该倾斜角调 整水平方向的角度。通过修正拍摄图像,能够在如上述那样在拍摄图像上准 确地重叠所述规定的描画图像,另外,能够抑制每个产品的拍摄范围各不相 同的情况。若采用这样的本校正装置200,通过由使用本发明的校正指标10 的上述的各工序构成的校正方法,能够最佳地校正(修正)将车载照相机20 安装到车辆100上时产生的光轴偏差。

进一步,作为除了对上述规定的描画图像进行修正的例子以外的使用 例,也能够使用用于修正上述的车载照相机20的角度的旋转角、仰角及方 位角,来对由车载照相机20取得的拍摄图像自身进行修正之后将其显示在 显示器25上。或者,能够使用用于修正上述的照相机20的角度的旋转角、 仰角及方位角,来对包含在由车载照相机20的拍摄图像中的显示物(例如, 车道线或物体等)的位置进行修正,由此能够在确定正确位置的处理中使用。

(其他的实施方式)

在上述实施方式中说明为,曲线图形2由圆2a构成,直线图形4则由 两条直线4a、4b构成。然而,本发明的适用范围并不限定于此。曲线图形2 也可以是圆2a以外的图形,直线图形4也可以是至少两条直线及三个以上 的直线。例如,图4示出了曲线图形2使用了圆形2a以外的图形的情况的 校正指标10的一例。曲线图形2能够为由凸型形状构成的曲线2b-2e,所述 凸型形状是相对于四角形6a的外围图形6的中心方向而形成的凸型形状。 在图4中,直线形状4由两条直线4a、4b构成。并且,曲线2b-2e和两条直 线4a、4b形成为同一平面状,通过将由此被分割的区域12i-12p涂色成不同 颜色相间图案,能够对校正指标10进行校正。在使用这样的校正指标10的 情况下,也显然能够使用在被曲线图形2包围的区域内由两条直线4a、4b 形成的交点8,以作为用于校正车载照相机20的校正点。

这样,本申请的发明的“被曲线图形2包围的区域”,并不仅仅表示由 曲线图形2完全封闭的区域,而还包括由如图4示出的曲线图形2那样没有 完全封闭的区域。因此,在图4中示出的校正指标10,显然也包含在本申请 的发明的“由包围规定区域的曲线形成的曲线图形2和由在特定区域内形成 交点的至少两条直线构成的直线图形4形成为同一平面状,所述特定区域是 指被该曲线图形2包围的区域”这样的情况。此外,在图4中示出的校正指 标10,也能够将其考虑为形成了例如由曲线图形2和外围图形6完全封闭的 区域。

进一步,作为校正指标10的另一例,也能够如图5那样构成。如在图5 中示出的校正指标10那样,也可以构成为由多个曲线图形2形成封闭的区 域。因此,在图5中示出的校正指标10,显然也包含在本申请的发明的“由 包围规定区域的曲线形成的曲线图形2和由在特定区域内形成交点的至少两 条直线构成的直线图形4形成为同一平面状,所述特定区域是指被该曲线图 形2包围的区域”这样的情况。

在上述实施方式中,特别是在图1中,图示出在圆形2a的中心配置了 交点8的情况。然而,本发明的适用范围并不限定于此。图1的交点8的配 置位置仅作为例示,显然也可以将交点8配置在不是圆形2a的中心的位置 上(从中心偏离的位置)来形成校正指标10。

在上述实施方式中,如图2所示,校正指标10配设为屏风形状以使该 校正指标10与车辆100相对置。然而,本发明的适用范围并不限定于此。 也可以如图6所示那样,在车辆100驻车的地面100c上配设校正指标10, 还可以在地面100c上用喷涂出该校正指标10。在这样的位置上配设校正指 标10,只要校正对象即车载照相机20能够拍摄到校正指标10,就显然也能 够对该车载照相机20进行校正。

在上述实施方式中,在失真修正处理是中,对作为直线形状的检测对象 的边缘点群的失真进行修正,所述边缘点群是被通过边缘检测工序检测出的 曲线图形2所包围的区域内的边缘点群。然而,本发明的适用范围并不限定 于此。显然也能够对刚刚使用车载照相机20拍摄之后的拍摄图像(实时拍 摄图像)的整个面进行失真修正处理。

在上述实施方式中,曲线图形2及直线图形4被由四角形6a构成的外 围形状6包围。然而,本发明的适用范围并不限定于此。外围形状6并不限 定于四角形6a,显然该外围形状6也可以构成为圆形或多角形等的其他的形 状。另外,显然也可以构成为外围形状6不包围曲线图形2及直线图形4的 周围。这样构成的校正指标10,显然也能够最佳地对车载照相机20进行校 正。

在上述实施方式中,用于形成直线图形4的直线4a、4b相对于车载照 相机20的视场的水平面以及与该水平面垂直的垂直面而形成有角度,并且, 两条直线4a、4b相对于水平面及垂直面具有大致45度的角度,且相互垂直 相交。然而,本发明的适用范围并不限定于此。也可以如图7所示,配设为 使两条直线4a、4b分别沿着水平面及垂直面。或者,虽未图示,但也可以 配设为形成45度以外的角度。另外,即使两条直线4a、4b不垂直相交,只 要形成交点8即可。这样的校正指标10,也显然能够最佳地对车载照相机 20进行校正。

在上述实施方式中,为了修正拍摄图像的失真而进行失真修正工序。然 而,本发明的适用范围并不限定于此。显然也可以省略失真修正工序。在此 情况下,优选在使用RANSAC方法对直线图形4进行检测时,考虑该失真 而进行检测。另外,说明了在直线图形检测工序之前进行失真修正工序的情 况,但显然也可以构成为在边缘检测工序或曲线图形检测工序之前进行该失 真修正工序。

在上述实施方式中,说明了作为校正对象的车载照相机20是设在车辆 100的后方的后视照相机的情况。然而,本发明的适用范围并不限定于此。 也可以将拍摄车辆100的前方的前方照相机作为校正对象,显然也可以将拍 摄车辆100的侧方的侧方照相机作为校正对象。

在上述实施方式中,在直线图形检测工序中,在被曲线图形2包围的区 域内对两条直线4a、4b进行检测,并将该检测出的直线4a、4b的交点设定 为校正点。然而,本发明的适用范围并不限定于此。例如,显然也可以构成 为,分别独立地对曲线图形2、直线4a、4b或者交点进行检测,并对曲线图 形2、直线4a、4b或者交点的配置关系进行比较,以此检查直线4a、4b或 者交点的妥当性。即,通过曲线图形检测工序,基于通过边缘检测工序检测 出的边缘来对曲线图形2进行检测。另一方面,通过直线图形检测工序,对 直线图形4进行检测。另外,显然也可以构成为,在通过直线图形检测工序 检测出的直线图形4(的交点)存在于由通过曲线图形检测工序检测出的曲 线图形2包围的区域内的情况下,通过校正点设定工序将该直线图形4(的 交点)设定为校正点。

另外,显然也可以构成为,通过直线图形检测工序检测直线4a、4b,并 在检测出该直线4a、4b的交点之后,对该交点周围的曲线图形2进行检测。 即,仅在检测出的交点周围检测出曲线图形2的情况下,通过校正点设定工 序将该交点设定为校正点的结构,也能够得到与上述同样的效果。

在上述实施方式中,在照相机修正参数计算工序中计算以下角度:旋转 角(转角),其用于对沿着车载照相机20的镜头的铅垂方向的车载照相机 20的角度进行修正;仰角(倾斜角),其用于对车载照相机20的铅垂方向 的角度进行修正;方位角(水平角),其用于对车载照相机20的水平方向 的角度进行修正。然而,本发明的适用范围并不限定于此。作为车载照相机 20的外部参数,显然也可以计算,三维空间内车载照相机20的并进量(车 载照相机20的水平方向、铅垂方向及纵深方向的物理的位移)。

在上述实施方式中,对于用于校正车载照相机20的校正指标10和使用 该校正指标10的车载照相机20的校正方法以及用于使用该校正指标10的 校正装置200的程序进行了说明。除此之外,显然也能够将校正使用上述校 正指标10的车载照相机20的校正装置200,作为本申请的发明的权利范围。

即,能够构成如下的校正装置20,该校正装置20具有:一对校正指标 10,该一对校正指标10与车载照相机20相对置,且各自分开;图像接收部 40,其接收使用车载照相机20拍摄得到的拍摄图像,并将该拍摄图像存储 在存储部40a中;边缘检测部,其对存储在存储部40a中的拍摄图像所含的 边缘进行检测;曲线图形检测部,其基于该检测出的边缘对曲线图形2进行 检测;直线图形检测部,其对直线图形4进行检测;校正点设定部,其对检 测出的直线图形4的交点进行检测,并基于该交点和曲线图形2,将该交点 设定为用于对车载照相机20进行校正的校正点;照相机修正参数计算部, 其基于一对设定点和包含在拍摄图像中的一对校正点,来计算照相机修正参 数,所述照相机修正参数用于对将车载照相机20安装到车辆100上时产生 的光轴的偏差进行修正,所述一对设定点与根据一对校正指标20设定的一 对校正点相对应,是根据车载照相机20的安装位置来预先设定的一对设定 点。

在此情况下,作为校正指标10,优选由包围规定区域的曲线形成曲线图 形2和由在特定区域内形成交点的至少两条直线构成直线图形4形成为同一 平面状,该所述特定区域是指被所述曲线图形包围的区域;优选将由形成曲 线图形2的曲线和形成直线图形4的直线4a、4b分割的区域,涂色成不同 颜色相间图案。另外,作为照相机修正参数计算部,显然也可以使用上述的 照相机修正角度计算部80e。

工业上的可用性

根据本发明,能够在对车载照相机进行校正时,使用没有误检测的校正 指标(标记)以及使用这样的校正指标的车载照相机的校正方法。

附图标记的说明

2曲线图形,

2a圆形,

4直线图形,

4a、4b直线,

6外围图形,

6a四角形,

8交点,

10校正指标,

12区域,

12a-12h区域。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号