一种基于路面标识几何特征的车载摄像头在线自标定方法

摘要

本发明涉及一种基于路面标识几何特征的车载摄像头在线自标定方法，其在车辆行驶过程中，实时采集路面特征信息，并使用路面存在的各种标识标线，如国标车道线、人行道，或者是自定义的方形、圆形等形状标定块，自动计算摄像头各类参数。场地要求低、人力成本少、标定精度高、摄像头状态变化检测及时，能解决现有车载摄像头标定存在的问题。本发明具有自动化程度高，无需人工参与，标定精度高的优点。

说明书

技术领域

本发明涉及车载摄像头标定技术领域，具体涉及一种基于路面标识几何特征的车载摄像头在线自标定方法。

背景技术

目前，计算机视觉技术已经被广泛应用到了各类先进驾驶辅助系统

(ADAS)中。通过视觉技术感知车辆周围的道路信息、路况信息，可以为ADAS系统提供决策所需要的基础数据。为了提高行车环境的感知准确性和可靠性，对车载摄像头的准确标定是车辆定位准确的重要基础。

传统车载摄像头标定算法一般采用固定场地标定的方式。在车辆静 止状态下，预先放置黑白棋盘格等高对比度的标靶，对摄像头各类参数进行离线标定。 传统标定技术存在以下几个问题：

(1) 场地精度要求高，需要投入场地建设费用，且场地需要定期维护；

(2) 标定流程需要人工参与，大大增加了标定的复杂度；

(3) 当摄像头状态发生改变，如摄像头后视镜更换等，车辆须返回售后点进行标定，增加了售后的人力和材料费用；

(4) 随着时间的推移，摄像头支架会不可避免的出现振动、老化等问题，造成摄像头姿态的变化，如果不能及时对摄像头重新标定参数，ADAS系统无法做出正确决策，就会对行车安全造成极大的隐患；

(5)在车辆静止状态下进行标定，图像内特征点(线)较少，且只能利用单帧图像信息, 标定精度不高。

由于存在上述问题，现有车载摄像头标定技术无法满足未来无人驾驶的需求。

有鉴于此，本发明进行了深入构思，遂产生本案。

发明内容

本发明的目的在于提供一种基于路面标识几何特征的车载摄像头在线自标定方法，以实现自动化标定，并提高标定的灵活性。

为实现上述目的，本发明采用的技术方案是：

一种基于路面标识几何特征的车载摄像头在线自标定方法，其包括以下步骤：

步骤1、车载摄像头的自标定启动后，实时采集当前帧图像；同时，检测当前帧图像场景是否具有标定所需要的特征，当发现符合条件的场景后，执行步骤2，否则重复步骤1；

步骤2、对符合标定条件的图像进行预处理，然后提取图像中的精确特征并存储至特征数据库中；所述特征包括点特征和线特征；

步骤3、检查特征数据库中的数量是否足够达到设定值，特征数量满足要求后，执行步骤4，否则执行步骤1，继续采集图像；

步骤4、确定特征数据库中的特征数据集的类型，并根据所确定的特征数据集类型选择相应的目标优化函数；

步骤5、获取标定摄像头的参数，采用目标优化函数以及特征数据集、标定摄像头与相关摄像头之间的相对空间位移对车载摄像头的参数进行迭代优化；若优化的结果收敛，执行步骤6，否则执行步骤7；

步骤6、 校核优化结果是否存在异常值，若不存在则标定流程结束，标定成功；否则标定失败；

步骤7、判断是否已剔除离群特征点，若已剔除，标定流程结束，标定失败；否则剔除数据集中的离群特征，继续执行步骤5；

所述数据集特征类型分为车道线特征、人行道特征和自定义标识特征三类。

所述步骤4中，如果数据特征类型确认为车道线特征时，利用车道线中包含的平行的几何关系构建目标优化函数；如果数据特征集类型确认为人行道特征时，利用人行道中包含的平行和等距的几何关系构建目标优化函数；如果数据特征集类型确认为自定义标识特征，则利用自定义标识的几何特征构建目标优化函数。

所述特征数据库中包含多个类型的特征数据集，此时，针对各类型的特征数据集构建相应的目标函数，然后取所有目标优化函数的加权平均和作为最终使用的优化目标函数。

所述步骤5中，若目标优化函数非凸时，为避免问题解陷入局部最优，每次迭代完成后增加一个微小扰动，使迭代结果尽量接近真实值。

采用上述方案后，本发明在车辆行驶过程中，实时采集路面特征信息，并使用路面存在的各种标识标线，如车道线，人行道，或者是自定义的方形、圆形等形状标定块，对于标定摄像头，从采集的路面信息中提取相应的特征形成特征数据集，并确定相应的目标优化函数，然后利用特征数据集、标定摄像头与相关摄像头之间的相对空间位移对目标优化函数进行迭代优化，计算出标定摄像头的各类参数，完成标定摄像头的标定工作。本发明的摄像头标定对场地要求低、人力成本少、标定精度高、摄像头状态变化检测及时，能解决现有车载摄像头标定存在的问题。本发明具有自动化程度高，无需人工参与，标定精度高的优点。

附图说明

图1为本发明流程图；

图2-1和图2-2为车道线场景示意图；

图3-1和图3-2为人行道场景示意图；

图4-1和图4-2为自定义标识场景示意图。

具体实施方式

如图1所示，本发明揭示了一种基于路面标识几何特征的车载摄像头在线自标定方法，其包括以下步骤：

步骤1、车载摄像头的自标定启动后，实时采集当前帧图像；同时，检测当前帧图像场景是否具有标定所需要的特征，当发现符合条件的场景后，执行步骤2，否则重复步骤1。

车载摄像头的自标定启动可以由多种方式触发。例如，可以通过手动触发某一按钮或开关来启动自标定。或者利用车载摄像头的相关参数来启动：当车载摄像头的视角或者焦距发生变化时，说明车载摄像头的原有标定参数可能不再适用，此时就可以自动地启动自标定工作。当然也可以根据车辆的行驶里程来确定是否要进行车载摄像头的自标定启动。因为车辆行驶到一定里程后，其摄像头有极大可能会发生振动、老化，从而发生位姿的变化。本实施例中对车载摄像头自标定的触发方式并不限定。

为了保证所采集的图像质量，图像采集的工作最好在车辆行驶平稳的情况下进行。这样，图像质量不受车辆行驶路面不平整等外界因素干扰，保证后续能够提取出更为精确的特征。

步骤2、对符合标定条件的图像进行预处理，然后提取图像中的精确特征并存储至特征数据库中。

本实施例中对图像进行预处理主要为了在一定程度上去除阴影、反光、运动等带来的影响，便于后去特征提取的操作。从图像中提取的特征包括点特征和线特征。

步骤3、检查特征数据库中的数量是否足够达到设定值，特征数量满足要求后，执行步骤4，否则执行步骤1，继续采集图像。

本发明是基于提取的点特征和线特征的组合如点-点、点-线、线-线之间形成的几何特征进行自标定，所以，只有特征的数量达到一定数量才能确定特征数据集构成的特征类型。特征数据集构成的几何特征包括三点构成的三角特征、四点构成的平行四边形特征和两直线的平行关系等。本实施例中，图2所示的场景中左右车道线构成了平行的特征。图3所示的场景中人行道的白色线条部分不仅有平行特征，还有等宽特征。图4所示的场景中各角点有正方形特征。

步骤4、确定特征数据库中的特征数据集的类型，并根据所确定的特征数据集类型选择相应的目标优化函数。

本实施例中，数据集特征类型分为车道线特征、人行道特征和自定义标识特征三类。如图2-1、2-2和图3-1、3-2所示，车辆在行驶过程中所遇到的场景中，车道线（包括实线和虚线）和人行道是最为常见的，所以数据特征集分类中包括车道线特征和人行道特征。而车辆行驶所遇到的场景中也会包含其他类型的特征，所以用户可以自定义一些除车道线和人行道外的其他常见特征，例如图4-1、4-2所示场景所示的正方形特征。当然，自定义标识也可以是长方形、圆形等其他类型的几何特征。

如果数据特征类型确认为车道线特征时，利用车道线中包含的平行的几何关系构建目标优化函数。如果数据特征集类型确认为人行道特征时，利用人行道中包含的平行和等距的几何关系构建目标优化函数。如果数据特征集类型确认为自定义标识特征，则利用自定义标识的三角、四边形等几何关系构建目标优化函数。以车道线特征为例，在构建目标优化函数时，使用数学方程式描述车道线的边缘线，然后计算所有车道线的平行度，并针对各边缘线的置信度分配权重，然后使用该平行度作为优化目标函数。

特征数据库中可以包含多个类型的特征数据集，此时，将针对各类型的特征数据集构建相应的目标函数，然后取所有目标优化函数的加权平均和作为最终使用的优化目标函数。

步骤5、获取标定摄像头的参数，采用目标优化函数以及特征数据集、标定摄像头与相关摄像头之间的相对空间位移对车载摄像头的参数进行迭代优化。若优化的结果收敛，执行步骤6，否则执行步骤7。

所述相关摄像头是指与标定摄像头存在视野重叠区的摄像头。以前视摄像头为例，其相关摄像头则为左视摄像头和右视摄像头。如果前摄像头的特征数据集来自于第3-5帧的图像中，那么在进行迭代优化时，除了要从第3-5帧图像中提取特征数据集外，还要获取左视摄像头和右视摄像头的第3-5帧图像，然后利用前视-左视摄像头之间以及前视-右视摄像头之间的视野重叠区特征计算相对空间位移。具体地，以前摄像头和右摄像头的空间位移为例，匹配同一帧时刻的前图像和右图像的特征，将特征映射到世界坐标系下，从初始值触发迭代求解两摄像头的相对空间位移，直至特征匹配完成。

问题非凸时，为避免问题解陷入局部最优，每次迭代完成后增加一个微小扰动，使迭代结果尽量接近真实值。

步骤6、 校核优化结果是否存在异常值，若不存在则标定流程结束，标定成功；否则标定失败。

步骤7、判断是否已剔除离群特征点，若已剔除，标定流程结束，标定失败；否则剔除数据集中的离群特征，继续执行步骤5。

本发明在车辆行驶过程中，实时采集路面特征信息，并使用路面存在的各种标识标线，如车道线，人行道，或者是自定义的方形、圆形等形状标定块，对于标定摄像头，从采集的路面信息中提取相应的特征形成特征数据集，并确定相应的目标优化函数，然后利用特征数据集、标定摄像头与相关摄像头之间的相对空间位移对目标优化函数进行迭代优化，计算出标定摄像头的各类参数，完成标定摄像头的标定工作。本发明的摄像头标定对场地要求低、人力成本少、标定精度高、摄像头状态变化检测及时，能解决现有车载摄像头标定存在的问题。本发明具有自动化程度高，无需人工参与，标定精度高的优点。

以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。