基于绝对尺寸的智能车侧方行人/车单目深度测距方法

摘要

本发明公开了一种基于绝对尺寸的智能车侧方行人/车单目深度测距方法，通过智能车左右后视镜正下方嵌入式安装的单目相机采集车辆侧方图像，通过构造单目相机时间序列的立体几何成像模型、畸变矫正模型，标定智能车侧方单目相机和计算畸变系数，构造图同构模型，进行图像数据的同构特征点的检测校验和立体匹配，构造深度测距模型，估计智能车车速测量下的绝对尺寸和可计算出对应目标区域的深度和三维坐标估计值，从而得到侧方行人/车的单目深度测距。筛选了目标区域高级特征出现的合理位置，以此提高立体匹配的精度。减少低层级图像特征算法造成的计算冗余度和时间复杂度情况，保证了实时性，有效克服了单目深度测距缺乏尺度信息的缺点。

说明书

技术领域

本发明涉及智能车侧方行人/车深度测距技术领域，尤其涉及一种基于绝对尺寸的智能车侧方行人/车单目深度测距方法。

背景技术

随着新能源智能汽车产业的飞速发展和高速通信网络万物互联的技术变革，自动驾驶智能车的路径规划、障碍物避障是保证行车安全的基本要求，其中最基础的目标深度测距技术被广泛应用于导航、监控、跟踪、虚拟现实等智能电子终端领域。其技术融合了传感器、信号编码、图像处理、计算机视觉、多视图几何、相机成像模型等多个方面。随着智能网联技术的不断发展，智能车高级辅助驾驶产生了自动泊车、自适应巡航、预碰撞、车道偏离预警以及增强现实抬头显示(Augmented Reality Head Up Display,ARHUD)、透明A柱等与目标深度测距技术密切相关的技术应用。

目前基于视觉传感器的单目深度测距方法是现有目标检测、障碍物避障技术的主流方向，例如基于组合纹理特征、预模型结合机器学习的无监督、弱监督、有监督的深度神经网络训练模型等深度估计，这类方法通过带有约束和先验知识的数据学习方法使得测量精度相对较高，鲁棒性较好。但是基于机器学习的单目深度测距方法，采用全图大量像素点进行点云深度测量，缺少真实三维空间的尺度信息，使得整个算法复杂度较高，冗余度较大，实时性较低。

发明内容

本发明的目的在于提供一种基于绝对尺寸的智能车侧方行人/车单目深度测距方法，旨在解决现有技术中基于机器学习的单目深度测距方法，采用全图大量像素点进行点云深度测量，缺少真实三维空间的尺度信息，使得整个算法复杂度较高，冗余度较大，实时性较低的技术问题。

为实现上述目的，本发明采用的一种基于绝对尺寸的智能车侧方行人/车单目深度测距方法，包括如下步骤：

对智能车的单目相机标定，并计算畸变系数；

对单目相机的采集数据进行同构匹配特征点对的检测检验，得到同构特征点对集；

对同构特征点对集进行智能车车速测量下的绝对尺寸的估计和智能车侧方行人/车深度测距。

其中，对智能车的单目相机标定，并计算畸变系数的步骤包括：

在智能车左右后视镜的正下方嵌入式安装单目相机；

准备棋盘格标定板；

在单目相机的可视范围内摆好所述棋盘格标定板，均匀移动棋盘标定板，使用单目相机采集不同方位、不同距离的含有棋盘格标定板的图像，得到标定数据；

构建单目相机成像的几何模型；

根据像差概念构建单目相机光学镜头的畸变模型；

标定和畸变系数计算。

其中，构建单目相机成像的几何模型的步骤中：

基于四个坐标系，世界坐标系、相机坐标系、图像物理坐标系和图像像素坐标系，根据针孔模型建立二维图像到三维世界的坐标系转换关系。

其中，标定和畸变系数计算的步骤包括：

对采集的标定数据每一幅图像进行处理，输入标定板棋盘格的尺寸，提取图像中标定板中的棋盘格的角点，并计算出角点坐标；

选择使用两参数、错切、桶形畸变矫正；

利用张正友标定法和单目相机成像的几何模型，计算包含内参矩阵、外参矩阵、畸变系数的相机参数；

计算每幅图重投影误差与平均误差的差值以判定离群数据，并根据标定板和相机3D位置信息，将位置差别过大的标定数据图像进行数据清洗，删除离群数据；

重新标定计算得出包含内参矩阵、外参矩阵和畸变系数的相机参数。

其中，对单目相机的采集数据进行同构匹配特征点对的检测检验，得到同构特征点对集的步骤包括：

利用畸变系数和畸变模型，将待处理图像/帧集所有图像进行畸变矫正，求解在畸变非线性模型下的图像坐标，然后利用双线性差值法对矫正后的图像缺失部分进行填充从而得到最终的畸变矫正图像/帧集；

将畸变矫正图像/帧集的所有图像按一定像素比进行归一化压缩，得到后续计算所需图像/帧集；

将后续计算所需图像/帧集按时序排列，得到前后间隔帧组对，然后按后反馈的方式将前后间隔帧组转化为图像/帧对，并设置初始图像帧/对；

利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测初始图像/帧对的N个特征点；

利用训练好的Brute-force matcher对特征点进行直接匹配，得到匹配关系集；

对匹配关系集进行随机一致性校验；

将随机一致校验后得到数据进行基于图同构模型的二次匹配校验，得到同构特征点对集。

其中，对同构特征点对集进行智能车车速测量下的绝对尺寸的估计和智能车侧方行人/车深度测距的步骤包括：

对当前图像/帧对进行区域划分；

将智能车坐标系看作当前世界坐标系，利用坐标系的转换关系计算出智能车坐标系下的运动位移，得到三维世界空间点与其对应图像像素坐标系下的二维特征点的绝对尺寸和深度测距的约束模型；使用图像/帧对应区域的同构特征匹配校验特征点，计算智能车运动偏移的绝对尺寸；

使用图像/帧对应的区域的同构特征匹配校验特征点，计算智能车运动偏移的深度距离；

采用k-means对智能车运动偏移的深度距离进行聚类，得到当前图像/帧对的智能车侧方行人/车的目标深度测距；

对当前图像/帧对的时序进行判断，如果时序不是最后一位，则将当前一图像/帧对的后一位图像/帧对返回利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测初始图像/帧对的N个特征点的步骤中重新计算，否则直接输出结果。

本发明的有益效果为：通过智能车左右后视镜正下方嵌入式安装的单目相机采集车辆侧方图像，通过构造单目相机时间序列的立体几何成像模型、畸变矫正模型，标定智能车侧方单目相机和计算畸变系数，构造图同构模型，进行图像数据的同构特征点的检测校验和立体匹配，构造深度测距模型，估计智能车车速测量下的绝对尺寸和可计算出对应目标区域的深度和三维坐标估计值，从而得到车辆侧方行人/车的单目深度测距。筛选了目标区域高级特征出现的合理位置，以此提高立体匹配的精度。减少低层级图像特征算法造成的计算冗余度和时间复杂度情况，保证了实时性，有效克服了单目深度测距缺乏尺度信息的缺点，并且弥补了智能车侧方会车、停车、变车道的避障，以及提供了智能网联汽车障碍物信息交互的基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的基于绝对尺寸的智能车侧方行人/车单目深度测距方法的步骤流程图。

图2是本发明的基于绝对尺寸的智能车侧方行人/车单目深度测距方法的总体技术方案流程图。

图3是本发明的单目相机成像的几何模型的示意图。

图4是本发明的匹配特征点对的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1至图4，本发明提供了一种基于绝对尺寸的智能车侧方行人/车单目深度测距方法，包括如下步骤：

S1：对智能车的单目相机标定，并计算畸变系数；

S2：对单目相机的采集数据进行同构匹配特征点对的检测检验，得到同构特征点对集；

S3：对同构特征点对集进行智能车车速测量下的绝对尺寸的估计和智能车侧方行人/车深度测距。

其中，对智能车的单目相机标定，并计算畸变系数的步骤包括：

在智能车左右后视镜的正下方嵌入式安装单目相机；

准备棋盘格标定板；

在智能车单目相机可视范围内摆好所述棋盘格标定板，均匀移动棋盘标定板，使用单目相机采集不同方位、不同距离的含有棋盘格标定板的图像，得到标定数据；

构建单目相机成像的几何模型；

根据像差概念构建单目相机光学镜头的畸变模型；

标定和畸变系数计算。

其中，构建单目相机成像的几何模型的步骤中：

基于四个坐标系，世界坐标系、相机坐标系、图像物理坐标系和图像像素坐标系，根据针孔模型建立二维图像到三维世界的坐标系转换关系。

其中，标定和畸变系数计算的步骤包括：

对采集的标定数据每一幅图像进行处理，输入标定板棋盘格的尺寸，提取图像中标定板中的棋盘格的角点，并计算出角点坐标；

选择使用两参数、错切、桶形畸变矫正；

利用张正友标定法和单目相机成像的几何模型，计算包含内参矩阵、外参矩阵、畸变系数的相机参数；

计算每幅图重投影误差与平均误差的差值以判定离群数据，并根据标定板和相机3D位置信息，将位置差别过大的标定数据图像进行数据清洗，删除离群数据；

重新标定计算得出包含内参矩阵、外参矩阵和畸变系数的相机参数。

具体的，安装智能车单目相机传感器，在智能车左右后视镜正下方嵌入式安装RER-USB，分辨率1280×1090(pixel)，视角70deg的相机保持不变，以保证智能车驾驶时的数据采集能够摄取到包含地面的图像。

准备一个8×7的黑白相间的棋盘格标定板，棋盘格的边长为100cm的正方形。

在智能车单目相机可视范围内摆好已经准备好的棋盘格标定板，均匀移动标定板，使得确保每次移动后标定板不晃动，用单目相机采集不同方位、不同距离的含有棋盘格标定板的图像30张。

基于四个坐标系，世界坐标系O

Z

根据像差概念构建单目相机光学镜头的畸变模型：

(u

将拍摄到的标定图像通过MATLAB TOOLBOX CAMERA CALIBRATION进行标定和畸变矫正：

对采集的标定数据每一幅图像进行处理，输入标定板棋盘格的尺寸，提取图像中标定板中的棋盘格的角点，并计算出角点坐标；

选择使用两参数、错切、桶形畸变矫正；

利用张正友标定法和单目相机成像的几何模型，计算包含内参矩阵、外参矩阵、畸变系数的相机参数；

计算每幅图重投影误差与平均误差的差值以判定离群数据，并根据标定板和相机3D位置信息，将位置差别过大的n个标定数据图像进行数据清洗，删除离群数据；

重新标定计算得出包含内参矩阵、外参矩阵、畸变系数的相机参数。

其中，对单目相机的采集数据进行同构匹配特征点对的检测检验，得到同构特征点对集的步骤包括：

利用畸变系数和畸变模型，将待处理图像/帧集所有图像进行畸变矫正，求解在畸变非线性模型下的图像坐标，然后利用双线性差值法对矫正后的图像缺失部分进行填充从而得到最终的畸变矫正图像/帧集；

将畸变矫正图像/帧集的所有图像按一定像素比进行归一化压缩，得到后续计算所需图像/帧集；

将后续计算所需图像/帧集按时序排列，得到前后间隔帧组对，然后按后反馈的方式将前后间隔帧组转化为图像/帧对，并设置初始图像帧/对；

利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测初始图像/帧对的N个特征点；

利用训练好的Brute-force matcher对特征点进行直接匹配，得到匹配关系集；

对匹配关系集进行随机一致性校验；

将随机一致校验后得到数据进行基于图同构模型的二次匹配校验，得到同构特征点对集。

具体的，获取智能车实时驾驶的单目相机采集数据，帧率为25fps。视频图像根据实际需求进行抽帧或逐帧的深度测距，例如以间隔10帧抽出待处理图像/帧集I

将矫正图像/帧集的所有图像按一定像素比进行归一化压缩，得到后续计算所需图像/帧集I

将图像/帧集I

利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测第i对图像对，即(f

将模板图像的特征点集(p

依次计算参考集Set

若查询集第n个特征点Set

交叉检验，若查询集第n个特征点Set

更新Set

若j＝N，则结束计算，跳出步骤，否则返回第一步。

将更新后的匹配关系集match(ref,inq)数据进行随机一致性校验，保留内点inliers即可被模型描述的正确数据，去除离散点outliers即偏离模型的异常数据，更新Set

对(p

由于Set

在Set

在Set

若Set

其中，对同构特征点对集进行智能车车速测量下的绝对尺寸的估计和智能车侧方行人/车深度测距的步骤包括：

对当前图像/帧对进行区域划分；

将智能车坐标系看作当前世界坐标系，利用坐标系的转换关系计算出智能车坐标系下的运动位移，得到三维世界空间点与其对应图像像素坐标系下的二维特征点的绝对尺寸和深度测距的约束模型；

使用图像/帧对应区域的同构特征匹配校验特征点，计算智能车运动偏移的绝对尺寸；

使用图像/帧对应的区域的同构特征匹配校验特征点，计算智能车运动偏移的深度距离；

采用k-means对智能车运动偏移的深度距离进行聚类，得到当前图像/帧对的智能车侧方行人/车的目标深度测距；

对当前图像/帧对的时序进行判断，如果时序不是最后一位，则将当前一图像/帧对的后一位图像/帧对返回利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测初始图像/帧对的N个特征点的步骤中重新计算，否则直接输出结果。

具体的，对当前第i对图像/帧对(f

将车辆坐标系看作当前世界坐标系，通过(f

已知步骤S1中的单目相机成像的几何模型：

其中

将几何模型改写为特征点用深度计算的相机透视变换方程：

将当前时刻t下的待求深度测距的特征点集的图像像素坐标系下的二维点(u(t),v(t))

在局部范围内，假设车辆在XOY平面运动，故

假设空间点P(X(t),Y(t),Z(t))的深度测距为

该位移即为三维世界空间点与其对应图像像素坐标系下的二维特征点的绝对尺寸和深度测距模型。

将(f

已知R

将u,v带入深度测距模型中的单目相机几何模型可得：

将上式按深度测距模型的步骤处理，得到对应每个维度的分量位移偏差和绝对尺寸：

由于目标与车辆做相对运动，则位移偏差是相反量，即目标点的位移偏差量根据上式求得的结果相反量为

最终，得到特征点，即目标点的二范数下的深度距离：

d(P)＝||d

采用k-means对上式得到的R

若i＝I，即图像/帧对已经处理完毕，则结束计算，否则，令i＝i+1，并跳转至S2中利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测初始图像/帧对的N个特征点的步骤，即利用结合FAST特征检测和BRIEF特征描述子相结合的改进的ORB检测算法，检测第i对图像对的步骤。

本发明，通过智能车左右后视镜正下方嵌入式安装的单目相机采集车辆侧方图像，通过构造单目相机时间序列的立体几何成像模型、畸变矫正模型，标定智能车侧方单目相机和计算畸变系数，构造图同构模型，进行图像数据的同构特征点的检测校验和立体匹配，构造深度测距模型，估计智能车车速测量下的绝对尺寸和可计算出对应目标区域的深度和三维坐标估计值，从而得到车辆侧方行人/车的单目深度测距。筛选了目标区域高级特征出现的合理位置，以此提高立体匹配的精度。减少低层级图像特征算法造成的计算冗余度和时间复杂度情况，保证了实时性，有效克服了单目深度测距缺乏尺度信息的缺点，并且弥补了智能车侧方会车、停车、变车道的避障，以及提供了智能网联汽车障碍物信息交互的基础。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。