倒车入库检测系统及其检测方法

摘要

本发明公开了一种倒车入库检测系统及其检测方法，本发明通过主摄像机和辅助摄像机完整记录车辆倒车入库整个动态过程并获得车辆相对库位标志线的位置、距离，并通过图像分析仪能够实现对倒车入库过程的定量分析，分析结果上报至服务器保存管理并进行综合评分，驾驶员及教练员通过后端的客户端对信息进行查询或调阅视频录像，如此实现对驾驶员的有效培训，提高驾培人员的学习效率。

说明书

技术领域

本发明涉及一种倒车入库检测系统及其检测方法。

背景技术

作为机动车驾驶员，倒车入库是必须熟练掌握的驾驶技能之一。但是传 统驾驶员培训时，一般在库位四周树立标志杆，学员以标志杆为参照物进行 训练，导致实际上路后需要重新培养位置感和入库技巧。虽然可以通过在路 面安装一定数量的传感器采集车辆位置，如中国实用新型201120277707.9 所采用的永磁铁，或工程测距上常用的红外线、激光、超声波等，但是此类 传感器均只能在个别固定点位上感知，施工、维护复杂，整体造价也昂贵， 并且仍需要联动摄像机才能实现取证。

无论学员学习还是教练员教学，主要都是基于视觉信息再做出判断，因 此基于机器视觉对倒车入库整个动态过程进行检测方式也是最易被接受的。

中国实用新型201120489062.5虽然介绍了一种用于驾驶员考试的直线 边距的视频检测装置，但其核心为：“图像处理单元将得到的图像分别映射 到HSV和LAB色彩空间，并在各空间阈值化，形成直线像元，像元比较单 元运用概率原理，对输入像元进行统计，得出最符合右边线特征的直线元， 计算出此直线元的右边距”。总所周知，这种方式在现实环境下很难具备可 操作性，因为车辆自身存在多条直线像元，如车窗、顶棚等，同时背景环境 也往往存在大量直线像元，如路缘石、花草树木等，这种情况下，难以在像 素层面将“车”从背景环境中提取出来，最终导致检测不准确。

本发明公开一种完全基于机器视觉的倒车入库检测系统及方法，不但结 构简洁，同时能实时、准确检测车辆位置、姿态以及和库位边界线的最短距 离，给出整个过程的综合评分的同时还能给出抓拍图片、视频录像等信息。

发明内容

本发明目的在于提供一种倒车入库检测系统及其检测方法，其可实现对 训练车进行倒车入库过程中的定量分析，有利于训练成果的实时监测和追 踪。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种倒车入库检测系统，它包括安装在倒车入库库位附近的前端系统和 部署在管理中心的后端系统，所述前端系统包括主摄像机、图像分析仪以及 置于训练车上的标志牌，后端系统包括服务器与客户端，前端系统通过传输 网络连接后端系统，监控画面覆盖库位区域的主摄像机用于摄录库位处训练 车的行驶状况，与主摄像机相连的图像分析仪持续接收主摄像机捕获的监控 图像并压缩成监控图像，同时图像分析仪监测车辆的运行姿态，图像分析仪 将监测结果与监控图像发送至后端系统的服务器，客户端可调用查看服务器 内的监测结果与监控图像。

对于上述技术方案，发明人还有进一步的优化实施方案。

作为优化，所述的可俯视库位全景的主摄像机设置于库位上方的立杆 上。

作为优化，，在主摄像机的两侧还设有辅助摄像机，用于辅助补充捕捉 库位内训练车的运行轨迹。

作为优化，所述标记牌设置在车顶、发动机机顶盖或者后备箱盖上，所 述标记牌上的标记图形为若干标记点，标记点排列成具有固定夹角和唯一交 点的特定线段。

作为优化，主摄像机、辅助摄像机的机位旁均设有补光灯，所述补光灯 的同步信号由主摄像机或者辅助摄像机给出，用于在光照过暗时进行频闪式 补光。

本发明还提供了一种倒车入库检测方法，所述方法涉及系统包括安装在 倒车入库库位附近的前端系统和部署在管理中心的后端系统，所述前端系统 包括主摄像机、辅助摄像机、图像分析仪以及置于训练车上的标志牌，后端 系统包括服务器与客户端，前端系统通过传输网络连接后端系统，监控画面 覆盖库位区域的主摄像机用于摄录库位处训练车的行驶状况，图像分析仪与 主摄像机、辅助摄像机相连，具体检测方法包括以下步骤：

步骤S1：通过直接人工测量库位长、宽尺寸，运行摄像机标定程序， 实现图像坐标系与世界坐标系的相互转化；

步骤S2：图像分析仪持续接收主摄像机捕获的监控图像，压缩成视频 录像，同时运行标志牌识别程序，获取标志牌的位置和方向；

步骤S3：图像分析仪根据主摄像机标定结果和标志牌识别结果，运行 车辆位置姿态检测程序，获得车辆世界坐标系中的位置和姿态；根据车 辆位置、姿态和已知的车辆尺寸，确定车辆轮廓范围以及轮廓外边线至 库位标记线的最短距离；

步骤S4：图像分析仪4将步骤S3中获得的车辆位置、姿态、测距结果 以及抓拍图片、视频录像等数据通过传输网络发送至服务器，服务器运 行数据管理程序分析各类信息并给出综合评分、项目用时等应用数据， 以数据记录的方式存入数据库，将图片、视频存入指定文件路径，同时 运行应用服务程序支持、管理客户端接入；

步骤S5：学员操作客户端，通过传输网络登录服务器，浏览训练相关 的数据记录、图片、视频等信息，并依据需求打印、下载信息；教练员 操作客户端，通过传输网络登录服务器，浏览所教学员的数据记录、图 片、视频等信息，并依据需求打印、下载信息。

对于上述检测方法，发明人同样还有进一步的优化实施方案。

作为优化，步骤S3中，在停车过程中车辆压线或距离小于设定阈值时 触发主摄像机1或辅助摄像机2抓拍图片并发送至图像分析仪。

作为优化，步骤S1中，进行摄像机标定时，（世界坐标系即车辆所在的 现实世界的坐标系，由3个坐标轴：X轴、Y轴、Z轴组成，图像坐标系即 摄像机所拍摄的平面图像，由2个坐标轴：U轴、V轴组成），步骤S1中， 进行摄像机标定时，所述摄像机标定程序的步骤为：

以库位任意顶点为坐标原点，测量实际场地中矩形库位的四个顶点的世 界坐标；

摄像机抓拍一幅图像，以任意像素点为原点，手动标记出矩形库位四个 顶点的图像坐标；

将四个库位顶点的世界坐标和像素坐标代入图像-世界坐标转化线性方 程组中，求解图像-世界坐标转化矩阵；

将任意一个世界坐标系下某点坐标值代入图像-世界坐标转化矩阵已知 的图像-世界坐标转化线性方程组，即可计算出该点对应的图像坐标； 在已知世界坐标高度的前提下，将任意一个图像坐标代入图像-世界坐 标转化矩阵已知的图像-世界坐标转化线性方程组，即可计算出该点对 应的世界坐标；至此，完成摄像机标定。

作为优化，步骤S2中进行标志牌识别的流程如下：

对图像进行阈值分割，获得分割后的图像；

对阈值分割后的图像进行连通域提取，判断连通域长、宽是否符合标志 牌标记点图形的长、宽设定值，如果符合，则标记该连通域；

逐个判断标记的连通域能否连接成和实际标记牌一致的形状，包括标记 点数量和标记点连线所成的夹角，如果可以，则视连通区域为标记点检 测图形，否则舍弃该连通域；重复本步骤，直至遍历所有连通域；

以标记点检测图形为参考点，标识出其它附加字母和数字区域并识别， 至此完成整个标志牌的识别。

本检测方法中步骤S3中进行车辆位置姿态检测的步骤流程为：

将标志牌识别程序中获取的标记点检测图形的图像坐标代入摄像机标 定程序的图像-世界坐标转化线性方程组中，即可获得标记点检测图形 的世界坐标；

在世界坐标系中，将标记点检测图形按照标志牌标原始标记点图形的排 列规则连成存在交点的线段；

在世界坐标系中，计算交点的坐标以及线段的夹角，交点坐标即为车辆 位置，线段夹角即为车辆姿态。

相对于现有技术中的方案，本发明的优点是：

1.本发明描述了一种倒车入库检测系统及其检测方法，本发明通过主摄像机 和辅助摄像机完整记录车辆倒车入库整个动态过程并获得车辆相对库位 标志线的位置、距离，并通过图像分析仪能够实现对倒车入库过程的定量 分析，分析结果上报至服务器保存管理并进行综合评分，驾驶员及教练员 通过后端的客户端对信息进行查询或调阅视频录像，学员借此可纠正错误 操作，而教练借此评估学员学习进度或改进指导，如此实现对驾驶员的有 效培训，提高驾培人员的学习效率；

2.本发明完全基于视频技术，不需要在场地上埋设其它传感器，也不需要增 加任何车载电气设备，结构简单，成本低廉；

3.本发明直接基于视频技术，支持对压线等异常情况的图片抓拍，取证方便。

附图说明

下面结合附图及实施例对本发明作进一步描述：

下面结合附图及实施例对本发明作进一步描述：

图1是本发明实施例的系统结构示意图；

图2是本发明实施例的标志牌示意图；

图3是本发明实施例的系统总体工作流程图；

图4是本发明实施例的摄像机标定程序流程图；

图5是本发明实施例的标志牌识别程序流程图；

图6是本发明实施例的车辆位置姿态检测流程图；

图7是本发明实施例的评分程序流程图。

其中：1、主摄像机；2、辅助摄像机；3、补光灯；4、图像分析仪；5、 标志牌；6、传输网络；7、服务器；8、客户端。

具体实施方式

实施例：

本实施例描述了一种倒车入库检测系统及其检测方法，系统结构如图1 所示，系统由安装在倒车入库库位附近的前端系统和部署在管理中心的后端 系统组成。前端系统主要有：主摄像机1、辅助摄像机2、补光灯3、图像分 析仪4以及置于训练车上的标志牌5；后端系统主要有：服务器7、客户端8； 前、后端系统通过传输网络6互连。

为了获得良好的监控效果同时兼顾节约部署成本，主摄像机1安装于库 位上方约4-8米，处于库位宽度方向的中心线上，水平方向距离库位中心点 为6米，采用工业级宽温设计，传感器采用500万CCD，分辨率大于 2592x1936，帧率不低于8帧/秒，内置千兆以太网接口，同时配以10mm~35mm 多款定焦镜头或者变焦广角镜头，这样能有效保证上述安装条件下监控画面 至少覆盖库位区域，且确保标志牌横向像素宽度不少于500个像素。辅助摄 像机2可以安装于主摄像机1同一个立杆横臂上，具体位置为库位左右边界 线外0.2-1米，辅助摄像机采用工业级宽温设计，传感器采用200万CCD， 分辨率大于1920x1080，帧率不低于8帧/秒，内置千兆以太网接口，同时配 以10mm~25mm多款定焦镜头或者变焦镜头，这样能有效保证上述安装条件 下能有效监控车轮压线。

补光灯3采用频闪式LED补光灯，同步信号由主摄像机1给出的叫主 补光灯，同步信号由辅助摄像机给出的叫辅助补光灯。补光灯3功率和可视 角度依据安装位置而定。为避免车身反光造成摄像机过曝，补光灯3与控制 其同步的摄像机应当间隔一定距离安装，一般不小于0.5米。当补光灯2安 装高度为6米，距离车位中心水平距离为6米时，可视角度不小于40度， 功率不低于15W，与摄像机间隔1米安装即可满足需求。

图像分析仪4采用嵌入式工业控制用计算机，其外壳为一体化散热外 壳，不需要散热风扇，有效防治内部积尘，提高系统稳定性；当连接500万 像素的CCD摄像机时，要求配置主频不低于2.4GHz的CPU，不少于4GB 的内存，不少于32GB的硬盘作为外存以及千兆以太网、RS232等硬件接口， 上述配置确保图像分析仪4有足够的计算、存储和通信资源来运行各类图像 处理算法和应用程序。

服务器7可采用塔式服务器，选用主频大于2.8GHz、8MB缓存的四核 处理器，内存不低于4GB，以保证在部署多台图像分析仪4时仍能保证系统 响应实时性。

客户端8为普通PC即可，可配备打印机、IC卡读卡器或指纹采集器等 外围设备。

传输网络6在跨接前、后端系统时采用光纤或3G无线通信网络，而前、 后端系统本地多采用基于双绞线的千兆以太网。

主摄像机1、辅助摄像机2、图像分析仪4、服务器7、客户端8通过传 输网络6实现数据交换。

如图2所示，本发明的标志牌5示意图由三部分组成：标记点图形、驾 校代号字符、训练车编号字符：标记点图形必须能明确指示标志牌位置和方 向，如采用T型标志，且其横向线段由5个白底黑圆图形组成，竖向线段由 3个黑底白圆图形组成，横向线段和纵向线段通过图形二值化、连通域提取 后能很容易地区分并识别，横向线段与纵向线段存在垂直夹角；驾校代号字 符采用两位英文字母，如“华丰驾校”可用“HF”来指代；训练车编号字符 采用三位阿拉伯数字。

如图3所示是本发明的系统总体工作流程图：

步骤S1：通过直接人工测量库位长、宽尺寸，运行摄像机标定程序， 实现图像坐标系与世界坐标系的相互转化；

步骤S2：图像分析仪4持续接收主摄像机1捕获的监控图像，压缩成 视频录像，同时运行标志牌识别程序，获取标志牌5的位置和方向；

步骤S3：图像分析仪4根据主摄像机1标定结果和标志牌5识别结果， 运行车辆位置姿态检测程序，获得车辆世界坐标系中的位置和姿态；根据车 辆位置、姿态和已知的车辆尺寸，确定车辆轮廓位置以及轮廓外边线至库位 标记线的最短距离，并在车辆压线或距离小于设定阈值时触发主摄像机1或 辅助摄像机2抓拍图片。

步骤S4：图像分析仪4将步骤S3中获得的车辆位置、姿态、测距结果 以及抓拍图片、视频录像等数据通过传输网络6发送至服务器7，服务器7 运行数据管理程序分析各类信息并给出综合评分、项目用时等应用数据，以 数据记录的方式存入数据库，将图片、视频存入指定文件路径，同时运行应 用服务程序支持、管理客户端接入。

步骤S5：学员操作客户端8，通过传输网络6登录服务器7，浏览训练 相关的数据记录、图片、视频等信息，并依据需求打印、下载信息；教练员 操作客户端8，通过传输网络6登录服务器7，浏览所教学员的数据记录、 图片、视频等信息，并依据需求打印、下载信息。

摄像机标定的目的是计算出世界坐标系与图像坐标系的对应关系，世界 坐标系即车辆所在的现实世界的坐标系，由3个坐标轴：X轴、Y轴、Z轴 组成，图像坐标系即摄像机所拍摄的平面图像，由2个坐标轴：U轴、V轴 组成。假设在世界坐标系X、Y、Z三个坐标轴中某点的坐标为(x_w，y_w，z_w)， 其在图像坐标系中的对应点坐标为(u，v)，则这两点坐标的对应关系可以表 示为线性方程组：

$\alpha \left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{cccc}{f}_x& 0& u_0& 0\\ 0& f_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}R& T\\ 0& 1\end{array}\right)\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right)=M_1{M}_{2}X=\mathrm{MX}$

该方程组称为“图像-世界坐标转化线性方程组”，其中α是计算过程的 中间参数，(u，v)是图像像素坐标，(x_w，y_w，z_w)是世界坐标，(f_x，f_y)分 别为图像坐标系中X轴与Y轴方向的焦距，(u₀，v₀)为摄像机光轴与图像平 面的交点在图像坐标中的位置。T=[t_x，t_y，t_z，1]是世界坐标原点在图像坐 标中的映射参数，R是正交矩阵，定义为：

$R=\left(\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right)$

M矩阵是图像-世界坐标系变换矩阵，包含了所有待确定的摄像机标定 参数，摄像机标定就是求解M矩阵的过程。我们通过测量获得训练场地的 四个顶点的世界坐标值{(x_wi，y_wi，z_wi)|i=1,…,4}，通过手工标记获得图像中 这4个角点在图像中的坐标值{(u_i，v_i)|i=1,…,4}，即可通过解上述线性方程 组的方法求出M矩阵。

在计算出M矩阵后，任给一个世界坐标系下某点坐标值，都可以计算 出该点对应的图像坐标值；任给一个图像坐标系下某点的坐标并且已知这点 在世界坐标中对应点的高度z_w，可以计算出对应点的世界坐标，因此本发明 采用如图4所示的摄像机标定程序流程图：

步骤S101：以库位任意顶点为坐标原点，由测量数据获得矩形库位的 四个顶点的世界坐标{(x_wi，y_wi，z_wi)|i=1,…,4}；

步骤S102：摄像机抓拍一幅图像，以任意像素点为原点，手动标记出 矩形库位四个顶点的图像坐标{(u_i，v_i)|i=1,…,4}；

步骤S103：将库位的世界坐标和图像坐标代入图像-世界坐标转化线性 方程组中，求解图像-世界坐标转化矩阵M；

步骤S104：将任意一个世界坐标系下某点坐标值代入M已知的图像- 世界坐标转化线性方程组，即可计算出该点对应的图像坐标；在已知世界坐 标高度zw的前提下，将任意一个图像坐标代入图像-世界坐标转化矩阵已知 的图像-世界坐标转化线性方程组，即可计算出该点对应的世界坐标；至此， 完成摄像机标定。

当采用图2所示的T型标志牌时，黑圆与白圆是识别标志的主要依据， 本发明可采用如图5所示的标志牌识别程序流程图：

步骤S201：设图像坐标(x,y)处的像素值记为p_x,y，定义两幅阈值分割图 像LB、LD分别用于检测黑圆和白圆，其像素值为分别为：

${\mathrm{LB}}_{x,y}=\left(\begin{array}{c}0,\mathrm{if}{P}_{x,y}<T_B\\ 1,\mathrm{if}{P}_{x,y}\ge T_B\end{array}\right)$

${\mathrm{LD}}_{x,y}=\left(\begin{array}{c}0,\mathrm{if}{P}_{x,y}\ge T_D\\ 1,\mathrm{if}{P}_{x,y}<T_D\end{array}\right)$

其中T_B，T_D是预先设定值。根据上式计算出LB、LD所有的像素值。

步骤S202：对于检测白圆，找出LB中为1的连通区域，将此区域的长、 宽值转换为世界坐标系下的长、宽值，判断长、宽值是否符合标志牌5中的 白圆大小，符合则记为检测到的白圆。同理，对于LD做同样处理，可以检 测出黑圆。

步骤S203：利用检测出的白圆和黑圆，逐个判断是否能够连接成和标 志牌一致的特定线段，如果可以，则视该白圆、黑圆为标记点检测图形，否 则舍弃该白圆或黑圆；重复本步骤，直至遍历所有白圆和黑圆；

步骤S204：如果步骤S203找到标记点检测图形，则以标记点检测图形 为参考点，定位其它附加字母和数字区域，至于字母和数字的识别，可以采 用模板匹配等方法识别，由于字符和数字识别已经是图像处理的常用技术， 同时在本专利中并非核心技术点，在此不再赘述。至此完成整个标志牌5的 识别。

由于标志牌5是粘贴于车辆的固定位置和方向，所以可以根据标志牌5 的位置和方向推算出车辆的位置和姿态。这里假设车辆的尺寸参数，例如长、 宽、高，以及标志牌在车身上的位置和方向已经通过测量获得。

当采用图2所示的T型标志牌5以及图3所示的标志牌检测方法时，多 个黑圆组成的线段和多个白圆组成的线段的夹角Theta即为标志牌5方向。 假设标志的图像坐标为(u_i，v_i)，角度为Theta，标志牌5粘贴于车顶部，则 z_w=车辆高度，是已知的，因此定位车辆的位置和姿态可采用如图6所示的 车辆位置姿态检测流程：

步骤S301：将标志牌识别程序中获取的标记点检测图形的图像坐标(u_i， v_i)代入摄像机标定程序的图像-世界坐标转化线性方程组中，即可获得标记 点检测图形的世界坐标(x_w，y_w，z_w)；

步骤S302：在世界坐标系中，将标记点检测图形按照标志牌标原始记 点图形的排列规则连成存在交点的线段；

步骤S303：在世界坐标系中，计算交点的坐标以及线段的夹角Theta_w， 交点坐标即为车辆位置，线段夹角即为车辆姿态。

如图7所示是本发明的评分程序流程图。

步骤S401：统计是否存在车辆压线、用时超过最大时限、停车位置不 在规定区域等明显操作失误，如果存在，则直接判定本次倒车入库不合格， 评分结束；

步骤S402：判断用时是否在标准范围内，如果不超过标准范围，则不 扣分，如果超过，则按照设定规则扣除相应分数，如果超时达到上限，则直 接判定本次倒车入库不合格，例如每超时5秒扣1分，直至超时200秒，即 为步骤S401所述的用时超过最大时限；

步骤S403：计算倒车入库结束时的停车位置距离标准位置的直线距离， 车辆位置通过步骤S3获得，直线距离可以通过在计算世界坐标系中计算获 得；直线距离与扣分可以设定为：如果距离小于200mm，不扣分；距离大于 200mm并小于1000mm，按照1分/20mm扣减；距离大于1000mm，即为步 骤S401所述的停车位置不在规定区域；

步骤S404：统计最终综合得分，若低于设定值，则判定不合格，否则 判定为合格并给出判定分数。

当然上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉 此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的 保护范围。凡根据本发明主要技术方案的精神实质所做的修饰，都应涵盖在 本发明的保护范围之内。