基于多窗口实时测距的单目视觉AGV的精确定位方法及系统

摘要

本发明公开了基于多窗口实时测距的单目视觉导引AGV的精确定位方法及系统，针对摄像机倾斜安装的方式，对相机参数进行标定与测量，建立视觉系统实时测量模型；通过在地面设置圆形色块作为停车定位的参照物，经过视觉系统的高效算法对其进行识别，精确提取其中心位置信息；在视野范围内，设置多窗口对图像进行处理：远端窗口用于AGV对地面信息的预判，使其逐渐减速；中间窗口作为粗定位窗口，对其位姿进行调整；近端窗口用于精确测距，准确停车；本方法实现了AGV对深度信息的感知，具有特征识别率高、算法实时性优、成本低廉、可扩展性强等优点，AGV停车的水平距离偏差稳定在±1mm、角度偏差稳定在±1°、停车误差稳定在±2mm。

说明书

技术领域

本发明涉及一种基于视觉传感的工业移动机器人的精确定位技术，特别涉及一种基于多窗口实时测距的单目视觉导引AGV的精确定位方法及系统，其属于智能化工业机器人领域。

背景技术

在自动化物流装备中，自动导引车自动导引车AGV(Automated Guided Vehicle)作为物料运载的理想工具，已经应用于社会生产的多种行业。AGV在运行过程中，对其行走定位的精度要求不高，但在工位点处要求其能实现较高的定位停车精度。AGV的定位停车是指其导引系统在获取工位点信息后，能够在指定工位点处进行停车的功能，定位停车的位置准确与否将直接影响后续的工作任务。目前磁导引AGV的成本较低，但定位精度较差，激光导引AGV的定位精度能达到5mm之内，但其成本较高。而视觉导引AGV以其精度高、实时性好、成本低等优点，越来越受到国内外学者的关注。

视觉导引AGV的摄像机安装方式有垂直安装与倾斜安装两种。公开号为CN103390259A的中国发明专利采用一种摄像机垂直安装检测地面路径的方式，摄像机垂直安装图像畸变相对较小，检测精度高，但其视野小，无法及时获取AGV前方路况信息。公开号为CN103646249A的中国发明专利采用摄像机倾斜安装方式，通过对采集的图像进行处理后得到前方路径中点信息，无法实现对路面信息的精确测量。

传统的单目视觉导引AGV不具备实时测距功能，缺少视觉信息反馈，不具备停车闭环控制的能力。此外，采用十字标记作为工位点信息的方法只是检测到工位点就立即发送停车信号给运动控制器，实际停车误差较大，重复停车定位精度低，不能实现AGV的精确定位停车。公开号为CN104181920A的中国发明专利提出的视觉定位方法能够实现AGV在工位点处的定位，但定位停车时易受到其他因素的影响，其停车定位精度并不理想。在路径偏差测量方面，传统的方法根据预先设定的路径模型对采集的路径点进行拟合，典型的路径模型有直线模型、圆弧模型以及非圆弧模型等，这类方法计算量大，并且精度相比直线模型计算出来的结果提升有限。

因此，确实有必要对现有技术进行改进以解决现有技术之不足。

发明内容

针对上述现有技术的不足，本发明提供一种基于多窗口实时测距的单目视觉导引AGV的精确定位方法及系统，能够实现AGV在工位点处的精确定位与准确停车。

本发明提供的基于多窗口实时测距的单目视觉AGV的精确定位方法，步骤如下：

步骤一，建立视觉系统模型：采用前置倾斜安装车载摄像机的方式，通过简化单目视觉系统模型，利用几何方法推导出路面坐标系与图像像平面坐标系之间的转换关系，建立实时测距模型；

步骤二，在视野范围内，设置多窗口进行处理：将采集到的图像信息划分多个窗口：远端窗口始终用于自动导引车自动导引车AGV对地面信息的预判；中间窗口作为粗测量窗口，提取路径信息，实时测量停车标识中心与所述AGV的距离信息；近端窗口用于对所述AGV的精确测距，准确停车；

步骤三，图像特征提取：设置地面特征识别窗口，设计基于嵌入式系统对采集图像进行处理，提取有用信息；其具体步骤为：(1)地面导引路径的原始图像采集；(2)图像预处理及二值化；(3)路径信息的采集；(4)圆形标识的检测与识别；(5)圆形标识的定位；

步骤四，路径偏差测量：将导引路径简化成直线模型，计算相对于图像像平面坐标系的位置偏差和姿态角偏差，并将所述偏差信号发送给车载控制器；

步骤五，作为粗定位窗口，根据提取到的路径信息对所述AGV的位姿进行调整，同时实时测量停车标识中心与所述AGV的距离信息，并将其反馈给运动控制器；(3)设定阈值，当在近端窗口测量的距离达到预先设定好的阈值范围时，则运动控制器发出停车信号进行停车。

进一步的，所述步骤一中建立视觉系统模型具体如下：将单目倾斜摄像机系统简化为简单几何模型，通过模型的几何关系推导出图像平面坐标与路平面坐标之间的映射关系，其映射关系如下：

$\left(\begin{array}{c}{X}_T=\frac{(K_1+Y_T)}{K_1}·K_2·K_4·x_t\\ Y_T=\left(\frac{1+{\tan }^2\gamma }{1-K_2·tan\gamma ·y_t}\right)·h·K_2·y_t\\ x_t=\left(\frac{K_1}{(K_1+Y_T)·K_3·K_4}\right)·X_T\\ y_t=\frac{Y_T}{K_2·(h+h·{\tan }^2\gamma +Y_T·tan\gamma )}\end{array}\right)---\left(1\right)$

其中

其中PQ为摄像机视野中心点到摄像机视野最下端的实际物理距离，L和W分别为图像平面的长和宽(即CCD的物理尺寸)；h为摄像机的安装高度；2β₀为摄像机的水平视场角；；2α₀为摄像机的垂直视场角；γ为摄像机的俯仰角；即建立了实时测距的理论模型，实现视觉系统的实时测量功能。

进一步的，所述步骤三中图像特征提取具体包括：

步骤3.1：车载摄像机采集路径特征识别窗口中导引路径的原始图像，嵌入式平台将其处理为灰度图像，对均值滤波后的灰度图像进行光照补偿，以光照中心为基准按照距离信息划分为不同区域，对高光区域进行补色，对低照度区域进行补光，对每个区域采用最优阈值法确定分割阈值，得到二值化的路径特征图像。

步骤3.2：识别圆形标识：根据基于椭圆几何特征的边界追踪算法，获取目标的理想边缘；采用较大观测窗口对理想边缘进行曲率角估计，剔除非理想轮廓边缘，通常情况下，曲率角的极值出现在椭圆轮廓的顶点处；

步骤3.3：确定圆形标识的图像坐标：根据标准椭圆的几何特征，相互平行的椭圆弦，弦中点在同一条直线上，且椭圆的中心位于该条直线上；采用最小二乘拟合弦中点直线的椭圆中心定位的方法，拟合出水平弦中点和竖直弦中点所在的两条直线，求出其交点，即椭圆中心的坐标，通过实时测距模型，计算该交点在路面坐标系中的坐标，实现所述AGV对停车标识的距离精确感知。

进一步的，所述步骤四中路径偏差测量方法为：通过逐行扫描方法，计算路径导引窗口上边界和下边界的中点，作为导引路径的直线模型，采用最小二乘法计算相对于导引路径的姿态角偏差Δθ和位置偏差Δx为：

$\theta =arctan\frac{\underset{i=1}{\overset{n}{\Sigma }}{x}_i\times \underset{i=1}{\overset{n}{\Sigma }}y{}_i-n\times \underset{i=1}{\overset{n}{\Sigma }}{x}_i{y}_i}{{\left(\underset{i=1}{\overset{n}{\Sigma }}{y}_i\right)}^2-n\times \underset{i=1}{\overset{n}{\Sigma }}{y}_i^2}---\left(3\right)$

$x=\frac{\underset{i=1}{\overset{n}{\Sigma }}{y}_i\times \underset{i=1}{\overset{n}{\Sigma }}{x}_i{y}_i-\underset{i=1}{\overset{n}{\Sigma }}{x}_i\times \underset{i=1}{\overset{n}{\Sigma }}{y}_i^2}{{\left(\underset{i=1}{\overset{n}{\Sigma }}{y}_i\right)}^2-n\times \underset{i=1}{\overset{n}{\Sigma }}{y}_i^2}---\left(4\right)$

其中x_i和y_i为所采集图像的第i行(i＝0,1,2,3,…,n)路径中点的像素坐标，n的大小一般推荐范围为[80,159]。

进一步的，所述的步骤五具体包括：

步骤5.1：圆形标识进入到图像远端窗口，AGV减至较低速度，根据提取到的路径信息对所述AGV的位姿进行调整；

步骤5.2：圆形标识进入图像中间窗口，对其中心坐标进行提取，实时测量停车标识中心与AGV的距离信息，反馈给运动控制系统，将AGV继续减至更低速；

步骤5.3：圆形标识进入图像近端窗口，当测量得到的距离在预先设定好的阈值范围内时，运动控制器发出停车信号，所述AGV停车。

更进一步的，通过手眼标定实验得到的摄像机内外参数、摄像机的水平视场角和垂直视场角、摄像机的俯仰角、摄像机安装的离地高度参数，将其代入映射关系中。

本发明还提供一种基于多窗口实时测距的单目视觉导引AGV的精确定位系统，该系统包括车载摄像机、图像处理模块、运动控制模块、全方位移动平台；

所述车载摄像机连接至所述图像处理模块，并将视频传输至图像处理模块；所述图像处理模块连接至运动控制模块，将处理后的位置信息发送至运动控制模块；对全方位移动平台进行运动控制，实现AGV的精确定位。

所述车载CCD摄相机采集逐行倒相(Phase Alternating Line，PAL)制式的视频信号，图像分辨率为720×480，将图像序列输入嵌入式开发平台，经解码器解码处理后，输出8位BT.601YCbCr格式彩色图像至以DSP为核心的图像处理平台，将处理得到的路径偏差和圆形标识的坐标信息以串口方式发送至以主控芯片STM32为核心的运动控制模块，进而对全方位移动平台进行运动控制，实现AGV的精确定位。

进一步的，所述图像处理模块为基于DSP和ARM的图像处理模块，所述运动控制模块为基于STM32的运动控制模块，所述全方位移动平台为基于麦克纳姆轮的全方位移动平台。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明提供了一种基于多窗口实时测距的单目视觉导引AGV的精确定位方法及系统，实现AGV的实时测距功能，该方法可以用于简单障碍物的测距，实现AGV的合理避障；通过识 别间隔距离一定的椭圆标识，设计简易的视觉里程计；AGV在非接触充电工位点处的准确停车，实现自动充电功能。

在行车、定位、停车过程中，设置多窗口对图像进行处理：远端窗口用于AGV对地面信息的预判，若检测到椭圆标识，则其减至一定速度；中间窗口作为粗定位窗口，根据提取到的路径信息对AGV的位姿进行调整，同时实时测量停车标识中心与AGV的距离信息；近端窗口用于AGV的精确测距，准确停车。

实现了AGV在工位点的准确停车，并将精度控制在±2mm之内。使AGV能够更精确的完成装运和卸载任务。

利用视觉传感系统，自动识别地面标识，相机参数进行标定与测量，从而建立视觉系统实时测量模型。通过在地面设置圆形色块作为停车定位的参照物，经过视觉系统的高效算法对其进行识别，精确提取其中心位置信息。本发明具有特征提取准确、系统实时性好、路径测量精度高以及停车定位精确平稳等优点。

附图说明

以下将结合附图对本发明作进一步说明：

图1为本发明一种基于多窗口实时测距的单目视觉导引AGV的精确定位方法及系统流程图；

图2为本发明单目倾斜视觉系统简化模型图；

图3为本发明单目倾斜视觉系统Y轴方向投影关系图；

图4为本发明二值化后路径特征图；

图5为本发明椭圆边缘提取方法的处理结果图；

图6为本发明椭圆边缘曲率角分布图；

图7为本发明椭圆中心坐标提取示意图；

图8为本发明图像多窗口分割处理示意图；

图9为本发明导引扫描窗口中直线模型计算偏差定义图。

具体实施方式

本发明提供基于多窗口实时测距的单目视觉AGV的精确定位方法及系统，为使本发明的目的，技术方案及效果更加清楚，明确，以及参照附图并举实例对本发明进一步详细说明。应当理解，此处所描述的具体实施仅用以解释本发明，并不用于限定本发明。

图1为本发明提供的一种基于多窗口实时测距的单目视觉导引AGV的精确定位方法及系统流程图。

1)视觉系统模型：使用低成本的车载摄像机，采用前置倾斜安装的方式，通过简化单目视觉系统模型，利用几何方法推导出路面坐标系与图像像平面坐标系之间的转换关系，建立实时测距模型，如图2所示；

2)在视野范围内，设置多窗口进行处理：将采集到的图像信息划分多个窗口：远端窗口始终用于AGV对地面信息的预判；中间窗口作为粗测量窗口，提取路径信息，实时测量停车标识中心与AGV的距离信息；近端窗口用于AGV的精确测距，准确停车。如图8所示，其各个窗口的大小根据车载摄像机的视角以及倾斜安装角度进行模拟实验确定；

3)图像特征提取：设置地面特征识别窗口，设计基于嵌入式系统的高效算法对采集图像进行处理，提取有用信息，具体步骤：(1)原始图像采集；(2)图像预处理及二值化；(3)路径信息的提取；(4)圆形标识的检测与识别；(5)圆形标识的定位；

4)路径偏差测量：将导引路径简化成直线模型，计算相对于图像像平面坐标系的位置偏差和姿态角偏差，并将所述偏差信号发送给车载控制器；

5)精确停车：当远端窗口检测到椭圆标识，则其减至一定速度，约为0.1m/s；椭圆进入到中间窗口，根据提取到的路径信息对AGV的位姿进行调整，同时实时测量停车标识中心与AGV的距离信息，并将其反馈给运动控制器，将AGV速度降至更低，约为0.03m/s；当在近端窗口测量的距离达到预先设定好的阈值范围时，则运动控制器发出停车信号进行停车。

其中视觉系统模型方法包括：

将单目倾斜摄像机系统简化为简单几何模型，通过模型的几何关系推导出图像平面坐标与路平面坐标之间的映射关系，其映射关系如下：

其中

其中PQ为摄像机视野中心点到摄像机视野最下端的实际物理距离，L和W分别为图像平面的长和宽(即CCD的物理尺寸)；h为摄像机的安装高度；2β₀为摄像机的水平视场角；2α₀为摄像机的垂直视场角；γ为摄像机的俯仰角。

在此基础上，进行手眼标定实验，得到的相机内外参数、相机的水平视场角和垂直视场角、相机的俯仰角(安装时的倾斜角)、相机安装的离地高度等参数，将其代入映射关系中。可以实现AGV视觉系统对地面信息的实时相对测量。整个模型示意图如图3所示。

平面ABCD表示AGV行进路面，且该区域为摄像机视野范围内路面的梯形区域，O点为摄像机镜头中心点，OQ为摄像机的光轴，Q点为摄像机光轴和路面的交点，H点为O点在路面上的垂直投影。以Q点为路面坐标系的原点，X轴方向平行于AD，Y轴的方向与X轴方向垂直，分别与AD、BC相交于点P、Q，路面坐标系统任意一点记为T(X_T,Y_T)。

所述步骤3)，具体分为：

步骤1：车载摄像机采集路径特征识别窗口中导引路径的原始图像，嵌入式平台将其处理为灰度图像。由于光源的影响，图像光照中心亮度较高，边缘则较暗。故对均值滤波后的灰度图像进行光照补偿，以光照中心(标定得到)为基准按照距离信息划分为3个区域，对高光区域进行补色，对低照度区域进行补光，对每个区域采用最优阈值法确定分割阈值，得到二值化的路径特征图像，如图4所示。

步骤2：识别圆形标识：根据一种基于椭圆几何特征的边界追踪算法，获取目标的理想边缘，如图5所示。采用较大观测窗口对理想边缘进行曲率角估计，剔除非理想轮廓边缘，通常情况下，曲率角的极值出现在椭圆轮廓的4个顶点处，如图6所示；

步骤3：确定圆形标识的图像坐标：根据标准椭圆的几何特征，相互平行的椭圆弦，弦中点在同一条直线上，且椭圆的中心位于该条直线上。采用一种基于最小二乘拟合弦中点直线的椭圆中心定位的方法，拟合出水平弦中点和竖直弦中点所在的两条直线，求出其交点(即椭圆中心)的坐标，如图7所示。通过实时测距模型，可准确计算该交点在路面坐标系中的坐标，实现AGV对停车标识的距离精确感知。

所述步骤4)中路径偏差测量方法为：通过逐行扫描方法，计算路径导引窗口上边界和下边界的中点，作为导引路径的直线模型，如图9所示。采用最小二乘法计算相对于导引路径的姿态角偏差Δθ和位置偏差Δx为：

$\theta =arctan\frac{\underset{i=1}{\overset{n}{\Sigma }}{x}_i\times \underset{i=1}{\overset{n}{\Sigma }}y{}_i-n\times \underset{i=1}{\overset{n}{\Sigma }}{x}_i{y}_i}{{\left(\underset{i=1}{\overset{n}{\Sigma }}{y}_i\right)}^2-n\times \underset{i=1}{\overset{n}{\Sigma }}{y}_i^2}---\left(3\right)$

$\Delta x=\frac{\underset{i=1}{\overset{n}{\Sigma }}{y}_i\times \underset{i=1}{\overset{n}{\Sigma }}{x}_i{y}_i-\underset{i=1}{\overset{n}{\Sigma }}{x}_i\times \underset{i=1}{\overset{n}{\Sigma }}{y}_i^2}{{\left(\underset{i=1}{\overset{n}{\Sigma }}{y}_i\right)}^2-n\times \underset{i=1}{\overset{n}{\Sigma }}{y}_i^2}---\left(4\right)$

其中x_i和y_i为所采集图像的第i行(i＝0,1,2,3,…,n)路径中点的像素坐标，n的大小一般推荐范围为[80,159]。

进一步的所述的步骤5)具体包括：

步骤5.1：圆形标识进入到图像远端窗口，AGV减至一定速度，根据提取到的路径信息对AGV的位姿进行调整；

步骤5.2：圆形标识进入图像中间窗口，对其中心坐标进行提取，实时测量停车标识中心与AGV的距离信息，反馈给运动控制系统，将AGV继续减至低速；

步骤5.3：圆形标识进入图像近端窗口，当测量得到的距离在预先设定好的阈值范围内时，运动控制器发出停车信号，AGV停车。

同时，本发明还提供了一种基于多窗口实时测距的单目视觉导引AGV的精确定位系统，其中包括低成本的车载摄像机、基于DSP和ARM的图像处理模块、基于STM32的运动控制模块、基于麦克纳姆轮的全方位移动平台，所述车载摄像机自动将视频传输至基于DSP和ARM的图像处理模块，将处理后的位置信息通过RS232串口发送至基于STM32的运动控制模块，进而对基于麦克纳姆轮的全方位移动平台进行运动控制，实现AGV的精确定位。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以作出若干改进，这些改进也应视为本发明的保护范围。