一种自适应AGV视觉导航视线调整装置与线迹跟踪方法

摘要

本发明提供了一种自适应AGV视觉导航视线调整装置与线迹跟踪方法，该装置包括摄像头、旋转支架、舵机和支撑架，所述支撑架紧固于AGV车体之上，舵机固定于支撑架上，舵机与旋转支架固定连接，摄像头固定于旋转支架上，所述摄像头位于AGV车体前部中轴线上，摄像头通过舵机的带动可调整视线档位角度。本发明可根据AGV车体的速度自动调整摄像头的视线角度，摄像头视野开阔，导航定位控制精确，从而能够提高工作效率。

说明书

技术领域

本发明属于物流装备技术领域，具体涉及一种自适应AGV视觉导航视线调整装置与线迹跟踪方法。

背景技术

AGV是一种按设定的线路或设定的地图，在物流调度系统或人工指令的控制下，自动行驶或者自动牵引物料箱，完成物料转运与装卸的无人驾驶物料输送车辆。视觉导引由于信息量大，能够在复杂环境中很好地实现线路跟踪与导航控制，此外，还同时具备有建设使用成本低，引导线条的设置与维护简单等突出优点，是AGV基础理论研究与应用开发的主要领域之一。

现有的视觉导引方案均采用固定安装的摄像头观察AGV导引线路，安装角度大都选择为垂直地面，获取无透视效应的视频画面，达到提高视觉定位精度的目的。对于高速AGV而言，在车体运行速度较高的情形下，由于摄像头视频帧率通常固定为25帧/秒或30帧/秒，帧间画面的位移量有可能会超过视频画面的视野范围，使得机器视觉完全失效；因此，为保证机器视觉工作的有效性，必须依照AGV车体的运行速度对摄像头视线进行实时的调整，扩大或者缩小视频画面视野的大小；相应地，摄像头的安装形式也不应仅仅是垂直于地面而是倾斜向前，可调整角度。

中国专利申请公开号CN1438138A，公开日2003年8月27日，发明创造的名称为“自动引导车的视觉引导方法及其自动引导电动车”，该申请案公开了一种摄取地面运行路径标线、工位地址编码标识符和运行状态控制标识符的处理方法与电动车设计方案。其不足之处在于单一的摄像头垂直向下安装于车体内部，摄像头视野受车身宽度限制，只能看到AGV车体覆盖的局部小区域。

中国专利申请公布号CN102997910A，公布日2013年3月27日，发明创造的名称为“一种基于地面路标的定位导引系统及方法”，该申请案利用遮光罩与相应照明设备消除光源污染，视觉传感器垂直向下贴近地面安装。其不足之处在于摄像头安装距离过低，视野狭窄导致信息量过低，抗线条污损能力比较有限。

中国专利申请公布号CN103529838A，公布日2014年1月22日，发明创造的名称为“自动导引车的多目视觉导引驱动装置及其协同标定方法”，该申请案公开了一种多个摄像头检测导引线条偏角与位移偏置的装置与方法。每个摄像头均位于车体内部，摄像头周边布置独立光源照明，垂直向下紧盯地面导引线条。

中国专利授权号CN102346483B，授权公告日2012年11月28日，发明创造的名称为“基于无源RFID和辅助视觉的AGV运行控制方法”，该授权在停车点、转弯点等特定位置上布置LED或数码管以显示控制指令，AGV车体侧面安装的CCD相机观察道路两侧LED或数码屏上的图形标记，提供控制指令的图像。

中国专利申请号CN102608998A，申请公布日2012年7月25日，发明创造的名称为“嵌 入式系统的视觉导引AGV系统及方法”，该申请案同时采用一只前视摄像头与一只垂直向下的摄像头，前视摄像头采集远景图像，垂直摄像头用于二次精确定位。前视摄像头与地面呈一定角度倾斜安装，预测即将拐弯、停车、定位前的减速等；垂直摄像头采集正在行走的路径信息，完成线迹跟踪任务。其中前视摄像头的安装高度与地面夹角由小车的最大运行速度有关，视野最远点为最大运行速度的1～1.2倍。其不足之处在于，前视摄像头与垂直摄像头的安装角度均为固定角度，且未能提供安装高度、地面夹角与小车最大运行速度之间的具体关系；车体最大运行速度与视野最远点距离之间的量纲不同，时间单位不清，难以明确视野远点距离AGV车体的具体大小，随意性大；关键性的不足之处也是在于，垂直摄像头贴近于地面，只具有较小的视野，仅能盯住很小一部分的线条局部，损失大量环境信息，难以适应各种现场局部污染，例如脚印、油污、破损等等。

综上所述，现有的AGV视觉导航方案存在着明显的弱点：1、摄像头的安装方案以垂直向下安装为主，摄像头视野狭小，仅限于遮光罩或车体内部很小的区域，难以适应AGV高速运行；2、倾斜安装的摄像头也以固定安装形式为主，缺少安装角度与车体运行速度、导航定位控制精度、视野范围等的具体关系表达式；线迹跟踪主要依靠垂直摄像头完成；3、倾斜安装的摄像头仅用于预测前方道路状况，并不直接与线迹跟踪任务发生联系。

发明内容

本发明目的之一在于提供一种自适应AGV视觉导航视线调整装置与线迹跟踪方法，本发明克服了现有技术中摄像头视野狭小，摄像头角度无法调整的缺点。

本发明提供的一种自适应AGV视觉导航视线调整装置包括摄像头、旋转支架、舵机和支撑架，所述支撑架紧固于AGV车体之上，舵机固定于支撑架上，舵机与旋转支架固定连接，摄像头固定于旋转支架上，所述摄像头位于AGV车体前部中轴线上，摄像头通过舵机的带动可调整视线档位角度。

本发明还提供了一种自适应AGV视觉导航视线调整的线迹跟踪方法，包括如下步骤：

置画面帧序号i＝1，接受AGV任务调度指令以指令速度向前行进，设置车轮转角调整增量初值

依据当前车体实际运行速度的反馈数据，调整摄像头档位角度，计算当前角度下前方地面导引线条的辅助参数K、其中摄像头角度为摄像头与铅垂线夹角；

提取对第i-1帧视频画面底部行和中央行两个高度位置上，导引线条宽度方向上两个边缘之间每行像素数量，以及第i-1帧视频画面中导引线条中分线与画面底部和画面中央水平像素行的两个交点所对应的像素位置横向序号，计算当前档位角度下姿态跟踪误差评价函数的阈值及画面中的导引线的倾斜和位置偏离；

将AGV车轮转向角设置为

检查AGV车体当前实际运行速度，调整摄像头档位角度，若档位角度有变化，则重新 计算当前角度下前方地面导引线条的辅助参数K、若档位角度无变化，则转下一步；

提取第i帧视频画面中导引线条中分线与画面底部和画面中央水平像素行的两个交点所对应的像素位置横向序号，计算画面中的导引线的倾斜和位置偏离，进一步计算姿态误差评价函数和评价函数增量；

判断评价函数增量是否小于或等于姿态跟踪误差评价函数的阈值，若是判断姿态跟踪误差评价函数J是否小于或等于姿态跟踪误差评价函数的阈值，否则转下一步。

计算角度调整量视频帧序号i＝i+1，重新设置AGV车轮转角，其中角度调整量 

判断姿态跟踪误差评价函数J是否小于或等于姿态跟踪误差评价函数的阈值，若是，保持车轮转角不变，视频帧序号i＝i+1，重新返回检查AGV车体当前实际运行速度，调整摄像头角度档位角度β，否则转下一步；

计算角度调整量视频帧序号i＝i+1，重新设置AGV车轮转角，其中角度调整量 

进一步的，视线调整依据AGV当前运动速度选择的档位角度，使得连续两帧视频画面之间，AGV车体位移量不超过视频画面的幅面。

进一步的，将实时视频画面中导引线条宽度方向上两个边缘之间一行上的像素数量，作为不同档位角度下的视频画面中横向位移量计算基准。

进一步的，依据视频画面中导引线条的中心线与视频画面中央像素行和底部像素行的两个交点的像素位置iMid和iBtm，构造AGV车体姿态跟踪误差评价函数J＝K²·dir²+pos²作为调整AGV车体转向角度方向和大小的依据，使得AGV姿态满足线迹跟踪精度要求，其中dir＝iMid-iBtm，K为与摄像头视线倾角β有关的常数。

进一步的，AGV车体转向调整方式通过调整AGV车轮转向角的方式实现。

进一步的，AGV车体转向调整方式通过AGV车轮两边差动的方式实现。

本发明的有益效果在于，本发明可根据AGV车体的速度自动调整摄像头的视线角度，摄像头视野开阔，导航定位控制精确，从而能够提高工作效率。

附图说明

图1所示为本发明一种自适应AGV视觉导航视线调整装置结构示意图。

图2所示为本发明一种自适应AGV视觉导航视线调整线迹跟踪方法流程图。

图3所示为本发明一种自适应AGV视觉导航视线调整线迹跟踪方法中各项参数示意图。

具体实施方式

下文将结合具体实施例详细描述本发明。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。

如图1所示，本发明提供的一种自适应AGV视觉导航视线调整装置，包括摄像头1、旋转支架2、舵机3和支撑架4，所述支撑架4紧固于AGV车体5之上，舵机3固定于支撑架4上，舵机3与旋转支架2固定连接，摄像头1固定于旋转支架2上，所述摄像头1位于AGV车体5前部中轴线7上，摄像头1通过舵机3的带动可调整视线档位角度。

本装置视线的调整通过调整前视摄像头1档位角度完成，与AGV车体5的当前运动速度有关。当运动速度较低时，选择较小的视线档位角度获得更高的位置精度；当运动速度较高时，选择较大的视线档位角度获得更大的视野幅面，保证AGV车体5线迹跟踪运动精度。

摄像头1设定若干档位角度，典型档位角度有4个档位，分别为30°、45°、60°和75°。

如图1-3所示，本发明提供的一种自适应AGV视觉导航视线调整的线迹跟踪方法，包括如下步骤：

步骤S1：置画面帧序号i＝1，接受AGV任务调度指令以指令速度向前行进，设置车轮转角调整增量初值

步骤S2：依据当前AGV车体5实际运行速度v的反馈数据，调整摄像头1档位角度β，计算当前角度下前方地面导引线条8的辅助参数K、其中摄像头1档位角度β为摄像头视线与铅垂线夹角。

考虑到β角度较大时，地面道路将仅会占据下半个画面，地平线以上无意义画面占据上半个画面，取导引线条8在相邻两帧连续视频画面中的横向或纵向像素位置变化，不得超过视频像素下半幅面的优选值为保证在连续的两帧视频画面中，AGV车体5相对于导引线条8的位置变化量没有可能超出视频的幅面大小，总能被正确地捕获。根据当前AGV车体5运行速度v的大小，通过舵机3调整摄像头1的档位角度β，使得不小于vT，其中为视频画面下半幅面高度对应的地面道路长度，T为获取1帧图片的时间。

摄像头1档位角度β的调整会使得透视效应引起的导引线条8压缩与其他画面畸变处于动态变化过程之中，因此传统的图像标定技术将失效。必须也只能完全在视频画面空间中，依照导引线条8本身作为参照进行AGV线迹跟踪控制。

对视频画面进行灰度直方图增强，采用拉普拉斯算子提取导引线条8的两个边缘，利用直线霍夫变换计算得到视频画面中代表导引线条左右两个边缘的直线段起点与指向角度，取两条边缘直线的中分线9作为导引线条8的矢量标记。

视频画面中央像素行与底部像素行之间的地面垂直间距为其中H为摄像头1旋转中心距离地面的高度，α为摄像头1的左右旋转的可视角度，典型值为30度。在视频画面中，每一行上的各像素点间距近似可以认为相等。导引线条8采用45～50mm宽度标准亮色胶条如白色、黄色、粉红色等，直接粘贴于深色地面而成。导引线条8的实际宽度在视频画面中呈现的像素个数仅与摄像头1档位角度β以及摄像头1画面分辨率m×n有关，可以预先在AGV运行过程之中计算得到。

其中辅助参数为与摄像头1档位角度β有关的一个常数序列，其中d为车体前轮6距离AGV车体5前端的距离，L为车体前轮6到后轮10的距离。

步骤S3：提取对第i-1帧视频画面底部行和中央行两个高度位置上，导引线条8宽度方向上两个边缘之间每行像素数量，以及第i-1帧视频画面中导引线条中分线9与画面底部和画面中央水平像素行的两个交点所对应的像素位置横向序号，计算当前档位角度β下姿态跟踪误差评价函数的阈值及画面中的导引线条的倾斜和位置偏离；

某帧画面中导引线条8宽度方向上两个边缘之间线段上每行像素数量记为iPixNum。

对第i-1帧视频画面进行灰度直方图增强，腐蚀膨胀处理，采取霍夫变换提取边缘直线，提取首幅画面中的底部行和中央行两个高度位置上，导引线条8宽度方向上两个边缘之间l₀和线段上每行像素数量iPixNum₀^(i-1)和以及第i-1帧视频画面中导引线条中分线9与画面底部和画面中央水平像素行的两个交点所对应的像素位置横向序号iBtm和iMid。

依据固定某档位角度β，某帧画面中的底部行和画面中央行两个画面高度位置上，计算导引线条8宽度方向上l₀和线段上每行像素对应在地面上的横向真实距离，分别记为 和记录为对应档位视线角度β下的像素行宽度常数。

导引线条中分线9与画面底部以及画面中央水平像素行的两个交点所对应的像素位置横向序号，分别记为iBtm和iMid。AGV的航向角θ，θ为AGV车体5前部中轴线7与导引线条中分线9的夹角，满足：

$\tan \left(\theta \right)=\frac{1}{h_{\frac{n}{2}}}·[w_{\frac{n}{2}}·(\mathrm{iMid}-\frac{n}{2})-w_0·(\mathrm{iBtm}-\frac{n}{2})]$

线迹跟踪过程中，取AGV航向角θ的两行像素位置差表达式为dir＝iMid-iBtm。依据θ≤2°的航向角精度要求，对应于航向角阈值的两行像素位置差阈值应取为dir≤ε_θ，其中 ${ϵ}_{\theta }=0.0007·h_{\frac{n}{2}}·{\mathrm{iPixNum}}_{\frac{n}{2}}.$

线迹跟踪过程中，AGV位置精度的像素表达式取为依据±20mm的位置精度要求，对应于AGV位置精度的像素阈值取为pos≤ε_D，其中ε_D＝0.4·iPixNum₀。

取姿态跟踪误差评价函数的阈值为两者之中较小的一个，既J_ε＝min{ε_θ,ε_D}。

画面中的导引线条8的倾斜度和位置偏离分别为：$\left(\begin{array}{c}{\mathrm{dir}}^{(i-1)}={\mathrm{iMid}}^{(i-1)}-{\mathrm{iBtm}}^{(i-1)}\\ {\mathrm{pos}}^{(i-1)}={\mathrm{iBtm}}^{(i-1)}-\frac{n}{2}\end{array}\right).$

令AGV姿态跟踪误差评价函数为J＝K²·dir²+pos²，当且仅当AGV车体5姿态恰好与导引线条8完全重合时，跟踪误差J才为零。

步骤S4：将AGV车轮转向角设置为

以使得姿态跟踪误差评价函数J减少大约10％为原则，采取牛顿下山法计算每帧画面中的AGV车轮角度调整量，用连续两帧画面中的像素变化的差商代替导数计算，则第三帧画面中的角度调整量为其中的括号上标(i)表示视频帧的序号。每帧画面切换之间，不断调整车轮转角直到跟踪误差J位于指定精度范围之内，保证航向误差dir≤ε_θ，且定位误差pos≤ε_D，满足姿态跟踪误差评价函数的阈值J_ε＝min{ε_θ,ε_D}。

步骤S5：检查AGV车体5当前实际运行速度v，调整摄像头角度档位β，若档位β有变化，则步骤S2重新计算当前角度下前方地面导引线条8的辅助参数K、若档位β无变化，则转下一步。

步骤S6：提取第i帧视频画面中导引线条中分线9与画面底部和画面中央水平像素行的两个交点所对应的像素位置横向序号，计算画面中的导引线条8的倾斜度和位置偏离，进一步计算姿态误差评价函数和评价函数增量。

采集第i帧视频画面，对第i帧画面进行灰度直方图增强，腐蚀膨胀处理，采取霍夫直线变换提取边缘直线，提取iBtm⁽ⁱ⁾、iMid⁽ⁱ⁾。

画面中的导引线条8的倾斜度和位置偏离为$\left(\begin{array}{c}{\mathrm{dir}}^{\left(i\right)}={\mathrm{iMid}}^{\left(i\right)}-{\mathrm{iBtm}}^{\left(i\right)}\\ {\mathrm{pos}}^{\left(i\right)}={\mathrm{iBtm}}^{\left(i\right)}-\frac{n}{2}\end{array}\right),$$\left(\begin{array}{c}\Delta {\mathrm{dir}}^{\left(i\right)}={\mathrm{dir}}^{\left(i\right)}-{\mathrm{dir}}^{(i-1)}\\ \Delta {\mathrm{pos}}^{\left(i\right)}={\mathrm{pos}}^{\left(i\right)}-{\mathrm{pos}}^{(i-1)}\end{array}\right);$

姿态误差评价函数和评价函数增量分别为：

J⁽ⁱ⁾＝K²·dir⁽ⁱ⁾·dir⁽ⁱ⁾+pos⁽ⁱ⁾·pos⁽ⁱ⁾，ΔJ⁽ⁱ⁾＝K²·dir⁽ⁱ⁾·Δdir⁽ⁱ⁾+pos⁽ⁱ⁾·Δpos⁽ⁱ⁾。

步骤S7：判断评价函数增量是否小于或等于姿态跟踪误差评价函数的阈值，即判断ΔJ⁽ⁱ⁾≤J_ε是否成立，若是转步骤S10，否则转下一步。

步骤S8：计算角度调整量视频帧序号i＝i+1，转步骤S5重新设置AGV车轮转角，

其中角度调整量

步骤S9：判断姿态跟踪误差评价函数J是否小于或等于姿态跟踪误差评价函数的阈值，即判断J⁽ⁱ⁾≤J_ε是否成立，若是，转下一步；否则转步骤S11。

步骤S10：保持车轮转角不变，即视频帧序号i＝i+1，转步骤S4，由于即相当于转步骤S5重新检查AGV车体5当前实际运行速度v，调整摄像头角度档位β。

步骤S11：计算角度调整量视频帧序号i＝i+1，转步骤S4重新设置AGV车轮转角。

其中角度调整量

本发明AGV车体5转向调整方式是通过不断调整AGV两边车轮转向角和不断调整AGV两边车轮差动的方式实现的。所谓差动，就是车体两边的轮子转速不相同，或者转速相反；当两边车轮转速不同时，车体就会向转速慢一些或者相反方向旋转的车轮方向转弯。

下面结合实验进一步验证本发明的有效性，实验步骤如下：

地面导引线8条取黄色标准胶带，宽度为50mm，直接粘贴于深色地面。AGV车体5宽度为380mm，轴距600mm，摄像头1安装于AGV车体5正前方中轴线7之上，位于AGV前轮6轴心线之前100mm，既d＝100mm，L＝600mm。摄像头1由舵机3直接驱动，始终处于四个固定的档位角度之中的某个具体位置，档位角度β分别为30°、45°、60°和75°。摄像头1安装高度为H＝300mm；摄像头1视频幅面为640×480，帧率为25帧/秒，左右可视角大 小为α＝30°。对应于不同的档位角度，理论上视频画面对应的地面真实幅面各个参数值如表1所示：

表1：视频画面对应的地面真实幅面各个参数值

β 30° 45° 60° 0 画面中间对应地面宽度 180mm 220mm 311mm 600mm 画面底部对应地面宽度 161mm 180mm 220mm 311mm 画面中间到底部对应地面高度 93mm 127mm 220mm 600mm

但由于摄像头1实际左右可视角α并不精确为30°且宽度方向与高度方向大小也有差别，因此，上表中理论数据仅作为算法编写中的初始值设置参考数据。实际数据依照本发明中所述AGV车体5启动之时，导引线条8近似垂直于视频画面底部的初始状态进行像素计数，默认线条宽度为50mm，分别对视频画面帧中的中间行像素与底部行像素个数进行计数，记为当前档位角度下的iPixNum₀和

AGV车体5平时置于导引线条8之上，导引线条8出现在摄像头画面中近似垂直向前。AGV任务调度系统指令要求，启动AGV车体5向前运行。摄像头1角度的调整依据AGV车体5当前实时速度反馈而进行。为确保AGV车体5运行过程之中，导引线条8的帧间位移量足够小，取下半幅面像素高度的110，既24个像素，作为摄像头1角度调整的速度档位阈值：

当车速时，摄像头1档位角度调整设置为30°；

当车速时，摄像头1档位角度调整设置为45°；

当车速时，摄像头1档位角度调整设置为60°；

当车速时，摄像头1档位角度调整设置为75°。

AGV车体5启动后即开始运行线迹跟踪程序，对视频画面帧进行灰度直方图增强，腐蚀膨胀处理，采取霍夫变换提取边缘直线，分别对画面中央位置和底部位置上的边缘直线之间的像进行计数，得到iPixNum₀⁽⁰⁾和进一步求得AGV姿态跟踪误差评价函数阈值$J_{ϵ}=K^2·{[0.0007·h_{\frac{n}{2}}·{{\mathrm{iPixNum}}_{\frac{n}{2}}}^{(i-1)}]}^2+{[0.4·{{\mathrm{iPisNum}}_0}^{(i-1)}]}^2;$以初始档位角度β＝30°和对应理论值为参照，初始档位角度β＝30°下，K＝6.18、而iPixNum₀⁽⁰⁾和的参考值应分别为和相应的J_ε＝min{5100,6336}＝5100。

在后续各帧画面处理中，每帧进行灰度直方图增强，腐蚀膨胀处理，采取霍夫变换提取 边缘直线，计算$\left(\begin{array}{c}{\mathrm{dir}}^{\left(i\right)}={\mathrm{iMid}}^{\left(i\right)}-{\mathrm{iBtm}}^{\left(i\right)}\\ {\mathrm{pos}}^{\left(i\right)}={\mathrm{iBtm}}^{\left(i\right)}-\frac{n}{2}\end{array}\right)$和$\left(\begin{array}{c}\Delta {\mathrm{dir}}^{\left(i\right)}={\mathrm{dir}}^{\left(i\right)}-{\mathrm{dir}}^{(i-1)}\\ \Delta {\mathrm{pos}}^{\left(i\right)}={\mathrm{pos}}^{\left(i\right)}-{\mathrm{pos}}^{(i-1)}\end{array}\right),$进一步计算评价函数J⁽ⁱ⁾＝K²·dir⁽ⁱ⁾·dir⁽ⁱ⁾+pos⁽ⁱ⁾·pos⁽ⁱ⁾和评价函数增量ΔJ⁽ⁱ⁾＝K²·dir⁽ⁱ⁾·Δdir⁽ⁱ⁾+pos⁽ⁱ⁾·Δpos⁽ⁱ⁾；若ΔJ⁽ⁱ⁾大于评价函数阈值J_ε，则画面帧切换之间的转角调整量为若ΔJ⁽ⁱ⁾小于或等于评价函数阈值J_ε，则画面帧切换之间的转角调整量为车体持续在运行过程中调整车轮转角的大小，直到评价函数J⁽ⁱ⁾≤J_ε，表明车体5处于正确的线路之上，保持车轮转角不变，既转角调整量恒为零，实现持续稳定的线迹跟踪。

本文虽然已经给出了本发明的一些实施例，但是本领域的技术人员应当理解，在不脱离本发明精神的情况下，可以对本文的实施例进行改变。上述实施例只是示例性的，不应以本文的实施例作为本发明权利范围的限定。