首页> 中国专利> 基于机器人视觉系统和自主跟踪系统的运输装置

基于机器人视觉系统和自主跟踪系统的运输装置

摘要

本发明公开了一种基于机器人视觉系统和自主跟踪系统的运输装置,包括运输车体,运输车体上设置有控制系统和分别与控制系统连接的初始目标信息储存系统、视觉识别系统、决策控制系统、自主跟踪系统,初始目标信息储存系统,用于储存初始目标的人体特征信息、行李提取密码或者感应信号的设置;视觉识别系统,用于提取的图像信息进行处理;决策控制系统,用于对初始目标追踪判断、路径优化、控制指令生成,并将控制指令下达到自主跟踪系统;自主跟踪系统,用于运输车体的车轮实行差速调节,驱动运输车体对目标实施追踪,本发明利用视觉识别锁定目标物及自身位置,通过遗传PID算法决策控制并执行运动机构完成对目标物的跟踪,达到紧跟在旅客身边的目的。

著录项

  • 公开/公告号CN104950887A

    专利类型发明专利

  • 公开/公告日2015-09-30

    原文格式PDF

  • 申请/专利权人 重庆大学;

    申请/专利号CN201510344605.7

  • 申请日2015-06-19

  • 分类号G05D1/02(20060101);

  • 代理机构50218 重庆信航知识产权代理有限公司;

  • 代理人穆祥维

  • 地址 400044 重庆市沙坪坝区沙正街174号

  • 入库时间 2023-12-18 11:19:06

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-06-04

    未缴年费专利权终止 IPC(主分类):G05D1/02 授权公告日:20170721 终止日期:20180619 申请日:20150619

    专利权的终止

  • 2017-07-21

    授权

    授权

  • 2015-11-04

    实质审查的生效 IPC(主分类):G05D1/02 申请日:20150619

    实质审查的生效

  • 2015-09-30

    公开

    公开

说明书

技术领域

本发明属于有一个以上带运输轮的车轴的手推车;其所用转向装置;所用设备的技术 领域,具体是涉及一种基于机器人视觉系统和自主跟踪系统的运输装置。

背景技术

近年来,随着社会经济的飞速发展以及机器人技术研究的不断深入,机器人技术从工业 生产渐渐普及到军事、航空、海洋以及人们的日常生活中,目前高铁或机场行李运输装置主 要是采用两种运输方面,其中一个行李托运,即旅客行李集体传送;另一个是机场内行李搬 运,目前机场内行李搬运大部分是采用手推车的方式来实现旅客个人行李的搬运,现有的手 推车更多关注的是承重能力、跨越障碍能力、平稳性、分散冲击力能力和消音能力,特别是 在长时间候机或者等候行李出仓过程中,容易将行李落在机场、被他人误拿或者不法分子故 意偷抢行李,这些都是导致行李搬运的不安全性。

发明内容

有鉴于此,本发明的目的在于提供一种基于机器人视觉系统和自主跟踪系统的运输装 置,该基于机器人视觉系统和自主跟踪系统的运输装置利用视觉识别锁定目标物及自身位 置,通过遗传PID算法决策控制并执行运动机构完成对目标物的跟踪,达到紧跟在旅客身边 的目的,不仅能够保证运输装置的运输能力和运输效率,而且可以提高运输装置的安全性。

为了达到上述目的,本发明一种基于机器人视觉系统和自主跟踪系统的运输装置,包括 运输车体,所述运输车体上设置有控制系统和分别与控制系统连接的初始目标信息储存系 统、视觉识别系统、决策控制系统、自主跟踪系统,

所述初始目标信息储存系统,用于储存初始目标的人体特征信息、行李提取密码或者感 应信号的设置;

所述视觉识别系统,用于提取的图像信息进行处理;

所述决策控制系统,用于对初始目标追踪判断、路径优化、控制指令生成,并将控制指 令下达到自主跟踪系统;

所述自主跟踪系统,用于运输车体的车轮实行差速调节,驱动运输车体对目标实施追 踪。

进一步,所述运输车体底部设置有左、右驱动轮和转向万向轮,所述自主跟踪系统利控 制系统通过PWM脉冲宽度调制对分别与左、右驱动轮连接的驱动电机实现差速控制,并利 用PID控制算法调整机器人运动状态,对目标实现任意曲线追踪。

进一步,所述决策控制系统通过利用遗传算法参数寻优模型来设计行李车路径,所述遗 传算法参数寻优的计算方法为:小车中心C的位姿P和位置PC分别定义为 P=[XC YC θC]T,PC=[XC YC]T,轮子在地面作纯滚动,每瞬时与地面接触点的速度等于零, 则速度向量定义为:S=VCωC=l2l2-1l1lVLVR,其中,VC和ωC为小车质心C的瞬时线速度 和角速度,V=[VL VR]是小车左、右轮速度向量,l为小车两轮之间的长度,由于存在着非 奇异的转换矩阵,可以通过控制任一速度向量来改变小车的位姿,从控制的角度说小车左、 右轮速度向量是等价的,可知小车的运动学方程:

P·=XC·YC·θC·=cosθ0sinθ001VCωC或记为P·=J(θ)·S,

其中,J(θ)为小车的雅可比(Jacobian)矩阵,在系统仿真过程中需要求解微分方程来 计算下一周期机器人的位置,即计算仿真轨迹,假设采样周期为T0式(3)进行离散化得到 式:X(k+1)=X(k)+V(k)*To*cos(θ(k))Y(k+1)=Y(k)+V(k)*To*cos(θ(k))θ(k+1)=θ(k)+ω(k)*To

当ω=0时小车作直线运动或静止方向角不发生改变,当ω≠0时,根据小车的曲率半径 可以得到小车转动的瞬心,通过瞬心和上一周期的坐标计算下一周期的位置;移动小车的运 动控制问题,主要是控制其角速度和线速度,前者完成移动小车的转向控制,后者实现其前 进速度的控制,将移动小车在笛卡尔坐标系X,Y中的位姿误差转化为机器人坐标系XV, YV下的误差为:

{eXV(k)=ex(k)*cos(θ(k))+ey(k)*sin(θ(k))eYV(k)=ey(k)*cos(θ(k))-ex(k)*sin(θ(k))eθ(k)=eθ(k),ex(k)=Xi(k)-Xr(k)ey(k)=Yi(k)-Yr(k)eθ(k)=θi(k)-θr(k)

其中下标i表示理想路径,下标r表示实际路径,反映了小车前进方向上的误差, 和反映了小车侧向误差,用增量式PID制算法来进行控制用来调节小车的前进速 度V,用和来调节小车的侧向运动即角速度ω0,其增量式PID控制算法:

V(k)=V(k-1)+k1*(eXV(k)-eXV(k-1))+k2*eXV(k)+k3*(eXV(k)-2eXV(k-1)+eXV(k-2))ω(k)=ω(k-1)+k4*(eYV(k)-eYV(k-1))+kS*eYV(k)+k6*(eYV(k)-2eYV(k-1)+eYV(k-2))+k7*(eθ(k)-eθ(k-1))+k8*eθ(k)+k9*(eθ(k)-2eθ(k-1)+eθ(k-2))

遗传算法是模拟自然界遗传机制和生物进化论而成的一种并行随机搜索最优方法,目前 已建立起的遗传算法参数寻优模型为

J=0(0.6eXV2+eYV2+0.3|eθ|+0.05V2+0.05ω2)dt+2*tu.

进一步,所述视觉识别系统包括摄像装置、景深获取和目标骨骼提取模块、图像采集 和处理模块,所述景深获取和目标骨骼提取模块采用摄像装置,获取场景的景深信息,使用 OpenNI开发库提取景深信息中的目标位置,并记录下来,为下一步特征识别做准备;所述 图像采集和处理模块利用多通道数据采集快速读取摄像装置数据,利用图像边缘检测滤波算 法进行处理目标信息。

进一步,所述图像边缘检测滤波算法的计算方法为:对保存有灰度信息的目标像素px,y做函数映射P(px,y),该映射是将源图像中以p(x,y)为中心的3×3的区域中的9个像素点取线 性变换,计算出x与y方向上的变化率分量,再求两个分量所构成的向量的模,即

P(px,y)=(Px(Px,y))2+(Py(px,y))2

Px(px,y)=px-1,y-1px-1,ypx-1,y+1px,y-1px,ypx,y+1px+1,y-1px+1,ypx,y+1·ax-1,y-1ax-1,yax-1,y+1ax,y-1ax,yax,y+1ax+1,y-1ax+1,yax,y+1Py(px,y)=px-1,y-1px-1,ypx-1,y+1px,y-1px,ypx,y+1px+1,y-1px+1,ypx,y+1·bx-1,y-1bx-1,ybx-1,y+1bx,y-1bx,ybx,y+1bx+1,y-1bx+1,ybx,y+1

(“·”为矩阵内积运算)

上式中矩阵a和b通常采用Sobel算子:

ax-1,y-1ax-1,yax-1,y+1ax,y-1ax,yax,y+1ax+1,y-1ax+1,yax,y+1=-101-202-101

bx-1,y-1bx-1,ybx-1,y+1bx,y-1bx,ybx,y+1bx+1,y-1bx+1,ybx,y+1=-1-2-1000121

将图像视为二维函数,利用Sobel算子可被认为是图像在垂直和水平方向变化的测量, 在数学中被称为梯度,再对处理后的图像进行二值化处理,通过合理的阈值设定,即可得到 只包含物体轮廓的黑白图片,利用霍夫变换可以在通过上述方法取得的二值图片中寻找直线 边界,其方法如下:ρ=x cosθ+y sinθ,霍夫变换在离散系统中对直线的检测利用霍夫累 加器实现,该累加器需要三个参数,分别是线度步进值Δρ、角度步进值Δθ、以及最小投票 数Vmin,将ρ和θ分别按照设定的步进值进行离散分割为{ρi}{θi},设立一个二维数组 H(ρi,θi),对某一点(x,y),遍历所有的{θi}并计算出对应的ρ,累加器中对应于(ρi,θi)正确的 数组元素会自增(投票一次),表示所有这些穿过该点的直线,若对另一点(x′,y′)重复同样 的实验,则累加器H(ρi,θi)的某一元素可能对应到两次投票,因此只需要得到具有大量投票 (大于最小投票数Vmin)的元素的数组下表ρi和θi,即通过检测图中的直线(即点的排 列),就能够判断确认目标信息。

本发明的有益效果在于:

本发明基于机器人视觉系统和自主跟踪系统的运输装置利用视觉识别锁定目标物及自 身位置,通过遗传PID算法决策控制并执行运动机构完成对目标物的跟踪,达到紧跟在旅客 身边的目的,不仅能够保证运输装置的运输能力和运输效率,而且可以提高运输装置的安全 性。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:

图1为本发明基于机器人视觉系统和自主跟踪系统的运输装置的框架示意图;

图2为本发明基于机器人视觉系统和自主跟踪系统的运输装置中自主跟踪系统的运动示 意图;

图3为本发明基于机器人视觉系统和自主跟踪系统的运输装置的结构示意图;

图4为本发明基于机器人视觉系统和自主跟踪系统的运输装置中自主跟踪系统的电路板 示意图;

图5为本发明基于机器人视觉系统和自主跟踪系统的运输装置中微控制器引脚及其连接 示意图;

图6为本发明基于机器人视觉系统和自主跟踪系统的运输装置中微控制器电源电路原理 图;

图7为本发明基于机器人视觉系统和自主跟踪系统的运输装置中与微控制器连接的电机 驱动及其他外设接口的电路原理图;

图8为本发明基于机器人视觉系统和自主跟踪系统的运输装置中与微控制器连接的调试 电路原理图Ⅰ;

图9为本发明基于机器人视觉系统和自主跟踪系统的运输装置中与微控制器连接的调试 电路原理图Ⅱ。

附图标记:1-运输车体;2-控制系统;3-电路控制装置;4-摄像装置;5-电机;6-电源装 置;7-车轮。

具体实施方式

下面将结合附图,对本发明的优选实施例进行详细的描述。

如图1所示为本发明基于机器人视觉系统和自主跟踪系统的运输装置的框架示意图;如 图2所示为本发明基于机器人视觉系统和自主跟踪系统的运输装置中自主跟踪系统的运动示 意图;如图3所示为本发明基于机器人视觉系统和自主跟踪系统的运输装置的结构示意图; 本发明一种基于机器人视觉系统和自主跟踪系统的运输装置,包括运输车体1,所述运输车 体1上设置有控制系统2和分别与控制系统2连接的初始目标信息储存系统、视觉识别系 统、决策控制系统、自主跟踪系统,所述初始目标信息储存系统,用于储存初始目标的人体 特征信息、行李提取密码或者感应信号的设置;所述视觉识别系统,用于提取的图像信息进 行处理;所述决策控制系统,用于对初始目标追踪判断、路径优化、控制指令生成,并将控 制指令下达到自主跟踪系统;所述自主跟踪系统,用于运输车体的车轮实行差速调节,驱动 运输车体对目标实施追踪。

图4~图9为本实施例具体设计实施的电路原理图,本实施例首先通过初始目标信息储 存系统对行李主人进行初始设定,包括行李主人人体特征信息(身份信息,登机信息,面貌 或体形)录入、行李提取密码的设定以及信号感应的设置;通过视觉识别系统中摄像装置4 提取模块提取人员的二维空间位置信息,再通过图像采集和处理模块将提取的图像信息发送 到控制系统2中进行处理,在已识别的人员中分辨出行李主人,提取出目标位置信息后,通 过决策控制系统将进行目标追踪判断、路径优化、控制指令生成,并将运动控制指令下达到 运动执行模块,运动执行模块通过电源装置6、电路控制装置3控制电机5工作,对左、右 车轮7实行差速调节,驱动运输车体1对目标实施追踪,

本实施例在旅客将行李搬运到运输车体1后,可以采用手推运输车体1,特别是旅客在 候机、上厕所、办理登记手续过程中,能够让运输车体1紧跟在旅客身边的目的,不仅能够 保证运输装置的运输能力和运输效率,而且可以提高运输装置的安全性。

本实施例通过设置有感应信号,让运输车体1跟在旅客身边,自动感应信号进行追踪, 在旅客完成托运后者离开机场后,运输车体1上的客户信息自动清零,运输车体1能够自动 追踪返回初始位置,为下一个旅客进行服务。

本实施例能够与安检系统、登机系统进行联网,能够识别行李的真正主人,避免被他人 误拿或者不法分子故意偷抢行李,提高运输装置的安全性。

进一步,优选的所述运输车体底部设置有左、右驱动轮和转向万向轮,所述自主跟踪系 统利控制系统通过PWM脉冲宽度调制对分别与左、右驱动轮连接的驱动电机实现差速控 制,并利用PID控制算法调整机器人运动状态,对目标实现任意曲线追踪,左右轮为驱动 轮,分别由两台电机驱动,中间轮为随动轮,只起支撑作用。行走时可控制左右轮电机转速 实现直线行驶、曲线行驶,两轮速度不同时转向速度小的一侧。

进一步,优选的所述决策控制系统通过利用遗传算法参数寻优模型来设计行李车路径, 所述遗传算法参数寻优的计算方法为:小车中心C的位姿P和位置PC分别定义为 P=[XC YC θC]T,PC=[XC YC]T轮子在地面作纯滚动,每瞬时与地面接触点的速度等于零, 则速度向量定义为:S=VCωC=l2l2-1l1lVLVR,其中,VC和ωC为小车质心C的瞬时线速度 和角速度,V=[VL VR]是小车左、右轮速度向量,l为小车两轮之间的长度,由于存在着非 奇异的转换矩阵,可以通过控制任一速度向量来改变小车的位姿,从控制的角度说小车左、 右轮速度向量是等价的,可知小车的运动学方程:

P·=XC·YC·θC·=cosθ0sinθ001VCωC或记为P·=J(θ)·S,

其中,J(θ)为小车的雅可比(Jacobian)矩阵,在系统仿真过程中需要求解微分方程来 计算下一周期机器人的位置,即计算仿真轨迹,假设采样周期为T0式(3)进行离散化得到 式:X(k+1)=X(k)+V(k)*To*cos(θ(k))Y(k+1)=Y(k)+V(k)*To*cos(θ(k))θ(k+1)=θ(k)+ω(k)*To

当ω=0时小车作直线运动或静止方向角不发生改变,当ω≠0时,根据小车的曲率半径 可以得到小车转动的瞬心,通过瞬心和上一周期的坐标计算下一周期的位置;移动小车的运 动控制问题,主要是控制其角速度和线速度,前者完成移动小车的转向控制,后者实现其前 进速度的控制,将移动小车在笛卡尔坐标系X,Y中的位姿误差转化为机器人坐标系XV, YV下的误差为:

{eXV(k)=ex(k)*cos(θ(k))+ey(k)*sin(θ(k))eYV(k)=ey(k)*cos(θ(k))-ex(k)*sin(θ(k))eθ(k)=eθ(k),ex(k)=Xi(k)-Xr(k)ey(k)=Yi(k)-Yr(k)eθ(k)=θi(k)-θr(k)

其中下标i表示理想路径,下标r表示实际路径,反映了小车前进方向上的误差, 和反映了小车侧向误差,用增量式PID制算法来进行控制用来调节小车的前进速 度V,用和来调节小车的侧向运动即角速度ω0,增量式PID控制算法:

V(k)=V(k-1)+k1*(eXV(k)-eXV(k-1))+k2*eXV(k)+k3*(eXV(k)-2eXV(k-1)+eXV(k-2))ω(k)=ω(k-1)+k4*(eYV(k)-eYV(k-1))+kS*eYV(k)+k6*(eYV(k)-2eYV(k-1)+eYV(k-2))+k7*(eθ(k)-eθ(k-1))+k8*eθ(k)+k9*(eθ(k)-2eθ(k-1)+eθ(k-2))

遗传算法是模拟自然界遗传机制和生物进化论而成的一种并行随机搜索最优方法,遗传 算法是把随机产生的几个参数作为初始“种群”,每个初始参数叫做“染色体”,然后通过 一个函数来计算每个染色体的“适应度,接下来进行染色体的“交叉”和“变异”,交叉就 是把数字的某几位随机的两两交换一下,就产生了新的数字,变异就是随机换掉某个数的某 几位。然后将新的数再做一次“适应度”比较,再淘汰不好的数,就这样循环下去,直到一 个人为设定的终止条件,就得到了参数,目前已建立起的遗传算法参数寻优模型为

J=0(0.6eXV2+eYV2+0.3|eθ|+0.05V2+0.05ω2)dt+2*tu.

进一步,优选的所述视觉识别系统包括摄像装置、景深获取和目标骨骼提取模块、图 像采集和处理模块,所述景深获取和目标骨骼提取模块采用摄像装置,获取场景的景深信 息,使用OpenNI开发库提取景深信息中的目标位置,并记录下来,为下一步特征识别做准 备;所述图像采集和处理模块利用多通道数据采集快速读取摄像装置数据,利用图像边缘检 测滤波算法进行处理目标信息。

进一步,优选的所述图像边缘检测滤波算法的计算方法为:对保存有灰度信息的目标像 素px,y做函数映射P(px,y),该映射是将源图像中以p(x,y)为中心的3×3的区域中的9个像素 点取线性变换,计算出x与y方向上的变化率分量,再求两个分量所构成的向量的模,即

P(px.y)=(Px(px,y))2+(Py(px,y))2

Px(px,y)=px-1,y-1px-1,ypx-1,y+1px,y-1px,ypx,y+1px+1,y-1px+1,ypx,y+1·ax-1,y-1ax-1,yax-1,y+1ax,y-1ax,yax,y+1ax+1,y-1ax+1,yax,y+1

Py(px,y)=px-1,y-1px-1,ypx-1,y+1px,y-1px,ypx,y+1px+1,y-1px+1,ypx,y+1·bx-1,y-1bx-1,ybx-1,y+1bx,y-1bx,ybx,y+1bx+1,y-1bx+1,ybx,y+1

(“·”为矩阵内积运算)

上式中矩阵a和b通常采用Sobel算子:

ax-1,y-1ax-1,yax-1,y+1ax,y-1ax,yax,y+1ax+1,y-1ax+1,yax,y+1=-101-202-101

bx-1,y-1bx-1,ybx-1,y+1bx,y-1bx,ybx,y+1bx+1,y-1bx+1,ybx,y+1=-1-2-1000121

将图像视为二维函数,利用Sobel算子可被认为是图像在垂直和水平方向变化的测量, 在数学中被称为梯度,对处理后的图像进行二值化处理,通过合理的阈值设定,即可得到只 包含物体轮廓的黑白图片,利用霍夫变换可以在通过上述方法取得的二值图片中寻找直线边 界,其方法如下:ρ=x cosθ+y sinθ,霍夫变换在离散系统中对直线的检测利用霍夫累加 器实现,该累加器需要三个参数,分别是线度步进值Δρ、角度步进值Δθ、以及最小投票数 Vmin,将ρ和θ分别按照设定的步进值进行离散分割为{ρi}{θi},设立一个二维数组H(ρi,θi), 对某一点(x,y),遍历所有的{θi}并计算出对应的ρ,累加器中对应于(ρi,θi)正确的数组元素 会自增(投票一次),表示所有这些穿过该点的直线,若对另一点(x′,y′)重复同样的实验, 则累加器H(ρi,θi)的某一元素可能对应到两次投票,因此只需要得到具有大量投票(大于最 小投票数Vmin)的元素的数组下表ρi和θi,即通过检测图中的直线(即点的排列),就能够 判断确认目标信息。

最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上 述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上 和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号