机器视觉标定与目标检测跟踪方法及其应用研究

摘要

随着现代社会的发展,对产品质量、生产效率、劳动条件、环境等要求不断提高,从大型生产线,高楼大厦窗户的自动擦洗,恶劣环境下的清洗工作,到国防武器装备制造等民用及军事应用的各种领域,智能化、自动化、机器人化是时代发展的必然趋势,而机器视觉技术是促进其发展的核心技术。研究机器视觉理论方法及其关键技术具有十分重要的理论意义及社会经济意义。为此,本论文开展了机器视觉系统标定,视觉目标信息检测跟踪方法,及其在大型冷凝器清洗机器人作业中的应用研究,全文的主要工作如下:
　　 论文首先分析了立论背景及意义,回顾了机器视觉理论、关键技术的发展现状,介绍了机器视觉的应用研究现状,总结和归纳出待研究的难点问题及研究主线,简要阐述了射影几何,机器视觉系统的视觉成像模型、成像视点,视觉几何的理论基础。
　　 提出了基于扩展摄像机成像模型的自标定算法,给出扩展成像模型,采用扩展模型在一幅图像中同时运用不同方向透视投影分析,建立不同方向的单应关系进而建立内参数约束方程,实现单幅图像标定。与以往由三幅图像基于单应阵的标定算法相比,克服了由于多幅图像的像点不对应而造成精度低的问题。
　　 标定成像模型外,提出了一种基于场景中单个目标点的手眼标定方法,精确控制机械手平台作五次以上平移及两次以上旋转运动,提取场景中单个目标点的像点,通过视差及景深反映摄像机的运动,建立机械手平台与摄像机两坐标系之间相对位置关系的约束方程组。线性求得摄像机内参数K的五个元素及手眼关系R、t,同时,可求得场景目标点深度值。算法中机械手平台作平移运动,无需正交,使得对机械手运动控制操作方便,易实现。
　　 提出了基于矢量差分的未标定摄像机的P5P问题的线性求解法,由5个控制点构成矢量差分,利用尺的正交性,逐步建立摄像机姿态及相机矩阵的约束方程,从线性理论的角度给出未标定P5P的解析解;提出了基于平行线段对应的运动分析线性算法,在运动恢复结构(SFM)框架下,将线段表示为两要素;点,直线,利用平行性,由像线段恢复空间线段。根据运动学理论的螺旋定理,建立基于空间线段两要素的运动参数的线性约束方程,用四元数法线性求解运动参数,并建立PSO非线性优化算法对运动参数进行优化。姿态及运动参数的约束方程是线性的,有解析解,求解方便。
　　 讨论了基于MS迭代算法的视觉图像信息的检测、跟踪方法,目标的检测、跟踪相辅相成,为了提高目标模型颜色特征表征的抗噪性与匹配迭代的有效性,提出了通过MS聚类的方法进行检测,并用聚类模式点来表达目标模型;提出了分层MS匹配搜索的思想,给出分层MS匹配迭代跟踪算法,先将目标参考模型与目标候选模型的聚类模式点、聚类块匹配,再块内的像素匹配,分层执行估计出跟踪序列帧中目标质心模式点的位置。实验结果表明,与传统MS跟踪算法相比,分层MS确定性梯度迭代算法可取得较好的跟踪性能。
　　 跟踪单目标情况相对简单些,而多目标跟踪由于目标数目、交互运动等诸多的不确定因素,需在概率推论框架下进行状态估计来跟踪。提出一种基于RJMCMC的分层MS视觉多目标跟踪算法,多目标跟踪问题建模为贝叶斯推理下的最大似然估计,设计了四种可逆运动方式构造马氏链,并给出基于关联匹配阵的有效的先验建议分布,提高了目标的抽样置信度,进而提高算法迭代效率,基于分层匹配思想,给出像素级与聚类块级两级分层的似然度量。实验结果表明,分层跟踪在单目标、多目标跟踪中具有较强的鲁棒性。
　　 针对冷凝器清洗机器人作业的应用,开展了清洗机器人的视觉系统及其关键技术的应用研究,实现清洗机器人的自主移动及在线清洗大型冷凝器。为此:
　　 构建了视觉系统,由引导机器人定位导航的子系统和引导机械臂喷枪定位冷凝器管口的子系统组成,共四路信息通过图像采集卡连接传输给主控制柜,经视觉关键技术算法处理后,给出对机器人控制的决策信息。
　　 提出了移动机器人视觉三维SLAM定位导航算法,使机器人自主移动到当前待清洗的局部位置,执行清洗任务。利用3D相机获取二维三维信息作为观测量的两个属性值,耦合。ICP,BA算法优化数据匹配及求解机器人任意时刻的运动量。根据视觉理论求解SLAM,实现机器人的6DOF定位,与三维地图的创建。视觉理论为三维空间下6DOF3DSLAM过程分析提供了关键理论依据,视觉SLAM求解过程较传统的运动学KF,PF滤波更简洁,无须预测步,定位与地图创建为一个过程,且利用三维相机与三维激光相比,二维数据引导三维数据匹配,减小了三维数据的搜索范围,提高了三维SLAM的计算效率。
　　 设计了基于视觉的管口定位算法,辅助机器人确定冷凝器管口的位置。根据作业场地面积的大小及摄像机的有效视场,离线人工计算将工作面划分区域,分块粗定位,控制机器人移动,在机器人移动到粗定位的某一确定位置,利用机械臂视觉系统检测分割冷凝器管的管口,计算管口的中心像点位置,再根据视觉理论计算出管口的空间位置,实现对当前局部范围内每个管口的位置的精确定位。

目录

文摘

英文文摘

第1章 绪论

1.1 论文研究背景和意义

1.2 机器视觉理论方法及关键技术的研究现状

1.2.1 视觉理论的研究进展

1.2.2 机器视觉关键技术研究进展

1.3 机器视觉应用研究现状

1.3.1 视觉机构

1.3.2 视觉软硬件系统

1.3.3 机器视觉应用研究现状

1.4 难点问题

1.5 论文的主要工作和结构安排

第2章 机器视觉理论基础

2.1 引言

2.2 射影几何

2.3 视觉基元

2.4 成像视点

2.5 摄像机成像几何模型

2.6 视图几何

2.7 本章小结

第3章 机器视觉系统标定方法

3.1 引言

3.2 针孔摄像机模型自标定方法

3.3 基于扩展摄像机成像模型的自标定方法

3.3.1 摄像机扩展成像模型

3.3.2 内参数的标定

3.3.3 算法总结

3.3.4 实验结果及分析

3.4 PTZ标定

3.5 基于单目标点的手眼关系标定

3.5.1 手眼关系标定方法

3.5.2 机器人手眼系统数学模型

3.5.3 手眼关系及摄像机内参数的标定

3.5.4 算法总结

3.5.5 实验结果及分析

3.6 本章小结

第4章 运动估计与姿态估计方法

4.1 引言

4.2 运动与姿态估计概念

4.3 运动估计与姿态估计的基本方法

4.4 P5P未标定摄像机姿态估计

4.4.1 P5P问题的表述

4.4.2 基于矢量差分的约束方程的建立

4.4.3 P5P问题的解析解

4.4.4 算法总结

4.4.5 实验结果及分析

4.5 基于线段基元的运动估计

4.5.1 问题表述

4.5.2 基于线段基元的运动估计

4.5.3 约束方程的建立

4.5.4 优化

4.5.5 算法总结

4.5.6 实验结果及分析

4.6 本章小结

第5章 基于分层MS目标检测跟踪方法

5.1 引言

5.2 MS迭代算法

5.3 MS目标检测分割

5.3.1 单目标检测

5.3.2 多目标检测

5.4 经典的MS跟踪

5.4.1 基于颜色直方图距离度量的MS跟踪

5.4.2 基于点匹配的MS跟踪

5.4 分层MS单目标跟踪算法

5.4.1 目标模型聚类模式点描述

5.4.2 聚类块与像素点分层匹配的相似度量函数

5.4.3 HMS迭代跟踪算法

5.4.4 HMS算法的复杂性分析

5.4.4 实验结果及分析

5.5 贝叶斯框架下HMS多目标跟踪

5.5.1 Bayesian推论

5.5.2 多目标跟踪问题贝叶斯建模

5.5.3 基于RJMCMC的HMS多目标跟踪的实现

5.5.4 算法总结

5.5.5 实验结果与分析

5.6 本章小结

第6章 机器视觉定位方法在冷凝器清洗机器人的应用

6.1 引言

6.2 冷凝器清洗机器人作业视觉定位原理

6.3 视觉系统构建

6.4 清洗机器人的SLAM定位与导航

6.4.1 机器人定位导航方法分析

6.4.2 SLAM问题

6.4.3 基于3D-相机感知环境的SLAM

6.4.4 视觉SLAM的实现

6.4.5 实验结果及分析

6.5 基于视觉的冷凝器管口的定位

6.5.1 视觉定位原理

6.5.2 图像管口定位

6.5.4 管口空间位置的定位

6.5.5 实验及分析

6.6 本章小结

结论

参考文献

致谢

附录A 攻读学位期间所取得的成果

附录B 攻读学位期间参与的科研项目