装载机主动防碰撞立体视觉监控系统

摘要

由于工程机械机群协同作业时易发生碰撞等事故，装载机主动防碰撞技术的实现有着极其重要的意义。本论文来源于国家科技支撑计划课题“面向节能与安全的集成智能工程化机械装备研发”，以厦工XG958H型装载机为应用对象提出了一种立体视觉三维重建新方法，使用了双目视觉传感器和激光传感器对装载机实际作业时的场景进行三维重构，分析融合自然场景图和深度图于一体的三维场景图像达到监控报警目的，并将其应用于装载机主动防碰撞监控系统中。论文的主要工作包括以下内容:
　　(1)研究了装载机主动防碰撞系统的现场标定方法。标定方法分为三步:第一，对主摄像机和辅助摄像机分别标定，得到它们的内参数;第二，使用位姿转换公式计算出它们的相对位姿;第三，创建激光扫描点坐标系与主摄像机图象坐标系之间的变换关系。
　　(2)对自然场景三维信息获取方法进行研究。三维信息获取方法分为三步。首先对自然场景图进行区域划分，确定非特征区域和特征区域;其次，通过对自然场景图进行图像校正、特征点检测及匹配、三维坐标计算及校正和图像配准，获取到特征区域内基于双目视觉的局部深度图;最后让二维激光扫描平台扫描非特征区域，对该区域内激光光点三维信息进行拟合，获取基于激光扫描的深度图。
　　(3)提出了一种三维场景图融合方法。三维场景图融合方法分为三步:第一步，使用“区域生长”的方法对自然场景图像进行分割，得到所有目标物所在区域;第二步，对于特征区域内的目标物，寻找正确匹配的灰度值，使用基于双目视觉的深度图像对其进行扩散填充，生成其的深度图像。对于非特征区域内的目标物，将基于激光扫描的深度图像投影其所在区域，生成它的深度图像。第三步，使用图像间“加运算”实现所有目标物深度图像的融合，获取相对于自然场景图的三维场景图。
　　本文的创新之处有两方面。一方面在于通过对特征区域进行扩散填充和对非特征区域进行投影填充得到相对于自然场景图的三维场景图;一方面在于对双目视觉传感器和激光传感器进行融合得到三维场景图供驾驶员分析达到主动防碰撞的目的。

目录

声明

摘要

第一章 绪论

1．1 课题研究的背景和意义

1．2 装载机安全防护方法综述

1．3 机器视觉综述

1．4 本文的主要工作及内容安排

1．5 本章小结

第2章 装载机立体视觉监控系统总体设计及其现场标定方法

2．1 装载机立体视觉监控系统总体设计

2．2 装载机立体视觉监控系统双摄像机现场标定

2．3 摄像机间相对位姿标定

2．4 二维激光扫描平台标定

2．5 本章小结

第3章 基于双目视觉的三维信息获取方法

3．1 双目立体视觉三维测量原理

3．2 图像校正

3．3 特征点检测及匹配

3．4 三维坐标计算及坐标校正

3．5 图像配准及基于双目视觉的局部深度图生成

3．6 本章小结

第4章 基于激光扫描的三维信息获取方法

4．1 激光扫描策略

4．2 激光光点提取及其深度图像获取技术

4．3 灰度平面拟合

4．4 本章小结

第5章 三维场景图生成方法

5．1 自然场景图像区域分割

5．2 子区域深度图像生成

5．3 深度图像融合及三维场景图生成

5．4 本章小结

第六章 总结与展望

参考文献

致谢

硕士期间的科研成果及科研项目