基于机器视觉的船体缺陷检测技术研究

摘要

近年来，随着硬件水平的不断提高，机器视觉行业随之迅速发展。目前机器视觉的前沿技术已经成为科研、教育等很多领域不可缺失的一部分。其中作为该技术典型应用之一的缺陷检测也受到越来越多科研机构的关注。 船舶作为传统行业的代表，它的建造水平在一定程度上也象征了国家的工业水平。在船舶建造过程中，涉及到船舶钢材处理、构架的加工、分段建造、船体焊接等过程。期间由于人工操作失误、机器故障、磨损、环境等原因，船体不可避免的出现裂纹、孔洞、蚀耗等缺陷，如果没有及时发现这些缺陷，将会给船舶带来极大的安全隐患。目前主要依靠人工配合仪器等进行缺陷检测，但是这种方法不仅会消耗大量的时间和精力，还会影响船舶建造效率和船舶经济效益。本文采用机器视觉技术检测船舶的常见缺陷。文章设计了基于点云匹配算法的缺陷检测方案和基于深度学习的缺陷检测方案。 对基于点云匹配的缺陷检测方案，文章首先对相机模型以及坐标转换、相机畸变、立体匹配、相机标定等重要的基础知识进行了说明。接着文章以ZED双目相机和开源的ORB-SLAM项目为基础，实现了ZED相机的实时三维重建，同时用实验室船舶模型验证时发现虽然重建的点云精度稍微欠缺，但整体效果良好。为了将模型数据统一成PCL（PointCloud Library）的标准点云格式PCD以方便检测，文章以20cmx20cm的正方形平面为例对常见3D模型格式STL，OBJ，PLY与PCD的储存方式进行了说明，同时利用三维视觉库VTK（visualization toolkit）编写了OBJ、STL、PLY格式与PCD格式之间的转换算法并进行了改进。为得到较好的点云匹配结果，文章将匹配分成两步，首先利用SAC-IA（Sample Consensus Initial Aligment）算法对点云进行粗匹配，粗匹配可以为下一步精细匹配提供较好的初始化结果，接着使用ICP（Iterative Cloest Point）算法实现点云的精细匹配。接着文章在精细匹配结果上使用基于Kdtree数据结构的快速近似近邻搜索算法找出缺陷位置。为验证算法的有效性，文章在实际船舶舱段的3D模型上制造了变形、孔洞、尺寸误差三种缺陷，实验结果表明算法能准确找出缺陷的位置。 对基于深度学习的缺陷检测方案，文章采用了经典的Faster RCNN网络。由于实验室缺少必要的船舶模型，且无法去船厂实拍真实数据，因此文章在100块300mm×300mm厚度为1.5mm的船用钢板上制造了蚀耗、孔洞、划痕三种缺陷，其中每种缺陷各200个左右，并拍摄了500张图像数据。接着文章按照Pascal VOC格式制作了数据集。最后训练结果表明该模型能准确的识别出上述三种缺陷，具有一定的指导意义。

目录

声明

1 绪论

1.1 选题背景和工程意义

1.1.1 选题背景

1.1.2 选题的工程意义

1.2 国内外发展现状和发展趋势

1.2.1 国外发展现状

1.2.2 国内发展现状

1.2.3 机器视觉缺陷检测技术的发展趋势

1.3 论文结构，研究内容与创新点

1.3.1 论文结构

1.3.2 论文主要研究内容

1.3.3 课题创新点

2 视觉理论基础

2.1 相机模型介绍

2.1.1 针孔相机模型

2.1.2 畸变模型

2.1.3 双目相机模型

2.2 双目相机重构理论基础

2.2.1 极线约束与极线校正

2.2.2 极线搜索与块匹配

2.2.3 立体匹配算法

2.3 相机的标定

2.3.1 相机标定方法简述

2.3.2 单目相机标定

2.3.3 双目相机标定

2.4 本章小结

3 基于ZED双目相机的SLAM三维重构

3.1 SLAM介绍

3.2 视觉SLAM三维重建原理分析

（1）传感器数据获取

（2）视觉里程计

（2） 后端非线性优化

（4）回环检测

（5）建图

3.3 ZED相机SLAM三维重建的实现及效果展示

3.3.1 硬件与软件平台的搭建

3.3.2 ZED相机SLAM重建程序流程

3.4 本章小结

4 船体缺陷类型分析与检测方法研究

4.1 船体的缺陷类型与原因分析

4.2 PCL点云库介绍与3D模型的转换

4.2.1 PCL点云库介绍

4.2.2 常用的3D模型格式

4.2.3 3D模型的点云提取

4.2.4 基于均匀采样的点云提取算法

4.3 基于匹配算法的点云缺陷检测研究

4.3.1 点云匹配算法研究

4.3.2 点云缺陷检测与可视化

4.4 本章小结

5 基于深度学习的船舶缺陷检测方案

5.1 点云缺陷检测方案的不足

5.2 深度网络的选择和结构分析

5.3Faster RCNN数据集制作与标注

5.3.1 船舶缺陷数据采集

5.3.2PASCAL VOC数据集制作

5.4 深度网络训练于测试

5.5 本章总结

结论与展望

参 考 文 献

攻读硕士学位期间发表学术论文情况

致谢