基于点云融合特征的三维对象识别与位姿配准

摘要

场景感知研究目标是使计算机能够具有与人类相类似的感知外部世界的能力，为此需要识别场景中的对象，并捕获对象的位姿信息，研究成果在如增强现实、人工智能等方面都有应用。随着硬件技术的发展，点云获取设备精度在不断提升，所获取的三维点云数据相比较于二维图像具有更丰富的信息，因此本文基于三维点云数据展开研究，在对象识别方面提出特征融合算法，融合两个点云特征以提高对象的识别率；在位姿配准方面，对用于配准的点云局部特征进行改进，以期配准过程能全自动完成的同时提高配准精度；将研究成果应用在实际当中，开发出基于增强现实的智能维修系统。本文研究内容包括以下三个方面： （1）为解决点云单个全局特征识别能力有限的问题，提出主成分分析权重系数调整（PCA-W）点云特征融合算法，对点云CVFH特征与ESF特征进行融合。算法通过PCA主成分分析提取点云特征中的有用成分，去除冗余信息，通过引入权重系数并进行调整，增强优势特征在对象识别中的作用，最终通过结合两个点云特征的三维特性提高三维目标对象的识别率。 （2）针对基于点云FPFH特征的配准需人为手动调整邻域半径的问题，提出自适应邻域选择的FPFH特征提取算法，在计算特征之前，先估算点云密度，依据拟合出来的映射函数自动求解最佳邻域半径，以此半径为参数计算FPFH特征，解决了因选择过大邻域半径引起运算速度慢的问题，同时可提升特征的性能，为点云配准提供了全自动的特征提取算法，无需人为调整邻域半径。 （3）将以上研究成果应用在实际应用当中，开发出了基于状态驱动的增强现实智能维修系统。该系统使用RealSense D435采集场景点云，使用PCA-W算法完成特征融合以对目标工件完成识别，使用自适应邻域选择的FPFH特征提取算法提取特征以完成对工件位姿的配准，在此基础上将目标工件CAD模型叠加显示在真实场景中，根据目标工件当前所处的状态，将与状态相对应的维修指导信息显示在HoloLens中，以指导维修技术人员完成对工件的拆装，可提高维修速度，能确保维修准确性，减少差错的发生。

目录

声明

1 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 论文研究内容

1.4 论文组织结构

2 基于点云特征的三维对象识别

2.1 概述

2.2 点云采集与预处理

2.2.1 点云数据采集

2.2.2 点云数据的预处理

2.3 基于点云特征的对象识别

2.4 基于点云特征的位姿配准

2.5 实验结果与分析

2.6 本章小结

3 PCA-W点云特征融合算法与三维对象识别

3.1 特征融合

3.2 PCA-W点云特征融合算法

3.2.1 PCA-W算法总述

3.2.2 点云CVFH特征

3.2.3 点云ESF特征

3.2.4 数据规格化

3.2.5 点云特征PCA分析

3.2.6 权重系数调整

3.3 基于PCA-W算法的三维对象识别

3.4 实验结果与分析

3.4.1 UWA点云介绍

3.4.2实验结果与分析

3.5 本章小结

4 自适应邻域选择的FPFH特征提取算法与位姿配准

4.1 算法总述

4.2 点云密度估算

4.3 点云FPFH特征

4.4 采样一致性初始配准算法

4.5 邻域半径密度映射函数

4.6 基于自适应邻域选择的FPFH算法的点云配准

4.7 实验结果与分析

4.8 本章小结

5 基于状态驱动的增强现实智能维修系统

5.1 系统结构总述

5.2 构建离线领域知识库

5.2.1 多视角模型离线特征库

5.2.2 构建装配约束关系知识库

5.3 在线实时三维场景感知

5.3.1 场景感知与特征提取

5.3.2 点云识别与配准

5.4 虚实融合与维修诱导信息的推送

5.4.1 实时场景与CAD模型的融合

5.4.2 维修诱导信息的实时推送

5.5 硬件系统设计与实现

5.6 实验结果与分析

5.7 本章小结

6 总结与展望

6.1 本文研究内容总结

6.2 本文的研究展望

参考文献

致谢

个人简历、在学期间发表的学术论文与研究成果