基于领域知识的三维动态场景目标识别和配准

摘要

增强现实是计算机视觉、计算图形学等领域中的一个热点研究方向，增强现实系统通过将计算机生成的虚拟信息融合显示到真实环境中，可以增强用户对真实环境的感知与交互能力。实现真实环境中物体的识别与感知是增强现实技术需要解决的核心问题。基于二维图像的物体识别已经有了广泛的研究，但是对于物体位姿信息的求解存在着较大的局限性。随着三维扫描技术的发展，对场景三维点云数据的获取越来越快捷，基于三维点云的物体识别与感知得到了快速发展，但是由于实际场景的复杂性和非结构化，对场景中三维物体的识别与位姿信息的精确估计仍然面临着巨大的挑战。
　　本文通过深度摄像机获取场景三维点云数据，结合点云的全局和局部特征实现场景中三维目标物体的识别与配准，并应用于工业拆装维修系统中实现增强指导信息的精确配准和多维展示。本文的主要研究工作如下:
　　(1)提出了动态场景三维点云中感兴趣目标的提取算法。首先利用直通滤波等点云预处理算法对Kinect采集的原始场景点云进行处理以减少点云数据量及噪声，然后利用基于随机采样一致性的分割算法去除场景中具有平面性质的点云，最后利用欧式聚类算法对剩余的点云进行聚类，实现场景中感兴趣目标物体点云的提取。
　　(2)研究工业零部件的几何模型、约束模型、层次模型的表达和零部件拆装序列的生成方法，建立了包含约束、装配和几何模型等信息的领域知识库。针对工业零部件结构丰富、表面曲率变化大的特点，提出了改进的点云全局CVFH特征计算方法。使用虚拟深度相机采集零部件模型的多视角点云并结合FPFH特征和改进的CVFH特征构建了模型多视角特征数据库，同时计算多视角点云相对于模型的姿态信息。
　　(3)改进了场景中感兴趣目标的识别与位姿的精确估计方法。首先根据感兴趣目标点云的CVFH特征利用K-D树最近邻搜索算法在模型多视角点云特征库中进行搜索得到识别结果。然后利用点云的局部FPFH特征，结合采样一致性配准算法和ICP配准算法，实现了感兴趣目标物体位姿信息的精确估计。最后，结合领域知识库，利用OSG图像库与PCL点云库实现了增强现实环境下拆装指导信息的精确配准与多维展示，实验结果表明了本文方法的有效性与精确性。

目录

声明

摘要

1 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 论文研究内容

1.4 论文组织结构

2 场景点云的采集与预处理

2.1 场景点云采集

2.1.1 Kinect简介

2.1.2 Kinect相机标定

2.1.3 点云数据获取

2.2 点云预处理

2.2.1 直通滤波

2.2.2 离群点移除

2.2.3 体素滤波

2.2.4 点云预处理实验结果与分析

2.3 本章小结

3 感兴趣目标提取与特征计算

3.1 感兴趣目标提取

3.1.1 基于随机采样一致性的平面分割算法

3.1.2 欧式聚类算法

3.2 点云法向量估计

3.3 点云特征描述

3.3.1 局部PFH特征描述符

3.3.2 局部FPFH特征描述符

3.3.3 改进的全局CVFH特征描述符

3.4 本章小结

4 领域知识的理解与生成

4.1 领域知识库的设计与构建

4.1.1 零部件几何模型

4.1.2 零部件约束模型

4.1.3 零部件层次模型

4.1.4 零部件拆装序列

4.2 模型多视角点云特征库的构建

4.3 本章小结

5 增强信息的配准与虚实融合

5.1 本文算法框架

5.2 感兴趣目标识别

5.2.1 点云目标识别流程分析

5.2.2 基于K-D树的点云目标识别

5.3 增强信息的精确配准

5.3.1 采样一致性配准算法

5.3.2 基于采样一致性的ICP配准算法

5.4 增强信息的虚实融合

5.5 实验结果与分析

5.5.1 点云目标识别

5.5.2 点云目标配准

5.5.3 增强信息的虚实融合

5.6 本章小结

6 总结与展望

6.1 本文工作总结

6.2 进一步研究展望

参考文献

致谢

个人简历、在学期间发表的学术论文与研究成果