基于视觉—语音交互式室内层次地图构建与导航系统

摘要

本文在搭载有Kinect视觉传感器和SICK LMS100激光传感器的Pioneer-3AT机器人硬件平台上，在开源操作系统ROS框架内，搭建了一个完整的基于骨架追踪和语音标注的交互式栅格-拓扑-语义层次地图构建和导航系统。
　　整个系统包括交互模块，控制模块，制图模块和导航模块四个主要部分。交互模块中:本系统使用了基于Kinect骨架追踪和基于科大讯飞云服务的视觉-语音交互于段。机器人通过Skeleton Tracking算法获取用户的骨架位置信息，通过手机端的语音识别APP记录对于人类来说有特殊意义的地点的语义名称。控制模块中:机器人将视觉交互模块获得的骨架位置信息按照一定的函数关系转化成机器人的角速度和线速度从而跟随用户移动。制图模块中:在跟随用户移动过程中机器人自下而上的建立了栅格-拓扑-语义三层地图。机器人通过Gmapping算法使用里程计和激光数据实时构建出周围环境栅格地图。将特殊地点语义名称结合栅格地图的坐标位置值定义为拓扑节点，使用增量算法构建出拓扑地图。最后抽取出每个拓扑节点的语义名称，建立语义地图。底层栅格地图用于机器人理解环境，上层语义地图用于人类理解环境，中间的拓扑层通过在语义名称和坐标值之间建立对应关系，成为上层地图和底层地图之间联系的桥梁。导航模块中:用户通过手机端APP向机器人发送目的地语音名称，机器人收到语音信号后，首先在语义层地图找到相应的语义节点，然后在拓扑层找到对应语义节点的坐标值，最后将栅格地图转化成耗散地图，使用Adaptive Particle Filter算法完成全局定位，A*搜索算法完成路径规划，最终到达目的地。
　　交互式制图因为加入了人类智力不仅可以提高机器人的制图效率，而且可以在地图中加入人类语义信息。栅格-拓扑-语义层次地图可以在人类认知环境方式-语义概念和机器人认知环境方式-传感器数据之间建立桥梁，有效减少人机之间的认知鸿沟。此外，整个系统在ROS框架内实现，严格按照功能不同对程序进行了模块化，使本系统具有良好的可扩展性和可移植性。并在不同的真实环境下做了大量的实验和测试。实验结果表明，交互式构建栅格-拓扑-语义层次地图能够有效地结合环境信息和人类语义，高效完成地图构建和导航任务。相信本系统可以应用在室内家居服务机器人，博物馆导览机器人，智能轮椅等之上，改善人类的日常生活。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 本文创新点

1．3 论文组织结构

第二章 系统架构

2．1 实验平台硬件环境搭建

2．2 实验平台软件环境搭建

2．2．1 ROS系统简介

2．2．2 本文系统ROS节点分布和功能

2．3 系统工作流程

第三章 骨架追踪和语音标注

3．1 构建地图交互方式研究综述

3．1．1 穿戴式加速计和数字罗盘交互

3．1．2 耳机设备交互

3．1．3 头盔设备交互

3．1．4 穿戴式多IMU交互

3．2 骨架追踪

3．2．1 环境搭建

3．2．2 基本原理和流程

3．2．3 数据获取

3．2．4 跟踪实验测试

3．3 语音标注

3．3．1 环境搭建

3．3．2 基本架构和设计模式

3．3．3 语音识别实验测试

第四章 运动控制

4．1 控制策略

4．2 控制流程

4．3 控制鲁棒性测试实验

4．3．1 狭窄环境实验

4．3．2 多人干扰跟踪实验

4．3．3 跟踪丢失找回实验

第五章 栅格-拓扑-语义层次地图构建

5．1 地图构建研究综述

5．1．1 地图表示方式

5．1．2 同时定位与地图构建

5．1．3 拓扑地图构建

5．1．4 层次地图构建

5．2 GMapping栅格地图构建

5．2．1 SLAM基本原理

5．2．2 RBPF-SLAM基本原理

5．2．3 三种环境下的实验测试

5．3 拓扑-语义地图构建

第六章 路径规划和导航

6．1 路径规划研究综述

6．2 基于Cost Map和A*搜索的路径规划

6．2．1 自适应粒子滤波全局定位原理

6．2．2 耗散地图构建原理

6．2．3 基于A*搜索算法的路径规划原理

6．3 两种环境下实验测试

6．3．1 全局定位实验

6．3．2 耗散地图构建实验

6．3．3 A*路径规划实验

第七章 工作总结与展望

参考文献

硕士期间发表论文

致谢