基于视觉手势识别的机械手操控系统的研究

摘要

随着机器人技术的飞速发展，机器人已经广泛地应用于生产、生活等各个领域中，人与机器人之间的交互活动也就变得越来越频繁。但是目前机器人的操控方式却很单调、繁琐，人与机器人之间的交互不够直观、自然而且效率比较低。因此，研发基于视觉的自然手势交互系统不仅具有一定的学术研究价值，而且具有相当大的实际应用前景。
　　本文在分析了国内外手势识别和机器人控制系统的相关研究资料及成果的基础上，选取了Leap公司出产的Leap Motion传感器获取人手信息，并针对单个传感器使用时因视觉干扰或者不可避免的遮挡而导致手势识别准确率降低的现象，研究并实现了一种基于多Leap Motion传感器的机械手手势操控系统。这一系统采用多个传感器在多方位对操作者的手势进行探测追踪并进行手势识别，实现了通过自然手势控制机械手动作的非接触式交互。该系统主要包括客户端（手势检测模块）、信息服务器端（数据处理模块）、机械手控制器及机械手机构，文中主要对手势采集模块以及数据处理模块进行了研究讨论。该文首先介绍了该基于手势识别的机械手工作原理，然后在对Leap Motion传感器进行了一定的研究分析后，确定了多个传感器位置布局，实现了一个基于多传感器的手势数据采集模块。该系统中数据处理模块的主要作用是对从多个传感器获取的手势数据进行数据分析处理，为了更加及时地响应人手运动状态的变化和获取较稳定、准确的人手位置数据，本文提出了一种改进的基于“当前”统计模型的自适应卡尔曼滤波算法进行滤波和轨迹追踪;对于通过手指指骨向量计算得到的关节角度，采用一种改进的基于均值的加权滑动均值滤波算法进行稳定性滤波平滑处理。当进行手势的姿态识别时，将手指关节角度等手势特征向量送入支持向量机(SVM)进行手势分类，并采用交叉编译和网格搜索的方法对其参数进行寻优，手势识别准确率可达98.5％。数据处理模块会实时地将位置增量、旋转角度增量或者姿态动作指令发送给机械手控制器，机械手控制器会通过内部运动学反解算法得到机械手各个关节轴运动数据从而驱动各个伺服电机转动。
　　在最后的系统实验环节，操作者通过改变自身手部的空间位置和姿态达到了手势操控机械手运动的目的，并验证了该系统的可用性以及数据处理算法的有效性。

目录

声明

摘要

第一章 绪论

1．1 课题的研究背景和意义

1．2 机器人操控系统的国内外研究现状

1．3 本课题的主要研究内容

第二章 基于手势识别的机械手操控系统总体设计

2．1 引言

2．2 基于手势识别的机械手的工作原理

2．2．1 机械手执行机构的介绍

2．2．2 人手到机械手的映射

2．3 手势识别原理分析

2．3．1 Leap Motion传感器介绍及分析

2．3．2 人手特征数据的获取

2．4 基于手势识别的机械手操控系统

2．4．1 手势操控系统总体框架

2．4．2 多传感器的位置布局设计

2．4．3 传感器的坐标转换

2．5 本章小结

第三章 手势数据的滤波融合技术

3．1 引言

3．2 手势数据分析

3．2．1 人手抖动程度检测

3．2．2 轨迹提取

3．3 人手位置数据处理

3．3．1 平滑滤波技术

3．3．2 对人手目标的运动状态变化特点的分析

3．3．3 基于改进的“当前”统计模型的Kalman滤波估计

3．3．4 基于加权因子的多传感器融合算法

3．4 手部姿态数据处理

3．4．1 姿态数据融合依据

3．4．2 关节角度数据的滤波

3．5 本章小结

第四章 基于SVM分类器的手势识别

4．1 引言

4．2 手势分类识别分析

4．2．1 组合多类的基本思想

4．2．2 手势识别流程

4．3 LibSVM的应用

4．3．1 核函数的选取

4．3．2 核函数参数寻优

4．4 分类实验

4．5 本章小结

第五章 系统实现与实验分析

5．1 基于手势的机械手操控系统的实现

5．1．1 基于手势的机械手操控系统的架构

5．1．2 用户界面软件开发实现

5．1．3 通信数据的定义

5．1．4 人手方位数据的相对变化量计算

5．1．5 手势姿态识别的实现过程

5．2 系统整体实验验证与分析

5．2．1 轨迹跟踪实验分析

5．2．2 关节角度的滤波分析

5．2．3 抓取姿态识别结果分析

5．2．4 系统性能分析

5．3 本章小结

第六章 总结与展望

参考文献

发表论文和参加科研情况

致谢