基于手势识别的远程控制机械手的设计

摘要

远程控制机械手臂可代替人工在极限环境下进行作业，对提高作业效率和保障人身安全均有重要的意义。传统的远程控制机械手由机械摇杆或键盘控制，且受限于有线网络的布线范围，很大程度上限制了机械手的灵活性。
　　本文将基于视觉的手势识别与远程控制机械手相结合，通过摄像机采集用户的手势图像并提取手势命令，转换为机械手舵机的控制命令并通过无线网络发送至机械手控制单元，实现视觉手势对机械手的远程控制。
　　本文的主要工作内容以如下：
　　(1)双判据手势分割：图像预处理并转换至YCbCr空间。对静态手势，根据肤色判据进行分割，采用改进的最大类间方差法快速分割类肤色图像；对于动态手势，采用帧间差分与背景差分相结合的方法，将手势作为运动前景与背景分离得动态手势图像。根据手势运动速度建立加权模型，将类肤色图像与动态手势图像做与运算并进行运动学处理，得到连通性良好的手势区域二值图像。
　　(2)根据指尖识别手势：提取手势二值图像轮廓，采用最大曲率法定位指尖，采用掌臂分离法定位掌心。对手势进行校验，并对误识别的手势进行二次提取。
　　(3)提取手势控制命令：根据手势状态及轨迹，将二维手势信息映射至机械手的三维运动命令，并做防抖处理，将手势信息转换为机械手的运动指令。
　　(4)机械手远程控制：采用AVR单片机输出多路PWM控制6自由度机械手，通过蓝牙和串口通信建立无线和有线通信网络，根据运动模型将机械手的运动指令转换为舵机的控制指令，实现机械手的运动控制。
　　(5)建立人机交互界面：用户开启摄像头，系统自动初始化并建立无线网络连接，该系统可实现手势和手动两种方式控制机械手，并为用户提供手势识别信息。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1 .1 课题背景

1 .2 课题研究历史与现状

1 .3 课题研究意义

1 .4 课题研究内容

第2章 手势的分割与轮廓提取

2 .1 手势属性综述

2 .2 图像预处理

2 .3 基于肤色的手势分割

2 .4 基于运动前景的手势分割

2 .5 手势轮廓提取

第3章 基于轮廓的手势识别

3 .1 轮廓平滑

3 .2 指尖标定

3 .3 掌心标定

3 .4 手势校验

3 .5 手势命令识别

第4章 机械手控制系统设计

4 .1 动力机构设计

4 .2 控制模块设计

4 .3 通信模块设计

4 .4 上位机控制系统设计

第5章 手势远程控制机械手系统实现

5 .1 系统整体分析

5 .2 系统测试环境

5 .3 手势识别算法检验

5 .4 人机界面搭建

第6章 总结与展望

6 .1 总结

6 .2 展望

致谢

参考文献

攻读硕士学位期间参加的科研情况