基于Kinect的手指关节点跟踪技术的研究

摘要

近几年随着虚拟现实（Virtual Reality）技术的火热发展，衍生出了许多热门的新技术，其中对于手部和手指跟踪技术就是近十年来虚拟现实领域研究的一个热门课题。手指跟踪技术在应用方面有着广泛的可能性，例如在人机交互领域（HCI）、计算机动画、以及游戏。近年来人们对这个课题的兴趣还在不断增长。
　　对于三维人机交互，实时性、稳定性和鲁棒性是三维手指关节点跟踪的最主要要求，只有这样才能让用户如同真实触碰物体一样去操控虚拟物体，因此，为了获得良好的用户体验，手指跟踪算法需要在这些要求下进一步改进。
　　本文利用微软公司研发的Kinect v2体感摄像头作为深度图像捕捉设备，提出了一种基于深度图像的实时鲁棒的手指关节点跟踪算法。首先利用Kinect for Windows SDK的人体骨骼识别算法获取到手掌节点，并以手掌为中心在深度图中划分出一块手部区域，然后对该区域进行中值滤波滤波降噪处理，并提取手部轮廓。接着利用手部区域的轮廓信息通过改进的Graham扫描法计算手部轮廓的凸包，并找到指尖节点，再根据手指轮廓的形态特征，得到各手指其余关节点。最后，结合本文创新提出的自定义手指反向运动学约束模型对手指不同运动情况下关节点的运动位置进行跟踪。
　　本文创新性地使用了优化的中值滤波算法和优化的Graham凸包计算法，能够更快速的处理手部区域的深度信息。使用本文的方法可以在满足自然人机交互的前提下，对手指的三节点进行实时跟踪。与现有的方法相比，本文提出的方法具有很多优势，在三维人机交互领域具有很大的应用前景。

目录

声明

第1章 绪论

1.1研究背景和意义

1.2国内外研究现状

1.3论文的研究内容

1.4技术路线和章节概述

第2章 相关技术简介

2.1手指运动状态表示

2.2 Kinect v2与Kinect v1对比

2.3深度图像的获取

2.4图像降噪技术

2.5基于深度图像信息的轮廓提取算法

2.6凸包检测方法

2.7本章小结

第3章 深度数据获取及手部轮廓提取

3.1从Kinect数据源获取人体骨骼节点

3.2手部区域划分

3.3手部区域深度图滤波处理

3.4手部轮廓提取

3.5本章小结

第4章 手指关节点检测与跟踪

4.1定义手指关节运动约束

4.2凸包计算

4.3初始状态指尖节点检测

4.4其他指关节点检测

4.5指关节点跟踪

4.6本章小结

第5章 实验结果

5.1实验平台介绍

5.2实验结果

5.3算法性能分析

5.4本章小结

第6章 总结与展望

6.1本文工作总结

6.2未来工作展望

参考文献

发表论文和参加科研情况说明

致谢