基于投影仪-红外摄像机的多点触控系统

摘要

多点触控技术(Mulfi-Touch)是近年来的一个研究热点。多点触控技术定义为：在计算机生成的交互式虚拟场景中，用户通过手势、手指或其他外在物理物直接与电脑进行交互，实现多点、多用户，同一时间直接与虚拟的环境交互，使户感觉到沉浸于其中。 本文以投影仪为显示设备，以红外摄像机为光学传感器，设计并实现了一个多点触控系统。多个用户通过该系统，采用手、手指、其他物理物与投影在桌面的信息进行交互。为了满足多点触控系统实时、多点的交互要求，我们设计一个有效的目标识别跟踪算法。 首先，通过几何变换，建立帧缓存和摄像机图像空间中投影区域的几何映射关系，将拍摄到的图像变换到帧缓存的几何空间下；接着采用背景减除法分割变换后的图像，标记连通成分，分别提取各个连通成分的轮廓图及计算方向包围盒，并跟踪之；然后根据肤色模型，从连通成分中提取掌心的几何位置，利用轮廓点和掌心的距离关系分别将各个二维轮廓图转化为～维波形，并计算波形的极值点(包含了指尖点、手指间相连点)，根据数学知识和手指构造，在轮廓图中提取手指的长、宽、指尖的展角和手指间的夹角等特征信息；最后采用神经网络识别手指，分为手指和非手指两类，区分手指端和手臂端。

目录

文摘

英文文摘

论文说明：图表目录

声明

第1章绪论

1.1多点触控技术综述

1.1.1人机交互技术的发展过程

1.1.2多点触控技术的现状

1.2基于投影仪-红外摄像机的多点触控系统

1.3本文的研究目标和结构

1.4本章小结

第2章投影仪-摄像机几何关系的标定

2.1摄像机的几何标定

2.1.1仿射变换

2.1.2摄像机成像的几何模型

2.1.3摄像机的几何标定

2.2非线性模型的几何标定

2.2.1模型的简化

2.2.2几何标定

2.2.3图像变换

2.3本章小结

第3章人手特征信息提取

3.1特征信息

3.1.1特征信息简介

3.1.2人手的构造

3.2图象分割

3.2.1背景减除法

3.2.2门限处理

3.2.3连通成分标记

3.3四邻域算子边界提取

3.3.1提取算子

3.3.2算法实现

3.4手指特征信息提取

3.4.1二维图像转化为一维波形

3.4.2手指特征信息提取

3.4.3手指识别

3.5手臂剔除

3.5.1计算方向包围盒

3.5.2手臂剔除

3.6本章小结

第4章手指识别

4.1模式识别的概述

4.1.1模式和模式识别的概念

4.1.2模式识别系统

4.2基于结构分析的手指识别

4.3线形分类器

4.3.1线性分类器技术

4.3.2感知器算法

4.3.3线性分类器的实现

4.4神经网络

4.4.1前馈神经网络技术

4.4.2学习算法

4.4.3前馈神经网络的实现

4.5本章小结

第5章多点触控系统的实现

5.1目标跟踪识别

5.1.1目标跟踪

5.2系统要求和硬件构成

5.2.1系统要求

5.2.2硬件构成

5.3系统软件设计

5.3.1软件架构

5.3.2软件开发接口设计

5.4本章小结

第6章结果与改进

6.1实现结果

6.2系统误差分析

6.3系统改进

6.4本章小结

第7章展望

参考文献

致谢

作者简介