基于体感交互中间件的人体互动框架的设计与实现

摘要

体感游戏已不断出现在人们的客厅，这种简单直接的交互方式带开发者们进入了一片崭新的领域。体感交互中间件将3D摄像头采集的玩家数据进行处理并传递给应用，应用是否能够有效地理解玩家的肢体动作，很大程度上取决于中间件的能力高低。人体互动框架的设计包含了多种中间件，将不同中间件的共性接口进行统一，同时，人体互动框架也支持应用调用各中间件独有特性的接口。应用通过人体互动框架，可以获得不同中间件的数据，这大大减少了更换中间件带来的麻烦。
　　本文对人体互动框架进行了设计与实现，并在此框架的基础上完成了多个简易应用。本人的具体工作包括：
　　(1)体感交互的关键技术分析，包括ebox系统使用的3D摄像头工作原理和其与人体互动框架的应用关系，以及体感交互中间件的结构和特性等；
　　(2)人体互动框架的设计与实现，包括面向应用的各类接口：Context类、Camera类、RecProc类、Skeleton类和Event类，以及面向中间件的各类接口：IContext类、ICamera类、IRecProc类、ISkeleton类和IEvent类，这些类的主要功能包括RGB图像与深度图像的获取、骨骼数据的实时获取、事件的实时监听等；
　　(3)基于人体互动框架的应用示例的设计和实现，包括骨骼视觉反馈示例、掩膜图像数据和深度图像数据获得示例、体感控制鼠标示例、体感操作方向盘示例、校准示例、简易游戏示例。目前，基于人体互动框架完成的应用已随ebox开始出售，并得到了应用开发者的积极反馈。