基于手势识别技术的3D虚拟交互系统

摘要

系统以英特尔凌动处理器嵌入式平台为核心,运用手势识别、多目视觉立体定位、电机控制及3D建模等多种算法和技术,构建了一个真实人与虚拟世界进行实时交互的浸入式环境.一方面以图像处理算法为核心,进行基于肤色模糊识别和多智能体协作思想的图像分割,实现了基于形状特征的手势识别算法;另一方面采用了3 dsmax辅助建模的方法,实现了手的骨骼模型这种复杂物体的建模,结合Direct3D开发3D虚拟环境系统,采用DirectSound产生环境的声音.通过对虚拟手的控制实现人与虚拟环境中三维物体的交互操作,如抓取、移动物体等动作.随着3D场景和动作的切换,伴随发出不同的声音.测试表明,该系统的手势识别成功率达到80％,人机交互较为生动、直观和真实.