一种基于手势识别技术的3D虚拟交互方法及系统

摘要

本发明提出一种基于手势识别技术的人与计算机3D虚拟交互的方法及系统。用一组摄像头动态捕捉人左手的运动轨迹，用另一组摄像头采集人右手的手势，通过对左手运动方位的分析控制场景中视角的变化，并对右手位置和右手手势进行分析，得到右手在场景中对应虚拟手的三维位置信息，进而不断更新场景中虚拟手的位置和手势。采用基于形状特征的方法识别手势动作，通过手势动作去控制真实人与显示在计算机桌面中的虚拟环境进行交互，能够控制虚拟手完成相应的动作，并随着左手的移动切换3D场景，同时伴随不同的动作发出不同的声音，可实现真实的人与虚拟3D环境之间的沉浸式交互，使得人机虚拟交互更加生动、直观和真实。