Leap Motion

摘要： 手功能评估的传统方法还是基于医生和专家的主观判断,这样的方法不仅仅缺乏标准性,同时还会因为个别医生或者专家的评估标准不同,获得错误的评估结果。随着人工智能的发展,硬件的革新换代,各种算法的提出,使得利用计算机技术对手进行科学的自动的评估成为了可能。论文搭建了手功能自动评估系统,利用Leap Motion提取手各个部位在空间中的位置和方向,提出评价两手之间手势差异程度的方法,从而实现数据化后的患侧手和健康手的比较,获得患侧手手功能丧失程度。通过该项研究,可以科学地评估患侧手的病患程度,帮助医生做进一步的诊断和治疗,有助于病人尽快恢复病患手的功能。

摘要： 本文使用Unity3D作为游戏开发引擎,结合前期撰写的游戏剧本,以Leap Motion体感控制器为硬件平台,利用C#语言进行游戏脚本的编写,把Unity3D的组件功能和Leap Motion的手势识别技术相结合,将自行车维修科普知识融合在三维游戏中,利用Leap Motion捕获手部数据,对数据进行分析并转化为相应的指示命令,实现用户手抓取、放置、放大游戏中车辆和工具的交互功能,增强了游戏的科普性和趣味性,可以运用在新式工科教育、车辆维修游戏等方面,具有广泛的应用推广价值。

摘要： 通过手势识别与VR技术的结合,在现有装配教学课程的基础上设计了一种高度仿真、自由性强的人机交互虚拟仿真装配训练系统。使用Unity 3D开发3D虚拟训练场景,并引入VR技术增加沉浸体验,对数据进行分析并将手部动作转化为指示命令。通过虚拟现实与人性化的人机交互技术的有机结合,探索了新工科装配教学体系的创新发展模式,该虚拟仿真训练实现了高度仿真下的装配实训教学突破,为新技术助力新工科建设和工程教育领域的发展潜力提供了有力的实例。

摘要： 随着虚拟现实技术的飞速发展,Leap Motion等体感传感器出现并被广泛地应用在人机交互中.针对Leap Motion体感控制器在识别范围边缘识别率低且识别速度慢的问题提出了一种基于深度神经网络的Leap Motion手势交互方法.该方法在定义的交互手势基础上,设计了三维交互系统并应用到虚拟场景中.系统首先通过Leap Motion进行数据捕捉,对获取到的红外图像采用深度神经网络进行特征提取并实现对手势的分类识别,然后结合Leap Motion获取的手部坐标前后帧的变化来判断动态手势,最终结合动态手势完成虚拟场景中的交互功能.经过实验验证,本文手势识别方法无论是在识别速度还是识别精度上都优于Leap Motion自带的手势识别方法,同时在Leap Motion识别范围边界处仍能保持较高的识别率.

摘要： 针对地震救援机器人目前的研究现状,为进一步研究地震救援机器人的实际应用,利用Leap Motion与Android这2种外接设备,根据摄像头回传的实时画面远程操控机器人。用Leap Motion手势识别手臂动作控制机器臂,用Android手机控制机器人行走,为机器人配备摄像头进行实时监控,利用无线通信系统远程控制机器人在复杂地震环境下开展救援。实验结果表明,Leap Motion手势识别率高,可同步机械臂手势动作,Android手机可较为准确地控制机器人行走,摄像头可清晰拍摄救援环境。此地震救援机器人在地震应急救援中具有一定的研究与应用价值。

摘要： Leap Motion是采用双目视觉原理来对手部进行距离的精准测量的体感交互设备,因此常被用作交互式沉浸系统的开发.以Leap Motion传感器为手势识别设备,采用TBD(Track-Before-Detect检测前跟踪)技术对手部进行追踪,根据两个摄像机进行深度成像,从而提取人体手部各关节点的深度信息并建立手部立体模型.最后,通过Cinema4D创建虚拟环境仿真要素,与Unity3D结合实现商用沉浸式艺术展示的效果.经试验证实该系统可通过手势交互实现较好的沉浸感,表明了该系统实现方法的实用性和有效性.

摘要： 为提高Leap Motion设备的采集精准度,解决自遮挡、采样频率不稳定等设备固有问题,首先,设计了使用Leap Motion和动作捕捉设备的手部多模态同步运动采集方案,采集了日常动作数据集;其次,提出了基于卷积神经网络(convolutional neural network,CNN)的Leap Motion手部运动数据优化方法,使用日常动作数据集训练Leap Motion数据到动作捕捉数据的映射网络;最后,提出手指平面约束,确保网络输出数据保持稳定的手部骨骼结构.通过15名志愿者采集了6类动作共967550帧的同步运动数据集,进行了手指平面约束有效性、动作一致性实验,并与双向循环自编码器(bidirectional recurrent autoencoder,BRA)、双向编解码器(encoder-bidirectional-decoder,EBD)方法进行了精度对比.结果表明,文中方法支持使用Leap Motion获取固定采样频率且近似动捕设备精度的手部运动数据,效果较BRA和EBD更加稳定平滑.将文中方法应用于康复游戏中,明显减少了交互动作识别的错误次数.

摘要： 随着虚拟现实(VR)技术的发展,虚拟预演逐渐成为电影制作流程中不可或缺的一环,如何使用自然、多模态的交互方式,结合三维实时渲染引擎,提高电影制作人员在前期预演中的参与感,是该领域的重要研究内容.针对当前虚拟预演中使用的交互方式大多为光学运动捕捉系统等,存在价格昂贵、操作难度高、便携性差等问题.提出一种基于Leap Motion的电影前期预演人机交互方式,在获得精准数据的同时,大大降低了操作难度与设备成本,电影制作人员使用手势交互控制虚拟角色的运动轨迹,完成不同运动状态的切换,并结合运动捕获数据库,直接参与到前期预演中.通过方案验证,该方法的用户体验更加自然、友好、直观和高效.

摘要： 随着虚拟现实(VR)技术的发展,虚拟预演逐渐成为电影制作流程中不可或缺的一环,如何使用自然、多模态的交互方式,结合三维实时渲染引擎,提高电影制作人员在前期预演中的参与感,是该领域的重要研究内容。针对当前虚拟预演中使用的交互方式大多为光学运动捕捉系统等,存在价格昂贵、操作难度高、便携性差等问题。提出一种基于Leap Motion的电影前期预演人机交互方式,在获得精准数据的同时,大大降低了操作难度与设备成本,电影制作人员使用手势交互控制虚拟角色的运动轨迹,完成不同运动状态的切换,并结合运动捕获数据库,直接参与到前期预演中。通过方案验证,该方法的用户体验更加自然、友好、直观和高效。

摘要： 本文基于Leap Motion传感器编写人机交互界面并研究用户手部信息的动态采集和显示方法.首先基于Leap Motion传感器对动态手部信息实时采集,其中包括对手掌中心和指尖的空间位置、手掌的空间姿态、左右手、手势及指骨坐标等信息,然后通过编写MFC人机交互界面,实现数据信息的动态显示输出及保存,并通过验证实验,获得Leap Motion检测精度,以及三坐标轴的检测范围.该手部位置信息实时采集系统可为虚拟现实技术提供技术支撑.

摘要： 本发明公开了一种基于LeapMotion体感控制器的协同手势控制采煤仿真控制方法，属于多人协同手势控制采煤仿真控制技术领域。本发明在导入采煤设备与场景的三维虚拟场景的基础上，设计采煤设备的控制手势，利用LeapMotion传感器实时获取手势数据，并进行手势识别，实现单人手势操控采煤仿真控制；采用C/S模式，并利用RPC协议和状态同步策略，实现多用户多终端联机协同手势仿真控制采煤设备的协同运作。本发明应用于采煤设备的手势操控和多人网络协同操作仿真控制，极大提高了原有采煤生产仿真控制效率，方便用户仿真模拟采煤设备操控，为以后智慧矿山中智能装备的研究提供了技术基础。

摘要： 本发明涉及交互技术领域，具体涉及一种基于LeapMotion传感器的腕部转动菜单交互技术；包括以下步骤：首先，通过LeapMotion传感器获取手腕实时转动数据；其次，将转动角度反映到对菜单项目的遍历；最后，通过伸出手指类型实现对当前被遍历的菜单项目的选择；本发明结合当前成熟的传感器技术，易于装配和携带，在基于直接触摸条件不变的基础上增强了菜单的扩展能力，在一些交互场景下极大的甚至无需移动即可实现连续性交互，增加了触摸交互的自由度，为人机交互任务提高了交互效率加强了交互表现力以及增加了交互趣味性。

摘要： 本发明涉及一种VR电工电子实验系统设计方法，一种基于LeapMotion手势识别的VR电工电子实验系统设计方法，包括以下步骤：(1)系统硬件选择(2)系统3D虚拟模型建模(3)系统引擎开发(4)系统算法开发(5)系统多人联机搭建。与已有的虚拟仿真实验技术相比，本发明采用了最新的VR3D显示技术，还原度高，实验场景更为真实，视觉冲击强；提供了手势交互方式替代手柄交互方式，实验交互自然，准确；采用多人联机系统，多人实时在线联机实验，互动性更强。

摘要： 本发明涉及一种基于LeapMotion手势识别的屏幕控制系统及方法，该系统包括依次连接的双目摄像头、LeapMotion设备、手势识别计算机和服务器，其中，服务器连接至屏幕计算机，屏幕计算机连接至屏幕显示器，双目摄像头用于采集用户的手部动作图像；LeapMotion设备根据手部动作图像，生成对应的3D模型；手势识别计算机用于对3D模型进行手势识别，并输出手势动作信号指令；服务器根据手势动作信号指令，输出对应的屏幕数据画面跳转指令给屏幕计算机；屏幕计算机根据屏幕数据画面跳转指令，控制屏幕显示器上数据画面的切换。与现有技术相比，本发明能够快速、准确地对用户手部运动进行手势动作识别，实现无接触屏幕控制的目的。

摘要： 本发明公开了一种基于LeapMotion体感控制器的协同手势控制采煤仿真控制方法，属于多人协同手势控制采煤仿真控制技术领域。本发明在导入采煤设备与场景的三维虚拟场景的基础上，设计采煤设备的控制手势，利用LeapMotion传感器实时获取手势数据，并进行手势识别，实现单人手势操控采煤仿真控制；采用C/S模式，并利用RPC协议和状态同步策略，实现多用户多终端联机协同手势仿真控制采煤设备的协同运作。本发明应用于采煤设备的手势操控和多人网络协同操作仿真控制，极大提高了原有采煤生产仿真控制效率，方便用户仿真模拟采煤设备操控，为以后智慧矿山中智能装备的研究提供了技术基础。

摘要： 本实用新型公开了一种Leap motion体感识别控制装置，包括外壳，所述外壳的上表面设置有感应面板，所述外壳的外侧设置有凹槽，所述外壳的一端设置有连接孔，所述连接孔的一端设置有连接头，所述连接头的一端设置有数据线，所述数据线的一端设置有插头，所述凹槽的下方设置有充电接口，所述充电接口的下方设置有封盖，所述外壳的底端设置有吸盘，所述外壳的内部设置有装置腔室，所述装置腔室的外侧设置有硅胶；通过在Leapmotion体感识别控制装置的外壁上设置有凹槽，使得数据线可以缠绕在凹槽内，方便数据线的放置与调节，通过在Leap motion体感识别控制装置上设置有封盖，可以防止充电口和连接孔内进入灰尘，使得充电口和连接孔的传递数据的效果更好。

摘要： 本实用新型所公开的一种基于LeapMotion的操作平台，包括桌体、显示屏、主机和虚拟输入设备；通过在主机中设置3D展示模块使本实用新型的基于LeapMotion的操作平台具备将虚拟场景在显示屏中进行3D显示的功能，同时还设置了LeapMotion体感控制模块用于识别手势并通过3D展示模块将手势添加到虚拟场景中并同步操作虚拟场景中虚拟物体的功能，即通过上述设置形成了一种广泛应用于教育和娱乐的基于LeapMotion的操作平台。

摘要： 本实用新型所公开的一种基于LeapMotion和Arduino相结合的操作平台，包括桌体、显示屏、主机和虚拟输入设备；本实用新型通过在主机中设置Arduino数据采集模块使本实用新型的基于LeapMotion和Arduino相结合的操作平台具备真实场景数据的采集功能，将数据上传虚拟场景产生交互并在通过3D展示模块在显示屏上显示出来，同时还设置了LeapMotion体感控制模块用于识别手势并通过3D展示模块添加到虚拟场景中，即通过上述设置形成了一种广泛应用于教育和娱乐的基于LeapMotion和Arduino相结合的操作平台。

摘要： 本发明公开了一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法，包括以下步骤：步骤1：设置手势采集装置；步骤2：基于手势采集装置采集控制机械臂的手势的leapmotion序列图像，并利用基于核极限学习机的手势识别模型对手势进行识别；步骤3：利用预设的控制手势与机械臂实际操作手势比例因子，获取机械臂操作目标终点；步骤4：获得机械臂运动方案；步骤5：选取最佳机械臂的操控方案。该方案使用多Leapmotion传感器采集手势序列图像，使用加权融合算法将手势图像进行融合，具有很强的容错性；使用多leapmotion手势识别装置，相比于现有机械臂示教器与体感设备，操控装置成本低，且操控性强、准确度高。

摘要： 本发明公开了一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法，包括以下步骤：步骤1：设置手势采集装置；步骤2：基于手势采集装置采集控制机械臂的手势的leapmotion序列图像，并利用基于核极限学习机的手势识别模型对手势进行识别；步骤3：利用预设的控制手势与机械臂实际操作手势比例因子，获取机械臂操作目标终点；步骤4：获得机械臂运动方案；步骤5：选取最佳机械臂的操控方案。该方案使用多Leapmotion传感器采集手势序列图像，使用加权融合算法将手势图像进行融合，具有很强的容错性；使用多leapmotion手势识别装置，相比于现有机械臂示教器与体感设备，操控装置成本低，且操控性强、准确度高。