带有力反馈的利用机械结构实现的手部动作捕获装置

摘要

本发明提供一种带有力反馈的利用机械结构实现的手部动作捕获装置，包括底座、设于底座上的控制器和分别与控制器相连的拇指感应传感器组件和四指感应传感器组件，还包括与人手相适配的连接杆结构、拇指力反馈装置和四个四指力反馈装置，所述拇指力反馈装置和所述连接杆结构与所述拇指感应传感器组件成活动连接，所述四指力反馈装置和所述连接杆结构与所述四指感应传感器组件成活动连接。本发明采用与人手相适配的可穿戴式的机械手部感应控制结构检测手部动作，使用多种传感器和连接杆结构，用物理方式捕获人手的运动，手部运动将会实时检测记录，不会出现任何遗漏的数据，检测成本低，检测结果可靠。同时设置力反馈装置，产生握持感。

说明书

技术领域

本发明涉及一种主要在虚拟现实行业、机器人控制行业的动作捕捉输入设备，尤其涉及一种带有力反馈的利用机械结构实现的手部动作捕获装置。

背景技术

目前，手部动作捕获领域现存有多种不同方案。其中很大一部分产品是利用摄像头与计算机视觉技术来分析手部的形状以及指向。目前市场上主流的手部动作捕捉方案有三种：光学捕捉，IMU（惯性检测单元）捕捉，弯曲传感器捕捉。        

光学捕捉中，利用一对红外线摄像头捕获手部运动并利用特殊的算法融合数据的产品Leap Motion就是一个很好的例子。基于计算机视觉的手部动作捕获装置普遍存在着一些缺陷。这些设备对手部动作的检测受到了摄像头监测范围和方向的限制。当用户将手放于摄像头监测范围之外时，设备将无法正确生成手部模型。此外由于手部并不需要佩戴任何装置，基于光觉的方案完全无法做到力反馈。

另一种常用方式是利用IMU（惯性检测单元）来测量手指的偏移角度，缺点是每次开机都需要重新校正零点。并且从结构上说比较难在手背上放置驱动器，较难实现力反馈。

还有一种利用应变片等可弯曲曲度传感器来捕获手部运动的传感手套。但由于传感器读数以及手指的 弯曲度之间的非线性关系，利用此种方式得到的结果也并不尽如人意，并且同IMU检测类似，因为其检测原理，这两种方式都没有办法形成准确的坐标系统。

Cyber glove公司曾经做过具有力反馈装置的弯曲传感手套，是一套通过钢丝和滑轮与一个外置的控制盒实现的，体积很大，十分笨重，难以携带，佩戴方式繁琐。

发明内容

本发明要解决了目前动作捕捉方案的种种缺点，本发明可提供对用户手部运动以及手势提供可靠的读数，这些数据可被用于机器人控制、机械控制、音乐控制以及游戏等等。除此之外，还提供了一套小巧轻便的力反馈系统。16自由度的手部外骨骼可以更精确的捕捉和重建手部模型，并且可以建立每个手指尖于手背间的相对坐标关系。力反馈能够让使用者感觉到本不存在于面前的物体而增加临现感。

为解决上述技术问题，本发明采用的技术方案是：带有力反馈的利用机械结构实现的手部动作捕获装置，包括底座、设于底座上的控制器和分别与控制器相连的拇指感应传感器组件和四指感应传感器组件，还包括与人手相适配的连接杆结构、拇指力反馈装置和四个四指力反馈装置，所述拇指力反馈装置和所述连接杆结构与所述拇指感应传感器组件成活动连接，所述四指力反馈装置和所述连接杆结构与所述四指感应传感器组件成活动连接。

进一步，所述四指感应传感器组件包括四对垂直连接的第一、二电位器、，四个所述第二电位器位于所述底座上，四个所述第二电位器轴线平行且在同一竖直平面，该竖直平面与所述底座底面垂直，四个所述第一电位器轴线平行，还包括四个第四电位器，每个所述第四电位器通过所述四指力反馈装置与每个所述第一电位器相连，且所述第四电位器与所述第一电位器轴线平行，

所述拇指感应传感器组件包括依次相连的第三电位器、第五电位器和第六电位器，所述第三电位器、第五电位器、第六电位器其轴线两两垂直，还包括一个第七电位器，所述第七电位器通过所述拇指力反馈装置与所述第六电位器相连，且所述第七电位器与所述第六电位器轴线平行，所述第三电位器与一个所述第二电位器相连，所述第三电位器位于所述底座背面，且所述第三电位器轴线和四个所述第二电位器轴线所在的竖直平面相交，所述第三电位器还与控制器连接；

所述连接杆结构包括五对异形连接杆和五个直杆，其中四对异形连接杆和四个直杆与所述四指感应传感器组件相连，其余一对异形连接杆和一个直杆与所述拇指感应传感器组件相连，所述每对异形连接杆成活动连接，所述每对异形连接杆一端连接有手指帽，所述每对异形连接杆另一端均设有第一旋转轴，其中一个所述第一旋转轴与所述第七电位器同轴连接，另外四个所述第一旋转轴分别与一个所述第四电位器同轴连接，

每个所述直杆的一端设有第二旋转轴，其中一个所述第二旋转轴与所述第六电位器同轴连接，另外四个所述第二旋转轴与所述第一电位器同轴连接，与所述第六电位器相连的所述直杆的另一端连接所述第五电位器，与所述第一电位器相连的所述直杆的另一端连接所述第二电位器。

进一步，所述四指力反馈装置和所述拇指力反馈装置结构相同，均包括外壳、传动装置和锁紧装置，所述传动装置和所述锁紧装置位于所述外壳内，所述四指力反馈装置的所述外壳的两端各活动设有一个所述第四电位器和一个所述第一电位器，所述拇指力反馈装置的所述外壳的两端各活动设有一个所述第七电位器和一个所述第六电位器，

其中与所述四指感应传感器组件相连的异形连接杆的所述第一旋转轴与所述第四电位器同轴连接，且所述第一旋转轴通过锁紧装置可实现定位锁死，与所述四指感应传感器组件相连的直杆的所述第二旋转轴与所述第一电位器同轴连接，且所述第二旋转轴通过锁死装置可实现定位锁死，所述锁死装置为棘轮锁死结构或阻力轮锁死结构，

其中与所述拇指感应传感器组件相连的异形连接杆的所述第一旋转轴与所述第七电位器同轴连接，且所述第一旋转轴通过锁紧装置可实现定位锁死，与所述拇指感应传感器组件相连的直杆的所述第二旋转轴与所述第六电位器同轴连接，且所述第二旋转轴通过锁死装置可实现定位锁死，所述锁死装置为棘轮锁死结构或阻力轮锁死结构；

所述传动装置包括异型齿轮、第一齿条和第二齿条，所述第一齿条和所述第二齿条互相平行，且所述第一齿条和所述第二齿条分别与位于所述外壳内的两个滑轨活动连接，所述异型齿轮与所述外壳相连，所述异型齿轮位于所述第一齿条和所述第二齿条正上方，且所述异型齿轮与所述第一齿条和所述第二齿条均啮合，所述第一齿条和所述第二齿条在所述异型齿轮的驱动下可沿所述滑轨滑动。

进一步，所述锁死装置为棘轮锁死结构，所述第一齿条临近所述第一旋转轴的一端和所述第二齿条临近所述第二旋转轴的一端均设有尖端，所述第一旋转轴外围和所述第二旋转轴外围均设有若干棘齿，所述棘齿与所述尖端啮合。

进一步，所述锁死装置为阻力轮锁死结构，所述第一齿条临近所述第一旋转轴的一端和所述第二齿条临近所述第二旋转轴的一端分别连接一个阻力块，每个所述阻力块上均设有U型槽，所述U型槽的开口朝向所述外壳两端，所述U型槽的弧形凹面与所述第一旋转轴和所述第二旋转轴相配合，且所述弧形凹面与所述第一旋转轴和所述第二旋转轴的表面设有相互配合的螺纹。

进一步，所述传动装置还设有驱动机构，所述驱动机构位于所述外壳外侧，所述驱动机构与所述异型齿轮相连，且所述驱动机构还与所述控制器相连。

进一步，所述驱动机构为舵机或减速电机或丝杆电机。

进一步，所述控制器为带有蓝牙模块的控制器。

进一步，所述底座上还设有连接件，所述连接件为尼龙绑带、金属环或塑料环。

进一步，所述手指帽通过驳接插销与所述异形连接杆成活动连接。

本发明具有的优点和积极效果是：带有力反馈的利用机械结构实现的手部动作捕获装置，采用与人手相适配的可穿戴式的手部感应控制结构检测手部动作，使用多种传感器和连接杆相结合的结构，用物理方式捕获人手的运动，将手部移动转换成用于重建精确手部模型的旋转信号。当人手移动时，附加到手指上的设备将会相应地产生位移，连接杆结构与人手相适配并与传感器结构成活动连接，而这些传感器在X、Y、Z方向相垂直，因此手可以灵活动作，而传感器可以记录这些任意动作的位移数据，从而灵活准确地捕捉手部动作。通过这些数据，使用数学方法建立一个可靠的手部模型，立即或在以后用于控制其他的设备；常规的方法通常包括使用高速摄像机，应变片或其他昂贵但是效果欠佳的设备，本发明仅由一个微处理器和几个价格低廉的传感器组成。该手部动作捕获装置实际连接到一个人的手上的，因此手部运动将会实时检测记录，不会出现任何遗漏的数据，检测成本低，检测结果可靠。除此之外，力反馈装置是通过一个执行元件（舵机或者电机）传动给异形齿轮，推动齿条向两侧滑动，通过将齿条尖端插入旋转关节的棘轮/或者通过U形阻力块压迫旋转关节表层，通过阻力阻止旋转关节转动，这样会使人产生真实地握持感。

本发明可以为工业设计师提供CAD制图的一些便利，例如特殊手势可被作快捷键使用。电子电气、机械及自动化工程师亦可利用此装置来控制其他设备，手指的运动可被用于控制机械臂、机械手抑或是开关其他设备。对于艺术音乐创作领域的用户，此设备可以用于表演创新的艺术形式，他们可以利用手势来调整音乐音调或是灯光色彩。同时，没有专业背景的大众用户也可以将此设备作为鼠标的替代品来移动光标或是用于控制演示文稿。

附图说明

图1是本发明使用状态结构示意图；

图2是传感器组件连接结构示意图；

图3是传感器组件连接结构俯视图，角度为0度-60度；

图4锁死装置为棘轮锁死结构的结构示意图；

图5是锁死装置为棘轮锁死结构的结构主视图；

图6锁死装置为阻力轮锁死结构的结构示意图；

图7是锁死装置为阻力轮锁死结构的结构主视图。

图中：

1、底座2、控制器3、异形连接杆4、第一电位器5、第二电位器6、第三电位器7、手指帽8、连接件9、驳接插销10、第四电位器11、直杆12、第一旋转轴13、第二旋转轴14、外壳15、异型齿轮16、第一齿条17、第二齿条18、滑轨19、尖端20、棘齿21、阻力块22、U型槽23、驱动机构24第五电位器25、第六电位器26、第七电位器 

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细说明。

如图1-7所示，带有力反馈的利用机械结构实现的手部动作捕获装置，包括底座1、设于底座1上的控制器2和分别与控制器2相连的拇指感应传感器组件和四指感应传感器组件，还包括与人手相适配的连接杆结构、拇指力反馈装置和四个四指力反馈装置，所述拇指力反馈装置和所述连接杆结构与所述拇指感应传感器组件成活动连接，所述四指力反馈装置和所述连接杆结构与所述四指感应传感器组件成活动连接。

所述四指感应传感器组件包括四对垂直连接的第一、二电位器4、5，四个所述第二电位器5位于所述底座1上，四个所述第二电位器5轴线平行且在同一竖直平面，该竖直平面与所述底座1底面垂直，四个所述第一电位器4轴线平行，还包括四个第四电位器10，每个所述第四电位器10通过所述四指力反馈装置与每个所述第一电位器4相连，且所述第四电位器10与所述第一电位器4轴线平行，

所述拇指感应传感器组件包括依次相连的第三电位器6、第五电位器24和第六电位器25，所述第三电位器6、第五电位器24、第六电位器25其轴线两两垂直，还包括一个第七电位器26，所述第七电位器26通过所述拇指力反馈装置与所述第六电位器25相连，且所述第七电位器26与所述第六电位器25轴线平行，所述第三电位器6与一个所述第二电位器5相连，所述第三电位器6位于所述底座1背面，且所述第三电位器6轴线和四个所述第二电位器5轴线所在的竖直平面相交，所述第三电位器6还与控制器2连接；

所述连接杆结构包括五对异形连接杆3和五个直杆11，其中四对异形连接杆3和四个直杆11与所述四指感应传感器组件相连，其余一对异形连接杆3和一个直杆11与所述拇指感应传感器组件相连，所述每对异形连接杆3成活动连接，所述每对异形连接杆3一端连接有手指帽7，所述每对异形连接杆3另一端均设有第一旋转轴12，其中一个所述第一旋转轴12与所述第七电位器26同轴连接，另外四个所述第一旋转轴12分别与一个所述第四电位器10同轴连接，

每个所述直杆11的一端设有第二旋转轴13，其中一个所述第二旋转轴13与所述第六电位器25同轴连接，另外四个所述第二旋转轴13与所述第一电位器4同轴连接，与所述第六电位器25相连的所述直杆11的另一端连接所述第五电位器24，与所述第一电位器4相连的所述直杆11的另一端连接所述第二电位器5。

所述四指力反馈装置和所述拇指力反馈装置结构相同，均包括外壳14、传动装置和锁紧装置，所述传动装置和所述锁紧装置位于所述外壳14内，所述四指力反馈装置的所述外壳14的两端各活动设有一个所述第四电位器10和一个所述第一电位器4，所述拇指力反馈装置的所述外壳14的两端各活动设有一个所述第七电位器26和一个所述第六电位器25，

其中与所述四指感应传感器组件相连的异形连接杆3的所述第一旋转轴12与所述第四电位器10同轴连接，且所述第一旋转轴12通过锁紧装置可实现定位锁死，与所述四指感应传感器组件相连的直杆11的所述第二旋转轴13与所述第一电位器4同轴连接，且所述第二旋转轴13通过锁死装置可实现定位锁死，所述锁死装置为棘轮锁死结构或阻力轮锁死结构，

其中与所述拇指感应传感器组件相连的异形连接杆3的所述第一旋转轴12与所述第七电位器26同轴连接，且所述第一旋转轴12通过锁紧装置可实现定位锁死，与所述拇指感应传感器组件相连的直杆11的所述第二旋转轴13与所述第六电位器24同轴连接，且所述第二旋转轴13通过锁死装置可实现定位锁死，所述锁死装置为棘轮锁死结构或阻力轮锁死结构；

所述传动装置包括异型齿轮15、第一齿条16和第二齿条17，所述第一齿条16和所述第二齿条17互相平行，且所述第一齿条16和所述第二齿条17分别与位于所述外壳14内的两个滑轨18活动连接，所述异型齿轮15与所述外壳14相连，所述异型齿轮15位于所述第一齿条16和所述第二齿条17正上方，且所述异型齿轮15与所述第一齿条16和所述第二齿条17均啮合，所述第一齿条16和所述第二齿条17在所述异型齿轮15的驱动下可沿所述滑轨18滑动。

所述锁死装置为棘轮锁死结构，所述第一齿条16临近所述第一旋转轴12的一端和所述第二齿条17临近所述第二旋转轴13的一端均设有尖端19，所述第一旋转轴12外围和所述第二旋转轴13外围均设有若干棘齿20，所述棘齿20与所述尖端19啮合。

所述锁死装置为阻力轮锁死结构，所述第一齿条16临近所述第一旋转轴12的一端和所述第二齿条17临近所述第二旋转轴13的一端分别连接一个阻力块21，每个所述阻力块21上均设有U型槽22，所述U型槽22的开口朝向所述外壳14两端，所述U型槽22的弧形凹面与所述第一旋转轴12和所述第二旋转轴13相配合，且所述弧形凹面与所述第一旋转轴12和所述第二旋转轴13的表面设有相互配合的螺纹。除了使用螺纹增加摩擦力之外，还在表面添加其它增大摩擦力的材料。

本发明中所有电位器均为旋转电位器，如果采用简化运动学模型表示，则拇指感应传感器组件和四指感应传感器组件的结构如图2、3所示，每一个圆柱体代表一个旋转电位器。整个手部动作捕捉系统含有16个旋转电位器，可将旋转信号转化为电信号，数据被控制器2所采集。其中拇指的外骨骼结构相对特殊，拇指感应传感器组件由4个电位器所组成，其中第三电位器6、第五电位器24、第六电位器25两两互相垂直，在空间中分别沿着一个直角坐标系的X、Y、Z坐标轴方向。第七电位器26与第六电位器25通过拇指力反馈装置连接，且第七电位器26与第六电位器25互相平行，第三电位器5位于底座1背面，且与控制器2相连。剩余的四组手指外骨骼通过四指感应传感器组件进行动作捕捉，其中第三电位器6将四指感应传感器组件和拇指感应传感器相连，且均连接至控制器2上。以食指为例，在四指感应传感器组件中，第二电位器5与第一电位器4相互垂直，第一电位器4与第四电位器10通过四指力反馈装置相连，且互相平行。其中四个第二电位器5设于底座1上，且朝向同一个方向，四个第二电位器5的轴线位于同一竖直平面内，该竖直平面与底座1底面垂直。第三电位器6位于底座1背面，第三电位器6的高度低于四个第二电位器5的高度，且第三电位器6的轴线与四个第二电位器5的轴线连线相交，其夹角范围为0度-30度，相当于拇指根部的关节的相对于四指的偏转角为0度-60度，如图3所示。拇指根部的关节采用0-60度的偏转角更加符合人体工程学，为了使得外骨骼更加贴服人的拇指动作，在进行动作捕捉时更加顺畅，减少佩戴者的不适感。0度-60度是指在0度-60度之间取一个固定的角度，而不是在这个范围内可以转动。

底座1本身通过连接件8与人的手背相连，是整个装置的基座。其上有整个装置的控制器2，并且连接着五指的外骨骼，即拇指感应传感器组件和四指感应传感器组件，数据通过电线由每根手指外骨骼传到手部基座的控制器2上进行数据采集。在该结构下，手的关节可以自由旋转不受限制，从而能够更为灵活准确地控制手的动作，正确形成手部模型。

力反馈结构包括拇指力反馈装置和四个四指力反馈装置，所述四指力反馈装置和所述拇指力反馈装置结构相同，均包括外壳14、传动装置和锁紧装置，所述传动装置和所述锁紧装置位于所述外壳14内，所述四指力反馈装置的所述外壳14的两端各活动设有一个所述第四电位器10和一个所述第一电位器4，所述拇指力反馈装置的所述外壳14的两端各活动设有一个所述第七电位器26和一个所述第六电位器25，

其中与所述四指感应传感器组件相连的异形连接杆3的所述第一旋转轴12与所述第四电位器10同轴连接，且所述第一旋转轴12通过锁紧装置可实现定位锁死，与所述四指感应传感器组件相连的直杆11的所述第二旋转轴13与所述第一电位器4同轴连接，且所述第二旋转轴13通过锁死装置可实现定位锁死，所述锁死装置为棘轮锁死结构或阻力轮锁死结构。

其中与所述拇指感应传感器组件相连的异形连接杆3的所述第一旋转轴12与所述第七电位器26同轴连接，且所述第一旋转轴12通过锁紧装置可实现定位锁死，与所述拇指感应传感器组件相连的直杆11的所述第二旋转轴13与所述第六电位器24同轴连接，且所述第二旋转轴13通过锁死装置可实现定位锁死，所述锁死装置为棘轮锁死结构或阻力轮锁死结构。

所述传动装置包括异型齿轮15、第一齿条16和第二齿条17，所述第一齿条16和所述第二齿条17互相平行，且所述第一齿条16和所述第二齿条17分别与位于所述外壳14内的两个滑轨18活动连接，所述异型齿轮15与所述外壳14相连，所述异型齿轮15位于所述第一齿条16和所述第二齿条17正上方，且所述异型齿轮15与所述第一齿条16和所述第二齿条17均啮合，所述第一齿条16和所述第二齿条17在所述异型齿轮15的驱动下可沿所述滑轨18滑动。

图4、5所示为锁死装置的一种实施方式，所述锁死装置为棘轮锁死结构，所述第一齿条16临近所述第一旋转轴12的一端和所述第二齿条17临近所述第二旋转轴13的一端均设有尖端19，所述第一旋转轴12外围和所述第二旋转轴13外围均设有若干棘齿20，所述棘齿20与所述尖端19啮合。

图6、7所示为锁死装置的另一种实施方式，所述锁死装置为阻力轮锁死结构，所述第一齿条16临近所述第一旋转轴12的一端和所述第二齿条17临近所述第二旋转轴13的一端分别连接一个阻力块21，每个所述阻力块21上均设有U型槽22，所述U型槽22的开口朝向所述外壳14两端，所述U型槽22的弧形凹面与所述第一旋转轴12和所述第二旋转轴13相配合，且所述弧形凹面与所述第一旋转轴12和所述第二旋转轴13的表面设有相互配合的螺纹。

所述传动装置还设有驱动机构23，所述驱动机构23位于所述外壳14外侧，所述驱动机构23与所述异型齿轮15相连，且所述驱动机构23还与所述控制器2相连。

所述驱动机构23为舵机或减速电机或丝杆电机。所述控制器2为带有蓝牙模块的控制器。所述底座1上还设有连接件8，所述连接件8为尼龙绑带、金属环或塑料环。所述手指帽7通过驳接插销9与所述异形连接杆3成活动连接。

整套手部动作捕获装置由16组旋转电位器与连杆结构组成。装置与佩戴者的指尖和手部相连接，当手部有所动作时，装置随之从动，造成关节处的旋转电位器发生角度变化，该变化造成电压变化，由控制器2读取并且通过蓝牙发送给计算机，利用旋转角度变化和连杆的长度通过机器人运动学进行空间建模而重构出手部模型，或者直接发送给机器人等装置进行控制。力反馈的方案是通过一个执行元件（舵机或者电机）传动给齿轮，推动齿条向两侧滑动，通过将齿条尖端插入旋转关节的棘齿20/或者通过阻力块21压迫旋转关节表层，通过阻力阻止旋转关节转动。具体使用方案是，由上位机判断手部状态是否接触到虚拟物体，如果接触，上位机发出信号给微处理器，微处理器驱动电机锁死关节使得人手在此状态向内弯曲受到阻碍，产生握持感。

本发明可应用在以下领域，且能带来显著效果：

1.使用者在通过这套设备操控距离操作者一公里外的机器人进行拆弹，通过远程移动自己的手来控制手上去抓取易爆物品。在抓到物体的那一瞬间可回传信号，锁死装置的旋转关节，产生把持感。以往可能需要借助多摄像头来实施定位，但用了本装置可以仅仅通过单摄像头加触觉定位。配合头戴式显示器（例如oculus rift等）可以使得操作者身临其境。

2.在玩游戏的时候，可以通过头戴式显示器在虚拟世界中看到自己的双手，增加临现感。在虚拟世界中抓取虚拟物体事，当手指的坐标于物体的三维坐标相重合时，软件回传信号给本装置，装置快速锁死，对使用者指尖造成压迫，给人一种仿佛在真实世界中真的握到物体的实体一般，增加游戏的逼真程度和拓展性。

3.本发明中所提及的手部运动捕获装置可以为工业设计师提供CAD制图的一些便利，例如特殊手势可被作快捷键使用。电子电气、机械及自动化工程师亦可利用此装置来控制其他设备，手指的运动可被用于控制机械臂、机械手抑或是开关其他设备。对于艺术音乐创作领域的用户，此设备可以用于表演创新的艺术形式，他们可以利用手势来调整音乐音调或是灯光色彩。同时，没有专业背景的大众用户也可以将此设备作为鼠标的替代品来移动光标或是用于控制演示文稿。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等，均应仍归属于本专利涵盖范围之内。