一种虚拟装配中旋摆动作测时方法

摘要

本发明属于体感交互领域，具体地说是一种虚拟装配中旋摆动作测时方法。该方法包括以下步骤：步骤一、通过Kinect V2设备采集双手的骨骼信息，并且每0.1s存储一次；步骤二、旋摆运动中心的确定；步骤三、旋摆动作的判定；步骤四、连续和断续旋摆运动的判定和计算；步骤五、异常动作判定的剔除。本发明以Kinect V2采集的连续骨骼点为基础，推算虚拟装配中的旋摆中心，再根据平均距离推算连续动作是否为旋摆动作，通过与圆心的相对距离和双平面限制活动区域，构建比较向量判定连续和断续旋摆运动并给出相关参数数值，引入Geomagic Touch力反馈设备，通过设置力的大小可自动算出旋摆动作的操作时间。

说明书

技术领域

本发明属于体感交互领域，具体地说是一种虚拟装配中旋摆动作测时方法。

背景技术

MTM是今日世界上应用最为广泛的预定时间方法，由此成为跨国公司所属各个单位的一种统一的生产过程计划与效率规范。旋摆动作是MTM方法中的其中一个动作，它以肘为轴的摆动动作，如操作机器上的手轮获十字杆的动作等。而影响旋摆运动的因素包括旋摆运动直径、旋摆运动的形态和目的物的阻力，旋摆直径以cm为测量单位，而旋摆运动的形态分为连续和断续旋摆运动。当前暂未有相关人员研究MTM方法中的旋摆运动，本方法可以将现有需要人为判断的行为交给计算机判断，从而减少工程师的工作量，有效提高工作效率。

发明内容

本发明以Kinect V2采集的连续骨骼点为基础，推算虚拟装配中的旋摆中心，再根据平均距离推算连续动作是否为旋摆动作，通过与圆心的相对距离和双平面限制活动区域，构建比较向量判定连续和断续旋摆运动并给出相关参数数值，引入Geomagic Touch力反馈设备，通过设置力的大小可自动算出旋摆动作的操作时间。

本发明技术方案结合附图说明如下：

一种虚拟装配中旋摆动作测时方法，该方法包括以下步骤：

步骤一、通过Kinect V2设备采集双手的骨骼信息，并且每0.1s存储一次；

步骤二、旋摆运动中心的确定；

步骤三、旋摆动作的判定；

步骤四、连续和断续旋摆运动的判定和计算；

步骤五、异常动作判定的剔除。

所述的步骤一的方法如下：

启动Kinect V2设备，通过Kinect V2中的深度相机获取人体25个部位骨骼点数据，其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚。

获取人体左手和右手的骨骼点数据，获取任一手移动过程的连续四点A₁(x₁,y₁,z₁)、A₂(x₂,y₂,z₂)、A₃(x₃,y₃,z₃)、A₄(x₄,y₄,z₄)，如果与夹角θ₁不等于0，做垂直于A₁和A₂中点的平面B₁，做垂直于A₃和A₄中点的平面B₂，以平面B₁和平面B₂的法向量做外积得到直线的方向向量，在联立方程中随机取一个z，得到x，y，从而得到点向式直线方程l₁；如果与夹角θ₂不等于0，根据点A₁、A₂、A₃求得水平面B₃，反之，根据点A₁、A₂、A₄求得水平面B₃；最后根据点向式直线方程l₁和水平面B₃求得立体圆心C(X,Y,Z)，即为旋摆运动中心；

具体如下：根据A₁(x₁,y₁,z₁)、A₂(x₂,y₂,z₂)、A₃(x₃,y₃,z₃)、A₄(x₄,y₄,z₄)，得到向量

计算当θ₁等于0时，将A₁点排除，导入下一骨骼点，再计算θ₁；

反之，取A₁与A₂中点得到点法式平面

取A₃与A₄中点得到点法式平面

两平面直线的方向向量是

其中设C₁为(y₂-y₁)×(z₄-z₃)-(z₂-z₁)×(y₄-y₃)，

C₂为(z₂-z₁)×(x₄-x₃)-(x₂-x₁)×(z₄-z₃)，

C₃为(x₂-x₁)×(y₄-y₃)-(y₂-y₁)×(x₄-x₃)；

方向向量即为n₁＝(C₁,C₂,C₃)；联立平面方程B₁和B₂，取任意实数Z＝z，选取即可消除一个变量，解得X＝x、Y＝y；得到点向式直线方程l₁：

假定与夹角不等于0，根据点A₁、A₂、A₃求得到向量

做法向量可得

其中设C₄为(y₂-y₁)×(z₃-z₂)-(z₂-z₁)×(y₃-y₂)，

C₅为(z₂-z₁)×(x₃-x₂)-(x₂-x₁)×(z₃-z₂)，

C₆为(x₂-x₁)×(y₃-y₂)-(y₂-y₁)×(x₃-x₂)；

法向量即为n₂＝(C₄,C₅,C₆)，平面方程B₃即为C₄(X-x₁)+C₅(Y-y₁)+C₆(Z-z₁)＝0，化简可得C₄X+C₅Y+C₆Z＝C₄x₁+C₅y₁+C₆z₁；

设C₄x₁+C₅y₁+C₆z₁为D，方程即可表示为

点向式直线方程l₁取方程等于未知数N，可得X＝NC₁-x、Y＝NC₂-y、Z＝NC₃-z，带入水平面B₃即可解得未知数N，从而得到立体球心C(X,Y,Z)，即为旋摆运动中心；

假定与夹角θ₂等于0，根据点A₁、A₂、A₄求得到向量依上步骤可求得立体球心。所述的步骤三的方法如下：

具体为先计算出平均距离：

将平面B₃向上平移3cm，得到平面B₄：C₄X+C₅Y+C₆Z＝D+3；

将平面B₃向下平移3cm，得到平面B₅：C₄X+C₅Y+C₆Z＝D-3；

旋摆动作需要满足以下条件；

条件1：l₂为球体半径，首先点A₁、A₂、A₃、A₄与立体球心的距离需要满足

条件2：此时计算手部骨骼点A₁、A₂、A₃、A₄与平面B₄、B₅的距离，其中距离平面B₄的距离为距离平面B₅的距离为当d₁和d₂都小于长度6cm时，此时连续动作为旋摆动作。所述的步骤四的方法如下：

根据A₁(x₁,y₁,z₁)、C(X,Y,Z)，得到比较向量A₄之后存储的手部骨骼点记为C_i(X_i,Y_i,Z_i)，组成向量每0.1s计算一次其中i大于等于1，θ_i+2表示比较向量与的夹角；

计算停止条件满足以下其中之一即可

条件1、或即为条件1满足；

条件2、手部骨骼点C_i中距离平面B₄的距离为距离平面B₅的距离为d₁＞6cm或d₂＞6cm，即为条件2满足；

识别过程为：

过程1；持续计算当θ_i+2＜87°，此时动作计算如果停止为断续旋摆运动，其中p表示旋摆运动旋转的圈数；

过程2：当旋摆运动计算到第j个骨骼点C_j(X_j,Y_j,Z_j)，第一次出现|θ_j+2-90°|＜3°，记录手部骨骼点记为C_j(X_j,Y_j,Z_j)，组成比较向量每0.1s计算一次其中i、j大于等于1，表示比较向量与与的夹角；

过程3：第一次出现且θ_i+2＜180°，则认为完成半圈旋摆，如果此时停止计算，即认为断续旋摆运动，其中p表示旋摆运动旋转的圈数；

过程4：第一次出现且θ_i+2＜3°，则认为完成一圈旋摆，为连续旋摆动作，n＝n+1，n初始值为0；

过程5：此后，每出现一次θ_i+2＜3°，并在θ_i+2＞3°后，n＝n+1，此时计算停止，如果且θ_i+2＜90°，n＝n+0.25；如果且θ_i+2＞90°，n＝n+0.5；如果且θ_i+2＞90°，n＝n+0.75；如果且θ_i+2＜90°，n＝n+1；

在虚拟装配过程中使用Geomagic Touch力反馈设备，提前配合系统设置好反馈力的大小，从而根据重量修正系数表选择抵抗系数k和抵抗常数h；再根据直径2×l₂在旋摆动作时间数据表中选择对应时间，最后根据旋摆动作类型选择相应的公式计算出旋摆动作标准时间。

所述的旋摆动作包括连续旋摆动作和断续旋摆动作；所述的连续旋摆动作时间计算为：T_c＝[(nt+5.2)k]+h；断续旋摆运动时间计算为：T_c＝[(t+5.2)k+h]p；式中，T_c为旋摆运动的时间；n为旋摆次数；t为旋摆直径对应的时间，见旋摆动作时间数据表；k为抵抗系数，且低于10N取1，多于10N见重量修正系数表；h为抵抗常数，低于10N取0，多于10N见重量修正系数表，p为未满一周时的旋转比例。

所述的步骤五的方法如下：

旋摆动作认定之后，以认定时间节点的左膝盖骨骼点A₅(x₅,y₅,z₅)、左脚骨骼点A₆(x₆,y₆,z₆)、右膝盖骨骼点A₇(x₇,y₇,z₇)、右脚踝骨骼点A₈(x₈,y₈,z₈)为比较点；记录随后连续运动的左膝盖F₁(x₉,y₉,z₉)、左脚F₂(x₁₀,y₁₀,z₁₀)、右膝盖F₃(x₁₁,y₁₁,z₁₁)、右F₄(x₁₂,y₁₂,z₁₂)；要求在旋摆动作期间，四个骨骼点不能脱离比较点15cm范围，否则认定为异常旋摆，不计入标准时间；

具体为计算在旋摆判定结束后，必须持续保持l₃＜15cm且l₄＜15cm且l₅＜15cm且l₆＜15cm，否则动作变形，旋摆动作无效。

本发明的有益效果为：本发明能在立体空间中对旋摆动作进行测时，有效减少IE工程师的工作量。

附图说明

图1是本发明的旋摆中心空间解析图；

图2是本发明的平面B₃平移示意图；

图3是本发明的手部骨骼的球体空间活动范围图；

图4是本发明的右手移动范围图；

具体实施方式

本发明从MTM中的旋摆运动出发，旨在利用体感交互技术和力反馈设备自动计算出参与虚拟装配的人员旋摆动作的时间。

具体步骤如下：

步骤一、通过Kinect V2采集双手的骨骼信息，每0.1s存储一次。

并启动Kinect V2设备，通过Kinect V2中的深度相机获取人体25个部位骨骼点数据，其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚

步骤二、旋摆运动中心的确定；

获取人体左手和右手的骨骼点数据，获取任一手移动过程的连续四点A₁(x₁,y₁,z₁)、A₂(x₂,y₂,z₂)、A₃(x₃,y₃,z₃)、A₄(x₄,y₄,z₄)，如果与夹角θ₁不等于0，做垂直于A₁和A₂中点的平面B₁，做垂直于A₃和A₄中点的平面B₂，以平面B₁和平面B₂的法向量做外积得到直线的方向向量，在联立方程中随机取一个z，得到x，y，从而得到点向式直线方程l₁。如果与夹角θ₂不等于0，根据点A₁、A₂、A₃求得水平面B₃，反之，根据点A₁、A₂、A₄求得水平面B₃；最后根据点向式直线方程l₁和水平面B₃求得立体圆心C(X,Y,Z)，即为旋摆运动中心。

具体如图1所示，根据A₁(x₁,y₁,z₁)、A₂(x₂,y₂,z₂)、A₃(x₃,y₃,z₃)、A₄(x₄,y₄,z₄)，得到向量

计算当θ₁等于0时，将A₁点排除，导入下一骨骼点，再计算θ₁；

反之，取A₁与A₂中点得到点法式平面

取A₃与A₄中点得到点法式平面

两平面直线的方向向量是

其中设C₁为(y₂-y₁)×(z₄-z₃)-(z₂-z₁)×(y₄-y₃)，C₂为(z₂-z₁)×(x₄-x₃)-(x₂-x₁)×(z₄-z₃)，C₃为(x₂-x₁)×(y₄-y₃)-(y₂-y₁)×(x₄-x₃)；

方向向量即为n₁＝(C₁,C₂,C₃)。联立平面方程B₁和B₂，取任意实数Z＝z(本方法在计算机自动识别中，选取)，即可消除一个变量，解得X＝x、Y＝y。得到点向式直线方程l₁：

假定与夹角不等于0，根据点A₁、A₂、A₃求得到向量

做法向量可得

其中设C₄为(y₂-y₁)×(z₃-z₂)-(z₂-z₁)×(y₃-y₂)，

C₅为(z₂-z₁)×(x₃-x₂)-(x₂-x₁)×(z₃-z₂)，

C₆为(x₂-x₁)×(y₃-y₂)-(y₂-y₁)×(x₃-x₂)；

法向量即为n₂＝(C₄,C₅,C₆)，平面方程B₃即为C₄(X-x₁)+C₅(Y-y₁)+C₆(Z-z₁)＝0，化简可得C₄X+C₅Y+C₆Z＝C₄x₁+C₅y₁+C₆z₁。

设C₄x₁+C₅y₁+C₆z₁为D，方程即可表示为C₄X+C₅Y+C₆Z＝D。

点向式直线方程l₁取方程等于未知数N，可得X＝NC₁-x、Y＝NC₂-y、Z＝NC₃-z，带入水平面B₃即可解得未知数N，从而得到立体球心C(X,Y,Z)，即为旋摆运动中心。

假定与夹角θ₂等于0，根据点A₁、A₂、A₄求得到向量依上步骤可求得立体球心。

步骤三、旋摆动作的判定；

具体为先计算出平均距离：

如图2所示，将平面B₃上平移3cm，得到平面B₄：C₄X+C₅Y+C₆Z＝D+3；将平面B₃下平移3cm，B₅：C₄X+C₅Y+C₆Z＝D-3。

旋摆动作需要满足以下条件。

条件1：如图3所示，l₂为球体半径，首先点A₁、A₂、A₃、A₄与立体球心的距离需要满足

条件2：此时计算手部骨骼点A₁、A₂、A₃、A₄与平面B₄、B₅的距离，其中距离平面B₄的距离为距离平面B₅的距离为当d₁和d₂都小于长度6cm时，此时连续动作为旋摆动作。

步骤四、连续和断续旋摆运动的判定和计算；

如图4所示，根据A₁(x₁,y₁,z₁)、C(X,Y,Z)，得到比较向量A₄之后存储的手部骨骼点记为C_i(X_i,Y_i,Z_i)，组成向量每0.1s计算一次其中i大于等于1，θ_i+2表示比较向量与的夹角。

计算停止条件满足以下其中之一即可

条件1、或即为条件1满足。

条件2、手部骨骼点C_i中距离平面B₄的距离为距离平面B₅的距离为d₁＞6cm或d₂＞6cm，即为条件2满足。

识别过程为：

过程1；持续计算当θ_i+2＜87°，此时动作计算如果停止为断续旋摆运动，其中p表示旋摆运动旋转的圈数。

过程2：当旋摆运动计算到第j个骨骼点C_j(X_j,Y_j,Z_j)，第一次出现|θ_j+2-90°|＜3°，记录手部骨骼点记为C_j(X_j,Y_j,Z_j)，组成比较向量每0.1s计算一次其中i、j大于等于1，表示比较向量与与的夹角。

过程3：第一次出现且θ_i+2＜180°，则认为完成半圈旋摆，如果此时停止计算，即认为断续旋摆运动，其中p表示旋摆运动旋转的圈数。

过程4：第一次出现且θ_i+2＜3°，则认为完成一圈旋摆，为连续旋摆动作，n＝n+1(n初始值为0)。

过程5：此后，每出现一次θ_i+2＜3°，并在θ_i+2＞3°后，n＝n+1，此时计算停止，如果且θ_i+2＜90°，n＝n+0.25；如果且θ_i+2＞90°，n＝n+0.5；如果且θ_i+2＞90°，n＝n+0.75；如果且θ_i+2＜90°，n＝n+1。

在虚拟装配过程中使用Geomagic Touch力反馈设备，提前配合系统设置好反馈力的大小，从而根据表2选择抵抗系数k和抵抗常数h。再根据直径2×l₂在表1中选择对应时间，最后根据旋摆动作类型选择相应的公式计算出旋摆动作标准时间。

表1旋摆动作时间数据

表2重量修正系数

连续旋摆动作时间计算为：

T_c＝[(nt+5.2)k]+h

断续旋摆运动时间计算为：

T_c＝[(t+5.2)k+h]p

式中，T_c为旋摆运动的时间；n为旋摆次数；t为旋摆直径对应的时间(见表1)；k为抵抗系数(低于10N取1，多于10N见表2)；h为抵抗常数(低于10N取0，多于10N见表2)，p为未满一周时的旋转比例。

步骤五、异常动作判定的剔除。

旋摆动作认定之后，以认定时间节点的左膝盖骨骼点A₅(x₅,y₅,z₅)、左脚骨骼点A₆(x₆,y₆,z₆)、右膝盖骨骼点A₇(x₇,y₇,z₇)、右脚踝骨骼点A₈(x₈,y₈,z₈)为比较点；记录随后连续运动的左膝盖F₁(x₉,y₉,z₉)、左脚F₂(x₁₀,y₁₀,z₁₀)、右膝盖F₃(x₁₁,y₁₁,z₁₁)、右F₄(x₁₂,y₁₂,z₁₂)；要求在旋摆动作期间，四个骨骼点不能脱离比较点15cm范围，否则认定为异常旋摆，不计入标准时间。

具体为计算在旋摆判定结束后，必须持续保持l₃＜15cm且l₄＜15cm且l₅＜15cm且l₆＜15cm，否则动作变形，旋摆动作无效。

本发明从MTM方法出发，旨在利用体感交互技术和计算机技术自动计算出参与虚拟装配人员旋摆动作的标准时间。