一种基于回溯指点交互历史的射线投射三维目标选取技术

摘要

本发明公开了一种基于回溯指点交互历史实现射线投射三维目标选择的技术，包括线下建模和线上操作两个阶段。线下建模通过重复采集用户数据拟合回溯时间区间与物体大小的关系；线上操作利用建立好的模型进行三维目标物体选择，包括：(1)记录射线与物体的交互历史；(2)根据线下建立的时间回溯区间模型计算交互历史中每个物体的时间回溯区间；(3)根据交互历史中每个物体的时间回溯区间计算每个物体的匹配度；(4)选择匹配度最高的物体。利用本发明，可以有效解决因设备抖动，用户手部自然抖动和海森堡效应造成的射线投射三维目标物体选择识别准确率低的问题，在不牺牲效率的情况下，实现更为准确、自然的三维对象人机交互。

说明书

技术领域

本发明属于人机交互技术领域，尤其是涉及一种基于回溯指点交互历史的射线投射三维目标选取技术。

背景技术

对象的选择技术是人机交互中的核心技术之一。人机交互中，在对对象进行操作之前，首先需要对其进行选择。随着虚拟现实技术、增强现实技术的高速发展而产生的虚拟环境中的三维对象的选择技术，由于其广泛的应用价值，已成为三维人机交互中的研究热点。

目前已有的三维对象选择技术主要分为抓取或触碰交互技术和指点交互技术。抓取或触碰交互技术通过操作者的虚拟手直接抓取或触碰目标物体实现选择，但是该技术无法选择操作者手臂范围以外的物体。

指点交互技术通过“射线投射”过程实现，其中的“射线”实际上是一条起点位于操作者手柄上的射线，操作者通过操作手柄调整射线与三维目标物体相交来实现对象选择。指点交互技术的优点是算法简单并且可选取操作者手臂范围以外的物体，缺点是设备的抖动、用户手部的自然抖动和海森堡效应使得用户在按下确认按钮时，射线会偏离目标物体，降低对象选择的准确度，尤其是当目标物体较小或者被其它物体遮挡时，目标选择的准确度更低。为了解决指点交互技术的缺陷，目前的方法主要通过费茨定律来优化指点交互技术：(1)放大物体：Bacim等人提出了物体放大技术，该技术通过放大射线和物体交点附近的物体大小来提高选取的准确度。(2)减小光标移动幅度：Guiard等人提出了位图映射目标指点技术，光标直接在不同物体间跳跃以直接穿过物体间的空白区来减少光标的移动幅度，降低选取难度，提高准确度。(3)放大物体并且减小光标移动幅度：Blanch等人提出了语义指点技术，当光标位于目标物体内时，降低手柄控制率以减小光标移动速度，增加光标移动空间，等价于增大物体大小；当光标位于空白区域时，增加手柄控制率以增加光标移动速度，等价于减小光标移动幅度。上述的指点选择技术在一定程度上提高了选取精确度。但是，这些方法都是依据费茨定律在操作阶段进行改进，我们认为射线投射选取方法可以在认知阶段进行改进以进一步增强三维目标选择的准确度。

现有的射线投射算法是基于假定用户按下按钮时射线对准的物体是用户想要选择的物体并且也是该时刻待选择的物体。但是，由于设备抖动、用户自然手抖和海森堡效应，射线在用户按下按钮时往往会偏离目标物体，导致选择错误。使用鼠标或类似设备的二维目标选取不存在该问题，因为用户操作鼠标时可以利用物理平面进行手部支撑并且用户点击鼠标的作用力垂直于支撑平面，极大减轻了抖动的影响。但是对于三维射线投射，由于用户没有可以利用的支撑平面，射线在用户按下按钮时偏离目标物体的可能性显著增加。因此，假定用户按下按钮时射线对准的物体即为目标物体是不合理的。

不同于现有的射线投射算法，我们希望找到用户真正想要选取的物体。通常来说，用户在看到射线对准目标物体的时候才会按下确认按钮。这就意味着用户按下确认按钮前，射线一定会和物体相交。因此假定用户按下确认按钮之前，射线已经对准过目标物体，如果我们可以找到用户决策确认待选取物体的时间区间，我们就可以基于回溯指点交互历史找到用户想要选取的目标物体。

发明内容

针对现有技术的不足，本发明提出了一种基于回溯指点交互历史的射线投射三维目标选取技术，利用用户的指点交互历史，在不牺牲交互效率的情况下可以提高三维射线投射技术的准确度。

一种基于回溯指点交互历史的射线投射三维目标选取技术，包括线下采集数据建模和线上操作实现物体选取两个阶段。首先，通过线下采集数据，建立时间回溯区间模型来估计用户决策确认待选取物体的时间区间和目标物体大小的关系。然后在线上操作阶段根据建立好的时间回溯区间模型估计用户真实想要选取的目标物体。

本发明具体包括以下步骤：

线下建模阶段

(1)采集数据，建立不同目标物体的时间回溯区间模型，时间回溯区间的左端点对应操作者开始决策选取该目标物体的时刻，时间回溯区间的右端点对应操作者结束决策的时刻；

线上操作阶段

(2)建立一个一维缓冲区，在操作者选取目标物体时，缓冲区内实时记录射线与各个物体的指点交互历史；

(3)操作者按下确认按钮后，根据缓冲区记录的数据以及时间回溯区间模型，计算每个与射线相交过的物体在其对应回溯区间内与射线相交时间的匹配度；

(4)若计算每个物体的匹配度都为0，则不选择任何物体；否则选取匹配度最高的物体为被选中的目标物体。

线下建模和线上操作阶段均在虚拟现实环境中进行，用户移动一个六自由度手柄通过操作从手柄前端射出的射线进行三维选取，用户确认射线对准物体后按下确认按钮完成物体选取操作。线下建模阶段，黑色的场景中只有一个目标物体，当射线与目标物体相交时，目标物体高亮为红色提示操作者当前射线对准了该物体。当用户确认对准目标物体以后，按下确认按钮，物体消失，系统不会提示选取结果。线上操作阶段，当射线与某个物体相交时，该物体高亮为红色提示操作者当前射线对准了该物体；当用户按下确认按钮时，被选择的物体高亮为绿色提示用户该物体被选中。

步骤(1)中，所述时间回溯区间的左端点的确定过程为：

对于不同大小的目标物体，令操作者多次选取目标物体来计算每个时刻目标物体与射线相交的频率，设定目标物体在操作者确认之前与射线相交频率最高的那个时刻作为这个大小物体对应的时间回溯区间的左端点。区间的左端点对应了用户开始决策选取目标物体的时刻，该时刻与目标物体大小相关，由于目标物体大小与射线扫描目标物体的角度大小呈正比，因此区间左端点与射线扫描目标物体的角度大小相关。

确定时间回溯区间模型的左端点时，采用线性函数拟合开始决策选取目标物体的时刻T_S和物体角度大小ω的关系：T_S＝aω+b，其中，a和b为拟合得到的参数值。

所述时间回溯区间的右端点的确定过程为：

利用操作者按下确认按钮的时刻减去操作者按下按钮的平均时间来确定时间回溯区间的右端点。区间的右端点对应了用户结束决策的时刻，即用户按下确认按钮的时刻减去用户按下按钮所需平均时间，由于用户按下按钮所需平均时间基本固定，因此区间右端点与物体大小无关。

步骤(2)中，所述一维缓冲区上记录的数据为每个时刻与射线相交物体的标识，若在这个时刻射线指向空白区域，则记录空白区域的标识。

步骤(3)中，与射线相交过的物体的回溯区间根据步骤(1)建立的时间回溯区间模型确定，具有相同角度大小的物体对应的回溯时间区间相同；不同角度大小的物体对应的回溯时间区间不同。

计算每个与射线相交的物体在其时间回溯区间内与射线相交的时间比例，即物体匹配度。匹配度衡量了该物体为目标物体的可能性。基于用户的操作习惯，当射线对准目标物体时，用户才决策确认选取该物体。若物体m为用户想要选取的目标物体，在物体m的时间回溯区间内射线一定会长时间对准物体m。反之，若物体m不是目标物体，那么在物体m的时间回溯区间内，射线几乎不会对准物体m而会对准目标物体。因此，目标物体具有较高的匹配度，非目标物体的匹配度较低。所述匹配度的计算公式为：

其中，mDegree_l为物体l在其对应回溯区间内与射线相交时间的匹配度。

步骤(4)中，每次选取完成后，清空记录指点交互历史的一维缓冲区，重新记录新的指点交互历史，开始下一次物体选取。

本发明可以整合现有的指点选择技术中以进一步提高物体选择的精确度。对于任一种现有的指点选择技术，该技术中采用的选取机制都会计算用户按下确认按钮时射线与哪个物体“相交”，因此该机制同样可计算用户按下确认按钮前的每一个时刻射线与哪个物体“相交”，然后记录在射线与物体的指点交互历史中，最后，回溯记录的指点交互历史完成目标选取。

本发明提出的在线下建立的时间回溯区间模型基础上，利用回溯指点交互历史实现目标物体选取，可以有效地减少射线投射三维物体选取中设备随机抖动、用户自然手抖和海森堡效应造成的物体选取失误，在不增加选取时间和计算负担的同时，实现了更加准确的射线投射三维物体选取。

附图说明

图1为基于射线投射的三维选取中用户的信息处理及操作流程示意图；

图2为本发明一种基于回溯指点交互历史的射线投射三维目标选取方法的流程示意图；

图3为本发明实施例的实验环境示意图；

图4为本发明实施例中物体角度大小ω示意图；

图5为本发明实施例中射线每个时刻与5个不同角度球体相交的概率示意图；

图6为本发明球体的物体回溯区间左端点与角度大小线性关系示意图；

图7为本发明实施例物体选择样例示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，通常来说，用户在看到射线对准目标物体的时候才会按下确认按钮。用户按下确认按钮前，射线一定会和物体相交，因此假定用户按下确认按钮之前，射线已经对准过目标物体。找到用户开始决策的时刻T_S，用户决策结束的时刻T_E，得到用户决策确认待选取物体i的时间区间[T_Si,T_E]，就可以基于回溯指点交互历史找到用户想要选取的目标物体。

本实施例在三维虚拟现实(HTC VIVE)中进行，被试者每个眼睛看到的画面分辨率为1080×1200像素(双眼分辨率为2160×1200像素)，屏幕刷新率为90Hz，被试的视野范围为110°。被试者在实验中站在一个看不见的球面中心，目标物体为不同角度大小的白色球体，被放在被试者正前方的视角范围为110°的球面(半径2.155m)网格上。实验中，用户按下HTC VIVE手柄上的扳机键多次选取出现的目标物体，之后根据采集的数据建立物体的时间回溯区间模型。线上操作阶段，用户按下HTC VIVE手柄上的扳机键确认，然后根据建立好的时间回溯区间模型选取目标物体。

如图2所示，本实施例的具体过程包括：

线下建模阶段

首先利用采集的24组被试数据实现线下建模。每次被试者实验中共有5个不同角度球体(2°，1.6°，1.2°，0.8°，0.4°)，分别对应5个不同大小球体。针对24组实验，5个不同大小的物体会分别出现在事先设定好的24个位置上(覆盖HTC VIVE的视野范围110°)，每个位置每个大小的球体出现4次。如图3中(a)、(b)和(c)所示，被试者首先点击位于正前方的红色球体确认当前试次开始，然后再选取白色的目标球体。红色的球体是被试确认实验开始的开关并在实验开始时矫正射线指向被试正前方，白色的球体是要求被试选择的目标球体。

建立时间回溯区间模型，估计用户对于不同大小的目标物体决策确认待选取物体的时间区间，该区间只与目标物体的角度大小有关，物体角度大小ω如图4所示。

根据采集的数据，计算对于不同大小的物体，射线在按下确认按钮前对准该物体概率最高的时刻，并将该时刻估计为用户开始决策确认选取物体m的时刻T_S，即该物体对应时间回溯区间的左端点T_S。如图5所示，为射线每个时刻与5个不同角度球体相交的概率示意图，每个大小物体的曲线的最高点代表了这个物体回溯时间区间的左端点T_S。物体越小，物体的角度越小，用户开始决策确认选取的时刻T_S越早，并且用户开始决策确认选取的时刻T_S与物体大小呈线性关系，参见图6。我们采用线性函数拟合开始决策确认选取的时刻T_S和物体角度大小ω的关系：T_S＝aω+b。根据采集的数据结果得到，T_S＝0.094ω-0.348(s)。同时，通过计算用户按下确认按钮所需要的平均时间来估计用户决策确认选取结束的时刻，即时间回溯区间的右端点T_E。根据数据结果，得到T_E＝-0.058(s)。综上所述，对于角度大小为ω_m的物体m来说，其时间回溯区间为[0.094ω_m-0.348,-0.058]。

线上操作阶段

根据建立的时间回溯区间模型在线实现三维目标物体选取。当射线与某个物体相交时，该物体高亮提示操作者当前射线对准了该物体；当用户按下确认按钮时，被选择的物体高亮并且系统提示用户该物体被选中。在线选取时，每一个选取过程包括以下步骤：

(1)记录指点交互历史。用一个一维数组作为一维缓冲区，数组的每个位置记录对应时刻与射线相交物体的标识。若该时刻射线指向空白区域，则在数组的对应位置记录空白区域的标识。如图7所示，当前场景中有3个物体i、j和k，若用户想要选取j物体，射线刚开始指向空白区域，参见图7中(a)部分，一维缓冲区上记录空白区域的标识，参见图7中(f)最左侧浅灰色部分。然后用户移动射线经过物体i，当射线与物体i相交时，物体i高亮，参见图7中(b)部分，一维缓冲区上记录i物体的标识i，参见图7中(f)灰色部分。接着射线移出物体i移入物体j，参见图7中(c)部分，物体j高亮，最后用户稳定射线对准物体j参见图7中(d)部分，这个过程中一维缓冲区上记录j物体的标识j，参见图7中(f)黑色部分；用户按下确认按钮时，参见图7中(e)部分，停止记录。

如图7中(f)所示，t_Ei表示射线进入i的时刻；t_Li表示射线离开i的时刻；t_Ej表示射线进入j的时刻；t_Lj表示射线离开j的时刻；T_Si表示物体i的时间回溯区间的左端点；T_Sj表示物体j的时间回溯区间的左端点；T_E表示经验估计用户开始按确认按钮的时刻(即物体i和物体j的时间回溯区间的右端点)；t₀表示用户按下确认按钮的时刻。

(2)用户确认。用户按下确认按钮以后，系统判断选择哪一个物体，包括如下步骤：

(2-1)通过线下建立的时间回溯区间模型计算与射线相交过的物体(不包括空白区域)所对应的时间回溯区间。用户按下确认按钮前，射线与物体i和j相交，因此根据回溯区间模型计算物体i和物体j的时间回溯区间。物体i和物体j的时间回溯区间分别为：

[T_si,T_E]_i＝[0.094ω_i-0.348,-0.058]

[T_Sj,T_E]_j＝[0.094ω_j-0.348,-0.058]

(2-2)计算每个与射线相交过的物体的匹配度。物体l的匹配度mDegree_l的计算公式如下：

物体i和j的匹配度分别为：

(2-3)选取匹配度最高的物体并且该物体高亮为绿色。本实施例中由于mDegree_j＝1.0>mDegree_i，所以最后选择物体j，物体j高亮并被选中，如图7中(e)部分所示。本次选取完成后，清空记录指点交互历史的一维缓冲区，重新记录新的指点交互历史，开始下一次物体选取操作。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。