一种可用于移动终端的虚拟物体三维形状触觉再现方法

摘要

本发明公开了一种可用于移动终端的虚拟物体三维形状触觉再现方法，该力触觉再现方法特征是：利用移动终端和指套上的姿态传感器分别检测电容笔头在触摸屏上按压位置信息、手指姿态信息，根据上述信息计算手指在虚拟物体表面接触点的局部斜率以及手指和虚拟物体的接触姿态。将局部斜率映射到压电致动器的平均振动强度，从而表达虚拟物体形状信息。将接触姿态映射到压电致动器的振动强度分布，从而产生手指以不同姿态接触虚拟物体时的触感。通过压电致动器阵列振动强度大小与分布的变化，模拟手指以不同姿态接触不同形状三维物体时所产生的触感，从而实现对虚拟物体三维形状的触觉表达。

说明书

技术领域

本发明涉及力触觉再现算法领域，具体涉及一种可用于移动终端的虚拟物体 三维形状触觉再现方法。

背景技术

近年来，在人机交互领域，力触觉再现技术引起人们广泛的关注。高效自 然的力触觉再现技术能够加强虚拟现实的沉浸感和真实感，提供更为真实和直接 的交互体验，将人类与虚拟世界的交流推向一个新的阶段。随着触摸屏技术的快 速发展，面向搭载触摸屏的力触觉交互设备和力触觉再现算法大量涌现，使得感 知移动终端上的虚拟物体的纹理材质和三维形状成为可能。同时面向移动终端的 力触觉再现技术，有积小、功耗低、成本相对低的优点，克服了传统力触觉再现 技术的一些局限。

目前，触觉再现技术主要有：基于振动的触觉再现、基于力反馈设备的触 觉再现、基于阵列的触觉再现等。基于振动的信息表达是目前普遍使用的触觉再 现模式。各种振动触觉的致动器为手持设备引入触觉振动提供了一种解决方案， 促进触觉再现的便携性发展。一些研究者使用这些致动器用于生成各种振动模式、 触觉图标来实现非视觉性信息的交流。力反馈设备主要用于实现人机交互中的作 用力反馈，操作者使用力反馈设备与虚拟物体交互作用时，力反馈设备可以阻止 操作者的运动以避免穿刺交互。基于力反馈的触觉再现方法所实现的是一种间接 的触觉再现模式，降低了触觉感知的真实感。采用阵列式的结构来实现触觉再现 是最直接的方法，因而一直受到人们的关注。Wagner和Lederman等利用RC伺 服电机驱动的探针阵列构建了一个触觉再现装置。阵列式触觉再现系统的优势在 于比较直观、能主动对操作者施加触觉刺激，但是这种方法缺少触觉感知的直观 性和主动性。

近年来力触觉再现算法引起了研究者的广泛兴趣，大量的力触觉再现算法涌 现，使得感知移动终端上虚拟物体的三维形状成为可能。GordonandMorison等 研究表明当人手指在物体表面滑动时，可以通过局部斜率感知物体表面形状信息。 基于这个原理，AliIsrar等人将物体在接触点的局部斜率映射到手指与触摸屏的 摩擦力，从而实现对虚拟物体三维形状触觉再现。这种展现虚拟物体三维形状的 再现方法，能很好的将三维形状信息反馈给操作者，但忽略了人在感受物体形状 信息时的主动性。Hayward等人研究表明当人手指在物体表面滑动时，也可以通 过侧向力来感知物体的形状信息。基于这个原理，吉林大学提出了基于侧向力的 静电力触觉再现算法，将按压物体的侧向力映射到手指与触摸屏之间的静电力。 这种展现虚拟物体三维形状的再现算法容易实现、成本低、便于操作，但只能提 供切向的力反馈，无法提供操作者真实的触感。

发明内容

本发明所要解决的技术问题是：提供一种可用于移动终端的虚拟物体三维形 状触觉再现方法，该方法通过产生与虚拟物体三维形状信息、手指与虚拟物体接 触姿态信息相一致的分布式触觉刺激反馈给操作者，从而模拟人手以不同姿态接 触不同形状虚拟物体时所产生的触感，提供使用者良好的触觉交互体验。

为解决上述技术问题，本发明采用的技术方案是：

利用移动终端和指套上的姿态传感器分别检测电容笔头在触摸屏上按压位 置信息、手指姿态信息，根据上述信息计算手指在虚拟物体表面接触点的局部斜 率以及手指和虚拟物体的接触姿态。将局部斜率映射到压电致动器的平均振动强 度，从而表达虚拟物体形状信息。将接触姿态映射到压电致动器的振动强度分布， 从而产生手指以不同姿态接触虚拟物体时所产生的触感。通过压电致动器阵列振 动强度大小与分布的变化，模拟手指以不同姿态接触不同形状三维物体时所产生 的触感，从而实现对虚拟物体三维形状的触觉表达。

由以下具体步骤实现该力触觉再现方法：

步骤1，根据虚拟物体的表面几何信息、电容笔头在触摸屏上按压位置计算 虚拟物体表面在接触点的局部斜率，并将局部斜率映射到压电致动器阵列平均振 动强度的大小。通过压电致动器阵列平均振动强度大小的变化来表达虚拟接触点 局部斜率信息，进而表达虚拟物体的形状信息。具体方法是：

(1)根据虚拟物体的表面几何信息、电容笔头在触摸屏上运动的位置计算 虚拟物体表面在接触点的局部斜率。定义平行于触摸屏长边的方向为X轴方向， 平行于触摸屏短边的方向为Y轴方向，垂直于触摸屏平面的方向为Z轴方向。 操作者穿戴了指套式力触觉再现装置和移动终端上的虚拟物体接触时，移动终端 检测电容笔头在触摸屏上的按压位置p_i(x_i,y_i)，并通过虚拟环境里的碰撞检测 算法计算出手指在虚拟物体表面的虚拟接触点P_i(x_i,y_i,z_i)即虚拟接触点。定义在 虚拟接触点的局部斜率为计算公式为：，

$▿F_i(x_i,y_i,z_i)=\sqrt{{(\frac{\partial F(x,y,z)}{\partial x}-(x_i,y_i,z_i\left)\right)}^2+{(\frac{\partial F(x,y,z)}{\partial y}/(x_i,y_i,z_i\left)\right)}^2+1}$

其中F(x,y,z)为已知的虚拟物体表面几何形状，(x_i,y_i,z_i)为虚拟接触点 P(x_i,y_i,z_i)的坐标值。

(2)根据虚拟接触点的局部斜率，确定压电致动器阵列的平均振动强度， 从而产生与虚拟物体三维形状一致的触觉刺激。假设压电致动器阵列为奇数阵， 定义垂直手指指向的方向为i轴方向，平行手指指向方向为j轴方向，每个坐标 (i,j)对应一个振动单元，i、j为1到2n-1的正整数。定义压电致动器阵列平均 振动强度为所有振动单元振动强度的平均值，其计算公式为： 式中I_ij表示坐标为(i,j)振动单元的振动强度。该算法 中，压电致动器阵列的平均振动强度与虚拟物体表面的局部斜率线性相关，他们 的具体关系为：式中k是与压电致动器结构相关的参数。

步骤2根据手指姿态信息、虚拟接触点P_i计算手指与虚拟物体的接触姿态， 并将接触姿态映射到压电致动器振动强度的分布。通过压电致动器阵列振动强度 分布的变化来表达手指以不同姿态接触虚拟物体时的触感。具体方法是：

(1)，根据手指姿态信息、虚拟接触点P_i计算手指与虚拟物体的接触姿态。 根据指套式力触觉装置上的姿态传感器实时测得的手指沿X、Y轴正方向转过的 角度θ_x、θ_y，计算指端切平面的法向量与X、Y轴正方向的夹角α_x、α_y，其计算 公式为：α_x＝90-θ_y，α_y＝90-θ_x。为了表达虚拟手指和虚拟物体的接触姿态信 息，定义指端切平面与X、Y轴的夹角和虚拟触点切平面与X、Y轴夹角的差值 为接触姿态角Θ_x、Θ_y。Θ_x、Θ_y计算公式为：式中表示虚拟物体在虚拟接触点P_i切平面的法向量与X、Y轴的夹角，他们可由虚拟物体表面几何形状F(x,y,z)与 虚拟接触点P_i确定。

(2)根据手指与虚拟物体的接触姿态，确定压电致动器阵列的振动强度分 布，从而产生手指以不同姿态接触虚拟物体时所产生的触觉刺激。定义对应虚拟 接触点的振动单元为正向接触振动单元，可由接触姿态角Θ_x、Θ_y确定。当接触 姿态角Θ_x大于零、Θ_y大于零时正向接触振动单元坐标为i＝n+1,…,2n-1、 j＝n+1,…,2n-1，当接触姿态角Θ_x小于零、Θ_y大于零时正向接触振动单元坐标为 i＝1,…,n、j＝n+1,…,2n-1，当接触姿态角Θ_x大于零、Θ_y小于零时正向接触振动单元 坐标为i＝n+1,…,2n-1、j＝1,…,n，当接触姿态角Θ_x小于零、Θ_y小于零时正向接触振 动单元坐标为i＝1,…,n、j＝1,…,n，当接触姿态角Θ_x等于零、Θ_y等于零时正向接触 振动单元坐标为i＝1,…,2n-1、j＝1,…,2n-1。压电致动器阵列振动强度分布原则：由 于虚拟接触点存在压力，所以正向接触振动单元的振动强度最强，周围领域内的 非正向接触振动单元的振动强度随离正向接触振动单元的距离增加而减弱。根据 上述原则，定义压电致动器阵列振动强度分布系数ω_i、ω_j，计算公式为：

${\omega }_i=\left(\begin{array}{cc}{k}_1·(i-n/n-1)·{\Theta }_i+{\omega }_0& 0<\left|{\Theta }_x\right|<{\delta }_i\\ 0& \left|{\Theta }_x\right|\ge {\delta }_i\end{array}\right)$

${\omega }_j=\left(\begin{array}{cc}{k}_1·(j-n/n-1)·{\Theta }_y+{\omega }_0& 0<\left|{\Theta }_x\right|<{\delta }_j\\ 0& \left|{\Theta }_y\right|\ge {\delta }_j\end{array}\right)$

式中，(i-n/n-1)、(j-n/n-1)表示转换后的压电致动器阵列坐标，即把坐标范 围[1,2n-1]转换为[-1,1]使得正向接触振动单元的分布系数总比非正向接触振动单 元的分布系数大。k₁表示Θ_x、Θ_y对振动强度分布系数的作用权重。ω₀表示Θ_x、 Θ_y为0时压电致动器阵列的分布系数。δ_i、δ_j表示接触姿态角阈值，当接触姿 态角的绝对值大于接触姿态角阈值时手指和虚拟物体不接触。

步骤3根据压电致动器阵列的平均振动强度以及振动强度分布，确定压电致 动器阵列各振动单元的驱动电压，从而产生分布式触觉刺激。振动单元的控制电 压是频率固定幅值可调的正弦信号。对振动单元振动强度的调节主要是通过控制 正弦电压信号的幅值来实现的，并且有压电致动器的振动强度与驱动正弦电压的 幅值的平方成正比。控制坐标为(i,j)的振动单元的输入正弦电压为v_ij，其计算公 式为：

$v_{ij}=k_2·\sqrt{▿F(x_i,y_i,z_i)}·\sqrt{{{\omega }_i}^2+{{\omega }_j}^2}sin\theta (k_3\times t)$(单位V)。

式中k₂，k₃表示和不同压电致动器具体结构相关的参数。

与现有技术相比，本发明的技术方案具有以下有益效果：

本发明通过产生与虚拟物体三维形状信息、手指与虚拟物体接触姿态信息相 一致的分布式触觉刺激反馈给操作者，从而模拟人手以不同姿态接触不同形状虚 拟物体时的触感，具有控制简便、表达直观、触感真实的优点。本发明将虚拟接 触点的局部斜率映射到压电致动器的平均振动强度，从而产生与虚拟物体形状信 息相一致的触觉刺激，进而模拟了真实情况下人手指接触不同形状物体时的触感。 该方法相对将按压物体的侧向力映射到手指与触摸屏之间静电力的方法，具有控 制简单、成本低、灵活性高、适用性强的优势。本发明将接触姿态映射到压电致 动器的振动强度分布，产生手指以不同姿态接触虚拟物体时的触觉刺激，进而模 拟了真实情况下人手指通过不同的姿态去接触物体时所产生的触感。本发明相对 于将物体在接触点的局部斜率映射到手指与触摸屏摩擦力的方法，不仅将物体三 维形状信息反馈给操作者而且将人手以不同手指以不同姿态接触物体时的触感 反馈给操作者，更具有表达直观、触感真实的优点。

附图说明

图1为本发明的指套式力触觉装置的示意图。

图2为本发明的系统框图。

图3为本发明的压电致动器阵列示意图。

图4为本发明的人手指以不同姿态接触不同形状虚拟物体时触觉刺激的示 意图，其中图4-1为人手以姿态θ_x＝0°、θ_y＝-50°接触半球物体时示意图，图4-2 为对应的压电致动器阵列振动强度示意图；图4-3为人手以姿态θ_x＝0°、θ_y＝0°接 触半球物体时示意图，图4-4为对应的压电致动器阵列振动强度示意图；图4-5 为人手以姿态θ_x＝0°、θ_y＝0°接触楔形物体时示意图，图4-6为对应的压电致动 器阵列振动强度示意图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1所示，系统包括含有触摸屏的移动终端和指套式力触觉再现装置，其 中指套式力触觉再现装置包括姿态传感器、电容笔头和压电致动器阵列。如图2 所示，该再现算法以虚拟物体的表面几何信息、电容笔头在触摸屏上按压位置、 手指姿态信息为输入，计算虚拟物体表面接触点的局部斜率以及手指和虚拟物体 的接触姿态；根据虚拟物体表面接触点的局部斜率确定压电致动器阵列的平均振 动强度，根据手指与虚拟物体的接触姿态确定压电致动器阵列振动强度的分布； 根据计算分析结果控制压电致动器阵列各振动单元的驱动电压，从而产生分布式 振动刺激反馈给操作者。

首先，根据虚拟物体的表面几何信息、电容笔头在触摸屏上按压位置计算虚 拟物体表面在接触点的局部斜率，并将局部斜率映射到压电致动器阵列平均振动 强度的大小。通过压电致动器阵列平均振动强度大小的变化来表达虚拟接触点局 部斜率信息，进而表达虚拟物体的形状信息。具体方法是：

(1)根据虚拟物体的表面几何信息、电容笔头在触摸屏上运动的位置计算 虚拟物体表面的局部斜率。如图1所示，定义平行于触摸屏长边的方向为X轴 方向，平行于触摸屏短边的方向为Y轴方向，垂直于触摸屏平面的方向为Z轴 方向。操作者穿戴了指套式力触觉再现装置和移动终端上的虚拟物体接触时，移 动终端检测电容笔头在触摸屏上的按压位置p_i(x_i,y_i)。已知虚拟物体表面几何 形状为F(x,y,z)＝0。将p_i(x_i,y_i)代入F(x,y,z)＝0得到虚拟触点为P_i(x_i,y_i,z_i)。 定义在虚拟接触点的局部斜率为计算公式为：，

$▿F_i(x_i,y_i,z_i)=\sqrt{{(\frac{\partial F(x,y,z)}{\partial x}/(x_i,y_i,z_i\left)\right)}^2+{(\frac{\partial F(x,y,z)}{\partial y}/(x_i,y_i,z_i\left)\right)}^2+1}$

式中(x_i,y_i,z_i)为虚拟接触点P_i的坐标值。

(2)根据虚拟接触点的局部斜率，确定压电致动器阵列的平均振动强度， 从而产生与虚拟物体三维形状一致的触觉刺激。如图3所示，假设压电致动器阵 列为奇数阵，每个坐标(i,j)对应一个振动单元，i、j为1到2n-1的正整数。定 义压电致动器阵列平均振动强度为所有振动单元振动强度的平均值，其计算公 式为：式中I_ij表示坐标为(i,j)振动单元的振动强度。 该算法中，压电致动器阵列的平均振动强度与虚拟物体表面的局部斜率线性相关， 他们的具体关系为：式中k是与压电致动器结构相关的参数。

进一步，根据手指姿态信息、虚拟接触点P_i计算手指与虚拟物体的接触姿态， 并将接触姿态映射到压电致动器振动强度的分布。通过压电致动器阵列振动强度 分布的变化来表达手指以不同姿态接触虚拟物体时的触感。具体方法是：

(1)根据手指姿态信息、虚拟接触点P_i计算手指与虚拟物体的接触姿态。 指套式力触觉装置上的姿态传感器实时测得手指沿X、Y轴正方向转过的角度θ_x、 θ_y。根据θ_x、θ_y，计算指端切平面的法向量与X、Y轴正方向的夹角α_x、α_y，其 计算公式为：α_x＝90-θ_y，α_y＝90-θ_x。为了表达虚拟手指和虚拟物体的接触姿 态信息，定义指端切平面与X、Y轴的夹角和虚拟触点切平面与X、Y轴夹角的 差值为接触姿态角Θ_x、Θ_y。Θ_x、Θ_y计算公式为：式中表示虚拟物体在虚拟接触点P_i切平面的法向量与X、Y轴的夹角，计算公式为：

其中F(x,y,z)为已知的虚拟物体表面几何形状，(x_i,y_i,z_i)为虚拟接触点P_i的 坐标值。

(2)根据手指与虚拟物体的接触姿态，确定压电致动器阵列的振动强度分 布，从而产生手指以不同姿态接触虚拟物体时所产生的触觉刺激。定义对应虚拟 接触点的振动单元为正向接触振动单元，可由接触姿态角Θ_x、Θ_y确定。当接触 姿态角Θ_x大于零、Θ_y大于零时正向接触振动单元坐标为i＝n+1,…,2n-1、 j＝n+1,…,2n-1，当接触姿态角Θ_x小于零、Θ_y大于零时正向接触振动单元坐标为 i＝1,…,n、j＝n+1,…,2n-1，当接触姿态角Θ_x大于零、Θ_y小于零时正向接触振动单元 坐标为i＝n+1,…,2n-1、j＝1,…,n，当接触姿态角Θ_x小于零、Θ_y小于零时正向接触振 动单元坐标为i＝1,…,n、j＝1,…,n，当接触姿态角Θ_x等于零、Θ_y等于零时正向接触 振动单元坐标为i＝1,…,2n-1、j＝1,…,2n-1。压电致动器阵列振动强度分布原则：由 于虚拟接触点存在压力，所以正向接触振动单元的振动强度最强，周围领域内的 非正向接触振动单元的振动强度随离正向接触振动单元的距离增加而减弱。根据 上述原则，定义压电致动器阵列振动强度分布系数ω_i、ω_j，计算公式为：

${\omega }_i=\left(\begin{array}{cc}{k}_1·(i-n/n-1)·{\Theta }_i+{\omega }_0& 0<\left|{\Theta }_x\right|<{\delta }_i\\ 0& \left|{\Theta }_x\right|\ge {\delta }_i\end{array}\right)$

${\omega }_j=\left(\begin{array}{cc}{k}_1·(j-n/n-1)·{\Theta }_y+{\omega }_0& 0<\left|{\Theta }_x\right|<{\delta }_j\\ 0& \left|{\Theta }_y\right|\ge {\delta }_j\end{array}\right)$

式中，(i-n/n-1)、(j-n/n-1)表示转换后的压电致动器阵列坐标，即把坐标范 围[1,2n-1]转换为[-1,1]使得正向接触振动单元的分布系数总比非正向接触振动单 元的分布系数大。k₁表示Θ_x、Θ_y对振动强度分布系数的作用权重。ω₀表示Θ_x、 Θ_y为0时压电致动器阵列的分布系数。δ_i、δ_j表示接触姿态角阈值，当接触姿 态角的绝对值大于接触姿态角阈值时手指和虚拟物体不接触。

步骤3根据压电致动器阵列的平均振动强度以及振动强度分布，确定压电致 动器阵列各振动单元的驱动电压，从而产生分布式触觉刺激。振动单元的控制电 压是频率固定幅值可调的正弦信号。对振动单元振动强度的调节主要是通过控制 正弦电压信号的幅值来实现的，并且有压电致动器的振动强度与驱动正弦电压的 幅值的平方成正比。控制坐标为(i,j)的振动单元的输入正弦电压为v_ij，其计算公 式为：

$v_{ij}=k_2·\sqrt{▿F(x_i,y_i,z_i)}·\sqrt{{{\omega }_i}^2+{{\omega }_j}^2}sin\theta (k_3\times t)$(单位V)。

式中k₂，k₃表示和不同压电致动器具体结构相关的参数。

下面举一具体实例说明。

本实例中压电致动器阵列的规模为3×3。压电致动器阵列的分布系数ω_i、 ω_j的计算公式中k₁取常数1/100，ω₀取常数压电致动器阵列各振动单 元的驱动电压v_ij的计算公式中k₂、k₃分别常数50、1。

如图4-1、4-3所示，已知虚拟物体的表面几何形状信息为若 电容笔头在移动终端触摸屏的按压位置p_i(x_i,y_i)的坐标为(0,0)，则虚拟接触点 P_i的坐标为(0,0,1)。计算出虚拟接触点局部斜率为在虚拟接触 点切平面的法向量和X、Y轴的夹角分别为

图4-1中指套式力触觉装置上的姿态传感器实时测得手指沿X、Y轴正方 向转过的角度分别为θ_x＝0°、θ_y＝-50°。计算出接触姿态角为Θ_x＝50°、Θ_y＝0°， 压电致动器阵列强度分布系数控制振动单 元驱动器产生正弦电压v_ij，图4-2为对应的压电致动器阵列振动强度示意图。 压电致动器阵列驱动电压v_ij计算公式为：v_ij的幅值 A如下表：

图4-3中指套式力触觉装置上的姿态传感器实时测得手指沿X、Y轴正方向 转过的角度分别为θ_x＝0°、θ_y＝0°。计算出接触姿态角为Θ_x＝0°、Θ_y＝0°，压 电致动器阵列强度分布系数控制触觉驱动器产生正弦 电压v_ij，图4-4为对应的压电致动器阵列振动强度示意图。压电致动器阵列驱动 电压v_ij计算公式为：v_ij的幅值A如下表：

如图4-5，已知虚拟物体的表面几何形状信息为z＝1-xx∈[-1,1]y∈[-1,1]。 若电容笔头在移动终端触摸屏的按压位置p_i(x_i,y_i)的坐标为(0,0)，则虚拟接触 点P_i的坐标为(0,0,1)。计算出局部斜率为在虚拟接触点切 平面的法向量和X、Y轴的夹角分别为

图4-5中指套式力触觉装置上的姿态传感器实时测得手指沿X、Y轴正方 向转过的角度分别为θ_x＝0°、θ_y＝0°。计算出接触姿态角为Θ_x＝45°、Θ_y＝0°， 压电致动器阵列强度分布系数控制振动 单元驱动器产生正弦电压v_ij，图4-6为对应的压电致动器阵列振动强度示意图。 压电致动器阵列驱动电压v_ij计算公式为：v_ij的幅值 A如下表：