基于三维力传感器的二维图像力触觉再现控制方法及系统

摘要

本发明公开了基于三维力传感器的二维图像力触觉再现控制方法及系统，其特征是将三维力传感器固定在力触觉交互设备端部的手柄上，实时采集力触觉交互设备所输出的图像接触力，同时对采集到的图像接触力信号进行闭环控制，采用比例控制算法，实时调整图像接触力信号的输出。本发明采用了闭环反馈控制策略，提高了图像接触力的输出精度和控制系统的稳定性，增强了人机交互时的真实性，此外本发明采用模块化的系统结构，系统移植性强。

说明书

技术领域

本发明涉及一种基于三维力传感器的二维图像力触觉再现控制方法及系统，尤其涉及一种用于虚拟现实人机交互的基于三维力传感器的二维图像力触觉再现控制方法及系统。

背景技术

触觉交互是人机交互领域的最新技术，在交互过程中有着不可替代的作用，人们长期以来就在研究利用力触感知来补偿眼睛功能，借助一定的力触觉再现装置产生力反馈，引导盲人去感知物体的轮廓，实现视觉的力触觉表达。

目前，国外很多研究者都是基于力反馈装置进行图形图像表达的研究。Fritz和Barner等人研究如何利用三维力反馈装置如Phantom，对数学模型和复杂图表进行表达。Manusson等人正在研究如何利用Phantom装置以及Vrml语言建立一个带力反馈的人机交互界面，帮助盲人感知3D表面。此类研究都是利用力反馈装置，主动引导盲人，帮助盲人感知物体边缘信息。主要的力反馈装置有Phantom系统、操纵杆、手控器和力反馈手套。

①最常见的力反馈装置就是SensAble科技公司的Phantom，它能够使用户接触并操作虚拟物体。目前，该公司有两类产品：一类是桌面Phantom系统，其工作空间较小，约为15厘米见方的立方体；另一类是Premium Phantom系统，其工作空间较大。Phantom系统是一个类似于小型机械手的装置，对于三维虚拟模型或数据具有定位功能，当Phantom的机械臂在工作空间中运动时，就会在计算机屏幕上出现一个指示针，反映机械臂在工作空间中的位置。通过碰撞检测等技术探测指示针与虚拟模型接触时，计算机会发出信号并将该模型的物理性质反馈给Phantom系统，并产生相应的力传递给操作者，实现力反馈。

②操纵杆，这种力反馈设备通常自由度比较小，且操作空间小，只适用于一些功能要求不高的场合。例如，罗技公司的WingMan Strike Force 3D操纵杆，Cybernet System公司的三自由度力反馈操纵杆PER-Force，卡内基梅隆大学的磁悬浮式力反馈操纵杆等。

③手控器，通常为六自由度两杆开链机构，在控制与其结构相同的机械手时，它具有各关节角度完全对应的优点。手控器中比较有代表性的就是Force Dimension公司的Delta手控器和Omega手控器。Delta手控器能够在很大的工作空间上传达大范围的力信息；并行机械结构连同装在基座上的传动装置一起，可产生很高的刚度及很低的惯性。而Omega手控器则采用了轻质的铝框和坚固的落地式传动装置。这种并行机构能够大大增加机构的刚度和耐用性。通过提供持续的12牛顿的力、14.5牛顿/毫米的闭环刚度和大范围的工作空间，Omega装置在性能上超越了其他同级别的触感装置。

④力反馈手套，那些对于灵活性要求高的任务，可能需要独立控制每个手指上模拟的力，而不是像操纵杆和控制臂那样只在手腕上产生模拟的力，这种情况通常要使用力反馈手套。至今应用最多的传感手套是VPL公司的数据手套DataGlove，它也是第一个推向市场的。

这些力反馈输出装置大多都是开环系统，在图像的力触觉表达研究中，为保证能实时、准确地实现图像的力触觉再现，除了借助一定的图像采集、处理和识别系统，将图像信息转换为力触觉信息外，如何设计合理有效的控制算法，通过力触觉再现装置，实时、准确地反馈出图像的力触觉信息，以提高图像的力触觉再现的真实感，已是目前虚拟现实的热点研究问题之一。

发明内容

本发明所解决的技术问题是，提出基于三维力传感器的二维图像力触觉再现控制方法及系统，并将其用于虚拟现实人机交互的二维图片的力触觉感知。本发明能够提高图像接触力的跟踪精度和闭环控制系统的稳定性，使得图像的力触觉表达更加真实、逼真、舒适。

为了实现上述所要解决的技术问题，本发明采用如下技术方案：

所述的一种基于三维力传感器的二维图像力触觉再现控制方法，主要步骤如下：

操作者通过操作力触觉交互设备端部的手柄控制虚拟手接近二维图像，在虚拟手碰撞到二维图像之前，即在靠近二维图像的过程中，虚拟手与图像接触力信号f为0；如果发生碰撞，则根据虚拟手与图像接触力计算模块中建立的接触力模型，计算出碰撞点处虚拟手与图像接触力信号f，

虚拟手与图像接触力计算模块包括图像处理单元和力触觉建模单元，图像处理单元用于借助一定的图像采集、处理和识别系统，提取外界导入的虚拟物体图片中有意义的图像信息，例如物体占有区，轮廓，纹理特征等等，力触觉建模单元用于将图像信息计算并转换成力触觉信息，

所述的虚拟手与图像接触力信号f输至图像接触力反馈控制模块，图像接触力反馈控制模块对虚拟手与图像接触力信号f与源自力触觉交互设备的反馈力信号f_d进行比较运算后，以运算结果为图像接触力信号f′，最后，由力触觉交互设备将图像接触力信号转化成图像接触力传递给操作者，

所述的源自力触觉交互设备的反馈力信号f_d由以下方法得到：

采用图像接触力采集模块，将图像接触力采集模块中的三维力传感器1通过法兰盘2固定在力触觉交互设备端部的手柄3上并采集图像接触力，如图3所示，所述图像接触力经图像接触力采集模块处理后形成反馈力信号f_d，

图像接触力反馈控制模块对虚拟手与图像接触力信号f与源自力触觉交互设备的反馈力信号f_d进行比较运算如下：

①将虚拟手与图像接触力计算模块计算出的虚拟手与图像接触力信号f与图像接触力采集模块所采集到反馈力信号f_d作差，得到Δf如下：

Δf＝f-f_d，

②对上述的Δf采用比例控制，得到放大或缩小后的力信号差值Δf_k，即：

Δf_k＝k×Δf

其中k为比例系数，k＝1.5，

③将比例控制后的力信号差值Δf_k与虚拟手与图像接触力计算模块计算出的虚拟手与图像接触力信号f一起，共同作为力触觉交互设备在图像接触点处的图像接触力信号f′，即：

f′＝f+Δf_k；

所述基于三维力传感器的二维图像力触觉再现控制方法的系统，包括：力触觉交互设备、主手位置检测模块、虚拟手与主手位置映射模块、用于判断虚拟手是否触及二维图像的碰撞检测模块、虚拟手与图像接触力计算模块，力信息输出模块及图像采集和显示模块，

所述力触觉交互设备用于根据操作者的操作指示命令通过操纵主手即力触觉交互设备端部的手柄控制虚拟手接近二维图像，

所述主手位置检测模块用于实时检测主手即力触觉交互设备端部的手柄的位置并获取主手在三维空间中的位置信息，并通过虚拟手与主手位置映射模块建立主手与虚拟手之间的位置映射关系，具体映射关系可根据多个采样点在主手坐标系和虚拟手坐标系中的位置对应关系，建立虚拟手位置与主手位置之间的坐标映射，实现主手对虚拟手位置控制的目的，

所述碰撞检测模块用于判断当前力触觉交互设备在虚拟环境里的虚拟手是否触及到虚拟物体的二维图片，由于虚拟图片所处的位置为虚拟环境坐标系Oxyz下的区域Ω＝{0≤x≤X，0≤y≤Y，z＝0}，其中X，Y分别为虚拟图片在虚拟环境里的长度和宽度，因此可以根据虚拟手移动的位置坐标信息来判断是否碰撞到虚拟物体图片表面，

所述虚拟手与图像接触力计算模块包括图像处理单元和力触觉建模单元，图像处理单元用于借助一定的图像采集、处理和识别系统，提取外界导入的虚拟物体图片中有意义的图像信息，例如物体占有区，轮廓，纹理特征等等，力触觉建模单元用于构建图像信息与力触觉信息的映射关系，将图像信息计算并转换成力触觉信息，

所述图像采集和显示模块包括图片保存单元和图形刷新单元，如图6所示，所述图片保存单元用于保存外界导入的虚拟物体图片，以用于虚拟环境仿真，所述的图形刷新单元用于操作者在显示器上实时观察到虚拟手的移动位置；

所述力信息输出模块通过PCI板卡及PCI板卡连接线将需要输出的图像接触力信号传输至力触觉交互设备，

所述系统还包括图像接触力反馈控制模块和图像接触力采集模块，

所述图像接触力反馈控制模块的一个输入端与虚拟手与图像接触力计算模块的输出端连接，用于接收图像接触力信号f，所述图像接触力反馈控制模块的另一输入端与图像接触力采集模块的输出端连接，用于接收反馈力信号f_d，所述图像接触力反馈控制模块的输出端与力触觉交互设备的一个输入端连接且用于接收力触觉交互设备在图像接触点处的图像接触力信号f′，所述图像接触力反馈控制模块用于计算图像接触点处的图像接触力信号f′，即：

f′＝f+k×(f-f_d)

其中，k∈[0.5，10]，

所述图像接触力采集模块包括三维力传感器1和处理电路，所述三维力传感器1通过法兰盘2固定在力触觉交互设备端部的手柄3上且用于采集三维力信号，如图3所示，所述处理电路包括单片机处理电路单元，A/D转换电路单元，串口电路单元与信号接收和转换单元用于处理三维力信号并产生反馈力信号f_d，如图4所示，具体步骤如下：

①三维力传感器受到三维力，利用电桥原理，将力信号转换成电压(电流)信号，

②经A/D转换电路单元，模拟电压(电流)信号转换成数字电压(电流)信号，PC机通过RS232串口接收传输的三维力传感器测得的X，Y，Z三个力方向的电压(电流)数据，并载入到信号接收和转换单元中，

③在信号接收和转换单元中，将接收到的三个力方向的电压(电流)信号通过校零，解耦转换成力信号。

与现有技术相比，本发明的优点：

(1)本发明增加了图像接触力采集模块，通过法兰盘将三维力传感器固定在力触觉交互设备端部的手柄上，能够实时采集力触觉交互设备所输出的图像接触力，结构简单，易于实现，同时在力信号输出前加入图像接触力反馈控制模块，对采集到的图像接触力信号进行闭环控制，采用比例控制算法，能够实时跟踪比较和调整图像接触力信号的输出，大大提高了图像接触力信号输出的精度，有效的减小因机械装置等原因导致的力触觉交互设备力信号输出的误差，同时使得人机交互系统运行更加稳定，图像的力触觉表达更加真实、逼真、舒适；

(2)开放性、标准化软件系统和模块化结构，可移植性强，使得该控制系统能扩展出各种功能模块，满足不同环境下的应用要求；

(3)本发明的控制系统可用于远程操控或者在虚拟空间中进行机械设计，虚拟外科手术仿真、远程医疗、盲人获取图像信息等领域。

附图说明

图1是系统框图；

图2是系统电路原理图；

图3是力触觉再现设备手柄外接三维力触觉传感器结构示意图；

图4是图像接触力采集框图；

图5是图像接触力反馈控制图，图5a是图像接触力反馈控制原理框图，图5b是图像接触力反馈控制软件流程图；

图6是图像采集和显示框图；

图7是石头表面二维纹理图片；

图8是系统软件流程图；

图9是图像接触力采集电路图，图9a是单片机处理电路单元电路图，图9b是A/D转换单元电路图，图9c是串口接口电路单元电路图。

具体实施方式：

具体实施例1：

一种基于三维力传感器的石头纹理图像力触觉再现控制方法，该方法的主要步骤如下：

步骤1对虚拟场景进行初始化；

步骤2操作者通过操纵力触觉交互设备端部的手柄控制虚拟手接近石头纹理图像，在虚拟手碰撞到纹理图像之前，即在靠近纹理图像的过程中，虚拟手与图像接触力信号f为0；如果发生碰撞，则根据虚拟手与图像接触力计算模块中建立的接触力模型，计算出碰撞点处虚拟手与图像接触力信号f，

该接触力模型的建立是通过对采集到的石头纹理图像Gauss滤波，并将反映纹理信息的高频频谱作为高度图，应用胡克定律和摩擦力公式计算虚拟手对石头纹理表面作用的法向力和切向力作为图像接触力；

步骤3虚拟手与图像接触力信号f输至图像接触力反馈控制模块，图像接触力反馈控制模块对虚拟手与图像接触力信号f与源自力触觉交互设备的反馈力信号f_d进行运算后，以运算结果f′为图像接触力信号；

源自力触觉交互设备的反馈力信号f_d由以下方法得到：

采用图像接触力采集模块，将图像接触力采集模块中的三维力传感器通过法兰盘固定在力触觉交互设备的手柄上，用于采集图像接触力，如图3所示，通过图像接触力采集模块中的三维力传感器外接的单片机处理电路单元，A/D转换电路单元，串口电路单元与信号接收和转换单元，将图像接触力转换成PC机可识别的数据，即反馈力信号f_d，如图4所示，具体步骤如下：

①三维力传感器受到三维力，利用电桥原理，将力信号转换成电压(电流)信号；

②经A/D转换电路单元，模拟电压(电流)信号转换成数字电压(电流)信号，PC机通过RS232串口接收传输的三维力传感器测得的X，Y，Z三个力方向的电压(电流)数据，并载入到信号接收和转换单元中；

③在信号接收和转换单元中，将接收到的三个力方向的电压(电流)信号通过校零，解耦转换成力信号，

图像接触力反馈控制模块对虚拟手与图像接触力信号f与源自力触觉交互设备的反馈力信号f_d进行运算如下，如图5所示：

①将虚拟手与图像接触力计算模块计算出的虚拟手与图像接触力信号f与图像接触力采集单元模块所采集到反馈力信号f_d作差，得到Δf如下：

Δf＝f-f_d，

②对上述的Δf采用比例控制，得到放大或缩小后的力信号差值Δf_k，即：

Δf_k＝k×Δf

其中k为比例系数，k＝1.5，

③将比例控制后的力信号差值Δf_k与虚拟手与图像接触力计算模块计算出的虚拟手与图像接触力信号f一起，共同作为力触觉交互设备在图像接触点处的图像接触力信号f′，即：

f′＝f+Δf_k；

具体实施例2：

基于三维力传感器的石头纹理图像力触觉再现控制方法的系统是基于PC机的开放式的闭环控制系统，该系统充分利用Windows丰富的软件资源和PC机的多种通讯接口，具有移植性强，模块化设计等特点，如图1是本发明控制系统的总体结构方框图，

基于三维力传感器的石头纹理图像力触觉再现方法的控制系统，包括：力触觉交互设备、主手位置检测模块、虚拟手与主手位置映射模块、用于判断虚拟手是否触及二维图像的碰撞检测模块、虚拟手与图像接触力计算模块，力信息输出模块及图像采集和显示模块，

本实例中力触觉交互设备采用的为德国瑞士Force Dimension公司生产的6自由度的Delta手控器，它是一个应用于计算机虚拟现实领域中的产品，其工作空间范围为平移Φ360mm×L300mm和旋转±20deg/axis，能够实现沿X，Y，Z轴的三维力重构，通过Delta手控器端部的手柄，可以触摸、感知和控制虚拟手在虚拟石头纹理表面滑动，并将产生的图像接触力信息实时的反馈给操作者，

本实例中图像采集和显示模块包括图片保存单元和图形刷新单元，如图6所示，图片保存单元用于保存外界导入的石头纹理图像以用于虚拟环境仿真，如图7所示，图形刷新单元用于操作者在显示器上实时观察到虚拟手的移动位置，

本实例中主手位置检测模块用于实时检测主手即力触觉交互设备Delta手控器端部的手柄的位置并获取主手在三维空间中的位置信息，其中主手坐标位置的获取通过调用力触觉交互设备即Delta手控器标准API函数库中的dhdGetPosition()函数实现，单位是m，

本实例中虚拟手与主手位置映射模块用于实时将力触觉交互设备即Delta手控器输入的位置信息转化为虚拟环境下的虚拟手的坐标，使主手与虚拟手在各自的坐标系下协作一致，具体坐标转化关系可根据主手与虚拟手在坐标系下线性映射后位置相等的条件，建立虚拟手与主手之间的对应关系，从而实现主手对虚拟手位置的控制，具体映射关系如下：

Mx＝9*Py，My＝14*Pz，Mz＝Px*5-5，

其中(Mx，My，Mz)为虚拟手位置坐标，(Px，Py，Pz)为主手位置坐标，

本实例中碰撞检测模块用于判断当前力触觉交互设备即Delta手控器在虚拟环境里的虚拟手是否触及到石头纹理图像，由于石头纹理图像所处的位置为虚拟环境坐标系Oxyz下的区域{0≤x≤5，0≤y≤5，z＝0}，因此可以根据虚拟手移动的位置来判断当前力触觉交互设备即Delta手控器在虚拟环境里的虚拟手是否碰撞到虚拟石头表面，如果虚拟手位于区域δ＝{(x，y，z)|x∈[0，5]，且y∈[0，5]且z∈[0，0.5]}内，则碰撞，否则没有发生碰撞，

本实例中虚拟手与图像接触力计算模块采用公知的纹理的力触觉表达方法，该方法源于仪器仪表学报中第29卷第11期中论文《基于DELTA手控器的纹理的力触觉表达方法》(出版日期：2008年11月)，在该模块图像处理单元中对采集到的石头纹理图像进行Gauss滤波，将反映纹理信息的高频频谱作为高度图，在该模块力触觉建模单元中，应用胡克定律和摩擦力公式分别计算虚拟手对石头纹理表面作用的法向力和切向力，共同作为图像接触力，完成力触觉的建模，

本实例中力信息输出模块通过PCI板卡及PCI板卡连接线将接触力反馈控制模块产生的需要输出的接触力信息传输至力触觉交互设备即Delta手控器，通过调用力触觉交互设备即Delta手控器标准API函数库中的dhdSetForce()来设定力触觉交互设备即Delta手控器需要输出的作用力，

基于三维力传感器的石头纹理图像力触觉再现方法的控制系统，还包括图像接触力反馈控制模块和图像接触力采集模块，

本实例中图像接触力采集模块包括三维力传感器和处理电路，三维力传感器采用的是公知的东南大学机器人传感与控制技术实验室自主研制的直接输出型机器人四维力与力矩传感器(授权号：CN 1425903A)，使其输出三维力信号，不输出力矩信号，输出电压范围为-1.4V～+1.4V，额定载荷范围为-100N～+100N，通过法兰盘固定在力触觉交互设备即Delta手控器端部的手柄上，如图3所示，用于检测力触觉交互设备Delta手控器反馈输出力的大小，通过外接的处理电路，包括单片机处理电路模块，A/D转换电路模块，串口电路模块与信号接收和转换模块，转换成PC机可识别的数据，即反馈力信号f_d，经接触力反馈控制模块跟踪补偿后，通过力信息输出模块由Delta手控器反馈给操作者，如图4所示，具体步骤如下：

①三维力传感器受到三维力，利用电桥原理，将力信号转换成电压信号，

②经A/D转换电路单元，模拟电压信号转换成数字电压信号，PC机通过RS232串口接收传输的三维力传感器测得的X，Y，Z三个力方向的电压数据，并载入到信号接收和转换单元中，

③在信号接收和转换单元中，将接收到的三个力方向的电压信号通过校零，解耦转换成力信号，

本实例中图像接触力反馈控制模块的一个输入端与虚拟手与图像接触力计算模块的输出端连接，用于接收图像接触力信号f，图像接触力反馈控制模块的另一输入端与图像接触力采集模块的输出端连接，用于接收反馈力信号f_d，图像接触力反馈控制模块的输出端与力触觉交互设备即Delta手控器的一个输入端连接且用于接收力触觉交互设备即Delta手控器在图像接触点处的图像接触力信号f′，图像接触力反馈控制模块用于计算图像接触点处的图像接触力信号f′，即：

f′＝f+k×(f-f_d)

其中，k∈[0.5，10]，

所述三维力传感器还可以采用蚌埠传感器系统工程有限公司生产的金诺JHSW-II型号的三维力传感器，输出电压范围为-4V～+4V，额定载荷范围为-19.6N～+19.6N。

参照图7，该系统的软件流程如下：

步骤1对外部导入的虚拟物体图片进行保存；

步骤2在虚拟手与图像接触力计算模块中，调用上述的虚拟物体的二维图片，借助一定的图像采集、处理和识别系统，提取虚拟物体图片中有意义的信息，例如物体占有区，轮廓，纹理特征等等，并建立接触力模型，将图像信息转换成力触觉信息；

步骤3对虚拟场景进行初始化，在虚拟环境坐标系Oxyz中的区域

{0≤x≤X，0≤y≤Y，z＝0}中加载虚拟物体的二维图片，二维图片在虚拟空间中的位置左右对齐，且上下对齐，在虚拟环境中初始化虚拟手，即力触觉交互设备在虚拟环境中的代理；

步骤4初始化力触觉交互设备；

步骤5操作者通过力触觉交互设备端部的操作柄及虚拟手与主手位置映射模块控制虚拟手接近二维图片。虚拟手与主手位置映射模块实时将力触觉交互设备输入的位置信息(Px，Py，Pz)转化为虚拟环境下的虚拟手的坐标(Mx，My，Mz)。具体坐标转化关系可根据多个采样点在主手坐标系和虚拟手坐标系中的位置对应关系，建立虚拟手位置与主手位置之间的对应坐标映射关系，从而实现主手对虚拟手位置控制的目的，其中(Px，Py，Pz)坐标位置的获取在主手位置检测模块获得；

步骤6碰撞检测模块检测当前力触觉交互设备在虚拟环境里的虚拟手是否碰撞到虚拟物体的二维图片，由于虚拟纹理图片所处的位置为虚拟环境坐标系Oxyz下的区域Ω＝{0≤x≤X，0≤y≤Y，z＝0}，其中X，Y分别为虚拟图片在虚拟环境里的长度和宽度，因此可以根据虚拟手移动的位置信息来判断是否碰撞到虚拟物体图片；

步骤7根据碰撞检测的结果以及虚拟手当前的坐标，经过虚拟手与图像接触力计算模块，计算出当前位置需要输出的虚拟手与图像接触力信号f。如果没有碰撞到虚拟物体图片，则虚拟手与图像接触力信号f为0；如果发生碰撞，则根据虚拟手与图像接触力计算模块中建立的接触力模型，计算出虚拟手与图像接触力信号f；

步骤8虚拟手与图像接触力信号f输至图像接触力反馈控制模块，图像接触力反馈控制模块对虚拟手与图像接触力信号f与源自力触觉交互设备的反馈力信号f_d进行运算后，以运算结果f′为图像接触力信号；

源自力触觉交互设备的反馈力信号f_d由以下方法得到：

采用图像接触力采集模块，将图像接触力采集模块中的三维力传感器固定在力触觉交互设备的手柄上，用于采集图像接触力，通过图像接触力采集模块中的三维力传感器外接的处理电路，包括单片机处理电路单元，A/D转换电路单元，串口电路单元与信号接收和转换单元，将图像接触力转换成PC机可识别的数据，即反馈力信号f_d；

图像接触力反馈控制模块对虚拟手与图像接触力信号f与源自力触觉交互设备的反馈力信号f_d进行运算如下：

①将虚拟手与图像接触力计算模块计算出的虚拟手与图像接触力信号f与图像接触力采集单元模块所采集到反馈力信号f_d作差，得到Δf如下：

Δf＝f-f_d，

②对上述的Δf采用比例控制，得到放大或缩小后的力信号差值Δf_k，即：

Δf_k＝k×Δf

其中k为比例系数，k∈[0.5，10]，

③将比例控制后的力信号差值Δf_k与虚拟手与图像接触力计算模块计算出的虚拟手与图像接触力信号f一起，共同作为力触觉交互设备在图像接触点处的图像接触力信号f′，即：

f′＝f+Δf_k；

步骤9力信息输出模块通过PCI板卡及PCI板卡连接线将图像接触力反馈控制模块产生的需要输出的图像接触力信号传输至力触觉交互设备；

步骤10如果虚拟手碰撞到虚拟物体图片，则虚拟手不再移动(考虑的是刚性接触)，仍在原位置绘制虚拟手，然后图形刷新；如果虚拟手未碰撞到虚拟物体图片，则应该在虚拟环境中更新虚拟手的位置，即在基于主手位置检测模块和虚拟手与主手位置映射模块得出新的位置绘制虚拟手，进行图形刷新；

步骤11通过力触觉交互设备、显示器把要求更新的图像接触力信息和视觉信息反馈给操作者，使其不仅能够看到且能感觉到图像接触力的变化，然后再回到步骤5。