用于机械臂遥操作人机交互研究的仿真实验训练平台

摘要

一种用于机械臂遥操作人机交互研究的仿真实验训练平台，包括：主控界面模块、通信接口模块、数据库模块、测试模块、任务场景及操作仿真模块以及外部设备，主控界面模块与通信接口模块以及数据库模块相连分别传输场景、任务配置参数、控制信号和操作者信息数据、场景配置数据信息，测试模块以任务场景及操作仿真模块输出的仿真时间和仿真结果作为输入，并将测试数据输出至数据库模块，任务场景及操作仿真模块与通信接口模块、测试模块以及数据库模块相连，将通信接口转换后的操纵信号作为输入，并对应的操作数据输出至数据库模块与测试模块。本发明利用工业操纵杆实现机械臂遥操作的仿真实验训练。

说明书

技术领域

本发明涉及虚拟现实领域的技术，具体涉及一种用于机械臂遥操作人机交互研究的仿真 实验训练平台。

背景技术

西西利亚诺在《机器人手册》中提出：遥操作是机器人应用中的一个重要技术，是指： 操作者通过机器人遥操作平台控制机器人，用户对规划层、认知层等系统高层进行决策，而机 器人只负责机械实现。遥操作机器人一般应用于危险环境中的任务处理(如核或者化工生产过程 中)，远程并且高代价的航天活动中(如空间生产、空间加工、空间装配、空间维护等)。

机器人实体遥操作可以使操作者更真切地感受真实的操作环境，但是设计任务场景时对 硬件和相关软件要求高、训练成本高，开发合适的任务场景难度大。因此在实际的操作培训中 难以大量使用。

而仿真系统能设计各种任务场景，能够更有针对性地对操作员开展有人参与的实验研究 并进行训练，可以更好地记录操作者的操作过程，获取更充分的训练数据，训练成本低。

EricRohmer,SuryaP.N.Singh在(IEEE/RSJInternationalConferenceonIntelligentRobots and  systems(IROS),2013)中提出现有的机器人仿真商业化软件有ROBCAD、ROBOT‐SIM、 WeBots等，但是大多数这类软件不仅价格昂贵，而且仿真模型与控制器的可移植性较差。而 且现有仿真平台一般是定制专用的并且多集中于军事、医疗和化工等领域某一方面，鲜有进一 步结合人因工程学中测评方法并涉及机械臂遥操作人机交互仿真实验训练方面的成果。

杨家忠，张侃在《情境意识的理论模型、测量及其应用》(心理科学进展.2004.12(6):842 ‐850)中提出：情境意识(Situation Awareness简称SA)是个体对不断变化的外部环境的内部表征。 在复杂、动态变化的信息环境中，它是影响操作者决策和绩效的关键因素。因此我们用操作者 的操作绩效与情境意识水平作为对人机交互系统理解程度及空间认知水平的度量。

Endsley M R.Garland D J.在(Situation awareness analysis and measurement.Mahwah.NJ: Erlhaum.2000)中提出的SA评定技术属于直接自我评定，它通过10维或3维的SART量表来 测量操作者的SA。

Endsley M R,Bolstad C A.在(Individual differences in pilot situation awareness. International Journal of Aviation Psy‐chology,1994,4(3):241‐264)中提出利用SAGAT技术测量 飞行员的SA，比较SA与其在18项认知、知觉及心理运动成套测验成绩之间的关系。

Federal Aviation Administration.在(Crew resource management training:Advisory  Circular(AC No:120‐51e).Washington.DC:Federal Aviation Administration,Flight Standards  Service,2004)中提出保持高水平的SA一方面需要通过系统设计，另一方面需要通过训练。目 前在航空领域广泛开展的机组资源管理训练已经证明了这一点。因此，结合上述内容，开发一 款能够有效记录与测评操作员的操作绩效以及情境意识的仿真实验训练平台是有必要的。

发明内容

本发明针对现有技术存在的上述不足，提出一种用于机械臂遥操作人机交互研究的仿真 实验训练平台，操作者利用工业操纵杆实现仿真机械臂遥操作的操纵，在操作者操作过程中记 录可对人机交互系统理解程度及空间认知水平进行度量的操作绩效评价指标数据及操作者的 SA测试数据。

本发明是通过以下技术方案实现的：

本发明包括：主控界面模块、通信接口模块、数据库模块、测试模块、任务场景及操作 仿真模块以及外部设备，其中：主控界面模块与通信接口模块以及数据库模块相连分别传输场 景、任务配置参数、控制信号和操作者信息数据、场景配置数据信息；通信接口模块与外部设 备、主控界面模块以及任务场景及操作仿真模块相连并实现转换、传输相应的操作输入；数据 库模块与主控界面模块、任务场景及操作仿真模块以及测试模块相连并存储对应的输出数据； 测试模块以任务场景及操作仿真模块输出的仿真时间和仿真结果作为输入，并将测试数据输出 至数据库模块；任务场景及操作仿真模块与通信接口模块、测试模块以及数据库模块相连，将 通信接口转换后的操纵信号作为输入，并对应的操作数据输出至数据库模块与测试模块；外部 设备与通信接口模块相连并将操作信号输入至软硬件的通信接口，以完成信号的识别、转换与 输出。

所述的主控界面模块完成仿真实验训练初始化参数的设置以及管理操作者的数据，该模 块包括：场景参数配置子模块、操作人员管理子模块、训练数据管理子模块、操作者登陆子模 块和过程控制子模块，其中：场景参数配置子模块、操作人员管理子模块和训练数据管理子模 块分别与数据库模块相连并完成信息的传输，场景参数配置子模块、操作者登陆子模块和过程 控制子模块与软件间通信接口子模块相连并传输场景、任务配置参数以及控制信号。

所述的通信接口模块实现软硬件之间以及软件—软件之间的信号交流，该模块包括：软 件间通信接口子模块和软硬件通信接口子模块，其中：软件间通信接口子模块用于实现主控界 面模块与任务场景及操作仿真模块之间的通信，获得场景、任务配置参数作为输入，并调用相 关的函数接口实现打开、运行和关闭对应的任务场景；软硬件通信接口子模块间接地将外部设 备与主控界面模块和任务场景及操作仿真模块连接在一起，并将击键输入和操纵输入分别输出 至主控界面模块与任务场景及操作仿真模块。

所述的数据库模块存储操作者信息以及相应的训练数据，该模块包括：训练数据存储子 模块、操作人员数据存储子模块和场景数据存储子模块，其中：训练数据存储子模块分别与任 务场景及操作任务仿真模块和测试模块相连并获得操作动态数据、绩效数据以及测试数据，操 作人员数据存储子模块和场景数据存储子模块与主控界面模块相连并分别接收操作者信息和 场景配置数据。

所述的测试模块测评操作者的情境意识水平，该模块包括：SART测试子模块与SAGAT 测试子模块，其中：SAGAT测试子模块以仿真时间作为输入，并在仿真时间满足设定的条件时， 暂停操作，并采用SAGAT冻结法范式对SA进行测试；SART测试子模块以仿真状态参数作为 输入。此外，两个子模块都将测试数据传输至数据库中。

所述的任务场景及操作仿真模块是机械臂遥操作仿真实验训练得以实现的关键，该模块 是基于机器人仿真软件V‐REP基础功能模块进行二次开发的成果，该模块以场景参数作为输入， 实现所对应的布局、机械臂、基本操作任务仿真等配置的初始化，并在仿真实验训练进行的过 程中，实时获得软硬件通信接口的返回值接着利用该返回值实现机械臂在仿真场景中空间位姿 的改变并完成运动状态的判断，该模块包括：布局仿真单元、机械臂本体仿真单元、基本操作 任务仿真单元、机械臂长参数仿真单元和操作状态仿真单元，其中：布局仿真单元、机械臂本 体仿真单元、基本操作任务仿真单元、机械臂长参数仿真单元和操作状态仿真单元与软件间通 信接口子模块相连，并获得软件间通信接口子模块输出的初始化参数以及操作过程控制信号。 此外，操作状态仿真单元也与软硬件通讯接口子模块、测试模块和训练数据存储子模块相连， 操作状态仿真单元获得软硬件通讯接口模块的输出，并将相关的仿真状态信息、操作数据分别 输出至测试模块与数据库模块。

所述的外部设备包括：键盘、鼠标及操纵杆。

技术效果

与现有技术相比，本发明的突出优点在于：

1)方便易用使用成本低，可重复实验训练操作，并具有很强的可扩展性，特别是任务场 景及操作任务仿真模块，开发人员可应用封装的编程函数接口针对实际所需做进一步设计开发；

2)利用了人因工程学的方法，通过实时记录仿真时间、位姿偏差、空间位姿、操纵输入 信号、错误次数等绩效数据以及操作者的SA测试数据，并将这些数据保存在数据库中。这些 数据可以为操作者提供信息反馈，可以帮助操作者及时了解操作质量，寻找不足，改进技术；

3)此外，操作绩效数据与SA测试数据能将操作者对人机交互平台的理解程度反馈给管 理员和设计者，设计者或管理者可依此改进人机交互界面。

4)该仿真实验平台可用于人机交互研究，为人因实验提供了一个方面设计操作分析的仿 真实验训练平台。

附图说明

图1为本发明系统示意图。

图2为本发明树状功能图。

图3为实施例可视化仿真界面。

图4为实施例外部设备示意图。

图5为实施例流程示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施， 给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图1和图2所示，本实施例包括：主控界面模块、通信接口模块、数据库模块、测试 模块、任务场景及操作仿真模块以及外部设备，其中：主控界面模块与通信接口模块以及数据 库模块相连分别传输场景、任务配置参数、控制信号和操作者信息数据、场景配置数据信息； 通信接口模块与外部设备、主控界面模块以及任务场景及操作仿真模块相连并实现转换、传输 相应的操作输入；数据库模块与主控界面模块、任务场景及操作仿真模块以及测试模块相连并 存储对应的输出数据；测试模块以任务场景及操作仿真模块输出的仿真时间和仿真结果作为输 入，并将测试数据输出至数据库模块；任务场景及操作仿真模块与通信接口模块、测试模块以 及数据库模块相连，将通信接口转换后的操纵信号作为输入，并对应的操作数据输出至数据库 模块与测试模块；外部设备与通信接口模块相连并将操作信号输入至软硬件的通信接口，以完 成信号的识别、转换与输出。

如图3所示，以构建对接任务为例，对本系统运作过程进行详细阐述，具体如下：

操作者通过登入该平台主控界面后录入自身的信息后，即可开始仿真实验训练。管理员 可根据实验训练需要或实验训练进程的需要对实验训练过程进行全程的控制管理，包括启动、 暂停、恢复、停止四个控制操作。

在仿真实验训练进行的过程中即启动任务场景及操作仿真模块，以选取的初始试验参数 作为输入，进行场景布局、机械臂的臂长参数、基本操作任务、初始状态的初始化，使仿真场 景能够符合初始实验输入参数。任务场景及操作仿真启动完成以后，通过实验训练平台通信接 口完成信息的转换与传输，操作者即可利用两个工业操纵杆操控仿真机器人去完成已选定的任 务。在仿真实验训练的过程中，该平台会以SAGAT冻结法范式进行SAGAT的问题测试。该平 台的数据记录功能可将实验训练过程中的操作数据、任务过程数据、绩效数据和情境意识测试 数据保存到数据库中。

此外，在操作完成后，管理员可按照操作开始时间、管理员、操作者、类型等关键字查 询相应的数据。

如图5所示，为本实施例的具体操作流程。

所述的场景及操作仿真模块包括：布局仿真、机械臂本体仿真、基本任务仿真、机械臂 长参数仿真和操作状态仿真。

布局仿真主要是对可视化的3D操作环境下物体的布局进行仿真。主要分为以下两个部 分：1)机械臂布局仿真；2)摄像机布局仿真。

①机械臂的布局仿真

参照工业机器人在实际生产线中的使用情况以及仿真实验训练任务的需要，在仿真场景 中，我们将机械臂模型固定在相应的底座上。并将机械臂及底座放置在仿真场景的中心位置。

②摄像机的布局仿真

仿真两种摄像机配置：宽视角全局相机与窄视角局部相机。两者的功用不同，宽视角全 局相机主要是用于观察整个仿真场景的环境，判断机械臂在空间中的大致方向与位置，而窄视 角局部相机主要是布置在目标物周围，当机械臂的操作末端接近目标物时，则需利用窄视角局 部相机对机械臂的末端与目标物的空间位置进行相对精细的判断。

仿真场景中摄像机默认布局为4个分别安装在下臂靠近抓握端的位置、全局斜上角位置、 靠近绿色目标物的斜上方和靠近白色目标物的斜上方的宽视角全局相机，2个分别安装在目标 物的临近位置处的窄视角局部相机，机械臂模型并未在相机的拍摄范围内。摄像机的图像输出 如图3所示。

通过在三维场景中设置模拟的摄像机，仿真该摄像机拍摄的图像并输出至工作台显示器 上；仿真实验训练任务开始前，可以通过鼠标点击的方式，在三维场景中设置虚拟摄像机的位 置和数量。而且管理员也可通过眼动仪记录观察数据并分析操作者的观察倾向，对虚拟摄像机 的三维场景图像进行增减。

所述的机械臂本体仿真是指：建立与工业机械臂一致的操作仿真模型，使其具有相同的 关节活动性。并且更进一步对其材质、质量、摩擦力和颜色等参数进行设置，使得该机械臂仿 真模型的各零件与实际中构成零件的性质相仿。通过设计机械臂各组成零件的层级结构并在各 关节连接处添加实体关节以及传感器，并对关节实体中的运动角度、最大运动速度以及最大运 动力矩进行设置，可使得该仿真机械臂具有与实际机械臂具有相似的运动性能。

在图3中的机械臂模型是对工业机器人的实体仿真，是通过导入实体机器人的CAD模 型实现的，该工业机器人为六自由度机械臂。在仿真模型中对本体的技术参数进行了实现，使 之与实体机器人具有相同的本体重量、负载能力、运动范围和最大运动速度。

所述的基本操作任务仿真是指：在机械臂末端工装配置抓手工装(圆柱、矩形、菱形、 十字形)，每个仿真场景中有两个立方体块，每个立方体上分别设有3个对接槽，对接目标分别 为正方体上的圆柱形凹槽、矩形凹槽、菱形凹槽、指定方向的十字形凹槽。根据不同的对接对 象来定义不同的仿真任务。这四种仿真任务的难度依次加大，对于操作者的情境意识能力也逐 渐加强。操作者能够循序渐进地对四个任务依次进行操作，达到增强情境意识能力的培训效果。

所述的机械臂长参数仿真是指：可以构建不同臂长的机械臂仿真模型，以适应不同的实 验训练要求。记录的操作数据、任务场景信息和SA测试数据可用于操作者情景意识的分析和 测量。

所述的操作状态仿真是指：构建了与实际中操作状态相符的仿真环境，能够实现机械臂 的运动状态仿真。

所述的操作状态是指：控制时延，操纵末端的初始位置，机械臂速度控制，对接目标面 随机分配，碰撞检测，运动范围检测和运动操控。

控制时延初始化。可根据实际的操作环境决定是否需要操作时延。管理员可对操作时延 参数进行设置，以模拟实际操作环境。

初始位置随机分配。在实际中，存在着每次操作机械臂时各关节的初始位置点可能是不 一致的情况。因此，当前的仿真环境中，相对于当前的对接目标，将操作难度划分为三个难度 等级，分别为低、中、高。在当前的难度等级下，利用脚本语言设计初始位姿随机设定算法， 实现操纵末端的初始空间位姿随机设定，然后通过逆向运动学的方法，求解出各关节在绝对坐 标系下的初始空间坐标与关节角，实现机械臂的初始位置设定。

机械臂速度控制为可人为控制移动的速度而且对各关节的最大运动速度参数进行设置。 如在航空航天领域，利用机械臂完成太空作业，当接近目标时，各关节处响应方式改变，由原 来信号与响应一一对应到三个信号对应一个响应。因此在仿真设计中，操作者可通过工业操纵 杆上的按钮改变机械臂的最大移动速度。

对接目标面随机分配。每次仿真实验训练开始时，程序随机指定当前需要对接的目标面， 并对操作员进行提示(若有对接方向要求，会在末端与对接物体上同时用颜色标记)。

碰撞检测。在仿真实验训练进行的过程中实时检测是否因为机械臂的运动而与周围的环 境或者目标物发生碰撞。若发生碰撞则返回相关的提示，并且不能继续向导致物体交迭的方向 移动。

运动范围检测。检测机械臂的各关节与末端是否超出当前参数设定下的运动范围。若到 达运动范围边界，则给出相关的提示，并且不能向边界外方向移动。

运动操控。配置两个如图4所示的操纵杆，按照操控习惯，右手操纵杆控制机械臂末端 的空间位置，左手操纵杆控制机械臂末端的姿态。以机械臂末端坐标系作为操控坐标系。在图 4中，标注为x方向，右手(左手)操纵杆对应方向控制沿x轴平移(滚转)；标注为y方向，右手 (左手)操纵杆对应方向控制沿y轴平移(滚转)；标注沿z旋转方向，右手(左手)操纵杆对应方向 控制沿z轴平移(滚转)。如图3所示，操作者在操作过程中可以通过六个摄像头的输出图像界 面判断机械臂的移动方向、目标物和操控末端的空间关系。如图3右下角所示，操作员在操作 的过程中可以看到当前与目标物的偏差，仿真进行的时间，以及机械臂各关节的转角。在操作 者进行仿真实验训练的过程中会对操作者的SA进行测试。

所述的管理员操作模块包括场景参数配置、操作人员管理、训练数据管理、操作者登陆 和过程控制子模块，其中：场景参数配置是指管理员在本系统中添加和关联仿真场景，让操作 者能快速的进行实验训练操作。关联的参数分别为：主因选择、臂长、任务类型、操作延时、 初始位置、摄像头位置、任务时间。

所述的操作人员管理是指：管理员能添加、删除操作者，可修改操作者名字、部门、电 话、年龄、性别等信息。

所述的训练数据管理是指：本系统可显示所有操作者和其做过的所有实验训练的简要数 据，如有需要可以直接查看绩效数据。记录了如表1所示的操作绩效评价指标。

表1绩效数据表头

操作者登陆能直接进行设定参数下的实验训练，并将训练数据存储至数据库中所对应的 操作者训练数据存储中。并且在操作的过程中，管理员可根据实验训练需要或实验训练进程的 需要对操作过程进行全程的控制管理，包括启动、暂停、恢复、停止四个控制操作。

所述的数据库模块包括：训练数据存储子模块、操作人员数据存储子模块和场景数据存 储子模块，其中：场景参数的数据都存储在训练数据存储子模块对应的表中，包括以下数据： 场景编号、场景名称、场景路径、场景的主因、场景任务类型、臂长、场景摄像头位置、操作 延时、场景实现参与方式、场景创建时间、规定完成时限、是否当前实验训练、实验训练的难 度；操作人员数据存储子模块中包括操作者个人信息及其帐号密码；场景数据存储子模块中包 括存储操作者所做过所有的仿真实验训练的编号及进行的时间，存储如表1所示内容的绩效数 据文件的路径，存储随机抽取的SA测试题的索引号和操作者选择的答案。

所述的通信接口模块包括：用于实现软件间的通信的软件间通信接口子模块和通过编写 外挂程序拓展本系统的函数功能的软硬件通信接口子模块，其中：软件间通信接口子模块提供 V‐REP的Regular API里面的simRunSimulator、simQuitSimulator等函数来实现打开特定的仿 真场景、关闭场景等操作，该子模块包括以下接口：利用API库中的文件操作类函数实现打开 场景、加载界面等功能的文件操作类接口、用于获得特定界面、对象等的句柄的句柄操作类接 口、利用API库中的仿真控制类函数实现操作者开始进行仿真实验训练、操作者暂停仿真实验 训练等场景的操作的场景控制类接口；软硬件通信接口子模块通过C++语言实现软硬之间通信 API。该API主要获取操纵杆的信号输入，并将该输入转化为所对应数字输出。通过在V‐REP 的嵌入式脚本中使用脚本语言调用该函数，并获得该函数的返回值，将返回值转化为空间坐标 以及空间角度增量。最后通过调用V‐REP常规API库中对应的函数，实现通过工业操纵杆控制 仿真机械臂在仿真场景中空间位置的改变。

所述的测试模块包括：SAGAT测试子模块和SART测试子模块，其中：SAGAT测试子模 块在仿真过程中的随机时间点随机从SAGAT测试题库中抽取四个有关SAGAT的问题进行测试， 主要测试操作员对当前情境的认知结果。在此过程中并将测试题目的索引值，答案的标号保存 至数据库中该操作者的训练数据中；SART测试子模块从十个方面对操作员的SA进行测试。分 别是：情境的稳定性、情境的变化性、情境的复杂度、唤醒水平、剩余心理资源、注意集中程 度、注意分配、信息数量、信息质量和对情境的熟悉程度。