面向全息展示的多通道人机交互工效测评系统及测评方法

摘要

面向全息展示的多通道人机交互工效测评系统及测评方法，包括全息投影系统，多通道交互系统和生理信号采集及处理系统；所述全息投影系统包括投影仪和180度全息柜，所述投影仪设置在180度全息柜正前方，并用于照射180度全息柜；本发明的测试系统拓展性强，可添加其他输入设备，完成全息展示下的各种交互工效的测评，比如可应用到飞机座舱、汽车座舱等环境下的多通多交互工效研究。发明测评方法简单，方便快捷，根据本发明的测评结果可以相应的选择在多通道条件或键鼠交互条件下进行交互，以减少对交互者的认知造成不必要的疲劳，具有较强的实际应用意义。

说明书

技术领域

本发明属于人机工程学技术领域，涉及一种实验系统，具体涉及一种面向全息展示的多 通道人机交互工效测评系统及测评方法。

背景技术

全息(Hologram)技术也称虚拟成像技术，是利用干涉和衍射原理记录并再现物体真实 三维图像的技术。该技术的完整实现所耗费的计算量极大，使用条件苛刻，近期还达不到实 际应用要求。比如，美国Univ.ofArizona教授SavasTay的研究小组研究了在photorefractive- polymer这种新的全息记录材料上，利用数码全息打印方式，能较短时间内记录一张4in×4in 的数码全息图，但目前大面积记录材料的制作非常困难，记录材料的感光灵敏度还不够理想， 造成了技术的推广存在较大困难。但相对的，商业领域利用一种更为便捷的方式来实现“全息” 的使用体验，即基于光路折射及叠加原理，利用特制透明薄膜成像，使像具有多个可视角度， 如同全息图像一般可在多个角度进行观察，并且图像具有明显的空间感和透视感。这一技术 也称作“幻影成像”(SpectraVision)，现在越来越多地应用到文物展览、舞台节目、汽车发布 会、服装秀等领域。例如，2006年3月著名时装品牌AlexanderMcQueen在巴黎的发布会上 展示了在金字塔型玻璃罩中漂浮的模特的等身大小的幻影；2010年日本世嘉公司第一采用全 息投影技术举办了虚拟偶像演唱会，现场效果震撼；国内的博物馆文化馆也引进了这一技术， 如西安汉阳陵、常州博物馆、规划馆都采用了全息展示技术。

在展示的过程中，人们也更多地加入交互特性。传统的展示设计局限于空间的营造和展 示的内容，反而忽视了展示的根本目的——信息的传达和获取。如今在全息投影技术的大背 景下，展示设计逐渐将传统的静态物品展示变成了动态的、非物质的、以观众为主的互动性 展示。其中常用的技术是有触摸、红外线肢体动作扑捉和声音识别等多通道交互技术。多通 道人机交互中工效问题一直是人机交互的一大方向，随着多通道人机交互的展示方式由电脑 屏幕转向全息展示，工效问题再次成为亟须研究的问题。而脑负荷是检测工效的一个重要指 标，但是现有技术无法实现在全息显示下交互者脑负荷的判断，进行工效的测评。

发明内容

为克服现有技术中的问题，本发明的目的在于提供一种面向全息展示的多通道人机交互 工效测评系统及测评方法，可用于研究测试使用180度全息投影成像技术做展示时，多通道 交互使用者的脑负荷变化，完成多通道人机交互工效测评。

为实现上述目的，本发明采取如下技术方案：

面向全息展示的多通道人机交互工效测评系统，包括全息投影系统，多通道交互系统和 生理信号采集及处理系统；

所述全息投影系统包括投影仪和180度全息柜，所述投影仪设置在180度全息柜正前方， 并用于照射180度全息柜；

所述多通道交互系统包括体感传感器、第一计算机和用于被试坐的座椅，其中体感传感 器置于全息柜体的底部，并且与第一计算机相连；

所述生理信号采集及处理系统包括佩戴在被试者头部的脑波仪，脑波仪连接有第二计算 机。

所述180度全息柜包括长方体状支架，支架内设置有全息玻璃、双面成像玻璃、平面镜 和无纺背景布，双面成像玻璃水平设置，平面镜位于双面成像玻璃上且与双面成像玻璃呈45 度角设置，全息玻璃与平面镜关于双面成像玻璃对称设置；无纺背景布将支架的5个面遮蔽 使得投影仪能够向平面镜的反射面投影。

所述座椅包括座椅骨架，座椅骨架内填充有海绵填充物，座椅骨架外部由皮革包裹，座 椅骨架一侧设置有用于调节座椅靠背倾斜角度的调角器。

所述座椅骨架底部设置有滑轨。

面向全息展示的多通道人机交互工效测评方法，通过第一计算机将交互程序的交互界面 经过投影仪向平面镜投射，经过平面镜的反射，使双面成像玻璃两面呈现一个清晰的虚像， 该虚像再由全息玻璃折射和反射，在座椅正前方呈现一个虚像；调节座椅的靠背角度以及被 试与体感传感器的距离，被试头戴脑波仪，坐于座椅中，利用体感传感器和上述虚像交互， 交互过程中的脑波信号传入第二计算机中，计算脑波近似熵；然后被试利用鼠标和键盘与上 述虚像进行相同的交互，交互过程中的脑波信号传入第二计算机中，计算脑波近似熵；分别 取前后两次脑波近似熵的平均值，比较两个平均值大小，较小值代表脑负荷越高，较大值代 表脑负荷越低，由此得出多通道交互与利用鼠标和键盘交互给被试造成的认知疲劳差异，完 成多通道人机交互工效测评。

计算脑波近似熵是利用近似熵公式进行计算的。

与现有技术相比，本发明的有益效果在于：本发明将常见的180度全息投影成像技术中 的数字屏幕替换为投影仪、平面镜和双面成像玻璃的组合，便于随时调整测评所用的图像大 小，降低了更换数字屏幕大小的成本。利用投影仪外置的结构，取代市面上常见的LED屏直 接投影的形式，使得使用此系统的实验人员可以根据实验条件，自主方便地调节投影的大小， 省去添置各尺寸显示屏的成本。本发明采用非侵入式的脑波仪，免除常见的脑电帽使用过程 中涂抹电极膏的繁琐，节省时间，便于使用。本发明的测试系统拓展性强，可添加其他输入 设备，完成全息展示下的各种交互工效的测评，比如可应用到飞机座舱、汽车座舱等环境下 的多通多交互工效研究。

本发明测评时，通过第一计算机将交互程序的交互界面经过投影仪向平面镜投射，经过 平面镜的反射，使双面成像玻璃两面呈现一个清晰的虚像，该虚像再由全息玻璃折射和反射， 在座椅正前方呈现一个虚像；调节座椅的靠背角度以及被试与体感传感器的距离，被试头戴 脑波仪，坐于座椅中，利用体感传感器和上述虚像交互，交互过程中的脑波信号传入第二计 算机中，计算脑波近似熵；然后被试利用鼠标和键盘与上述虚像进行相同的交互，交互过程 中的脑波信号传入第二计算机中，计算脑波近似熵；分别取前后两次脑波近似熵的平均值， 比较两个平均值大小，较小值代表脑负荷越高，较大值代表脑负荷越低，由此得出多通道交 互与利用鼠标和键盘交互给被试造成的认知疲劳差异，完成多通道人机交互工效测评。本发 明测评方法简单，方便快捷，根据本发明的测评结果可以相应的选择在多通道条件或键鼠交 互条件下进行交互，以减少对交互者的认知造成不必要的疲劳，具有较强的实际应用意义， 克服了现有技术中不能用于测评全息展示下的多通道人机交互工效的问题。本发明同样可以 用于其他环境下的交互测评，比如飞机座舱、汽车座舱等环境下的多通多交互工效研究，为 舱室的交互设计和任务逻辑设计提供实验数据支持，减少交互者交互时的认知疲劳。

附图说明

图1是本发明提供的面向全息展示的多通道人机交互工效测评系统的组成示意图；

图中，1为平面镜，2为双面成像玻璃，3为全息玻璃，4为投影仪，5为投影仪支架，6 为传感器，7为第一计算机，8为站台，9为座椅，10为脑波仪，11为第二计算机，12为无 纺背景布。

具体实施方式

下面结合附图对本发明进行详细描述。

参见图1，一种面向全息展示的多通道人机交互工效测评系统，包括全息投影系统，多 通道交互系统和生理信号采集及处理系统；

所述全息投影系统包括180度全息柜、投影仪4、投影仪支架和设置在180度全息柜前 方的站台8。所述投影仪4设置在180度全息柜正前方并用于照射180度全息柜，并且投影 仪4设置在投影仪支架上，180度全息柜外形为长方体状，包括长方体状支架，支架上设置 有全息玻璃3、双面成像玻璃2、平面镜1和无纺背景布12，双面成像玻璃2水平设置，平 面镜1位于双面成像玻璃2上且与双面成像玻璃2呈45度角设置，平面镜1的反射面朝向双 面成像玻璃2，全息玻璃3与平面镜1关于双面成像玻璃2对称设置，并且全息玻璃3的反 射面朝向双面成像玻璃2；无纺背景布12将支架的5个面遮蔽使得投影仪4能够向平面镜1 的反射面投影；具体的，180度全息柜体六个面中，除前面外，其余5个面均有黑色背景布 覆盖，保证成像效果。柜体中间由水平放置的双面成像玻璃2分割为上下两个空间。平面镜 1设置在上部空间内，全息玻璃3设置在下部空间内，平面镜1、全息玻璃3以双面成像玻璃 为对称面对称。投影仪支架由角钢支架搭建，顶部装有可调整角度的投影仪放置台。投影仪 至于投影仪支架上，调整倾斜角度向柜体中平面镜投影图像。站台8主要承载座椅9、计算 机工作站(包括第一计算机和第二计算机)和交互设备等，当每个设备布置好后可以整体固 定，以便系统测试和实验研究。

投影仪可以为工程投影仪；无纺背景布为黑色加厚无纺背景布。

多通道交互系统包括体感传感器6、用于被试坐的座椅9和第一计算机7。体感传感器6 用于采集被试的指令体感传感器6位于180度全息柜的底部，并且与第一计算机7相连。包 括座椅骨架，座椅骨架内填充有海绵填充物，座椅骨架外部由皮革包裹，座椅骨架一侧设置 有用于调节座椅靠背倾斜角度的调角器，座椅骨架底部设置有滑轨。调节器可以调节座椅靠 背的倾斜角度，座椅沿滑轨能够滑动，从而调整座椅与180度全息柜的距离。

所述体感传感器6型号为Kinectv2.0体感传感器。

生理信号采集及处理系统由脑波仪10和第二计算机11组成，脑波仪10与第二计算机 11相连，被试者头部佩戴脑波仪，脑波仪10采集被试交互过程中的脑电变化，由第二计算 机处理数据。

所述脑波仪为EmotiveEPOC+脑波仪。

上述测评系统的测评方法：第一计算机7将交互程序的交互界面经过投影仪4向平面镜 1投射，经过平面镜1的反射，使双面成像玻璃2两面呈现一个清晰的虚像，该虚像再由全 息玻璃3折射和反射，在座椅9正前方呈现一个具有漂浮感和空间感的虚像。

调节座椅9的靠背角度以及被试与体感传感器6的距离，被试头戴脑波仪10，坐于座椅 9中，首先利用体感传感器6和上述的虚像交互，完成交互任务；交互过程中的脑波信号传 入第二计算机11中，利用Pincus等人提出的近似熵公式，计算脑波近似熵；随后被试利用鼠 标和键盘针对上述虚像完成相同的交互任务，交互过程中的脑波信号传入第二计算机11中， 计算脑波近似熵；分别取前后两次脑波近似熵的平均值，比较两个值大小，较小值代表脑负 荷越高，由此可估计在全息展示条件下，针对交互任务，多通道交互与传统键鼠交互对被试 造成的认知疲劳差异，完成多通道人机交互工效测评，根据测评结果，为交互系统的输入系 统设计、任务设计提供指导。

例如，如果测评实验结果显示，针对一个短时简单任务，利用多通道交互时，被试的脑 波近似熵较大；利用键鼠交互时，被试的脑波近似熵较小，说明在该任务下多通道交互优于 键鼠交互。

而在某一需要长时间高频率输入的任务中，利用多通道交互时，被试的脑波近似熵较小， 利用键鼠交互时，被试的脑波近似熵较大，说明在该任务下多通道交互劣于键鼠交互。

若为一个同时存在上述两种任务的使用场景设计交互系统，则要考虑设计多通道交互， 同时保留键鼠交互模式，以避免用多通道交互完成时间高频率输入的任务时，脑波近似熵过 小时，脑负荷过大，对交互者的认知造成不必要的疲劳。

本发明针对汽车产品交互的测评时，将第一计算机7储存有事先开发的汽车模型交互程 序，该程序基于Kinect体感传感器6作多通道交互输入，利用手势和语音与被展示的汽车模 型交互，例如手势使车身旋转，声音命令左侧或右侧车门打开。同时该程序支持原始的键盘 鼠标输入以完成相同的交互任务，例如鼠标水平移动使车身旋转，单击键盘某一按键使左侧 或右侧车门打开。

在测评过程中，被试使用右手自左向右或自右向左的水平滑动，控制车身的顺时针或逆 时针的旋转。利用“打开-左侧车门”、“关闭-左侧车门”等语音命令，实现车门的开闭，交互过 程中的脑波信号传入第二计算机11中，利用Pincus等人提出的近似熵公式，计算脑波近似熵； 被试使用鼠标左向右或自右向左的水平移动，控制车身的顺时针或逆时针的旋转，利用单击 键盘“Z”、“X”等按键，实现车门的开闭，交互过程中的脑波信号传入第二计算机11中，利用 Pincus等人提出的近似熵公式，计算脑波近似熵。通过对比上述两个过程中的脑波近似熵的 数值大小，可估计被试在交互过程中的认知疲劳程度。

本发明同样可以用于其他环境下的交互，比如飞机座舱、汽车座舱等环境下的多通多交 互工效研究，为舱室的交互设计和任务逻辑设计提供实验数据支持。

利用本发明，人机工程的相关从业人员可以开展全息展示技术下的多通道交互工效研究 实验，方便快捷。

上所述为本发明的较佳具体实施方案，但本发明的保护范围并不局限于此，对于本领域 的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都 属于本发明的保护范围。