一种用于反映至少两个参与者的协作程度的方法以及设备

摘要

本发明公开了一种用于反映至少两个参与者的协作程度的方法以及设备。其中，所述方法包括：采集所述至少两个参与者中的每一者在同一交互情景下的脑电数据；根据所述脑电数据所包含的时间戳信息汇总相同采集时间的脑电数据；根据相同采集时间的脑电数据中的每两者计算每两个参与者的脑电协同性指标；以及求取所述脑电协同性指标的平均值以得到所述至少两个参与者的脑电协同性指标，从而反映所述至少两个参与者的协作程度。本发明通过同步采集至少两个参与者在同一交互情景下的脑电数据，并根据所采集的脑电数据计算至少两个参与者的脑电协同性指标以反映至少两个参与者的协作程度，从而能够对参与者之间的交互情况进行客观和精确的评价。

说明书

技术领域

本发明涉及人机交互技术领域，具体地，涉及一种用于反映至少 两个参与者的协作程度的方法以及设备。

背景技术

人机交互技术是指通过计算机的输入设备和输出设备，以有效的 方式实现人与计算机信息交流的技术。传统的人机交互技术中，人主 要通过运动系统与计算机进行信息交互。近年来，新兴的人机交互技 术开展关注通过人体生理信号传感器以心电、皮电、脑电等方式获取 人体生理信号，从而更全面地得到来自人的信息。到目前为止，基于 生理信号的人机交互技术大多关注单人情景下的人机交互方法，比如 通过生理信号获取人的注意力、情绪体验等指标，用于辅助已有人机 交互系统或作为全新的控制维度。在基于生理信号的人机交互技术中 的脑机交互技术则通过直接解读人脑思维活动所产生的脑电波来判断 人的思维活动状态，是当前人机交互领域的关注热点，已在单人情景 的体验、游戏、教育等人机交互实例中得到应用。

然而，基于生理信号的多人情景下人机交互方法的研究开发还较 少，鲜有系统性实用方法的公开报道。虽然如此，多人情景下的人机 交互方法有着广泛的应用前景。大量的体验或游戏项目都涉及多位参 与者之间的协作或竞争，对这些参与者的生理信号进行实时采集和分 析处理有助于设计科学性更强、体验性更好的人机交互系统。在更专 业的心理咨询应用领域中，团体心理辅导项目已经对实时获取所有参 与者的生理信号提出了迫切的需求。这些生理数据可以帮助心理辅导 专家更好地以及更及时地调整辅导方法和策略，从而实现更优化的心 理辅导方案。

发明内容

本发明的目的是提供一种用于反映至少两个参与者的协作程度的 方法以及设备。其中，所述方法通过同步采集至少两个参与者在同一 交互情景下的脑电数据，并根据所采集的脑电数据计算至少两个参与 者的脑电协同性指标以反映至少两个参与者的协作程度，从而能够对 参与者之间的交互情况进行客观和精确的评价。

为了实现上述目的，本发明提供一种用于反映至少两个参与者的 协作程度的方法。所述方法包括：采集所述至少两个参与者中的 每一者在同一交互情景下的脑电数据；根据所述脑电数据所包 含的时间戳信息汇总相同采集时间的脑电数据；根据相同采集 时间的脑电数据中的每两者计算每两个参与者的脑电协同性 指标；以及求取所述脑电协同性指标的平均值以得到所述至少 两个参与者的脑电协同性指标，从而反映所述至少两个参与者 的协作程度。

优选地，所述方法还包括：在采集每一个参与者在同一交 互情境下的脑电数据的同时，向所述脑电数据增加所述时间戳 信息。

优选地，所述方法还包括：通过硬件方式或软件方式向所 述脑电数据增加所述时间戳信息。

优选地，所述脑电数据包括至少一个电极的数据，所述方 法还包括：使用多元相关分析方法求取相同采集时间的脑电数 据所对应的所述至少一个电极的数据的线性组合权重系数。

优选地，所述方法还包括：根据相同采集时间的脑电数据 中的每两者及其对应的所述至少一个电极的数据的线性组合 权重系数计算得到每两个参与者的脑电协同性可能指标组。

优选地，所述方法还包括：根据以下公式一计算每两位参 与者的脑电协同性指标：

${r_{ij}}^{ALL}=a_1*{r_{ij}}^1+a_2*{r_{ij}}^2+\mathrm{...}+a_K*{r_{ij}}^K$公式一

其中，r_ij^ALL为所述每两位参与者的脑电协同性指标，a₁、 a₂…a_K为加权组合系数，r_ij¹、r_ij²…r_ij^K分别为所述脑电协同性 可能指标组中的元素。

优选地，所述方法还包括：以具体的人机交互情景的行为 学交互指标为因变量建立多元回归方程以通过学习得到所述 加权组合系数。

相应地，本发明还提供一种用于反映至少两个参与者的协 作程度的设备。所述设备包括：至少两个脑电采集装置，分别 用于采集所述至少两个参与者中的每一者在同一交互情景下 的脑电数据；计算装置，与所述至少两个脑电采集装置连接， 用于：根据所述脑电数据所包含的时间戳信息汇总相同采集时 间的脑电数据；根据相同采集时间的脑电数据中的每两者计算 每两个参与者的脑电协同性指标；以及求取所述脑电协同性指 标的平均值以得到所述至少两个参与者的脑电协同性指标，从 而反映所述至少两个参与者的协作程度。

优选地，所述设备还包括：人机交互界面，与所述计算装 置连接，用于接收所述计算装置反馈的所述每两个参与者的脑 电协同性指标和所述至少两个参与者的的脑电协同性指标，并 显示所述每两个参与者的脑电协同性指标和所述至少两个参 与者的的脑电协同性指标。

优选地，所述至少两个脑电采集装置中的每一者包括至少 一个电极。

通过上述技术方案，采集每一个参与者在同一交互情景下 的脑电数据，根据脑电数据所包含的时间戳信息汇总相同采集 时间的脑电数据，并根据相同采集时间的脑电数据中的每两者 计算每两个参与者的脑电协同性指标以及根据每两个参与者 的脑电协同性指标计算至少两个参与者的脑电协同性指标以 反映至少两个参与者的协作程度，从而能够对参与者之间的交 互情况进行客观和精确的评价。

附图说明

图1是本发明提供的用于反映至少两个参与者的协作程度的方法 的流程图；以及

图2是本发明提供的用于反映至少两个参与者的协作程度的设备 的结构示意图。

附图标记说明

10脑电采集装置20计算装置30人机交互界面

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解 的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用 于限制本发明。

在基于生理信号的人机交互技术中的脑机交互技术在多人情景中 同样有广泛的应用前景。通过同时分析多个参与者的脑电波，从而能 够对参与者之间的交互情况进行更加客观和精确的评价。这一应用前 景得到最近认知神经科学研究成果的支持。人类大脑有很强的社交属 性，每时每刻都在解读自我、环境以及与自我发生交互的其他个体的 行为和行为意图。因此，在同一交互情景下的参与者之间脑神经活动 存在必然的协同性，这一协同性的强弱取决于各个参与者主观上对该 交互情景解读的相似性，而该主观相似性与参与者之间的协作或合作 意愿有密切关系。当各参与者之间密切协作时，他们对交互情境的解 读将更加一致，从而对应更高的多人脑电协同性。基于此，本发明特 提供一种用于反映至少两个参与者的协作程度的方法。

图1是本发明提供的用于反映至少两个参与者的协作程度的方法 的流程图。如图1所示，本发明提供的用于反映至少两个参与者的协 作程度的方法包括：在步骤S101中，采集所述至少两个参与者中的每 一者在同一交互情景下的脑电数据。在步骤S102中，根据所述脑电数 据所包含的时间戳信息汇总相同采集时间的脑电数据。具体地，在采 集每一个参与者在同一交互情境下的脑电数据的同时，向所述脑电数 据增加所述时间戳信息。至少两个参与者的脑电数据的同步采集是至 少两个参与者的脑电协同性的关联强度分析的基础。人脑神经电活动 具有快速时变的特性，脑电信号的采样率一般要求500赫兹或者更高。 因此，至少两个参与者的脑电协同性的关联强度分析要求来自至少一 位参与者的脑电信号之间的采集时间误差不超过2毫秒(对应500赫 兹)。为满足这个要求，通过硬件方式或软件方式向所述脑电数据增加 所述时间戳信息，即来自每个参与者的每一次采集的脑电数据均包含 脑电数据采集时间的信息(时间戳信息)。更为具体地，在脑电采集硬 件设备支持对所采集的脑电数据增加高精度时间戳的情况下，则通过 硬件方式完成时间标记。之后，根据这些时间标记进行简单的软件处 理以汇总相同采集时间的脑电数据。在脑电采集硬件设备不支持对所 采集的脑电数据增加高精度时间戳的情况下，则通过软件的方式完成 时间标记，具体实施的步骤包括：1)设计单一软件，并实现单一软件 对至少一个脑电采集硬件设备的操作；2)通过软件指令的方式同时启 动所有脑电采集硬件设备；3)设定脑电采集硬件设备以硬件允许的最 高频率向软件发送脑电数据包；4)用至少一个线程分别处理来自至少 一个脑电采集硬件设备的脑电数据；5)对接收的脑电数据标记软件时 间戳；6)汇总相同采集时间的脑电数据。

在步骤S103中，根据相同采集时间的脑电数据中的每两者计算每 两个参与者的脑电协同性指标。每两个参与者的脑电协同性指标的计 算是反映至少两个参与者的协作程度的基础。认知神经科学研究进展 表明，大脑的腹内侧前额叶和镜像神经元系统是负责人类交互行为的 关键脑区。因此，脑电采集硬件设备包括至少一个处于关键脑区的电 极。在具体的实施方式中，所述至少一个电极的位置分别对应10-20 国际标准电极位置中的Fz、F3、F4、Cz、C3、C4或它们的邻近位置。 不同的脑电采集硬件设备可支持的电极数量不同，具体的电极数量根 据具体的脑电采集硬件设备而确定。通过分析每个脑电采集硬件设备 的这些电极采集到的数据所组成的多维时间序列之间的协同变化关系 可对每两个参与者之间的协作程度进行定量评价。具体地，根据具体 的交互情景对指标实时性输出的要求，选择最短1秒的时间长度作为 数据分析计算的基本时间单位。待分析计算的脑电数据来自N位参与 者。记参与者i的脑电数据为EEG_i，则该脑电数据为M×(T×fs)的二 维数据矩阵。其中，M为脑电采集硬件设备的电极数量，T为脑电数 据的有效采集时间，fs为脑电采集硬件设备的采样率，脑电数据包括 至少一个电极的数据。使用多元相关分析方法求取相同采集时 间的脑电数据所对应的所述至少一个电极的数据的线性组合 权重系数。根据相同采集时间的脑电数据中的每两者及其对应 的所述至少一个电极的数据的线性组合权重系数计算得到每 两个参与者的脑电协同性可能指标组。例如，求解下述最优化 计算式

r_ij¹＝max_wi,wjcorr(w_i^T*EEG_i,w_j^T*EEG_j)

可计算得到线性组合权重系数对应的相关系数r_ij¹。相关 系数r_ij¹为脑电协同性可能指标组中的一个元素，也即每两个 参与者的脑电协同性的可能指标之一。其中，EEG_i为参与者i 的脑电数据，EEG_j为参与者j的脑电数据，w_i为参与者i的脑 电数据所对应的至少一个电极的数据的线性组合权重系数所 构成的矩阵，w_j为参与者j的脑电数据所对应的至少一个电极 的数据的线性组合权重系数所构成的矩阵，^T表示矩阵转置操 作，corr()表示进行一元相关计算。考虑到参与者的个体差异， 这里允许每个参与者的脑电数据所对应的至少一个电极的数 据的线性组合权重系数不同。上述计算中所涉及的脑电数据均 来自于未滤波的脑电信号。

对每位参与者的脑电信号进行滤波能够得到δ频带的脑电 信号(1-3Hz)、θ频带的脑电信号(4-8Hz)、α频带的脑电信 号(8-13Hz)、β频带的脑电信号(14-30Hz)、γ频带的脑电信 号(30-50Hz)以及对应频带的脑电信号的能量。将每两位参 与者的δ频带的脑电信号进行与上述类似的计算可得到脑电 协同性可能指标组中的一个元素r_ij²，也即每两个参与者的脑 电协同性的可能指标之一。将每两位参与者的θ频带的脑电信 号进行与上述类似的计算可得到脑电协同性可能指标组中的 一个元素r_ij³，也即每两个参与者的脑电协同性的可能指标之 一。将每两位参与者的α频带的脑电信号进行与上述类似的计 算可得到脑电协同性可能指标组中的一个元素r_ij⁴，也即每两 个参与者的脑电协同性的可能指标之一。将每两位参与者的β 频带的脑电信号进行与上述类似的计算可得到脑电协同性可 能指标组中的一个元素r_ij⁵，也即每两个参与者的脑电协同性 的可能指标之一。将每两位参与者的γ频带的脑电信号进行与 上述类似的计算可得到脑电协同性可能指标组中的一个元素 r_ij⁶，也即每两个参与者的脑电协同性的可能指标之一。将每 两位参与者的δ频带的脑电信号的能量进行与上述类似的计 算可得到脑电协同性可能指标组中的一个元素r_ij⁷，也即每两 个参与者的脑电协同性的可能指标之一。将每两位参与者的θ 频带的脑电信号的能量进行与上述类似的计算可得到脑电协 同性可能指标组中的一个元素r_ij⁸，也即每两个参与者的脑电 协同性的可能指标之一。将每两位参与者的α频带的脑电信号 的能量进行与上述类似的计算可得到脑电协同性可能指标组 中的一个元素r_ij⁹，也即每两个参与者的脑电协同性的可能指 标之一。将每两位参与者的β频带的脑电信号的能量进行与上 述类似的计算可得到脑电协同性可能指标组中的一个元素 r_ij¹⁰，也即每两个参与者的脑电协同性的可能指标之一。将每 两位参与者的γ频带的脑电信号的能量进行与上述类似的计 算可得到脑电协同性可能指标组中的一个元素r_ij¹¹，也即每两 个参与者的脑电协同性的可能指标之一。藉此，能够得到一系 列的脑电协同性可能指标。所述一系列的脑电协同性可能指标 构成每两个参与者的脑电协同性可能指标组，记为r_ij¹、…、 r_ij^K，K为可能指标的总个数。

在具体的实施方式中，根据以下公式一计算每两位参与者的 脑电协同性指标：

${r_{ij}}^{ALL}=a_1*{r_{ij}}^1+a_2*{r_{ij}}^2+\mathrm{...}+a_K*{r_{ij}}^K$公式一

其中，r_ij^ALL为所述每两位参与者的脑电协同性指标，a₁、 a₂…a_K为加权组合系数，r_ij¹、r_ij²…r_ij^K分别为所述脑电协同性 可能指标组中的元素。

其中，以具体的人机交互情景的行为学交互指标为因变量 建立多元回归方程以通过学习得到所述加权组合系数。行为学 交互指标可以为体验或游戏中的某可体现每两个参与者协作 程度的主观评分或客观评分，或心理辅导中来自心理辅导师的 评分。为完成可靠的学习，至少需要有10*K个有效数据进行 学习以得到组合加权系数。

在步骤S104中，在得到每两个参与者的脑电协同性指标 后，求取所述脑电协同性指标的平均值以得到所述至少两个参 与者的脑电协同性指标，从而反映所述至少两个参与者的协作 程度。所述至少两个参与者的脑电协同性指标从脑神经活动的 角度反映了至少两个参与者的协作程度。以上分析计算可以基 于较短时间段内的脑电数据开展，从而能够实时地向参与者及 人机交互系统呈现每两位参与者的脑电协同性指标以及至少 两个参与者的脑电协同性指标，并实时地反映每两个参与者以 及至少两个参与者的脑神经活动协同变化情况。在具体的应用 中，在得到至少两个参与者的脑电协同性指标后，需要将这一 指标以及每两个参与者的脑电协同性指标反馈到人机交互界 面，并根据实际交互情境的需求及限制条件，通过视觉、听觉、 触觉等感知觉方式将这一指标以及每两个参与者的脑电协同 性指标反馈给各位参与者，引导参与者实时调整自己的思维活 动状态。

相应地，本发明还提供一种用于反映至少两个参与者的协 作程度的设备。图2是本发明提供的用于反映至少两个参与者 的协作程度的设备的结构示意图。如图2所示，本发明提供的 用于反映至少两个参与者的协作程度的设备包括：至少两个脑 电采集装置10，分别用于采集所述至少两个参与者中的每一 者在同一交互情景下的脑电数据；计算装置20，与所述至少 两个脑电采集装置10连接，用于：根据所述脑电数据所包含 的时间戳信息汇总相同采集时间的脑电数据；根据相同采集时 间的脑电数据中的每两者计算每两个参与者的脑电协同性指 标；以及求取所述脑电协同性指标的平均值以得到所述至少两 个参与者的脑电协同性指标，从而反映所述至少两个参与者的 协作程度。

在具体的实施方式中，所述至少两个脑电采集装置10中 的每一者包括至少一个电极。每位参与者采用相同的脑电采集 装置进行数据采集，数据采样率不小于100赫兹，至少一个电 极的电极位置包括但不限于Fz,F3,F4,Cz,C3,C4(基于国际 10-20电极位置命名规则)。

在具体的应用中，所述设备还包括：人机交互界面30， 与所述计算装置20连接，用于接收所述计算装置反馈的所述 每两个参与者的脑电协同性指标和所述至少两个参与者的的 脑电协同性指标，并显示所述每两个参与者的脑电协同性指标 和所述至少两个参与者的的脑电协同性指标。

本发明通过同步采集每一个参与者在同一交互环境的脑 电数据，并计算每个参与者的脑电数据之间的相互协同关系， 实现通过参与者的脑神经活动协同关系的强弱反映参与者两 两之间的协作程度以及所有参与者所构成团队的协作程度，并 将此协作程度指标实时反馈给参与者或人机交互系统。本发明 可用于面向团队的体验、游戏、及团体心理辅导项目。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明 并不限于上述实施方式中的具体细节，在本发明的技术构思范围内， 可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本 发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技 术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为 了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合， 只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。