一种基于非接触式情绪识别的人机交互方法

摘要

本发明公开了一种基于非接触式情绪识别的人机交互方法，包括：步骤1，利用非接触式检测装置获取用户的生理信号特征和非生理信号特征，并依据生理信号特征和非生理信号特征识别用户的情绪状态；步骤2，在单个虚拟场景进行时，虚拟环境构建系统依据用户的情绪状态调整力反馈器的反馈力大小；在单个虚拟场景完成时，依据肢体实时运动轨迹与参考运动轨迹的差异，调整下一次交互时该虚拟场景的参考运动轨迹。本发明以用户的情绪状态作为单个虚拟场景中力反馈大小调整的依据，促进虚拟场景构建系统进行学习以适应用户的需求，单个虚拟场景完成后，依据实时运动参考轨迹和参考运动轨迹的差异，定量评价康复训练的效果。

说明书

技术领域

本发明涉及虚拟现实应用技术领域，具体涉及一种基于非接触式情绪识别的人机交互方法。

背景技术

脑卒中(stroke)，又称中风或脑血管意外(cerebrovascular accident，CVA)，属于脑血管类疾病，是指由于脑部供血受阻而迅速发展的脑功能缺失。在美国和欧洲是导致成人残疾的首因，在世界范围内脑卒中是造成死亡的第二大原因。随着世界人口逐步老龄化，在未来的20年，脑卒中疾病造成的社会负担将会极大地增加，这种情况在发展中国家将会变得尤其严重。

针对脑卒中患者的运动障碍，目前的主要治疗方法包括：由医生护士进行临床医学处理、由物理治疗师指导恢复肢体运动功能的康复训练等，其中康复训练是运动障碍后遗症的主要治疗方法。

虚拟现实是利用计算机仿真系统创建的虚拟环境，虚拟环境将多源信息融合，产生可与用户交互的三维动态视景，使用户沉浸在虚拟环境中。近年来国际上出现了一系列将虚拟现实(virtual reality，VR)技术引入康复研究领域的尝试，将虚拟现实技术应用于脑卒中、脑外伤、帕金森等病人的上下肢运动功能恢复，及空间和认知能力的训练。

例如，Adamovich等利用数据手套、位置追踪器等设备研制虚拟康复系统，设计了击球、弹钢琴等场景。Broeren等利用力反馈装置，创建了包括识别乐谱和翻日历等日常生活康复场景在内的康复训练系统。Broeren等利用机器人和数据手套，通过迷宫等场景进行虚拟康复。Kayyali等利用位置追踪器和数据手套，设计了击球、插板等游戏场景进行虚拟康复训练。Badia等人根据摄像机和数据手套设计了虚拟击球等虚拟康复场景。清华大学提出了虚拟康复工程的概念，为了训练下肢运动功能，设计并研制了骑自行车的虚拟健身系统。

基于虚拟现实的康复系统通过动态调整技术，来适应患者和治疗者的需求变化。例如，VirtualRehab系统包含了9个用于治疗残疾障碍的康复游戏和训练集合，治疗师根据患者的参与反馈，手动调整训练场景。Kizony等人提供了一套虚拟康复系统，能够自适应调整目标类型、速度、位置以及方向，以促进患者康复训练进程。

用户与虚拟环境之间的反馈是双向的，一方面患者依据虚拟现实的反馈主动改变行为，另一方面，虚拟现实也根据患者的能力和状态，动态调节虚拟现实的反馈。

情绪是对一系列主观认知经验的通称，是基于多种感觉、思想和行为综合产生的心理和生理状态，既包括人对外界或自身刺激的心理反应，也包括伴随这种心理反应的生理反应。通过检测患者的情绪，并以此作为虚拟场景构建的依据，是一种非常重要的反馈机制。

情感计算作为精准医疗的重要技术手段，促进了虚拟环境控制方式的个性化，使人机交互更为友好和自然，常见的情绪识别方法依据信息来源的不同主要分为两大类：基于生理信号的识别和基于非生理信号的识别。基于生理信号的识别是指，通过测量心率、皮肤阻抗、呼吸等生理信号来识别对应的情绪状态，或者通过磁共振、脑电波等检测中枢神经反应来识别对应的情绪状态。基于非生理信号的识别，主要包括：对面部表情的识别和语音语调的识别。

现有技术中，将虚拟现实引入康复治疗领域的技术手段存在以下问题：

1、基于情绪调整虚拟现实场景时，由于表情是情绪的最直接反应，因此，多采用表情作为情绪的表达，利用表情调整虚拟现实场景时，一方面对于不能表达表情的病人，无法适用；另一方面，表情的特性选择较为主观，不能准确反应用户的状态。

2、基于生理信号调整虚拟现实场景时，虽然生理信号识别的测量具备客观性和精确性，但一方面生理信号属于间接反应，不能及时准确地反应用户的状态；另一方面传统的生理信号测量装置需要用户佩戴相应的装置，影响虚拟环境的浸入式体验。

3、现有的虚拟现实与用户之间的反馈多为单向，例如，用户基于虚拟现实场景的反馈自主进行场景变换，或者通过人的精神状态控制虚拟现实场景的改变。

发明内容

本发明提供了一种基于非接触式情绪识别的人机交互方法，所述人机交互方法的反馈分为两个层次，在单个虚拟场景进行过程中，依据情绪状态调整力反馈的大小，在单个虚拟场景完成时，依据实际运动轨迹和参考运动轨迹的差异，调整下一次交互时该虚拟场景的参考运动轨迹。

一种基于非接触式情绪识别的人机交互方法，所述人机交互方法实施在用户与虚拟环境构建系统之间，所述虚拟环境构建系统配置有力反馈器、非接触式检测装置以及运动检测装置，所述虚拟环境构建系统中预设有若干虚拟场景，针对各虚拟场景，预设对应的参考运动轨迹，用户接触力反馈器，并在各虚拟场景中依据参考运动轨迹进行肢体运动，所述人机交互方法包括：

步骤1，利用非接触式检测装置获取用户的生理信号特征和非生理信号特征，并依据生理信号特征和非生理信号特征识别用户的情绪状态；

步骤2，在单个虚拟场景进行时，虚拟环境构建系统依据用户的情绪状态调整力反馈器的反馈力大小；

在单个虚拟场景完成时，依据肢体实时运动轨迹与参考运动轨迹的差异，调整下一次交互时该虚拟场景的参考运动轨迹。

本发明提供的人机交互方法主要用于中风患者的康复训练，不同的虚拟场景包括打球场景，弹琴场景，翻日历场景，走迷宫场景，骑车场景等等，依据中风患者的实际需要进行设计。

在各场景中，设置初始参考运动轨迹，在每次交互结束时，对参考运动轨迹进行调整，以适应患者的康复过程。所述参考运动轨迹可以采用图像或者实物进行展示，例如，在屏幕上展示参考运动轨迹，或者，采用某一标志物的实际移动来展示参考运动轨迹，患者依据参考运动轨迹移动手指、上肢、下肢等肢体，利用运动检测装置检测患者相应肢体的运动轨迹，并与参考运动轨迹进行比较。

所述运动检测装置可以采用各种形式，为了实现更好的沉浸感，优选采用非接触形式，即可以在肢体上做标记，通过检测标记的运动来反应肢体的运动。

本发明采用非接触方式采集生理信号以及非生理信号，有利于改善虚拟现实的沉浸式体验，对于面部表情不易表达的患者，采用本发明的方法仍然可以得到较好的训练效果。

肢体在运动时与力反馈器直接接触，在肢体运动过程中，力反馈器向肢体施加作用力以阻止肢体的运动，在单个虚拟场景中，以患者的情绪状态作为调整力反馈器反馈力大小依据，使患者具有更好的使用体验。

在单个虚拟场景训练完成后，依据肢体实时运动轨迹与参考运动轨迹的差异，调整下一次交互时该虚拟场景的参考运动轨迹。

作为优选，所述生理信号特征包括心率特征和呼吸特征，所述非生理信号特征包括表情特征。

作为优选，所述非接触式检测装置包括视频采集装置和雷达。所述心率特征和表情特征从视频信号中提取，所述呼吸特征从雷达信号中提取。

进一步优选，利用欧拉影像放大算法从视频信息中提取心率特征。

作为优选，依据生理信号特征和非生理信号特征识别用户的情绪状态，具体包括以下步骤：

a、基于生理信号特征建立第一情绪模型，基于非生理信号特征建立第二情绪模型；

b、识别的生理信号特征依据第一情绪模型生成第一情绪状态概率分布，识别的非生理信号特征依据第二情绪模型生成第二情绪状态概率分布；

c、依据第一情绪模型和第二情绪模型生成综合情绪模型，将第一情绪状态概率分布和第二情绪状态概率分布输入综合情绪模型，得到情绪状态概率分布，输出概率最大值对应的情绪状态作为识别结果。

建立第一情绪模型、第一情绪模型、以及综合情绪模型时，均采用人工神经网络。所述第一情绪模型和第一情绪模型为弱分类模型，所述综合情绪模型为强分类模型。

作为优选，在某一虚拟场景中，若情绪识别的结果为愉悦，则力反馈值增加的取值为：式中，f₁为原力反馈值，β为综合情绪模型输出的概率最大值，α₁为常数；

若情绪识别的结果为厌烦，则力反馈值减小的取值为：式中，f₂为原力反馈值，β为综合情绪模型输出的概率最大值，α₂为常数。

作为优选，在虚拟目标物跟踪场景中，预设目标物的参考运动轨迹，若参考运动轨迹为最大幅度为A₀，频率为f₀的正弦曲线，实际运动轨迹的幅度为A_k,1≤k≤n，n为虚拟场景的持续时间，k为时刻，在预定时间段内，若实际运动轨迹与参考运动轨迹的幅度差异累计大于K₁＝A₀×f₀×γ₁，其中γ₁为常数，则调整参考运动轨迹为最大幅度频率f1的正弦曲线，式中，μ1为实际运动轨迹的幅度均值，f1为实际运动轨迹的功率谱密度最大值；

在虚拟握拳跟踪场景中，参考运动轨迹为虚拟手的关节角度固定变化且最大幅度为A₂的锯齿波曲线，实际运动轨迹的幅度为B_k,1≤k≤n，n为虚拟场景的持续时间，k为时刻，在预定时间段内，若实际运动轨迹与参考运动轨迹的幅度差异累计大于K₂＝A₂×f₂×γ₂，γ₂为常数，则调整虚拟手关节角度变化的参考运动轨迹为最大幅度频率f3的锯齿波曲线，式中，μ2为实际运动轨迹的幅度均值，f3为实际运动轨迹的功率谱密度最大值。

本发明基于非接触式情绪识别的人机交互方法，以用户的情绪状态作为单个虚拟场景中力反馈大小调整的依据，促进虚拟场景构建系统进行学习以适应用户的需求，单个虚拟场景完成后，依据实时运动参考轨迹和参考运动轨迹的差异，定量评价康复训练的效果。

附图说明

图1为本发明基于非接触式情绪识别的人机交互方法的流程图；

图2为利用欧拉影像放大算法从视频信息中提取心率特征的流程图；

图3为提取表情特征时的眼、鼻、口位置示意图；

图4为情绪识别的流程图；

图5为康复训练过程示意图；

图6为实际运动轨迹与参考运动轨迹的示意图；

图7为角度传感器的安装位置示意图；

图8为依据情绪状态调整单个虚拟场景中，力反馈大小的示意图。

具体实施方式

下面结合附图，对本发明基于非接触式情绪识别的人机交互方法做详细描述。

如图1所示，一种基于非接触式情绪识别的人机交互方法，人机交互方法实施在用户与虚拟环境构建系统之间，虚拟环境构建系统配置有力反馈器、非接触式检测装置以及运动检测装置，虚拟环境构建系统中预设有若干虚拟场景，在各虚拟场景中，预设对应的参考运动轨迹，用户接触力反馈器，并在各虚拟场景中依据参考运动轨迹进行肢体运动。

人机交互方法包括：

步骤1，利用非接触式检测装置获取用户的心率特征、呼吸特征、以及表情特征，并依据心率特征、呼吸特征、以及表情特征识别用户的情绪状态。

利用视频拍摄装置获取用户的视频信息，利用雷达检测用户的胸腹部运动，从视频信息中获取心率特征和表情特征，从雷达检测结果中获得呼吸特征。

如图2所示，利用欧拉影像放大算法从视频信息中提取心率特征，具体操作如下：

首先，检测视频信息中的人脸区域；

检测人脸区域可以采用现有的算法，例如，计算机视觉开源库OpenCV中的Adaboost人脸检测算法，对于检测到的每张人脸，返回一个包含人脸区域的矩形区域。

当视频时间持续一段时间后，例如持续20s，对窗口内的视频进行欧拉影像放大，欧拉影像放大包括：空间滤波(将视频序列进行金字塔多分辨率分解)、时域滤波(对每个尺度的图像进行时域带通滤波，得到感兴趣的若干频带)、放大滤波结果(对每个频带的信号用泰勒级数进行差分逼近)、合成图像(合成经过放大后的图像)。

将欧拉影像放大处理后每一帧图像的RGB通道分开，分别计算感兴趣区域内像素的平均值，得到三段原始的心率信号P₁(t)，P₂(t)，P₃(t)。对每段原始的心率信号进行归一化处理，得到：

其中μ_i,σ_i分别为心率信号的均值和标准差，i的取值为1，2，3。

对每段原始的心率信号进行归一化处理后，需要对窗口内的信号进行带通滤波处理，以消除低频呼吸信号和高频噪声对心率检测结果的影响。考虑到正常人的心率范围为[45，180]，因此，设置带通滤波器的上下截止频率分别为0.75Hz和3Hz。

对经归一化和带通滤波处理后的三段原始心率信号序列进行快速傅里叶变换，分别得到三段原始心率信号序列的功率谱密度，分别计算功率谱密度最大值Max1、Max2和Max3，均值Mean1、Mean2和Mean3，计算比例选取ξ1，ξ2，ξ3中值最大的通道信号，以其功率谱密度最大值对应的频率作为心率。

利用雷达检测胸腹运动，由于呼吸运动能量较高，通过对雷达信号进行傅里叶变化，提取呼吸特征。

雷达采用超宽带(UWB)脉冲雷达，雷达发射的电磁波经过介质(自由空间或障碍物)传播后到达人体，电磁波脉冲经人体散射产生回波，回波信号经过介质(自由空间或障碍物)传播后被雷达接收。人体反射回波的时延、幅度、相位、频率等会受到人体运动的影响而产生变化，通过检测这些变化达到探测人体运动的目的。

t时刻雷达回波的延时t_d(t)＝2×d(t)/c，其中d(t)为胸腹与雷达之间的距离，c为光速。不同时刻的延时依据时间顺序排列，得到延时时间序列t_d(t_k)，利用带通线性相位有限脉冲响应(FIR)滤波器对延时时间序列进行滤波。所采用的带通滤波器的通带应与呼吸信号的频率范围保持一致，考虑呼吸频率范围为15～30次/分，因此，通带频率范围为[0.25，0.5]。

得到滤波信号后，计算功率谱密度，以呼吸信号频率范围内的最大功率谱密度对应的频率作为呼吸频率。对延时时间序列滤波后，进行归一化处理，并计算波峰波谷，波峰波谷的差值即为呼吸深度。

根据一段时间内的心率、呼吸频率、呼吸深度，分别计算得到心率均值、心率标准差、心率方差、呼吸频率均值、呼吸频率标准差、呼吸频率方差、呼吸深度均值、呼吸深度标准差、呼吸深度方差，这九个特征值作为生理信号特征，进行后续的情绪识别。

从视频图像中提取表情特征的方法，具体如下：

首先，利用OpenCV库检测面部位置，通过模板匹配的方法获取眼、口位置，左眼、右眼、口等每个部位有4个特征点，加上鼻有2个特征点，共计14个特征点。

如图3所示，左眼和右眼对称，左眼特征点坐标为：LU(LU_x,LU_y)，LD(LD_x,LD_y)，LL(LL_x,LL_y)，LR(LR_x,LR_y)，右眼特征点坐标为：RU(RU_x,RU_y)，RD(RD_x,RD_y)，RL(RL_x,RL_y)，RR(RR_x,RR_y)。

嘴部特征点坐标为：MU(MU_x,MU_y)，MD(MD_x,MD_y)，ML(ML_x,ML_y)，MR(MR_x,MR_y)，鼻部特征点坐标为：NL(NL_x,NL_y)，NR(NR_x,NR_y)。

根据14个特征点的位置，选出11组特征值作为表征表情变化的特征向量，如表1所示。

表1

表1中，各特征值的计算方法，具体如下：

d1＝||MD_y-ML_y|+|MD_y-MR_y|-|ML_y-MU_y|+|MR_y-MU_y||；

d2＝|MD_y-MU_y|；

d3＝|MR_x-ML_x|；

d4＝d2/d3；

d5＝d2-d3；

d6＝|RR_x-RL_x|/|RD_y-RU_y|；

d7＝||RR_x-RL_x|-|RD_y-RU_y||；

d8＝|LR_x-LL_x|/|LD_y-LU_y|；

d9＝||LR_x-LL_x|-|LD_y-LU_y||；

d10＝|NR_x-NL_x|；

d11＝|LD_y-NL_y|。

将d1-d11的特征值作为非生理信号特征，进行后续的情绪识别。

通过集成学习方法构建情绪模型，将得到的生理信号特征以及非生理信号特征输入情绪模型中，得到情绪识别结果。

利用集成学习方法构建情绪模型基于两个分类模型：H＝{H₁,H₂}。H₁为基于非生理信号特征的情绪模型，H₂为基于生理信号特征的情绪模型。H为两个情绪模型的集合。

U₁＝{x_j,y_j},(j＝1,.....,m)表示基于生理信号特征的数据集，其中，是n维生理信号特征空间X的一个样本，m为特征空间X的样本数量，y_j∈Ω＝{1,...,C}是x的情绪类别标签，Ω为情绪集合，C为情绪类别的编号。

U₂＝{z_k,y_k},(k＝1,.....,l)表示基于非生理信号特征的数据集，其中，是p维非生理信号特征空间Z的一个样本，l为特征空间Z的样本数量y_k∈Ω＝{1,...,C}是z的情绪类别标签。根据生理信号特征以及非生理信号特征的数量，n＝9，p＝11。

如图4所示，基于两个分类假设，分别利用人工神经网络以及数据集U₁、U₂建立对应的情绪模型{φ₁,φ₂}。η_t^H1(y_q)、η_t^H2(y_q)为两个情绪模型的情绪类别标签概率输出。

结合基于非生理信号特征的情绪模型以及基于生理信号特征的情绪模型，利用人工神经网络建立综合情绪模型，以数据集{(η_t^H1(y_q),η_t^H2(y_q)),y_t}作为输入进行训练，其中，y_q∈Ω＝{1,...,C}为情绪类别标签，y_t为诱发记录的情绪状态，t为时间标记。

进行情绪识别时，将非生理信号特征依据对应的情绪模型生成情绪状态概率分布η_t^H1(y_q)、将生理信号特征依据对应的情绪模型生成情绪状态概率分布η_t^H2(y_q)，其中，y_q∈Ω＝{1,...,C}属于情绪类别标签。综合情绪模型根据η_t^H1(y_q)、η_t^H2(y_q)，输出t时刻的情绪状态概率分布η_t(y_q)，按照最大值输出情绪状态S_t。

情绪诱发实验为：在实验室内配置电脑和摄像头，测试者坐在距离电脑70cm处，并面向电脑，利用电脑播放情绪诱发视频素材，利用摄像头采集测试者的视频图像。情绪诱发视频素材用于唤起测试者不同情感，如愉悦、厌烦、平静等。

步骤2，在单个虚拟场景进行时，虚拟环境构建系统依据用户的情绪状态调整力反馈器的反馈力大小；

在单个虚拟场景完成时，依据肢体实时运动轨迹与参考运动轨迹的差异，调整下一次交互时该虚拟场景的参考运动轨迹。

如图5所示，本发明调整虚拟场景包括两个层次，针对单个虚拟场景，根据用户的情绪状态调整力反馈器输出的作用力大小，在单个虚拟场景完成时，通过计算力反馈器实时运动轨迹和参考运动轨迹的差异，调整下一次交互时该虚拟场景的参考运动轨迹。

虚拟场景包括：虚拟目标物跟踪场景和虚拟握拳跟踪场景。

如图6所示，在虚拟场景中，小球作为目标物被跟踪，小球按照运动参考轨迹设定的频率和幅度进行运动，参考运动轨迹如图6中的实线所示。用户将手或身体的其他部位作用于力反馈器上，并跟随小球运动，捕获用户的手部或其他部位的实际运动轨迹，如图6中的虚线所示。在虚拟场景结束后，计算实际运动轨迹和参考运动轨迹的差异，并依据差异调整下一次交互时虚拟场景中小球的运动频率和/或幅度。

小球的参考运动轨迹为最大幅度为A₀，频率为f₀的正弦曲线，实际运动轨迹的幅度为A_k,1≤k≤n，n为虚拟场景的持续时间，k为时刻，在预定时间段内，若实际运动轨迹与参考运动轨迹的幅度差异累计大于K₁＝A₀×f₀×γ₁，其中γ₁为常数，则调整参考运动轨迹为最大幅度频率f1的正弦曲线，式中，μ1为实际运动轨迹的幅度均值，f1为实际运动轨迹的功率谱密度最大值。

参考运动轨迹的正弦曲线设定在合理的承受范围内，力反馈与实际运动轨迹捕获可以通过Phantom Omni的力反馈和位置检测实现。

如在虚拟握拳跟踪场景中，虚拟手进行握拳动作，虚拟手的参考运动轨迹为指关节角度固定变化的锯齿波曲线，用户跟随虚拟手的握拳动作进行握拳动作，实际运动轨迹为关节角度的变化。

如图7所示，将弯曲传感器佩戴在手上，力反馈与实际运动轨迹捕获可以通过Phantom Omni的力反馈检测实现，关节角度检测通过弯曲传感器FlexSensor实现。

在虚拟握拳跟踪场景中，参考运动轨迹为虚拟手的关节角度固定变化且最大幅度为A₂的锯齿波曲线，实际运动轨迹的幅度为B_k,1≤k≤n，n为虚拟场景的持续时间，k为时刻，在预定时间段内，若实际运动轨迹与参考运动轨迹的幅度差异累计大于K₂＝A₂×f₂×γ₂，γ₂为常数，则调整虚拟手关节角度变化的参考运动轨迹为最大幅度频率f3的锯齿波曲线，式中，μ2为实际运动轨迹的幅度均值，f3为实际运动轨迹的功率谱密度最大值。

如图8所示，在单个虚拟场景中，识别得到愉悦、平静、厌烦三种情绪状态，根据三种不同的情绪状态，对力反馈器的反馈力进行调整。

在检测到愉悦状态一定时间后，力反馈值增加的取值为：式中，f₁为原力反馈值，β为综合情绪模型输出的概率最大值，α₁为常数；

在检测到厌烦状态时，力反馈值减少的取值为：式中，f₂为原力反馈值，，β为综合情绪模型输出的概率最大值，α₂为常数。α₁和α₁的大小根据需要进行设定。

平静状态时，力反馈强度不变。通过情绪状态的实时反馈，提高人机交互的舒适性。