一种基于多模态的自适应情绪调节系统与方法

摘要

本发明公开了一种基于多模态的自适应情绪调节系统与方法，生理数据收集装置收集使用者的血压、心率和皮肤电生理数据；信号传输装置实时传输生理数据收集装置所采集到的使用者生理数据；数据处理器内嵌有生理数据正常阈值，数据处理器通过信号传输装置实时接收生理数据收集装置所采集的生理数据，并与生理数据正常阈值进行比对、计算，得到使用者情绪状态和需要调节的生理数据；调控终端用于接收数据处理器的生理数据调整信号，控制与所调生理数据相对应的刺激终端为使用者提供多感官情绪刺激，向使用者提供合适的调控用刺激及相应频率/强度，直至使用者的生理数据落入正常阈值内，使使用者达到正常或良好的情绪状态。

说明书

技术领域

本发明涉及情绪调节技术领域，具体涉及一种基于多模态的自适应情绪调节系统与方法。

背景技术

情绪调节分为内源和外源，内源性的情绪调节指的是个人维持或改变其内部情感或情绪状态的过程。内部情感或情绪状态不仅包括由外部客观情感刺激导致，也包括个体自我诱发的情绪。内源性有效的情绪调节手段包括分散注意力和积极的重新评估刺激。良好的情绪调节对个人起到重要作用，影响人的如社交/人际关系、记忆等。合理的情绪调节被认为是“情绪上成熟”的重要标志，也是人们适应情绪和社会的基础。然而，并非所有人都能利用内源性的情绪调节改变或维持情绪，使其处于良好状态。一部分人在调节情绪时采取了无效甚至负面的策略，如过度发泄、抑制情感、反刍等，还有一部分是由于突发的外部客观情感刺激超出个体内源性情绪调节的适应范围，如分手或离异、意外事故、亲人离世等。缺乏有效的情绪调节在许多精神疾病的发展中起核心作用，如抑郁症、焦虑症等。

多种精神疾病和情绪障碍已被证明与缺乏有效的情绪调节相关，这极大的影响了人民个人福祉与社会稳定。对于这些人群，引入适当有效的外部情绪调节是十分必要的。现有的外部情绪调节的手段主要包括心理治疗，药物治疗，及物理治疗(如电痉挛治疗，深部脑刺激治疗，经颅磁刺激治疗等)。这些现有的手段具有价格昂贵，获得门槛高等缺点，这些阻碍了情绪调节异常的人群获得及时的帮助和治疗。尤其对于轻症人群而言，这样的低可及性的治疗手段常使他们不会在第一时间寻求帮助和治疗，可能使得他们的情绪调节长期无法正常实现，逐渐发展成更加严重的情绪障碍甚至精神疾病。

发明内容

为了解决上述所存在的技术问题，实现对情绪调节异常人群的情绪调节，使其达到正常或良好的情绪状态。为此，本发明提供了一种基于多模态的自适应情绪调节系统与方法，通过生理数据的采集，与正常生理数据进行比对，向使用者提供合适的调控用刺激及相应频率/强度，对使用者的情绪进行调节，使使用者达到正常或良好的情绪状态。

本发明采用如下技术方案：

一方面，本发明提供了一种基于多模态的自适应情绪调节系统，系统包括：

生理数据收集装置，用于收集使用者的血压、心率和皮肤电生理数据；

信号传输装置，用于实时传输所述生理数据收集装置所采集到的使用者生理数据；

数据处理器，其内嵌有生理数据正常阈值，所述数据处理器通过所述信号传输装置实时接收所述生理数据收集装置所采集的生理数据，并与生理数据正常阈值进行比对、计算，得到使用者情绪状态和需要调节的生理数据；

调控终端，包括多个生理刺激终端，其分别与所述数据处理器连接，用于接收所述数据处理器的生理数据调整信号，控制与所调生理数据相对应的生理刺激终端为使用者提供多感官情绪刺激，直至使用者的生理数据落入正常阈值内。

进一步地，所述生理数据收集装置包括血压监测单元、心率监测单元和皮肤电监测单元，分别用于实时监测使用者的血压、心率和皮肤电生理数据。

进一步地，所述信号传输装置中设有第一无线通信单元、第二无线通信单元、第三无线通信单元和第四无线通信单元；

所述数据处理器包括第一处理器、第二处理器、第三处理器和第四处理器；所述的第一无线通信单元和第一处理器设置于所述生理数据收集装置中，所述第一处理器用于处理所采集的生理数据，确定使用者的情绪状态，并生成情绪调节生理数据；所述第二处理器、第三处理器和第四处理器分别与所述调控终端连接，用于对应调节各生理刺激终端所提供的生理数据；

所述第二无线通信单元与所述第二处理器连接，所述第三无线通信单元与所述第三处理器连接，所述第四无线通信单元与所述第四处理器连接，所述第一无线通信单元分别与所述的第二无线通信单元、第三无线通信单元、第四无线通信单元实现数据传输；

所述第一处理器所生成的情绪调节生理数据通过所述第一无线通信单元传输，经所述第二无线通信单元、第三无线通信单元、第四无线通信单元分别传输给对应的所述第二处理器、第三处理器和第四处理器。

所述调控终端包括显示器、播放器、存储器、震动器和电刺激器；所述存储器内存储有用于调节使用者情绪的音乐和图片资料，所述显示器用于显示所述存储器中的图片资料，所述播放器用于播放所述存储器中的音乐资料；所述第二处理器与所述的显示器、播放器和存储器连接，所述震动器与所述第三处理器连接，所述电刺激器与所述第四处理器连接。

所述的显示器、播放器、存储器和第二处理器和第二无线通信单元集成于平板电脑中。

所述震动器为带有震动马达的腕带，所述第三无线通信单元和第三处理器集成于所述腕带中；所述第四无线通信单元和第四处理器集成于所述电刺激器内。

另一方面，本发明还提供了一种基于多模态的自适应情绪调节方法，所述方法包括如下步骤：

步骤1，由生理数据收集装置收集使用者的血压、心率、皮肤电生理数据；

步骤2，数据处理器根据收集的生理数据，生理数据正常阈值，确定使用者的情绪状态，并计算生理数据与生理数据正常阈值的偏差值；

步骤3，数据处理器结合使用者的情绪状态和步骤2所计算出的偏差值，生成所需待调节的生理数据；

步骤4，调控终端接收步骤3中生成的待调节生理数据，控制与待调节生理数据相对应的生理刺激终端，使其向使用者呈现多感官情绪调节刺激；

步骤5，重复执行步骤1至步骤4，直至将使用者的生理数据调整至生理数据正常阈值范围内，调节结束。

所述调控终端所提供的多感官情绪刺激包括音视频刺激、图片刺激、震动刺激和电刺激。

若步骤2中经所述数据处理器计算出的使用者的生理指标较生理数据正常阈值都高时，执行步骤4，数据处理器将通过控制震动器为使用者提供的震动频率为心率下阈限；

若步骤2中经所述数据处理器计算出的使用者的生理指标较生理数据正常阈值都低时，执行步骤4，数据处理器将通过控制播放器为使用者播放音乐，同时控制震动器提供的震动频率与播放器播放的音乐节奏保持一致。

进一步地，若步骤2中经所述数据处理器计算出的使用者的生理指标较生理数据正常阈值都高时，执行步骤4，数据处理器将通过控制播放器为使用者播放速度低于80bpm的音乐，在显示器上显示低情绪唤醒图片，并控制电刺激器提供神经电刺激；

若步骤2中经所述数据处理器计算出的使用者的生理指标较生理数据正常阈值都低时，执行步骤4，数据处理器将通过控制播放器为使用者播放速度高于80bpm的音乐，且在显示器上显示正性情绪图片。

本发明技术方案具有如下优点：

A.本发明所提供的利用多模态生理数据判断使用者的情绪状态，并自适性的提供情绪调节系统，系统所采用的调节方法可以同时获取使用者的血压、心率、皮肤电三维生理数据，判断使用者所处情绪状态，并计算当前情绪状态与生理数据正常阈值的偏差值，结合情绪状态和偏差值自动判断是否应该执行情绪调节；本发明是基于收集到的使用者的生理信号，为使用者提供合适的调控用刺激及相应频率/强度，对使用者的情绪进行调节，使使用者达到正常生理数据和良好的情绪状态。

B.本发明在进行情绪调节时，调控终端结合音频、图片、震动、电刺激，从视觉、听觉、体觉多感官对使用者产生刺激，在提高使用者情绪唤醒和情绪镇定上都有良好效果；所采用的对情绪调节用刺激内容、频次、强度，是根据使用者的实时生理数据自适性调节的，具有较强针对性及便利性。

附图说明

为了更清楚地说明本发明具体实施方式，下面将对具体实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的情绪调节方法流程图；

图2为本发明所提供的情绪调节方法原理图；

图3为本发明所提供的情绪调节系统结构图；

图4为本发明应用例1结果图示；

图5为本发明应用例2结果图示。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图3所示，本发明提供了一种基于多模态的自适应情绪调节系统，包括：生理数据收集装置、信号传输装置、数据处理器和调控终端。其中的生理数据收集装置用于收集使用者的血压、心率和皮肤电生理数据；信号传输装置用于实时传输生理数据收集装置所采集到的使用者生理数据；数据处理器中内嵌有生理数据正常阈值，数据处理器通过信号传输装置实时接收生理数据收集装置所采集的生理数据，并与生理数据正常阈值进行比对、计算，得到使用者情绪状态和需要调节的生理数据；调控终端包括多个生理刺激终端，其分别与数据处理器连接，用于接收数据处理器的生理数据调整信号，控制与所调生理数据相对应的刺激终端为使用者提供多感官情绪刺激，直至使用者的生理数据落入正常阈值内。

其中的生理数据收集装置包括血压监测单元、心率监测单元和皮肤电监测单元，分别用于实时监测使用者的血压、心率和皮肤电生理数据，这里对血氧、心率和皮肤电的监测与数据收集均采用常用设备。

本发明可以通过生理数据收集装置采集使用者的生理信号，并基于使用者的生理信号，提供合适的调控用多感官刺激及相应频率/强度，对使用者的情绪进行调节，使使用者达到正常或良好的情绪状态。

其中的信号传输装置中设有第一无线通信单元、第二无线通信单元、第三无线通信单元和第四无线通信单元；数据处理器包括第一处理器、第二处理器、第三处理器和第四处理器；第一无线通信单元和第一处理器设置于生理数据收集装置中，第一处理器用于处理所采集的生理数据，确定使用者的情绪状态，并生成情绪调节生理数据；第二处理器、第三处理器和第四处理器分别与调控终端连接，用于对应调节各生理刺激终端向使用者所提供的生理数据；第二无线通信单元与第二处理器连接，第三无线通信单元与第三处理器连接，第四无线通信单元与第四处理器连接，第一无线通信单元分别与第二无线通信单元、第三无线通信单元、第四无线通信单元实现数据传输；第一处理器所生成的情绪调节生理数据通第一无线通信单元传输，经第二无线通信单元、第三无线通信单元、第四无线通信单元分别传输给对应的第二处理器、第三处理器和第四处理器。

调控终端包括显示器、播放器、存储器、震动器和电刺激器；存储器内存储有用于调节使用者情绪的音乐和图片资料，显示器用于显示存储器中的图片资料，播放器用于播放存储器中的音乐资料；第二处理器与显示器、播放器和存储器连接，并与第二无线通信单元集成于平板电脑中，震动器与第三处理器连接，电刺激器与第四处理器连接。这里所采用的刺激终端，比如显示器、播放器、存储器和电刺激器、震动器都采用现有技术设备，震动器优选采用带有震动马达的腕带，第三无线通信单元和第三处理器集成于腕带中，第四无线通信单元和第四处理器集成于电刺激器内。这样，平板电脑、电刺激器和震动器分别通过各自的通信单元与生理数据收集装置中的第一处理器实现数据通信，接收第一处理器生成的生理调节任务，控制对应的生理刺激终端，达到调节使用者生理参数的目的，采用个性化调节，具有更强的针对性。

上述的显示器、播放器、存储器、震动器及电刺激器均为现有技术。各无线通信单元可以为WIFI、4G、5G等通讯设备。

生理数据收集装置中的血压监测单元测量使用者的血压，血压可将身体长期健康状态与使用者的情绪反应联系起来的机制，可有效反应出使用者的情绪调节状况，是本系统的第一生理反馈参数。

生理数据收集装置中的心率监测单元用于测量使用者的实时心率，心率偏离基线与心率偏离基线的量度已与诸如焦虑，恐惧，兴奋等情绪反应相关，是反应短期内情绪唤醒的可靠生理指标，在本系统中作为第二生理反馈参数。

生理数据收集装置中的皮肤电监测单元用于检测使用者的皮肤电活动。皮肤电活动是测量使用者交感神经系统活动的手段，交感神经系统活动与情绪唤醒的增加相关，并且皮肤电活动对兴奋性系统相关情绪，如正性和中性情绪的变化敏感程度高。皮肤电活动在本系统中作为第三生理反馈参数。

通过采集使用者的生理信号，并传递给第一处理器，第一处理器将采集到生理数据与血压、心率、皮肤电的正常上下阈值进行对比，根据使用者的实时生理数据判断使用者的情绪状态。第一处理器同时根据使用者生理数据自适性作出情绪调节方案，并通过第一无线通信单元向第二、第三和第四无线通信单元发送信息；第二、第三和第四无线通信单元接受相应信息，传输给第二、第三和第四处理器，第二、第三和第四处理器控制相应的显示单元、播放单元、震动单元和电刺激单元输出图片、声音、震动和神经电刺激信息，对使用者的情绪进行调节。在此过程中，生理数据收集系统持续监测使用者的生理数据，并根据生理数据调节调控终端输出的多感官刺激，直至使用者的各项生理数据处于生理数据正常阈值内，系统停止工作，使用者的情绪调节完成。

结合图1和图2所示，具体的情绪调节方法实施步骤如下：

【S1】由生理数据收集装置收集使用者的血压、心率、皮肤电生理数据。

通过血压监测单元、心率监测单元和皮肤电监测单元分别收集使用者的血压，实时心率和皮肤电，通过第一处理器将生理数据与正常阈值进行比较。这里的正常阈值由使用者在平静和自我汇报的异常情绪下测得；正常阈值还可根据临床使用的血压、心率和皮肤电的正常范围决定。

【S2】数据处理器根据收集的生理数据和生理数据正常阈值，确定使用者的情绪状态，并计算生理数据与生理数据正常阈值的偏差值。

第一处理器结合所收集上来的生理数据，判断使用者的生理数据是否在正常阈值内，并计算与上下阈值的差异偏差值。

【S3】数据处理器结合使用者的情绪状态和步骤【S2】所计算出的偏差值，生成所需待调节的生理数据。即若判断得出使用者的生理数据在正常阈值内，不需要对后续使用者的生理数据进行调整，调控终端无需对使用者做任何刺激操作；若判断使用者的生理数据不在正常阈值内，则作出后续调整生理数据的方案，执行步骤【S4】。

【S4】调控终端接收步骤【S3】中生成的待调节生理数据，控制与待调节生理数据相对应的生理刺激终端，使其向使用者呈现多感官情绪调节刺激。

这里待调节的生理数据也可以表达为无需调整的生理数据，此时无需控制生理刺激终端对使用者呈现任何感官刺激。

通过监测，发现需要对使用者的情绪状态进行调节时，第二和第三处理器通过第二和第三无线通信单元接收情绪调节信号及使用者的情绪状态，根据所接收到的信息播放设定的音乐、图片、开启手环的震动及提供神经电刺激等操作。在一些实施例中，存储器中的音乐是使用者提供的使用者最喜欢的音乐集，还可以是从数据库中直接选择的已知对人情绪有较好调控效果的音乐，如军旅歌曲，古典音乐等，在此不做具体限定；类似地，在一些实施例中，存储器中的图片是使用者提供的一组喜欢的图片，可以包括使用者拍摄的图片，或使用者收集的网络图片等；当然，还可以是从数据库中直接选择的已知对人有明显情绪调节效果的图片集，如中国情绪图片库中的正性图片等，在此不做具体限定。神经电刺激的强度根据使用者的感受而定，在一些实施例中，神经电刺激的参数采用频率25Hz，脉宽250μs；在另一些实施例中，神经电刺激还可以使用可调节使用者情绪的其他参数，如频率8Hz，脉宽250μs等，在此不做具体限定。至于手环震动马达的震动频率取决于使用者情绪和播放音乐。

具体来说，当使用者的生理指标不在生理数据正常阈值内，系统获得调节信号。若使用者的生理指标较上下阈值都更高，意味着使用者处于情绪高唤醒的状态。较高的生理指标同时与较高的焦虑或压力有直接关联，此时降低使用者的情绪唤醒，对使用者产生镇静作用是本系统的主要目标。此时腕带震动马达的震动频率为心率下阈限，较慢的震动节奏可以有效降低使用者唤醒度以及使使用者达到主观的平静状态。若使用者的生理指标较上下阈值都更低，意味着使用者处于情绪唤醒低的状态，本系统的主要目标是提高使用者的情绪唤醒。此时腕带震动马达的震动频率与音乐的节奏保持一致。

当然，监测到使用者的生理指标高于上下阈值时，采用腕带震动的基础上，同时采用播放音乐刺激、图片刺激和电刺激方式，采用播放速度小于80bpm的音乐，图片使用低情绪唤醒的图片，对使用者提供神经电刺激；监测到使用者的生理指标低于上下阈值时，在施加腕带震动的基础上，采用播放速度高于80bpm的音乐，采用正性情绪的图片，且不对使用者提供神经电刺激。

【S5】重复执行步骤【S1】至【S4】，直至将使用者的生理数据调整至生理数据正常阈值范围内，调节结束。

在步骤【S2】中，使用者的各项生理数据均在正常阈值内时，系统停止运行。在一些实施例中，使用者经过一轮系统的调节就能使各项生理数据回归正常阈值内，系统停止运行，对使用者的情绪调节完成；在一些实施例中，使用者需要经过系统多轮的调节才能使生理数据回归正常阈值内，甚至可能连续两轮的情绪调节方向相反；在另一些实施例中，使用者一开始的生理数据就在阈值内，表明使用者无需经过本系统的情绪调节。

本发明在进行情绪调节时，调控终端结合音频、图片、震动、电刺激，从视觉、听觉、体觉多感官对使用者产生刺激，在提高使用者情绪唤醒和情绪镇定上都有良好效果；所采用的对情绪调节用刺激内容、频次、强度，是根据使用者的实时生理数据自适性调节的，具有较强针对性及便利性。

应用例1

通过招募了20名年龄在18-35岁间的健康被试，使用本系统进行了至少一轮的情绪调节，在前后分别由被试进行了情绪的自我汇报和评估，包括情绪唤醒和效价(0～10分)，使用一种常用的情绪评估量表——正性负性情绪量表(0～5分)。在本应用例中，存储器中的音乐是使用者提供的使用者最喜欢的音乐集。结果如图4所示，评分越高则代表该项情绪维度强度越强。可以看出，经过本系统的调节，使用者的唤醒和效价均有显著的提升(p<0.001)；正性情绪上升极显著，负性情绪降低显著(p<0.05)。由此说明，经过至少一轮的调节后，使用者的情绪有明显的改善。

应用例2

通过招募了18名年龄在18-35岁间的健康被试，使用本系统进行了至少一轮的情绪调节，在前后分别由被试进行了情绪的自我评估，使用一种常用的情绪评估量表——正性负性情绪量表(0～5分)。在本应用例中，电刺激器的参数选择为25Hz，脉宽250μs。结果如图5所示，评分越高则代表该项情绪维度强度越强。可以看出，经过本系统的调节，使用者的正性情绪下降显著(p<0.001)，负性情绪降低显著(p<0.05)。由此说明，经过至少一轮调节后，使用者的情绪明显镇定。

结合以上两应用例，本发明在提高使用者情绪唤醒和情绪镇定上都有良好效果。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。