基于单兵智能骨导听觉反馈技术的可穿戴防护装备

摘要

基于单兵智能骨导听觉反馈技术的可穿戴防护装备包括：柔性外壳上设有控制模块、立体声骨导传音振子和脑电传感器；控制模块控制立体声骨导传音振子发送音频刺激信号，脑电传感器采集额头区域的脑电信号；控制模块基于人脑处于工作状态时采集到的脑电信号提取单兵的认知能力特征和情绪状态特征，基于脑电数据库中认知能力特征和情绪状态特征与音频数据库中音频信号的对应关系，从音频数据库中匹配出与之对应的最适宜音频刺激信号，并播放给单兵；基于人脑处于睡眠状态时采集到的脑电信号提取单兵的睡眠质量特征，基于脑电数据库中睡眠质量特征与音频数据库中音频信号的对应关系，从音频数据库中匹配出与之对应的最适宜音频刺激信号，并播放给单兵。

说明书

技术领域

本发明涉及可穿戴设备技术领域，特别是涉及一种基于单兵智能骨导听觉反馈技术的可提升深海密闭空间作业人员的认知能力和情绪状态的可穿戴防护装备。

背景技术

深海密闭空间舱室环境条件非常恶劣，影响作业人员生存能力的环境因素不仅包括照明、色彩、温湿度、噪声、振动、有害气体、微生物、核辐射等要素，还包括艇上的空间布局、卫浴设施、饮食营养、值班作息、体育锻炼等诸多方面。通过调查和研究，影响作业人员作业能力的环境因素复杂多样，这些环境因素的复合危害作用更加复杂，严重影响作业人员身心健康、作业能力和情绪状态。

如何维持、增强并保障作业人员在长远航过程中的认知能力是保障有效完成作业任务的关键。所以，研究作业人员认知能力的维护、认知损伤的客观评价与非药物干预方法，建立深海密闭空间环境作业人员作业能力增强/保护非药物干预平台并研发新型可穿戴智能防护与战力增强装备，成为我军走向深、远海作业亟需解决的重要问题。

针对深海密闭空间环境和高应激状态诱导认知能力下降和情绪低落问题，目前尚未有专用的、高效的非药物认知干预的治疗手段。

（1）深海密闭空间舱室环境因素复杂多样，且叠加效应明显，作业任务艰巨，易导致作业人员出现高应激状态。

深海密闭空间舱室环境中，存在大量应激源，包括核化物生因素、生理因素、心理和社交因素等，这些因素均会对作业人员的生理和心理产生重要影响，使官兵长期处于高应激状态，满负荷、甚至超负荷运转，引发躯体和心理紧张，表现为疲劳、免疫力下降、睡眠-觉醒节律失调、认知能力下降、焦虑和负性情绪，甚至出现决策和操作失误，导致严重后果。所以，必须深入研究深海密闭空间对作业人员认知能力影响机制，制定针对性的维持和增强认知能力和缓解精神压力的措施，提高深海密闭空间作业人员的作业能力。

（2）深海密闭空间环境导致作业人员认知能力下降，严重影响其作业效能。

深海密闭空间对作业人员精准操作、快速反应等方面要求很高，执行特殊任务期间长时程、高强度的脑力作业的要求，使得认知功能在作业能力中的重要性凸现出来。在深海密闭空间“人-机-环境”单元中，人是最脆弱的环节，而在作业人员的体力与脑力（认知能力）疲劳方面，认知能力是最薄弱的环节。深海密闭空间环境中多种不利因素对生理、心理的影响，必然反映到认知作业绩效上，而认知能力的下降可能造成严重后果。国外研究发现，连续作业睡眠缺失24小时认知工作绩效整体下降30%，42小时降幅则高达60%，在飞行任务中70%以上的严重飞行事故是人为因素造成的，而各国的大型装备事故中，80%与人的认知能力下降和情绪恶化有关。

（3）深海密闭空间作业中的认知增强仍缺乏科学的方法、平台和增强技术，建认知增强方法体系迫在眉睫。

鉴于深海密闭空间狭小密闭的环境，高度的隐蔽性和续航能力，可能将孤军远行，或长时间潜伏，对于作业人员的认知能力损伤的预警和防护提出了更高要求。目前我国在认知作业能力的评价指标、诊断标准以及防护措施方面仍缺乏深入的研究，尚未建立完整的防、诊、治体系和可靠的认知增强技术。为提升深海密闭空间作业人员的作业绩效和作业能力，建立多层次认知增强方法体系迫在眉睫。目前急需在阐明深海密闭空间作业能力损伤的神经机制的基础上，基于脑科学和脑机接口技术完成实时、个性化的认知能力和情绪状态的监测，并基于无创、无副作用的声音干预技术以及基于脑电信号和声音信号的智能化匹配技术，提出个性化和精准化的智能听觉反馈干预方法与训练范式，从而对深海密闭空间作业认知能力损伤的防治和认知效能的增强起到积极的推动作用。

发明内容

本发明针对现有技术存在的问题和不足，提供一种新型的基于单兵智能骨导听觉反馈技术的可穿戴防护装备。

本发明是通过下述技术方案来解决上述技术问题的：

本发明提供一种基于单兵智能骨导听觉反馈技术的可穿戴防护装备，其特点在于，其包括用于贴在单兵的额头上的柔性外壳，所述柔性外壳上设有控制模块、至少一个立体声骨导传音振子和至少一个脑电传感器；

所述控制模块还用于控制立体声骨导传音振子发送音频刺激信号，所述脑电传感器用于采集额头区域的脑电信号并将采集到的脑电信号传输至控制模块；

所述控制模块还用于基于单兵人脑处于工作状态时采集到的脑电信号提取单兵的认知功能中的认知能力特征和情绪状态特征，基于分析出的认知能力特征和情绪状态特征以及脑电数据库中认知能力特征和情绪状态特征与音频数据库中音频信号的心理学、语义、情感特征的对应关系，从音频数据库中匹配出与之对应的最适宜音频刺激信号，并通过立体声骨导传音振子播放给单兵；

所述控制模块还用于基于单兵人脑处于睡眠状态时采集到的脑电信号提取单兵的认知功能中的睡眠质量特征，基于分析出的睡眠质量特征以及脑电数据库中睡眠质量特征与音频数据库中音频信号的心理学、语义、情感特征的对应关系，从音频数据库中匹配出与之对应的最适宜音频刺激信号，并通过立体声骨导传音振子播放给单兵，以达到改善和提高深海密闭环境单兵认知能力的目的。

较佳地，所述柔性外壳的左侧设有第一皮肤压力传感器，所述柔性外壳的右侧设有第二皮肤压力传感器；

所述第一皮肤压力传感器用于检测柔性外壳左侧与皮肤间的压力大小，并将第一压力值传输至控制模块，所述第二皮肤压力传感器用于检测柔性外壳右侧与皮肤间的压力大小，并将第二压力值传输至控制模块；

所述控制模块用于判断第一压力值是否低于设定阈值或第二压力值是否低于设定阈值，在任一压力值低于设定阈值时则发出装备与皮肤接触不良的警告信息，否则发出装备与皮肤接触良好的信息。

较佳地，针对单兵脑活动信号和声音信号智能匹配的具体需求，通过大量认知实验建立脑电数据库和与之对应的音频数据库，对脑电信号提取认知能力相关评价特征，对声音信号提取心理学、语义、情感等相关特征，并且提出一种可控稀疏的典型相关分析技术，来实现二者的智能量化匹配：

给定一脑电信号X，获得其p维稀疏建模系数向量a=(a₁,>₂,…a_p>SP(a)=1来实现自动提取出脑电信号X的一个最关键分量，SP(a)的计算方式表述为：

同样地，对音频数据库中的所有音频数据Y_n（n=1,2,…N）提取其q维稀疏建模系数向量b_n=(b_n1,>_n2,…b_nq>

拓展典型相关分析CCA方法在脑电和音频数据间建立关联，定义脑电信号与音频信号的协方差矩阵为C_ab（p×q），则三种情况的优化形式为：

式中，λ为稀疏性能优化项的权重；ε为一常数，ε越大则模型允许的成分分量相关性越高，通过优化这一目标函数，在保证在成分分量完整性的前提下，把脑电数据库和音频数据库关联在一起。

较佳地，所述控制模块还用于对采集到的脑电信号进行预处理去除噪声与伪迹干扰，根据脑电信号的音质的谐波规律，自适应地找到各频带中心位置，根据各频带中心位置，计算CQT频谱，提取各频带频谱特征参数构造特异性音质，根据特异性音质分析认知能力特征、情绪状态特征和睡眠质量特征。

较佳地，所述控制模块用于利用基于EEG稀疏建模的认知能力量化检测方法分析采集到的脑电信号以获得认知能力特征。

较佳地，所述控制模块用于利用音频事件点相关诱发电位AERP的情绪量化检测方法分析采集到的脑电信号以获得情绪状态特征。

较佳地，所述控制模块用于利用希尔伯特黄变换的睡眠质量量化检测方法分析采集到的脑电信号以获得睡眠质量特征。

较佳地，所述柔性外壳的左侧设有针对左声道的第一立体声骨导传音振子、第一脑电传感器，所述柔性外壳的右侧设有针对右声道的第二立体声骨导传音振子、第二脑电传感器，所述柔性外壳的中间位置处设有第三脑电传感器；

所述控制模块还用于控制第一立体声骨导传音振子和第二立体声骨导传音振子发送音频刺激信号，所述第一脑电传感器、第二脑电传感器和第三脑电传感器用于采集额头区域的脑电信号，并将采集到的脑电信号传输至控制模块；

所述控制模块还用于在从音频数据库中匹配出与之对应的最适宜音频刺激信号时，通过第一立体声骨导传音振子和第二立体声骨导传音振子播放给单兵。

较佳地，所述第一立体声骨导传音振子、第一脑电传感器和第一皮肤压力传感器通过第一粘合层粘接在柔性外壳的左侧，所述第二立体声骨导传音振子、第二脑电传感器和第二皮肤压力传感器通过第二粘合层粘接在柔性外壳的右侧，所述第三脑电传感器通过第三粘合层粘接在柔性外壳的中间位置处。

在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。

本发明的积极进步效果在于：

本发明基于骨导传声技术与人工智能技术，开发针对向长远航中深海密闭环境下的人员认知能力下降和情绪低落等问题的单兵智能骨导听觉反馈原理样机，并验证识别精准度和干预的有效性，降低认知能力下降和情绪低落监测与筛查门槛，在深海密闭空间作业人员人群环境中达到示范和推广，甚至对疫情期间，位于深海密闭空间作业的作业人员人群环境中达到示范和推广。

本发明构建单兵智能骨导听觉反馈可穿戴装备，实现干预有效率达到80%以上，实现认知能力、情绪状态和睡眠质量的实时监测，认知能力下降和情绪低落早期识别准确率90%以上。

附图说明

图1为本发明较佳实施例的可穿戴防护装备的佩戴示意图。

图2为本发明较佳实施例的可穿戴防护装备的结构示意图。

图3为本发明较佳实施例的基于脑活动与声音智能化匹配技术的听觉反馈技术与训练范式研究框图。

图4为本发明较佳实施例的基于CQT变换的脑电信号频带分析过程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和2所示，本实施例提供一种基于单兵智能骨导听觉反馈技术的可穿戴防护装备，其包括用于贴在单兵的额头上的柔性外壳1，所述柔性外壳1上设有控制模块2，所述柔性外壳1的左侧设有针对左声道的第一立体声骨导传音振子3、第一脑电传感器4和第一皮肤压力传感器5，所述柔性外壳1的右侧设有针对右声道的第二立体声骨导传音振子6、第二脑电传感器7和第二皮肤压力传感器8，所述柔性外壳1的中间位置处设有第三脑电传感器9。

所述第一立体声骨导传音振子3、第一脑电传感器4和第一皮肤压力传感器5通过第一粘合层10粘接在柔性外壳1的左侧，所述第二立体声骨导传音振子6、第二脑电传感器7和第二皮肤压力传感器8通过第二粘合层12粘接在柔性外壳1的右侧，所述第三脑电传感器9通过第三粘合层11粘接在柔性外壳1的中间位置处。

所述第一皮肤压力传感器5用于检测柔性外壳1左侧与皮肤间的压力大小，并将第一压力值传输至控制模块2，所述第二皮肤压力传感器8用于检测柔性外壳1右侧与皮肤间的压力大小，并将第二压力值传输至控制模块2。

所述控制模块2用于判断第一压力值是否低于设定阈值或第二压力值是否低于设定阈值，在任一压力值低于设定阈值（第一压力值低于设定阈值、第二压力值低于设定阈值、或者第一压力值低于设定阈值同时第二压力值低于设定阈值）时表明装备与单兵皮肤接触不良，则发出装备与皮肤接触不良的警告信息，提醒用户调整，否则发出装备与皮肤接触良好的信息。

如图3所示，所述控制模块2还用于控制第一立体声骨导传音振子3和第二立体声骨导传音振子6发送音频刺激信号，所述第一脑电传感器4、第二脑电传感器7和第三脑电传感器9用于采集额头区域的脑电信号，并将采集到的脑电信号传输至控制模块2。

所述控制模块2还用于基于单兵人脑处于工作状态时采集到的脑电信号提取单兵的认知功能中的认知能力特征和情绪状态特征，基于分析出的认知能力特征和情绪状态特征以及脑电数据库中认知能力特征和情绪状态特征与音频数据库中音频信号的心理学、语义、情感特征的对应关系，从音频数据库中匹配出与之对应的最适宜音频刺激信号，并通过第一立体声骨导传音振子3和第二立体声骨导传音振子6播放给单兵，以达到改善和提高深海密闭环境单兵认知能力的目的。

所述控制模块2还用于基于单兵人脑处于睡眠状态时采集到的脑电信号提取单兵的认知功能中的睡眠质量特征，基于分析出的睡眠质量特征以及脑电数据库中睡眠质量特征与音频数据库中音频信号的心理学、语义、情感特征的对应关系，从音频数据库中匹配出与之对应的最适宜音频刺激信号，并通过第一立体声骨导传音振子3和第二立体声骨导传音振子6播放给单兵，以达到改善和提高深海密闭环境单兵认知能力的目的。

其中，如图4所示，所述控制模块2对采集到的脑电信号进行预处理去除噪声与伪迹干扰，根据脑电信号的音质（timbre）的谐波规律，自适应地找到各频带中心位置，根据各频带中心位置，计算CQT频谱，提取各频带频谱特征参数构造特异性音质，通过CQT可以快速找到脑电信号timbre的个人特点后，可以针对个人进行精细化建模。

根据特异性音质分析认知能力特征、情绪状态特征和睡眠质量特征。具体地，利用基于EEG稀疏建模的认知能力量化检测方法分析采集到的脑电信号以获得认知能力特征，利用音频事件点相关诱发电位AERP的情绪量化检测方法分析采集到的脑电信号以获得情绪状态特征，利用希尔伯特黄变换（Hilbert-Huang Transform，HHT）的睡眠质量量化检测方法分析采集到的脑电信号以获得睡眠质量特征。

通过稀疏典型相关分析方法，将脑电信号按照认知功能进行个性化特征提取，所述个性化特征包括认知能力特征、情绪状态特征和睡眠质量特征，将提取到的个性化特征与音频刺激信号进行相关性分析，找出与当前脑电信号最相关的音频刺激信号作为最适宜音频刺激信号，并将提取到的个性化特征对应的脑电信号存储至脑电数据库中，将匹配的最适宜音频刺激信号存储至音频数据库中，并建立脑电数据库中脑电信号与音频数据库中最适宜音频刺激信号的对应匹配关系。

基于稀疏典型相关分析的脑电信号和声音信号的智能匹配技术：基于人员脑状态和声音智能匹配的智能听觉反馈方法主要是通过对大量认知实验采集到的数据，建立脑波数据库和与之对应的音频数据库，对脑电信号，提取与上述认知能力的相关脑电信号特征，对于音频信号，提取其心理学、语义、情感等相关特征，通过稀疏典型相关分析，将二者建立关联。在分析不同类数据之间的相关性时，常用方法是典型相关分析（CanonicalCorrelation Analysis，CCA），该方法可以较好地解决多变量不同模态信息之间的关联分析问题。

在智能听觉反馈中需要找出至少三种匹配情况的声音信号以实现多样化的听觉调理，包括：强匹配，声音与脑电高度相关，实现谐振化调理，提升认知能力；弱匹配，声音与脑电不相关，实现放松式调理，缓解精神紧张和情绪恶化，改善睡眠质量；和负匹配，声音与脑电反相关，实现反谐振调理，纠正负面情绪与认知障碍倾向。针对这一人员脑活动信号和声音信号智能匹配的具体需求，首先通过大量认知实验建立脑电数据库和与之对应的音频数据库；对脑电信号提取认知能力相关评价特征，对声音信号提取心理学、语义、情感等相关特征。并且，提出一种可控稀疏的典型相关分析技术（Sparse Performance controlledCCA, SPCCA），来实现二者的智能量化匹配。

给定一段脑电信号X，首先提出一种稀疏度可控的改进稀疏分解方法，获得其p维稀疏建模系数向量a=(a₁,>₂,…a_p>SP(a)=1来实现自动提取出X的一个最关键分量。SP(a)的计算方式可以表述为：

同样地，对声音库中的所有音频数据Y_n（n=1,2,…N）提取其q维稀疏建模系数向量b_n=(b_n1,>_n2,…b_nq>

接下来，拓展典型相关分析CCA方法在脑电和音频数据间建立关联，定义脑电信号与音频信号的协方差矩阵为C_ab（p×q），则三种情况的优化形式为：

式中，λ为稀疏性能优化项的权重；ε为一常数，ε越大则模型允许的成分分量相关性越高，通过优化这一目标函数，可以在保证在成分分量完整性的前提下，把脑电和音频两个数据库智能地关联在一起。

当面对新的脑电信号时，按照听觉反馈的三个目标来智能匹配出最需要音频数据：在执行任务中，针对保持警醒和提升认知能力的需求，实施强匹配检索，找到与脑波最相关的音频，实施实现谐振化调理；同时针对可能的情绪恶化与认知失误，实施负匹配检索，找到与脑波对立的音频，实施反谐振调理；而在休息时，采用弱匹配检索不相关音频，实施放松式调理；通过智能匹配实现的个性化、多样化听觉调理，可以大大改善或提高单兵的认知状态，提升作战能力。

本发明通过调研分析与模拟深海密闭环境认知实验研究，探索能反映深海密闭空间环境高应激状态下作业人员认知能力下降和情绪低落的神经机制与认知规律，在此基础上开展深海密闭空间作业人员认知能力实时评估与个性化非药物干预关键技术与装备研究，为作业人员脑作业能力维护和提高提供理论和技术支撑。

本发明中，声音疗法通过特殊的声音信号对人机体神经系统的调控和化学递质的释放等产生影响，可以提高人体认知能力，缓解精神压抑。鉴于其无创安全、高效便捷和无副作用等特点，声反馈特别适用于对作业人员开展认知能力提升训练和情绪调节。

声音的骨传导是将声波通过颅骨和颌骨等的振动传到内耳，能在嘈杂环境中实现清晰的声音还原，且不会因为声波在空气中扩散而影响到他人，特别适用于狭小空间，具有私密、低损耗、便携和安全等特点。可见采用骨传导的声音疗法特别适用于深海密闭空间舱室环境，研究个性化声音疗法对保证作业人员作业能力具有重要意义。

本发明提出将骨导传声技术与声音疗法相结合，研究个性化认知能力实时监测技术以及脑活动信号与声音的智能化匹配技术，研发单兵智能骨导声反馈干预技术与原理样机。此技术具有无创、便携、安全、针对性强、不干扰他人等特点。本研究以脑科学为突破口，将脑科学与声学技术相结合，开发革新性脑保护与认知增强技术，打造新型可穿戴智能防护装备，研究成果将有效减轻长期深海密闭环境作业对作业人员身心带来的负面影响，提升作业人员认知能力，改善作业人员情绪状态，切实提高作业人员作业能力，具有重要的理论意义和实际应用价值。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

去获取专利，查看全文>