基于社交信息听觉刺激下的脑电信号的身份识别方法及系统

摘要

本发明公开了一种基于社交信息听觉刺激下的脑电信号的身份识别方法及系统，本发明方法包括向用户输出要求回答用户数据库中记录的相关指定人员的姓名的消息；采集用户的回答语音，识别出文本并提取声纹；若回答语音的文本与用户数据库中该相关指定人员的真实姓名匹配、且声纹与用户数据库中该用户的声纹匹配，则播放用户的回答语音，同时采集用户听到所播放的回答语音时的脑电信号，若脑电信号的特征与用户数据库中该用户的脑电信号的特征匹配，则判定该用户身份识别成功。本发明能实现稳定可靠的身份识别、不需要训练过程，识别准确率好，识别效率高，普通用户可以经过简单的训练即可使用，对于有视觉障碍的人群有较好的适用性。

说明书

技术领域

本发明涉属于身份识别技术，具体涉及一种基于社交信息听觉刺激下的脑电信号的身份识别方法及系统。

背景技术

随着人们对于安全性的需求日益增加，基于生物特征的身份识别系统备受关注。传统“以物认人”的方式由于可靠性低、容易丢失等弊端，已经无法满足当代人们的需求，取而代之的是借助人自身具有的生物特征，例如指纹、虹膜、人脸和声音等来进行身份识别。然而，指纹、虹膜、人脸、声音等虽然已经应用到实际产品中，但也存在着一定的不足，其中最重要的一点就是这些静态识别方式容易被复制和盗用，因此，探索更为安全可靠的身份识别方法是非常有意义的，脑电信号就是其中之一。

研究表明，脑电信号在同一个体上具有稳定性，即在一段较长时间内，同一个人的脑电信号不会产生大的变化；在不同个体间有特异性，即在进行同一事件时，不同个体间也会存在显著差异。基于这一点，同时考虑到脑电信号还具有难以复制、难以伪造等优势，基于脑电信号进行身份识别的技术近来得到了广泛关注。根据所使用的脑电信号的类型不同，目前较为常见的基于脑电进行身份识别的方案可以主要分为两类——自发脑电和诱发脑电。自发脑电依赖于被试者本身的自主想象和自发性动作，主要有静息态脑电和运动想象脑电。诱发脑电通常需要外部刺激来激发，主要有事件相关电位和稳态视觉诱发脑电。

目前相关研究人员对于以上几种脑电用于身份识别都有了一些研究。例如申请号为CN200910186458.X的中国专利文献公开了一种基于小波分析和Welch算法的身份识别方法，该方案中就采用了运动想象脑电来做身份识别。基于运动想象的脑电是使被试想象进行某种肢体运动，采集被试者产生的脑电信号，以此进行身份识别。这种方法具有较大的局限性：在采集脑电的过程中，被试需要高度配合以产生各种不同肢体部位单独运动想象。然而，能够精确想象肢体不同部位的运动本身就是比较困难的，普通人往往需要经过很长时间的训练才能做到，因此基于运动想象的脑电识别并不适合作为普遍使用的身份识别方式。例如公开号为CN108415564A的中国专利文献公开了一种电子装置、设备控制方法及相关产品，该方法中采用的为不同情绪状态下的人脑特征信息，对脑电类型没有做出明确描述，当采集不同情绪状态下的脑电信息时，为了提高信噪比，行业内一般做法是采集静息态脑电。静息态的脑电一般需要较长的时间才能得到有代表性的的脑电信号模式，而且静息态的脑电数据本身不够强烈，易受被试者状态干扰。例如申请号为201810571367.7的中国专利文献公开了一种基于视觉刺激的脑电身份识别方法，该方案中就提出了一种基于频域编码的稳态视觉诱发脑电身份识别方法及系统，基于视觉诱发电位的脑电识别是使用固定的闪光或图形频率，对被试者进行视觉上的刺激，在一定时间后，采集被试者所产生的脑电信号，以此来进行身份识别的方法。这种方式需要被试视觉功能正常，对于一些视觉受损或丧失凝视控制的人来说这种设计并不实用。另外，基于视觉诱发电位的脑电识别还需要显示屏来进行视觉刺激的呈现，这使得身份识别的成本较高且身份识别系统便携性较差。例如申请号为201810269849.7的中国专利文献公开了一种基于脑电快速语音呈现范式的身份识别方法，基于听觉刺激的脑电识别是使用固定的声音素材对被试进行听觉上的刺激，采集被试者由于听到这些声音素材而产生的特殊脑电信号，以此进行身份识别的方法。该专利所提出的方法在日常使用时存在着两点不足，一是该专利选取的语音素材不容易长期稳定引发被试的相同反应：该专利的方法中所使用的语音素材库为日常中经常接触到的水果和蔬菜的语音，这类在日常中经常使用的词组的语音容易引发与现实事件高度关联的联想，例如在理想的状态下小王听到“苹果”这一听觉诱发刺激时只会产生常规的脑电反应，这个脑电反应应该是长久变化不大的，而且应该是易于与别人区分的，但是实际使用过程中，小王听到“苹果”这一此汇时，容易联想到“晚些时候我要去买点苹果”、“上次吃到的苹果中有一个坏的”、“妈妈说苹果皮上有农药，奶奶说苹果皮有营养，他们经常争吵苹果皮该不该吃”……这些联想的产生使得不同时间下同一被试对语音素材产生出不相同的脑电反应，这将降低身份识别结果的可信度，也就是说，在做基于听觉刺激的脑电识别时，最好选取不容易引起其他联想，且对于被试本人意义特殊的语音素材，例如由被试者自己声音录制的自我姓名和有特殊意义的他人姓名，根据日常生活经验，当念及自己姓名时，会产生特殊的心理反应和认知活动，因此，这种语音素材就比较适合作为脑电身份认证的听觉刺激素材。

简而言之，上述现有技术以及未列出的现有的脑电身份识别系统在脑电信号的选取上，主要存在的局限性有：(1)操作困难，需要大量训练(如运动想象脑电)；(2)响应慢，易被干扰(如静息态脑电)；(3)需要被试者视觉功能正常，需要显示屏(如视觉诱发脑电)；(4)现有的基于听觉刺激的脑电身份识别系统刺激信息不够典型容易引发联想。在方法上，现有技术大多采用机器学习或深度学习的方式，这种方式需要在身份认证阶段将待认证的用户脑电与数据库中所有用户数据类别计算概率，这使得认证过程比较缓慢，效率较低，同时也限制了数据库的规模不能做的过大。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于社交信息听觉刺激下的脑电信号的身份识别方法及系统，本发明旨在实现稳定可靠的身份识别、不需要训练过程，识别准确率好，识别效率高，普通用户可以经过简单的训练即可使用，对于有视觉障碍的人群有较好的适用性。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于社交信息听觉刺激下的脑电信号的身份识别方法，包括：

1)向用户输出要求回答用户数据库中记录的相关指定人员的姓名的消息；

2)采集用户的回答语音；

3)识别回答语音的文本，并提取回答语音的声纹；若回答语音的文本与用户数据库中该相关指定人员的真实姓名匹配、且声纹与用户数据库中该用户的声纹匹配，则判定该用户身份识别初步通过，则跳转下一步；否则，判定该用户身份识别失败，结束并退出；

4)播放用户的回答语音，同时采集用户听到所播放的回答语音时的脑电信号，若脑电信号的特征与用户数据库中该用户的脑电信号的特征匹配，则判定该用户身份识别成功，否则，判定该用户身份识别失败。

可选地，步骤3)包括：

3.1)识别回答语音的文本，若回答语音的文本与用户数据库中该相关指定人员的真实姓名匹配，则跳转下一步；否则，判定该用户身份识别失败，结束并退出；

3.2)提取回答语音的声纹，若回答语音的声纹与用户数据库中该用户的声纹匹配，则判定该用户身份识别初步通过，跳转下一步；否则，判定该用户身份识别失败，结束并退出。

可选地，步骤4)中判定该用户身份识别成功以后，还包括将用户回答语音的声纹、以及用户听到所播放的回答语音时的脑电信号的特征添加到用户数据库中。

可选地，所述将用户回答语音的声纹、以及用户听到所播放的回答语音时的脑电信号的特征添加到用户数据库中之后，还包括在用户数据库中记录的该用户的回答语音的声纹超过设定值后删除最老的一条回答语音的声纹；在用户数据库中记录的该用户听到所播放的回答语音时的脑电信号的特征超过设定值时删除最老的一条该用户听到所播放的回答语音时的脑电信号的特征。

可选地，步骤1)之前还包括进行用户注册的步骤：为用户建立至少一条认证问题条目并记录到用户数据库，所述认证问题条目包括用户的相关指定人员的姓名以及关系描述；采集用户读出相关指定人员的姓名的语音，基于所述语音提取用户的声纹并记录到用户数据库；播放用户读出相关指定人员的姓名的语音，采集用户听到所播放的回答语音时的脑电信号，提取脑电信号的特征并记录到用户数据库。

可选地，所述为用户建立至少一条认证问题条目并记录到用户数据库时，建立一条认证问题条目并记录到用户数据库的步骤包括：向用户输出认证问题条目模板，所述认证问题条目模板包括用户的多种相关指定人员的关系描述，所述认证问题条目模板包括的用户的多种相关指定人员包括用户的直系亲属中的部分或全部；在用户选择一个认证问题条目模板后，获取用户输入的相关指定人员的姓名，并将用户的相关指定人员的姓名及其对应的相关指定人员的关系描述记录到用户数据库中。

可选地，所述采集用户读出相关指定人员的姓名的语音，基于所述语音提取用户的声纹并记录到用户数据库时，包括为每一个相关指定人员记录多条用户的声纹。

可选地，所述采集用户听到所播放的回答语音时的脑电信号，提取脑电信号的特征并记录到用户数据库时，包括为每一个相关指定人员记录多条用户听到所播放的回答语音时的脑电信号的特征。

此外，本发明还提供一种基于社交信息听觉刺激下的脑电信号的身份识别系统，包括主机模块，以及分别与主机模块相连的脑电信号采集模块、拾音器以及输出模块，所述输出模块为语音输出模块或显示屏，所述主机模块包括相互连接的微处理器和存储器，所述微处理器为编程或配置以执行前文所述基于社交信息听觉刺激下的脑电信号的身份识别方法的步骤。

此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序用于被编程或配置为被微处理器执行以实施前文所述基于社交信息听觉刺激下的脑电信号的身份识别方法的步骤。

和现有技术相比，本发明主要具有下述优点：

1、本发明基于用户回答的相关指定人员的姓名这一特定的社交信息来实现身份识别，这一类社交信息的听觉刺激时，用户会产生与自身社会关系和社交属性高度关联的心理活动和认知反应，从而可以采集到与用户社交属性相关联的脑电信号。由于社交属性是人类生活中潜移默化接受和长久之间形成的，所以这种脑电信号相比于其他诱发方式脑电更为稳定和典型，不需要训练过程。

2、本发明在认证方式上，采取回答问题-声纹匹配-脑电匹配三步走的过程，其中回答问题和声纹匹配的步骤既可以用于初步的认证过程(非法闯入者首先要了解用户预设问题的答案，否则不能继续认证，如果是对用户信息了解全面的闯入者，声纹识别不匹配也可以阻碍其闯入)，又可以得到认证请求者初步的身份，在后续声纹和脑电认证中，就可以将复杂的多用户分类问题转化为“是否为某用户”的二分类问题，避免了跨被试之间的差异对结果的影响，分类准确率和效率得到提升。

3、本发明基于用户回答的相关指定人员的姓名这一特定的社交信息来实现身份识别，所使用的刺激素材丰富，可以减缓用户产生习惯效应造成系统识别准确率的漂移。

4、本发明普通用户可以经过简单的训练即可使用，对于有视觉障碍的人群有较好的适用性。

附图说明

图1为本发明实施例方法的基本流程示意图。

具体实施方式

实施例一：

如图1所示，本实施例基于社交信息听觉刺激下的脑电信号的身份识别方法包括：

1)向用户输出要求回答用户数据库中记录的相关指定人员的姓名的消息；

2)采集用户的回答语音；

3)识别回答语音的文本，并提取回答语音的声纹；若回答语音的文本与用户数据库中该相关指定人员的真实姓名匹配、且声纹与用户数据库中该用户的声纹匹配，则判定该用户身份识别初步通过，则跳转下一步；否则，判定该用户身份识别失败，结束并退出；

4)播放用户的回答语音，同时采集用户听到所播放的回答语音时的脑电信号，若脑电信号的特征与用户数据库中该用户的脑电信号的特征匹配，则判定该用户身份识别成功，否则，判定该用户身份识别失败。

本实施例基于社交信息听觉刺激下的脑电信号的身份识别方法基于用户回答的相关指定人员的姓名这一特定的社交信息来实现身份识别，这一类社交信息的听觉刺激时，用户会产生与自身社会关系和社交属性高度关联的心理活动和认知反应，从而可以采集到与用户社交属性相关联的脑电信号，而且本实施例方法巧妙地将用户回答语音、采集用户听到所播放的回答语音时的脑电信号进行了集成，从而可利用相关指定人员的姓名这一特定的社交信息实现基于语音识别、声纹、脑电信号三类方式结合的身份识别，可有效提高身份认证的准确度，防止因用户的习惯行为造成身份认证不准确。

本实施例中，步骤3)包括：

3.1)识别回答语音的文本，若回答语音的文本与用户数据库中该相关指定人员的真实姓名匹配，则跳转下一步；否则，判定该用户身份识别失败，结束并退出；

3.2)提取回答语音的声纹，若回答语音的声纹与用户数据库中该用户的声纹匹配，则判定该用户身份识别初步通过，跳转下一步；否则，判定该用户身份识别失败，结束并退出。

虽然用户的声纹、用户听到所播放的回答语音时的脑电信号在一段时间会保持一定的稳定性，但是从长久来看，用户的声纹、用户听到所播放的回答语音时的脑电信号作为一种生理特征，仍然是会随着身份认证系统的使用和逐渐习惯而产生缓慢变化，为了本实施例方法在使用长久的条件下仍然具有良好的识别精确度，本实施例中步骤4)中判定该用户身份识别成功以后，还包括将用户回答语音的声纹、以及用户听到所播放的回答语音时的脑电信号的特征添加到用户数据库中；过上述方式，实现了用户数据库的自动更新功能，可实现用户的声纹、用户听到所播放的回答语音时的脑电信号的自动更新。

考虑到将用户回答语音的声纹、以及用户听到所播放的回答语音时的脑电信号的特征添加到用户数据库中需要占用一定存储空间的问题，本实施例中将用户回答语音的声纹、以及用户听到所播放的回答语音时的脑电信号的特征添加到用户数据库中之后，还包括在用户数据库中记录的该用户的回答语音的声纹超过设定值后删除最老的一条回答语音的声纹；在用户数据库中记录的该用户听到所播放的回答语音时的脑电信号的特征超过设定值时删除最老的一条该用户听到所播放的回答语音时的脑电信号的特征；通过上述方式自动删除最老的数据，也可以减少用户的声纹、用户听到所播放的回答语音时的脑电信号在数据库的存储资源占用。

上述步骤1)～步骤4)为进行用户认证的步骤。对应地，本实施例中步骤1)之前还包括进行用户注册的步骤：为用户建立至少一条认证问题条目并记录到用户数据库，认证问题条目包括用户的相关指定人员的姓名以及关系描述；采集用户读出相关指定人员的姓名的语音，基于所述语音提取用户的声纹并记录到用户数据库；播放用户读出相关指定人员的姓名的语音，采集用户听到所播放的回答语音时的脑电信号，提取脑电信号的特征并记录到用户数据库。其中，相关指定人员为用户具有社交关系的人员(包含本人)，此处的社交关系既可以为现实的社交关系，例如父母、配偶、子女等亲属关系，也可以为虚拟的社交关系，例如强烈关注的明星、球星等人员。

需要说明的是，本实施例方法不依赖于具体的提取脑电信号的特征的手段。作为一种可选的实施方式，本实施例中考虑到脑电信号的特征为脑电的复杂网络特征，采用的提取脑电信号的特征如下：(1)将采集到的用户脑电进行滤波和降采样预处理；(2)对预处理后的脑电按通道进行叠加平均；(3)对叠加平均后的脑电信号进行快速傅里叶变换，得到脑电的频域信号；(4)对于脑电的频域信号，使用现有的可视图算法，得到其复杂网络特征。采用上述方式提取得到的特征的优势：多通道脑电经过叠加平均，能够有效排除大部分的随机噪声干扰；使用频域信号计算特征，可以避免每次脑电记录的时间起点不统一造成的干扰；采用可视图算法，能够提取序列中各个频段的梯度变化，相比于功率谱密度、通道连通性等更具稳定性。

本实施例中，为用户建立至少一条认证问题条目并记录到用户数据库时，建立一条认证问题条目并记录到用户数据库的步骤包括：向用户输出认证问题条目模板，认证问题条目模板包括用户的多种相关指定人员的关系描述，所述认证问题条目模板包括的用户的多种相关指定人员包括用户的直系亲属中的部分或全部；在用户选择一个认证问题条目模板后，获取用户输入的相关指定人员的姓名，并将用户的相关指定人员的姓名及其对应的相关指定人员的关系描述记录到用户数据库中。通过为每个用户建立认证问题条目，包括用户自我姓名和对用户具有特殊意义的他人(父母、配偶、子女等)姓名，按身份设立不同条目(自己姓名、父亲姓名、母亲姓名、...)，并录入相应的姓名文本，将用户的相关指定人员的姓名及其对应的相关指定人员的关系描述记录到用户数据库中，从而可建立并记录认证问题条目。

为了提高声纹的准确度，本实施例中采集用户读出相关指定人员的姓名的语音，基于所述语音提取用户的声纹并记录到用户数据库时，包括为每一个相关指定人员记录多条用户的声纹，从而可通过多条声纹记录来提高声纹的抗干扰能力和识别精确度。采集用户读出相关指定人员的姓名的语音时，用户按照自己平常的说话习惯读出姓名即可，避免声纹的波动。

为了提高脑电信号的准确度，本实施例中采集用户听到所播放的回答语音时的脑电信号，提取脑电信号的特征并记录到用户数据库时，包括为每一个相关指定人员记录多条用户听到所播放的回答语音时的脑电信号的特征，从而可通过多条脑电信号记录来提高脑电信号的抗干扰能力和识别精确度。

此外，本实施例还提供一种基于社交信息听觉刺激下的脑电信号的身份识别系统，包括主机模块，以及分别与主机模块相连的脑电信号采集模块、拾音器以及输出模块，所述输出模块为语音输出模块或显示屏，所述主机模块包括相互连接的微处理器和存储器，所述微处理器为编程或配置以执行前文所述基于社交信息听觉刺激下的脑电信号的身份识别方法的步骤。

此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序用于被编程或配置为被微处理器执行以实施前文所述基于社交信息听觉刺激下的脑电信号的身份识别方法的步骤。

实施例二：

本实施例与实施例一基本相同，其主要区别为步骤3)中回答语音的文本与用户数据库中该相关指定人员的真实姓名匹配、且声纹与用户数据库中该用户的声纹匹配的判断的顺序不同，本实施例中步骤3)包括：

3.1A)提取回答语音的声纹，若回答语音的声纹与用户数据库中该用户的声纹匹配，则判定该用户身份识别初步通过，跳转下一步；否则，判定该用户身份识别失败，结束并退出。

3.2A)识别回答语音的文本，若回答语音的文本与用户数据库中该相关指定人员的真实姓名匹配，则跳转下一步；否则，判定该用户身份识别失败，结束并退出。通过上述方式，同样也可以达到进行回答语音的文本与用户数据库中该相关指定人员的真实姓名匹配、且声纹与用户数据库中该用户的声纹匹配的判断的相同效果。

此外，本实施例还提供一种基于社交信息听觉刺激下的脑电信号的身份识别系统，包括主机模块，以及分别与主机模块相连的脑电信号采集模块、拾音器以及输出模块，所述输出模块为语音输出模块或显示屏，所述主机模块包括相互连接的微处理器和存储器，所述微处理器为编程或配置以执行前文所述基于社交信息听觉刺激下的脑电信号的身份识别方法的步骤。

此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序用于被编程或配置为被微处理器执行以实施前文所述基于社交信息听觉刺激下的脑电信号的身份识别方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。