眨眼识别装置、控制装置、识别方法及控制方法

摘要

本发明公开了一种眨眼识别装置、控制装置、识别方法及控制方法，其中眨眼控制的识别装置包括：石墨烯传感器，贴敷在眼轮匝肌上，获取眨眼控制时的石墨烯阻值变化电信号；信号处理模块，提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B；识别模块，若时域相似度A及频域相似度B同时满足设定的条件，则判断眨眼为控制眨眼。本发明通过石墨烯柔性传感器将眨眼时眼轮匝肌的收缩信号转化为石墨烯阻值变化电信号，通过提取人眨眼控制时石墨烯阻值变化电信号的时域特征和频域特征，和先前建立的个人眨眼数据特征库比对，从而实现控制命令。相较于基于图像分析的眨眼控制方法，该方法具有较高的准确性和可靠性。

说明书

技术领域

本发明涉及一种基于石墨烯传感器和射频技术的眨眼控制方法，采用柔性石墨烯应力传感器和RFID无芯片标签技术对眨眼信号进行读取和传输，通过信号的模式识别实现对终端的控制。

背景技术

当前人类社会的交互方式发展趋向多样化，对电子设备和界面的交互方式越来越简单，但对于失去活动能力的残疾人而言其交互途径少之又少，利用眨眼来进行控制可以成为解决残疾人交互问题的方法之一，通过将不同的眨眼动作定义为对应的操作命令，实现通过眨眼进行人机交互。

当前眼球追踪控制系统中对人眼眨眼的检测方法主要是通过图像分析方法，通过摄像头所捕捉的实时人眼图像进行计算分析，来判断眨眼行为。这种方法受环境影响较大，例如光线影响，人头部与摄像头的空间位置的影响。

发明内容

本发明所要解决的技术问题是针对上述现有技术存在的不足，而提供一种不受环境影响的具有较高准确率和可靠性的眨眼控制的识别装置、控制装置、识别方法及控制方法。

为解决上述技术问题，本发明采用的技术方案是：

一种眨眼控制的识别装置，其特征在于，包括：

石墨烯传感器，贴敷在眼轮匝肌上，获取眨眼控制时的石墨烯阻值变化电信号；

信号处理模块，提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征

识别模块，若时域相似度A及频域相似度B同时满足设定的条件，则判断眨眼为控制眨眼。

时域相似度A设定的条件为：A≥0.9；频域相似度B设定的条件为：B≥0.9。

时域特征Y包括均值Y

频域特征S包括频谱平均振幅S

一种眨眼控制的控制装置，其特征在于，包括：

石墨烯传感器，贴敷在眼轮匝肌上，获取眨眼控制时的石墨烯阻值变化电信号；

信号处理模块，提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征

识别模块，若时域相似度A及频域相似度B同时满足设定的条件，则判断眨眼为控制眨眼；

控制模块，根据识别模块判断的控制眨眼，激发对应的眨眼控制命令。

一种眨眼控制的识别方法，其特征在于，包括：

通过石墨烯传感器获取眨眼控制时的石墨烯阻值变化电信号；

提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征

根据时域相似度A和频域相似度B，判断眨眼是否为控制眨眼。

判断眨眼是否为控制眨眼的条件为：时域相似度A≥0.9；频域相似度B≥0.9。

一种眨眼控制的控制方法，其特征在于，包括：

通过石墨烯传感器获取眨眼控制时的石墨烯阻值变化电信号；

提取获取的石墨烯阻值变化电信号的时域特征Y和频域特征S；并计算时域相似度A和频域相似度B，其中时域相似度A为信号处理模块提取的石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的石墨烯阻值变化电信号的时域特征

根据时域相似度A和频域相似度B，判断眨眼是否为控制眨眼；

检测首次控制眨眼信号并在设定的时间内识别控制眨眼的次数；

根据确定的控制眨眼的次数，激发对应的眨眼控制命令。

判断眨眼是否为控制眨眼的条件为：时域相似度A≥0.9；频域相似度B≥0.9。

所述眨眼控制命令包括p次眨眼控制命令，其中p＝1，2，3...，P，每个眨眼命令代表不同的眨眼控制命令。

本发明将基于石墨烯柔性传感器和无芯片标签技术应用于眨眼控制，然后进行信号处理与模式识别，使终端能够识别用户的眨眼控制命令，完成用户希望的控制行为，终端可以是智能设备或计算机界面。

与现有技术相比，本发明的优点是：

本发明基于石墨烯柔性传感器和无源RFID标签技术，贴置眼周眼轮匝肌处，直接检测眨眼信号，因此不受光环境影响，暗光条件下也可检测，本检测方法对被试的姿势也没有任何要求，可以任意活动。石墨烯柔性传感器的特点为体积小，亲肤，轻薄，基于柔性基底的无源RFID标签也具有同样的特点，因此本发明使用方便，操作方法简单。

本发明通过石墨烯柔性传感器将眨眼时眼轮匝肌的收缩信号转化为石墨烯阻值变化电信号，通过提取人眨眼控制时石墨烯阻值变化电信号的时域特征和频域特征，和先前建立的个人眨眼数据特征库比对，从而实现控制命令。相较于基于图像分析的眨眼控制方法，该方法具有较高的准确性和可靠性。

附图说明

图1：基于石墨烯传感器和射频技术的眨眼控制方法流程图：

图2：一次眨眼命令的信号特征图；

图3：两次眨眼命令的信号特征图；

图4：三次眨眼命令的信号特征图；

图5：RFID标签模块；

图6：RFID标签模块与眼睛的位置图；

图7：眼镜结构图；

图8：步骤1.1中微处理器模块的连接示意图；

图9：步骤1.2和步骤2中微处理器模块的连接关系；

图10：单次眨眼实验任务过程示意图；

图11：眨眼控制终端小车的示意图。

具体实施方式

下面结合附图，对本发明作详细说明：

本发明眨眼识别或控制，是基于石墨烯传感器获取眨眼的工作，然后进行识别和控制的，控制流程如图1所示，具体如下：

步骤1、建立个人眨眼数据特征库：

用于获取被试者眨眼控制命令，主要包括RFID柔性标签、眼镜和终端设备的通信，确定眨眼时石墨烯形变的阈值，获取被试者眨眼控制时的石墨烯阻值变化电信号，原始信号离线分析，石墨烯阻值变化电信号时域和频域特征的提取，微处理器处理；

步骤2、实际任务过程中，被试者眨眼控制时石墨烯阻值变化电信号的时域和频域特征提取；

步骤3、相似度计算和激发对应眨眼控制命令。

本发明眨眼控制方法，通过贴在眼角下方的石墨烯传感器将被试者眨眼信号转化为石墨烯阻值变化电信号，通过射频技术将信号无线传输到眼镜中的微处理器模块进行处理，依据石墨烯阻值变化电信号的不同实现了眨眼控制的不同命令。

步骤1：建立个人眨眼数据特征库：

步骤1.1：确定眨眼时石墨烯形变的阈值。对被试者完成一次眨眼时的石墨烯阻值变化电信号进行采集，确定可识别为首次眨眼信号的阈值，该阈值用于步骤1.2中触发计时器。

采集系统为：RFID标签模块、阅读器模块和微处理器模块。

RFID标签模块的构成如图5所示，由石墨烯应力传感器、电容器、电感器和柔性基底组成，电容器和电感器印制在柔性基底FPC材料上与石墨烯应力传感器相连。石墨烯应力传感器为柔性应力传感器，可附着在皮肤上，随皮肤压缩和拉伸而不会对其造成不可挽回的破坏，石墨烯应力传感器用于探测眼轮匝肌的收缩信号，眼轮匝肌只在眨眼过程中的闭眼进行短暂的收缩并迅速恢复，石墨烯传感器在眼轮匝肌收缩时阻值迅速变大，形成与眨眼对应的阻值波动电信号，从而将眼轮匝肌的收缩信号转化为石墨烯阻值变化电信号，电容器和电感器用于和石墨烯传感器共同组成谐振电路，将石墨烯阻值变化电信号传送至阅读器模块中。阅读器模块和微处理器模块位于眼镜中，阅读器模块用于向RFID标签模块发射电磁波，并接收反射回来的石墨烯阻值变化电信号。微处理器模块的构成如图8所示，包含信号存储器、信号处理器、峰值检测器、排序器和阈值检测器，存储器用于对采集到的石墨烯阻值变化电信号进行存储，信号处理器用于对石墨烯阻值变化电信号进行处理和转换，峰值检测器用于检测石墨烯电阻值的峰值，排序器用于对检测到的石墨烯电阻值的峰值进行从小到大的排序，阈值检测器用于储存步骤1.1中可识别为首次眨眼信号的阈值和检测步骤1.2中首次眨眼信号的阈值。

一次眨眼时的石墨烯阻值变化电信号的采集过程为：将RFID标签模块贴置在被试者眼角下方(见图6)并使被试者佩戴好眼镜，要求被试者对测试图像进行重复200次的单次眨眼实验任务，石墨烯传感器采集200次实验任务中原始石墨烯阻值变化过程的电信号F(t″)，单次眨眼任务所记录的石墨烯阻值变化电信号总时长为5s，F(t″)为石墨烯阻值变化电信号表达通式，F(t″)的单位为欧姆，t″为采样时间点且

单次的眨眼实验任务为：测试图像呈现于1920px*1280px的电脑屏幕上，测试图像的呈现包括提示阶段、眨眼图片呈现阶段以及空屏阶段，在提示阶段，电脑屏幕中央将呈现面积为32px*32px黑色十字叉，呈现1000ms后消失，此阶段用于提醒被试注意；在眨眼图片呈现阶段，屏幕中央呈现面积为800px*400px的“眨眼一次”字样，呈现时间为5s，此阶段被试者完成一次眨眼的任务；在空屏阶段，屏幕呈现白色空屏，呈现时间为1000ms，此阶段用于消除被试者的视觉残留。

确定可识别为首次眨眼信号的阈值的过程为：微处理器模块中的峰值检测器对200次实验任务中单次眨眼信号F(t″)分别提取5s内的最大峰值F

步骤1.2对被试者三种眨眼控制命令所对应的石墨烯阻值变化电信号进行采集。

信号采集系统为：RFID标签模块、眼镜模块，RFID标签模块由柔性石墨烯应力传感器、电容器、电感器和柔性基底组成，用于采集被试者眨眼信息并传输到阅读器模块中。眼镜模块的构成如图7所示，包含阅读器模块、微处理器模块、计时器模块和蓝牙发射器模块，阅读器模块用于向贴置眼角下方的RFID标签发射电磁波并接收反射回来的石墨烯阻值变化电信号，微处理器模块的构成如图9所示，包含信号存储器、信号处理器、峰值检测器、排序器和阈值检测器，微处理器模块与计时器模块、阅读器模块、蓝牙发射模块相连，信号存储器用于对所采集的石墨烯阻值变化电信号进行存储，信号处理器用于对石墨烯阻值变化电信号进行处理和转换，阈值检测器用于检测首次眨眼信号并传输阈值信号给计时器。计时器模块包含震动器、计时器、声音报警器，震动器用于在接收到阈值检测器传输过来的阈值信号时开启震动且震动时间为1s、计时器用于计时5s、声音报警器用于在计时结束时进行音标提示且提示时间为1s，当计时器接收到微处理器中阈值检测器发射来的第一个阈值信号时，计时器开始计时，同时震动器震动提示，5s后声音报警器采用30分贝耳标提示，在5s的计时过程中，当阈值检测器再次发射阈值信号给计时器时，计时器不重复归零计时，直至5s结束。蓝牙发射模块用于将控制命令信号发射至终端设备。

三种眨眼控制命令的石墨烯阻值变化电信号采集过程为：将RFID标签模块贴置在被试者眼角下方，并使被试者佩戴好眼镜，要求被试者分别进行“眨眼一次”控制命令实验，“眨眼两次”控制命令实验和“眨眼三次”控制命令实验。“眨眼一次”控制命令实验为：要求被试者佩戴好RFID标签和眼镜后，进行一次眨眼，触发计时器计时5s，计时器停止后间隔1s再进行一次眨眼，重复上述步骤，使被试者进行100次“眨眼一次”控制命令。“眨眼两次”控制命令实验为：要求被试者佩戴好RFID标签和眼镜后，进行连续的两次眨眼，两次眨眼中的首次眨眼触发计时器计时5s，被试者的连续两次眨眼需要在所计时的5s内完成，计时器停止后间隔1s再次进行连续的两次眨眼，重复上述步骤，使被试者进行100次“眨眼两次”控制命令。“眨眼三次”控制命令实验为：要求被试者佩戴好RFID标签和眼镜后，进行连续的三次眨眼，三次眨眼中的首次眨眼触发计时器计时5s，被试者的连续三次眨眼需要在所计时的5s内完成，计时器停止后间隔1s再次进行连续的三次眨眼，重复上述步骤，使被试者进行100次“眨眼三次”控制命令。4次及以上眨眼控制的操作原理类同，本发明方案不做描述。石墨烯传感器分别采集到三种眨眼控制命令所对应的100段5s内石墨烯阻值变化电信号，每种操作命令的100个测试样本组成一个群组。

步骤1.3：对原始石墨烯阻值变化电信号离线分析，离线分析包括对各原始石墨烯阻值变化电信号进各群组叠加平均，获取各眨眼控制命令的群组平均石墨烯阻值变化电信号

群组叠加平均是分别对三种眨眼控制命令的100次测试所得的原始石墨烯阻值变化电信号y

步骤1.4对每种操作命令的群组平均电信号

i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号

i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号

i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号

i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号

i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号

i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号

i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号

i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号

对眨眼i次所对应眨眼控制命令的群组平均石墨烯阻值变化电信号

分别对眨眼i次所对应眨眼控制命令的群组平均石墨烯阻值变化电信号

其中-i代表复数单位，t为采样时间点且

然后，对i次眨眼所对应眨眼控制命令的群组平均石墨烯电阻变化电信号频域特征指标

i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的频域特征

i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的频域特征

i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的频域特征

i次眨眼所对应眨眼控制命令的群组平均石墨烯阻值变化电信号的频域特征

以上式子中f

步骤1.5：将已提取的三种命令的平均电信号的时域特征值和频域特征值送入微处理器模块处理，并在微处理器模块中建立被试者的个人眨眼数据特征库，个人眨眼数据特征库与蓝牙发射模块相连。

步骤2：实际任务中被试者眨眼控制时石墨烯阻值变化电信号的时域和频域特征提取：

步骤2.1：实际任务中被试者眨眼控制时石墨烯阻值变化电信号的采集：

实际任务中的石墨烯阻值变化电信号的采集系统为：RFID标签模块和眼镜模块，RFID标签模块由石墨烯应力传感器、电容器、电感器和柔性基底组成，用于在实际任务中采集被试者眨眼信息并传输到眼镜模块中。眼镜模块包含阅读器模块、微处理器模块、计时器模块和蓝牙发射器模块，阅读器模块用于向贴置眼角下方的RFID标签发射电磁波并接收反射回来的石墨烯阻值变化电信号，微处理器模块包含信号存储器、信号处理器、峰值检测器、排序器和阈值检测器，与计时器模块、阅读器模块、蓝牙发射模块相连，信号存储器用于对实际任务中所采集的石墨烯阻值变化电信号进行存储，信号处理器用于对实际任务中石墨烯阻值变化电信号进行处理和转换，阈值检测器用于检测首次眨眼信号并传输阈值信号给计时器。计时器模块包含震动器、计时器、声音报警器，震动器用于在接收到阈值检测器传输过来的阈值信号时开启震动且震动时间为1s、计时器用于计时5s、声音报警器用于在计时结束时进行音标提示且提示时间为1s，当计时器接收到微处理器中阈值检测器发射来的第一个阈值信号时，计时器开始计时，同时震动器震动提示，5s后声音报警器采用30分贝耳标提示，在5s的计时过程中，当阈值检测器再次发射阈值信号给计时器时，计时器不重复归零计时，直至5s结束。所述蓝牙发射模块于将控制命令信号发射至终端设备。

实际任务中的石墨烯阻值变化电信号的采集过程为：将RFID标签模块贴置在被试者眼角下方，并使被试者佩戴好眼镜，要求被试者开始对终端进行眨眼控制操作。被试者首次眨眼触发眼镜中计时器开始计时，计时器计时5秒为一次眨眼控制命令的时长，被试者在计时器开启的5s内完成眨眼控制操作，微处理器模块记录5s内的石墨烯阻值变化电信号y′(t′)，y′(t′)为实际任务中眨眼控制时5秒内的石墨烯阻值变化电信号的表达通式，t′为实际任务中眨眼控制的采样时间点且

步骤2.2：实际任务中石墨烯阻值变化电信号的时域和频域特征提取：

对实际任务中石墨烯阻值变化电信号y′(t′)进行时域特征Y和频域特征S的提取。时域特征Y包括均值Y

实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的均值Y

实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的平均幅值Y

实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的方差Y

实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的均方根Y

实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的峰峰值Y

实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的波形因子Y

实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的峭度因子Y

实际任务中石墨烯阻值变化电信号y′(t′)的时域特征Y中的偏斜度因子Y

以上八个式子中所述的y′(t′)为被试者实际任务中眨眼控制时的石墨烯阻值变化电信号的表达通式，t′为进行眨眼控制时采样时间点且

对被试者实际任务中的石墨烯阻值变化电信号y′(t′)的频域特征的提取方法如下：

首先对被试者实际任务中的石墨烯阻值变化电信号y′(t′)进行傅立叶变换，得到如下y′(t′)的频谱函数S(k′)：

其中-i代表复数单位，t′为采样时间点且

对石墨烯电阻变化电信号频域特征指标S提取如下：

实际任务中石墨烯阻值变化电信号y′(t′)的频域特征S中频谱平均振幅S

实际任务中石墨烯阻值变化电信号y′(t′)的频域特征S中频谱方差S

实际任务中石墨烯阻值变化电信号y′(t′)的频域特征S中第一频谱特征频率S

实际任务中石墨烯阻值变化电信号y′(t′)的频域特征S中第二频谱特征频率S

以上式子中f′

步骤3：相似度计算和激发对应眨眼控制命令：

计算实际任务中石墨烯阻值变化电信号的时域特征Y与被试者眨眼数据特征库中的三种眨眼控制命令所对应的石墨烯阻值变化电信号的时域特征

以终端为玩具小车为例，如图11所示，小车内包含蓝牙接收模块，驱动模块和电池模块，定义三种眨眼控制命令对应三种操控方式，“眨眼一次”为前进，“眨眼两次”为后退，“眨眼三次”为停止。针对不同的终端，可自行定义三种眨眼控制命令的对应操作，在这不做具体描述。

步骤3中被试者在实际任务中进行眨眼操作时石墨烯阻值变化电信号与先前所建立的个人眨眼数据特征库中的电信号的时域相似度A

对眨眼控制命令所对应电信号的时域特征值

μ

δ

对实际任务中的电信号的时域特征值Y

Y

μ为实际任务中的电信号的时域特征值的总体平均值：

δ为实际任务中的电信号的时域特征值的总体标准差：

时域相似度A

A

步骤3中被试者在实际任务中进行眨眼操作时石墨烯阻值变化电信号与先前所建立的个人眨眼数据特征库中的电信号的频域相似度B

对眨眼控制命令所对应电信号的频域特征值

σ

ω

对实际任务中的电信号的频域特征值S

S

σ为实际任务中的电信号的频域特征值的总体平均值：

ω为实际任务中的电信号的频域特征值的总体标准差：

频域相似度B

B