基于三维卷积网络的非接触心率测量方法及装置

摘要

本发明公开了一种基于三维卷积网络的非接触心率测量方法和装置，其中方法包括，在接收到目标视频后，根据所述目标视频确定面部感兴趣区域样本；基于所述面部感兴趣区域样本通过预设算法确定对应的心率信息。本发明实施例利用目标视频确定面部感兴趣区域，实现扩充数据样本，降低光照、运动、面部表情变化等因素的干扰，提高心率测量的准确度。

说明书

技术领域

本发明涉及心率检测技术领域，尤其涉及一种基于三维卷积网络的非接触心率测量方法及装置。

背景技术

心率是一项关键生命体征，可广泛用于评估受试者的身体状况、精神压力等。心率测量在很多领域有巨大应用价值，如健康追踪、医疗诊断、安全检查和防伪视频鉴别等。

目前可靠的高精度心率测量方法有心电图(ECG)、脉搏血氧仪、光体积描记术(PPG)等。然而，这些测量方式都依赖于直接的皮肤接触，限制了受试者在相关场景中的使用。此外，也有一些非接触的心率测量方式如超宽带雷达和激光多普勒测振，但这些测量方式通常成本高、价格昂贵。

传统方法的非接触心率测量算法容易受到环境光及运动的干扰，使得实际使用中不够鲁棒，当被测试者的周围环境光出现随机变化或周期性变化时，传统方法测量得到的心率指将不再准确。此外被测者在运动时，如头部运动、讲话等也会对传统方法的性能造成较大影响。

发明内容

本发明实施例提供一种基于三维卷积网络的非接触心率测量方法和装置，利用目标视频确定面部感兴趣区域样本，实现扩充数据样本，解决在复杂环境中无法准确测量心率的问题。

第一方面，本发明实施例提供一种基于三维卷积网络的非接触心率测量方法，包括：

在接收到目标视频后，根据所述目标视频确定面部感兴趣区域样本；

基于所述面部感兴趣区域样本通过预设算法确定对应的心率信息。

可选的，根据所述目标视频确定面部感兴趣区域样本，包括：

对所述目标视频的图像帧进行人脸检测，确定对应的人脸区域图像；

根据预设图像参数对所述人脸区域图像进行调整，以获得面部感兴趣区域图像；

按照预设规则从所述目标视频对应的所述面部感兴趣区域图像中选取指定数量的面部感兴趣区域图像，以获得所述面部感兴趣区域样本。

可选的，基于所述面部感兴趣区域样本通过预设算法确定对应的心率信息，包括：

通过预设三维卷积网络和残差网络根据所述面部感兴趣区域样本确定对应的心率信息。

可选的，通过预设三维卷积和残差网络根据所述面部感兴趣区域样本确定对应的心率信息，包括：

通过预设损失函数跟踪三维卷积输出的心电PPG信号的PPG峰值时间。

可选的，通过预设三维卷积和残差网络根据所述面部感兴趣区域样本确定对应的心率信息，还包括：

将所述残差网络对应的冗余层进行恒等映射，以保留对应的心率特征信息。

可选的，基于所述面部感兴趣区域样本通过预设算法确定对应的心率信息之后，所述方法还包括：

通过指定滤波器对所述心率信息进行滤波处理。

可选的，通过指定滤波器对所述心率信息进行滤波处理之后，所述方法还包括：

通过功率谱密度法根据滤波处理之后的所述心率信息确定对应的心率值。

第二方面，本发明实施例提供一种非接触心率测量装置，包括：

人脸提取模块，用于在接收到目标视频后，根据所述目标视频确定面部感兴趣区域样本；

数据处理模块，用于基于所述面部感兴趣区域样本通过预设算法确定对应的心率信息。

第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可被一个或者多个处理器执行，以实现前述的基于三维卷积网络的非接触心率测量方法的步骤。

本发明实施例利用目标视频确定面部感兴趣区域样本，实现扩充数据样本，降低光照、运动、面部表情变化等因素的干扰，提高心率测量的准确度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明第一实施例基本流程图；

图2为本发明第二实施例装置结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

本发明第一实施例提供一种基于三维卷积网络的非接触心率测量方法，如图1所示，包括：

S101、接收目标视频；

S102、根据所述目标视频确定面部感兴趣区域样本；

S103、基于所述面部感兴趣区域样本通过预设算法确定对应的心率信息。

具体的说，本实施例中所指的目标视频可以是使用摄像头拍摄的实时人或人群的正面视频。当然也可以是服务器实施远程传输过来的包含人正面的视频。具体的视频采集或者传输方式在此不做限定。从目标视频中提取获得面部感兴趣区域样本，然后通过目标视频对应的面部感兴趣区域样本通过预设算法计算出对应的心率信息。由此本发明实施例扩充了数据样本，降低了光照、运动、面部表情变化等因素的干扰，提高了心率测量的准确度。

可选的，根据所述目标视频确定面部感兴趣区域样本，包括：

对所述目标视频的图像帧进行人脸检测，确定对应的人脸区域图像；

根据预设图像参数对所述人脸区域图像进行调整，以获得面部感兴趣区域图像；

按照预设规则从所述目标视频对应的所述面部感兴趣区域图像中选取指定数量的面部感兴趣区域图像，以获得所述面部感兴趣区域样本。

具体的说，本实施例中，在从摄像设备中获取目标视频后，对目标视频进行预处理，包括：

对所述目标视频的图像帧进行人脸检测，本实施例中可以利用开源工具包openface对目标视频的每一帧进行人脸检测，保留每一帧的指定数量的面部特征点，例如可以保留68个面部特征点，然后提取出眼睛以下、嘴巴以上的面部特征点区域，由此确定对应的人脸区域图像。

然后根据预设图像参数对所述人脸区域图像进行调整，本实施例中，可以将图像帧对应的人脸区域图像调整为可作为后续网络模型输入的面部感兴趣区域图像，例如可以将人脸区域图像调整图像大小至64*64的大小，然后在pytorch中重写getitem时，对大小为64*64的人脸区域图像进行水平翻转。

接着，在对目标视频处理完成之后，按照预设规则从所述目标视频对应的所述面部感兴趣区域图像中选取指定数量的面部感兴趣区域图像，以获得所述面部感兴趣区域样本。例如在具体实施过程中可以将所有64*64大小的视频帧连续取128帧为一个面部感兴趣区域样本，由此获得样本集大小为(1,3,128,64,64)。

可选的，基于所述面部感兴趣区域样本通过预设算法确定对应的心率信息，包括：

通过预设三维卷积网络和残差网络根据所述面部感兴趣区域样本确定对应的心率信息。

具体的说，本实施例中对前述预处理之后获得的面部感兴趣区域样本进行识别训练。

在具体实施过程中，可以使用三维卷积和残差网络从面部感兴趣区域样本的面部感兴趣区域图像中提取出具有心率信息的rPPG信号。由于心率只能在一个时间段才能反映出特性，因此本实施例方法采用跨时间的面部感兴趣区域样本(包括128帧面部感兴趣区域图像)作为输入，由此包含了被测人或人群心率的时间特性和空间特性。

可选的，通过预设三维卷积和残差网络根据所述面部感兴趣区域样本确定对应的心率信息，包括：

通过预设损失函数跟踪三维卷积输出的心电PPG信号的PPG峰值时间。

与常用的损失函数MSE、Cross Entropy不同，本实施例方法定义了的损失函数—皮尔森相关系数，由此可以通过定义的损失函数跟踪每一个心电信号PPG峰值出现的时间，而不是完全拟合其大小，由此减少了非接触心率估计的复杂性。

可选的，通过预设三维卷积和残差网络根据所述面部感兴趣区域样本确定对应的心率信息，包括：

将所述残差网络对应的冗余层进行恒等映射，以保留对应的心率特征信息。

本实施例中，使用残差网络可以基于假设网络中存在包含心率信号最多的层次，那么在深层次网络中有很多网络层为冗余层。本实施例中利用这些冗余层完成恒等映射，使其经过这些恒等层的输入和输出保持相同的特征。由此保证残差网络不会丢失与心率相关的心率特征信息。

可选的，基于所述面部感兴趣区域样本通过预设算法确定对应的心率信息之后，所述方法还包括：

通过指定滤波器对所述心率信息进行滤波处理。

可选的，通过指定滤波器对所述心率信息进行滤波处理之后，所述方法还包括：

通过功率谱密度法根据滤波处理之后的所述心率信息确定对应的心率值。

具体的说，在本实施例中，可以将前述得到的rPPG信号，使用三阶巴特沃斯带通滤波器对rPPG信号进行滤波。然后通过功率谱密度法(PSD)对滤波后的rPPG信号进行分析，最终得到心率值。

综上，本发明实施例能够实时检测人体心率，通过摄像设备获得人群面部视频，使用残差结构和三维卷积模型进行训练，采用openface人脸检测算法、提取多个人脸面部特征点，扩充了数据大小，解决了在复杂环境中无法准确远程测量心率的问题。同时，本实施例方法也是第一个利用三维卷积实现心率检测分析的方法。

实施例二

本发明第二实施例提供一种非接触心率测量装置，如图2所示，包括：

人脸提取模块，用于在接收到目标视频后，根据所述目标视频确定面部感兴趣区域样本；

数据处理模块，用于基于所述面部感兴趣区域样本通过预设算法确定对应的心率信息。

具体的说，本实施例中，人脸提取模块可以使用开源工具包openface对每一帧进行人脸检测，同时保留每一帧的68个面部特征点，提取出眼睛以下、嘴巴以上的面部特征点区域，再将该区域reshape成64*64的大小，在pytorch中重写getitem时，对大小为64*64的视频帧进行水平翻转，最后将所有64*64大小的视频帧连续取128帧为一个面部感兴趣区域样本。

数据处理模块可以使用三维卷积和残差网络从视频中提取出具有心率信息的rPPG信号。

然后通过带通滤波模块对提取出的rPPG信号进行带通滤波。

最后通过心率计算模块使用PSD算法将滤波后的信号转化为心率值。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可被一个或者多个处理器执行，以实现第一实施例的基于三维卷积网络的非接触心率测量方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。