一种宝宝睡眠时异常监测系统及监测方法

摘要

一种宝宝睡眠时异常监测系统及监测方法，涉及监测领域。本发明是为了解决现有的宝宝监测系统准确率低、使用性差的问题。环境光检测模块，用于检测宝宝所处环境的光线亮度，根据所述亮度输出触发信号；视频采集模块连接所述环境光检测模块，用于接收触发信号采集宝宝的视频流，并将视频流解码成图像；异常识别模块连接视频采集模块，用于根据图像解析得到宝宝异常行为信息；报警模块连接异常识别模块，用于显示异常行为信息，并进行报警。它用于监测宝宝异常行为。

说明书

技术领域

本发明涉及宝宝行为异常监测。属于监测领域。

背景技术

现代年轻人生活压力大，父母大多是忙于工作，生下宝宝可能没有老人帮忙带，或者即使有老人帮忙带着，也无法时时刻刻看着宝宝，但大人不在旁边，宝宝在睡眠中有可能发生各种意外，比较危险。

现有的宝宝监测系统，大多基于落后的技术，大多是基于声音感知或者床体的震动，辅以声音报警技术来实现的，准确率低，使监护人无法放心使用，并且对普通家庭来说成本过高，无法普及。有的虽然使用了摄像头成像，但是并没有有效利用视频图像中的信息，缺乏一个简单、准确高效的监测手段。另外现有还有一些智能可穿戴设备，可以时刻监测宝宝的呼吸状态，但是这种可穿戴的设备存在以下缺点：一是价格昂贵，不适用于普通家庭，无法普及，二是电子设备贴近宝宝，不利于宝宝健康，三是给宝宝敏感肌肤增添了压力，影响宝宝的舒适感，因此使用性差。

人工智能技术近些年蓬勃发展，图像及视频分析已经比较成熟，但还没有适合宝宝的监测系统。

发明内容

本发明是为了解决现有的宝宝监测系统准确率低、使用性差的问题。现提供一种宝宝睡眠时异常监测系统及监测方法。

一种宝宝睡眠时异常监测系统，所述系统包括环境光检测模块、视频采集模块、异常识别模块和报警模块，

环境光检测模块，用于检测宝宝所处环境的光线亮度，根据所述光线亮度输出触发信号；

视频采集模块连接所述环境光检测模块，用于根据所述触发信号开始采集宝宝的视频流，并将所述视频流解码成图像；

异常识别模块连接视频采集模块，用于解析所述图像并识别得到宝宝的异常行为信息；

报警模块连接异常识别模块，用于显示所述异常行为信息，并进行报警。

优选地，所述视频采集模块包括一采集单元，用于采集得到宝宝所处环境的环境图像，所述采集单元为红外摄像头或RGB摄像头；

所述视频采集模块还包括：

触发单元，连接所述采集单元，用于检测得到所述环境图像的所述光线亮度；

当所述红外摄像头检测到的所述光线亮度的平均值超过一第一预设阈值时，所述触发单元生成并输出所述触发信号；或者

当所述RGB摄像头检测到的所述光线亮度的平均值不超过一第二预设阈值时，所述触发单元生成并输出所述触发信号。

优选地，所述光线亮度的平均值为所述环境图像中的像素点的亮度值的平均值。

优选地，每个所述像素点的亮度值表示为：

Y'＝0.299R'+0.587G'+0.114B'

其中，

Y`用于表示所述像素点的亮度值；

R'、G'、B'分别为红、绿、蓝三通道的像素值。

优选地，所述异常识别模块包括：

图像识别单元，所述图像识别单元中预先设置有训练完成的图像识别模型，并用于通过所述图像识别模型对所述图像进行识别，将对应的图像识别结果包括在所述异常行为信息中输出；

所述图像识别结果用于表示宝宝的行为变化信息，所述行为变化信息包括宝宝哭的行为、宝宝翻身到床边的行为以及宝宝有窒息风险的行为中的至少一种。

一种宝宝睡眠时异常监测方法，所述方法包括以下步骤：

步骤S1、检测宝宝所处环境的光线亮度，根据所述光线亮度输出触发信号；

步骤S2、根据所述触发信号开始采集宝宝的视频流，并将所述视频流解码成图像；

步骤S3、解析所述图像并识别得到宝宝的异常行为信息；

步骤S4、显示所述异常行为信息，并进行报警。

优选地，步骤S1中，检测宝宝所处环境的光线亮度，根据所述光线亮度输出触发信号的具体过程为：

采集宝宝所处环境的环境图像，

检测所述环境图像的所述光线亮度，并根据所述光线亮度的平均值输出所述触发信号。

优选地，所述步骤S1中，采用红外摄像头或者RGB摄像头检测宝宝所处环境的所述光线亮度；

则当采用所述红外摄像头时，如果检测到的所述光线亮度的平均值超过一第一预设阈值，则生成并输出所述触发信号；

当采用所述RGB摄像头时，如果检测到的所述光线亮度的平均值不超过一第二预设阈值，则生产并输出所述触发信号。

优选地，其特征在于，

所述光线亮度的平均值为所述环境图像中的像素点的亮度值的平均值。

优选地，其特征在于，

每个所述像素点的亮度值表示为：

Y'＝0.299R'+0.587G'+0.114B'

其中，

Y`用于表示所述像素点的亮度值；

R'、G'、B'分别为红、绿、蓝三通道的像素值。

本发明的有益效果为：

本申请采用环境光检测模块触发视频采集模块工作，可保证视频采集模块持续工作，而不用用户手段开启视频采集模块或避免漏开视频采集模块，而影响对宝宝异常行为的监测；由异常识别模块处理图像得到宝宝异常行为信息的方式，相比现有采用声音感知或者床体的震动的方式检测出的宝宝异常行为状态，更直观、简单、准确、识别率高。另外，本申请结构简单，适于普及，且本申请不用贴近宝宝设置，更安全。

附图说明

图1为本发明的一种宝宝睡眠时异常监测系统的原理示意图；

图2和图3均为视频采集模块的组成图；

图4为异常识别模块的组成图；

图5为本发明的一种宝宝睡眠时异常监测方法的流程图；

具体实施方式

下面将结合本发明实施例中的附图，对本能够实施例中的技术方案进行清除、完整地描述，显然，所描述的实施例仅仅是发明一部分实时例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和具体实施例对本发明作进一步说明。

目前的宝宝睡眠监测系统多是基于声音的感知，或者床体的震动，辅以声音报警技术来实现，其准确率低，并且成本较高；有的虽然使用了摄像头成像，但是并没有有效利用视频图像中的信息，缺乏一个简单、准确高效的监测手段和方法。因此，本申请设计了一个结构简单、准确、高效的监测系统及方法，实用性强。

实施例1：

本发明提供的一种宝宝睡眠时异常监测系统，用于对宝宝的异常行为进行提醒，如图1所示，包括：

环境光检测模块1、视频采集模块2、异常识别模块3和报警模块4，

环境光检测模块1，用于检测宝宝所处环境的光线亮度，根据所述光线亮度输出触发信号；

视频采集模块2连接所述环境光检测模块1，用于根据所述触发信号开始采集宝宝的视频流，并将所述视频流解码成图像；

异常识别模块3连接视频采集模块2，用于解析所述图像并识别得到宝宝的异常行为信息；

报警模块4连接异常识别模块3，用于显示所述异常行为信息，并进行报警。

具体地，本申请中的环境光检测模块1可采用环境光传感器或者光敏二极管实现，以及其他可采集光源的方式实现。

本申请根据光线亮度触发视频采集模块工作，有了环境光检测模块，可保证视频采集模块持续工作，无论白天还是黑夜；用户可以在宝宝睡觉时，即刻起身去做其他工作，而不用下意识的再手动打开视频采集模块。也避免父母离开家或者离开宝宝身边后才想起来忘记打开视频采集模块，而不能达到监测宝宝状态的目的。

市面上的视频采集模块有很多，可以与环境光检测模块直接连接，即不改变原有模块，直接进行拍照或录像功能，以达到图像数据采集的目的。并且该视频采集模块具有以下功能：

可随时监看或录像资料、可抓拍图片或定个图片，灵敏度高。

有的视频采集模块内还可集成拾音器，来采集声音信号，送入异常识别模块3中处理，从而得到哭声。异常识别模块3中对声音的识别可以采用语音识别模型。

异常识别模块3中可设置图像识别模型来处理图像，现有的图像识别模型有很多，本申请可用深度学习模型，现有的深度学习的基本模型包括：

基于受限玻尔兹曼机(Restricted Boltzmann Machine，RBM)的深度信念网络(Deep Belief Network，DBN)；

基于自动编码器(AutoEncoder,AE)的堆叠自动编码器(Stacked AutoEncoders，SAE)；

卷积神经网络(Convolutional Neural Networks，CNN)；

递归神经网络(Recurrent Neural Networks，RNN)。

该模型结构为现有的，完全能够实现从图像中识别出宝宝异常行为。

本申请中的模型可用预先设置有训练完成的深度学习模型，该模型中包括的参数有膨胀系数(expansion factor)t、重复次数n、输出通道数c和跨步(stride)s，这些变量的值是根据常用的效果好的深度学习模型结构设计的出来的，该模型最后会接一个有N个神经元的全连接层，N即为要预测的异常情况种类，意味着深度学习模型会输出当前输入图片属于N类里每一类的概率，取N个概率最大者即为模型判断的最终结果。所以，该模型识别出的结果更快速、准确。

现有的报警模块有很多，报警模块可采用语音芯片实现以语音的方式提醒宝宝出现了异常行为，也可采用短信报警模块实现以短信的方式报警。以及其他不同型号的报警模块实现报警。短信报警模块可直接与异常识别模块的通过开关量输入、开关量输出、模拟量或者RS232串口等接口连接，使用外部电源，并在报警器里内置GSM手机短信模块，可以通过GSM移动网络(中国移动或中国联通)，向持有普通GSM手机的用户发送中文短信，详细报告宝宝异常行为。

本申请完全可以采用现有的任意一种报警模块连接异常识别模块，来接收异常识别模块输出的宝宝异常行为信息进行报警。基于上述原因，本申请采用的模块不需要特制，采用现有的模块均可，所以，本申请结构简单、成本低，适于普及。

基于简单的结构，所以本申请处理起来运算过程简单、得到宝宝异常行为的结果迅速，并能及时将宝宝异常行为的结果发送给用户并以报警的方式提醒用户。完全能够解决现代家庭所面临的监护宝宝难的问题。结构中的环境光检测模块1、视频采集模块2和异常识别模块可集成在一个设备中，设置在宝宝屋内，也可分开设置在宝宝屋内，分开设置的好处为便于维修。

本发明的一种较优实施例中，如图2和3所示，所述视频采集模块2包括一采集单元21，用于采集得到宝宝所处环境的环境图像，所述采集单元21为红外摄像头或RGB摄像头；

所述视频采集模块还包括：

触发单元22，连接所述采集单元21，用于检测得到所述环境图像的所述光线亮度；

当所述红外摄像头检测到的所述光线亮度的平均值超过一第一预设阈值时，所述触发单元生成并输出所述触发信号；或者

当所述RGB摄像头检测到的所述光线亮度的平均值不超过一第二预设阈值时，所述触发单元生成并输出所述触发信号。

具体地，我们用设定阈值的方式，判断接收到的光线的亮暗程度；当亮度平均值超过一第一预设阈值时，我们认为光线亮度较强，此时系统选择使用RGB摄像头；而当亮度平均值不超过一第二预设阈值时，我们认为光线较弱，此时系统使用红外摄像头，进行补光；

可以将阈值设定为100，当亮度平均值超过100时，触发红外摄像头；当亮度平均值不超过100时，触发RGB摄像头；

采用红外摄像头或RGB摄像头，可以更好的适应白天和晚上的光线。也使拍摄出的图像更清晰。

本发明的一种较优实施例中，所述光线亮度的平均值为所述环境图像中的像素点的亮度值的平均值。

具体地，根据亮度平均值的计算方法，可以精确的掌握屋内的光线情况，从而准确的触发红外摄像头或RGB摄像头。

本发明的一种较优实施例中，每个所述像素点的亮度值表示为：

Y'＝0.299R'+0.587G'+0.114B'

其中，

Y`用于表示所述像素点的亮度值；

R'、G'、B'分别为红、绿、蓝三通道的像素值。

具体地，每个图像点的明暗程度与红、绿、蓝三通道像素值有关系，所以，本申请中的公式可以更加准确的计算光线亮度，分辨光线亮暗，在光线亮度较强时，触发RGB摄像头；在光线较弱时，触发红外摄像头，进行补光。

本发明的一种较优实施例中，如图4所示，所述异常识别模块3包括：

图像识别单元3-1，所述图像识别单元中预先设置有训练完成的图像识别模型，并用于通过所述图像识别模型对所述图像进行识别，将对应的图像识别结果包括在所述异常行为信息中输出；

所述图像识别结果用于表示宝宝的行为变化信息，所述行为变化信息包括宝宝哭的行为、宝宝翻身到床边的行为以及宝宝有窒息风险的行为中的至少一种。

具体地，图像识别模型可选用训练完成的深度学习模型，深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。

本申请用到的模型中包括的参数有膨胀系数(expansion factor)t、重复次数n、输出通道数c和跨步(stride)s，最后会接一个有N个神经元的全连接层，N即为要预测的异常情况种类，意味着深度学习模型会输出当前输入图片属于N类里每一类的概率，取N个概率最大者即为模型判断的最终结果。其中的参数膨胀系数(expansion factor)t、重复次数n、输出通道数c和跨步s(stride)的值是根据常用的效果好的深度学习模型结构设计的出来的。所以，整个模型用起来具有识别快速、准确的优点。完全可以识别出宝宝哭的行为、翻身到床边以及是否有窒息风险。

实施例2：

本发明提供的一种宝宝睡眠时异常监测方法，用于对宝宝的异常行为进行提醒，如图5所示，所述方法包括以下步骤：

步骤S1、检测宝宝所处环境的光线亮度，根据所述光线亮度输出触发信号；

步骤S2、根据所述触发信号开始采集宝宝的视频流，并将所述视频流解码成图像；

步骤S3、解析所述图像并识别得到宝宝的异常行为信息；

步骤S4、显示所述异常行为信息，并进行报警。

具体地，无论光线亮暗，本申请均能做到持续发出触发信号，从而连续的采集宝宝视频流，能够实时得到视频图像，而不间断。

可以采用深度学习模型来从图像中解析出宝宝异常行为信息。深度学习源于神经网络的研究，可理解为深层的神经网络。通过它可以获得深层次的特征表示，免除人工选取特征的繁复冗杂和高维数据的维度灾难问题。目前较为公认的深度学习的基本模型包括：

基于受限玻尔兹曼机(Restricted Boltzmann Machine，RBM)的深度信念网络(Deep Belief Network，DBN)；

基于自动编码器(AutoEncoder,AE)的堆叠自动编码器(Stacked AutoEncoders，SAE)；

卷积神经网络(Convolutional Neural Networks，CNN)；

递归神经网络(Recurrent Neural Networks，RNN)。

本申请用到的模型中的参数有膨胀系数(expansion factor)t、重复次数n、输出通道数c和跨步(stride)s，最后会接一个有N个神经元的全连接层，N即为要预测的异常情况种类，意味着深度学习模型会输出当前输入图片属于N类里每一类的概率，取N个概率最大者即为模型判断的最终结果。其中的参数膨胀系数(expansion factor)t、重复次数n、输出通道数c和跨步s(stride)，这些变量值是根据常用的效果好的深度学习模型结构设计的出来的。所以，用该模型识别出的结果具有识别快速、准确的优点。

本发明的一种较优实施例中，步骤S1中，检测宝宝所处环境的光线亮度，根据所述光线亮度输出触发信号的具体过程为：

采集宝宝所处环境的环境图像，

检测所述环境图像的所述光线亮度，并根据所述光线亮度的平均值输出所述触发信号。

具体地，本申请可以将光线亮度与预设阈值进行比较，输出触发信号。

本发明的一种较优实施例中，所述步骤S1中，采用红外摄像头或者RGB摄像头检测宝宝所处环境的所述光线亮度；

则当采用所述红外摄像头时，如果检测到的所述光线亮度的平均值超过一第一预设阈值，则生成并输出所述触发信号；

当采用所述RGB摄像头时，如果检测到的所述光线亮度的平均值不超过一第二预设阈值，则生产并输出所述触发信号。

具体地，如果是在白天，亮度比较高，那么就会采用RGB摄像头进行拍摄，而在晚上，亮度比较低的情况下，会采用红外摄像头进行拍摄，来进行补光，这样拍出来的图像清晰，也便于后续处理，从而使最终得到的婴儿行为异常的图像更准确。

本发明的一种较优实施例中，所述光线亮度的平均值为所述环境图像中的像素点的亮度值的平均值。

本发明的一种较优实施例中，每个所述像素点的亮度值表示为：

Y'＝0.299R'+0.587G'+0.114B'

其中，

Y`用于表示所述像素点的亮度值；

R'、G'、B'分别为红、绿、蓝三通道的像素值。

具体地，该计算方式能更加准确的计算光线亮度，从而调用红外摄像头或RGB摄像头。