行为识别模型的构建方法、行为识别方法及智能家居

摘要

本申请涉及一种行为识别模型的构建方法、行为识别方法及智能家居。所述方法包括：获取历史行为视频；按照时间维度和空间维度获取所述历史行为视频的多个局部特征；根据所述多个局部特征，获取所述历史行为视频的整体特征；根据所述整体特征以及预设的与所述整体特征对应的行为列表，获取所述历史行为视频所对应的行为类别；构建根据所述行为视频识别所述行为的模型。通过上述行为识别模型的构建方法能够解决如何及时发现儿童危险行为的技术问题。

说明书

技术领域

本申请涉及识别领域，尤其涉及一种行为识别模型的构建方法、行为识别方法以及智能家居。

背景技术

近年来，人工智能及其相关技术广泛应用于视频监控、智能家居、人机交互等领域，极大的改变和影响着人们的生产和生活方式，同时也对人工智能技术产品化提出了更高的要求；与此同时，随着儿童安全事故以及安全隐患的频频发生，也使得守护儿童安全，保护儿童健康也越来越受到普通人的关注。

发明内容

为了解决上述及时发现儿童危险行为的技术问题，本申请提供了一种行为的识别模型构建方法、识别方法及智能家居。

第一方面，本申请提供了一种行为识别模型的构建方法，所述方法包括：

获取历史行为视频；

按照时间维度和空间维度获取所述历史行为视频的多个局部特征；

根据所述多个局部特征，获取所述历史行为视频的整体特征；

根据所述整体特征以及预设的与所述整体特征对应的行为列表，获取所述历史行为视频所对应的行为类别；

构建根据所述行为视频识别所述行为的模型。

可选地，所述按照时间维度和空间维度获取所述历史行为视频的多个局部特征，包括：

获取所述历史行为视频的多个片段，

获取所述片段中的任意一帧的RGB图像和光流图像，所述RGB图像为空间维度图像，所述光流图像为时间维度图像；

将所述多个片段的所述任意一帧的RGB图像进行堆叠，

获取所述RGB图像的堆叠深度特征，根据所述RGB图像的堆叠深度特征，获取所述RGB特征序列；

将所述多个片段的所述任意一帧的光流图像进行堆叠，

获取所述光流图像的堆叠深度特征，根据所述光流图像的堆叠深度特征，获取所述光流特征序列。

可选地，所述根据所述多个局部特征，获取所述历史行为视频的整体特征，包括：

预先建立时序激励模块；

根据所述RGB特征序列以及所述时序激励模块，获取所述RGB特征的权重向量，并根据所述RGB特征序列以及所述RGB特征的权重向量，获取所述RGB加权特征序列；

根据所述光流特征序列以及所述时序激励模块，获取所述光流特征的权重向量，并根据所述光流特征序列以及所述光流特征的权重向量，获取所述光流加权特征序列；

根据预设规则，将所述RGB加权特征序列转换成与所述RGB加权特征相对应的第一分数值序列，以及将所述光流加权特征序列转换成与所述光流加权特征相对应的第二分数值序列；

根据所述第一分数值序列以及所述第二分数值序列，获取所述当前行为视频的整体特征分数值。

可选地，所述根据所述整体特征以及预设的与所述整体特征对应的行为列表，获取所述历史行为视频所对应的行为类别，包括：

获取所述行为列表中所述不同类别的行为预设的分数值，

比较所述整体特征分数值与所述不同类别的行为预设分数值，

获取所述整体特征分数值与所述不同类别的行为预设分数值的差值，

获取所述差值在差值预设范围内的所述行为，作为所述当前行为视频所对应的可能行为；

获取所述可能行为所对应的概率值，

获取所述最大概率值所对应的可能行为，为所述历史行为视频所对应的行为。

可选地，所述获取所述RGB图像的堆叠深度特征的方法包括：

预设空间卷积神经网络，根据所述空间卷积神经网路，获取所述RGB图像的堆叠深度特征；

所述获取所述光流图像的堆叠深度特征的方法包括：

预设时间卷积神经网络，根据所述时间卷积神经网路，获取所述光流图像的堆叠深度特征。

可选地，所述根据所述RGB特征序列以及所述时序激励模块，获取所述RGB特征的权重向量，包括：

所述时序激励模块将所述RGB特征序列压缩，

并通过预设的第一全连接层以及预设的第一激励函数，获取所述RGB特征的权重向量；

所述根据所述RGB特征序列以及所述RGB特征的权重向量，获取所述RGB加权特征序列，包括：

通过预设的第二全连接层以及预设的第二激励函数，获取所述RGB加权特征序列。

可选地，所述根据所述光流特征序列以及所述时序激励模块，获取所述光流特征的权重向量，包括：

所述时序激励模块将所述光流特征序列压缩，

并通过所述预设的第一全连接层以及所述预设的第一激励函数，获取所述光流特征的权重向量；

所述根据所述光流特征序列以及所述光流特征的权重向量，获取所述光流加权特征序列，包括：

通过所述预设的第二全连接层以及所述预设的第二激励函数，获取所述光流加权特征序列。

可选地，所述方法还包括：

训练所述行为识别模型；

所述训练所述行为识别模型的方法包括：

将所述历史行为视频划分为训练样本和测试样本；

通过预设标注方法标注所述训练样本，获取所述训练样本的整体特征，

根据批量梯度下降法对所述训练样本的整体特征进行训练，获取所述整体特征的训练权重；

根据所述整体特征的训练权重和所述测试样本，获取所述测试样本所对应的行为类别；

根据预设的行为类别列表，获取所述测试样本所述对应行为类别的准确率；

判断所述准确率是否达到预设阈值，若所述准确率未达到所述预设阈值，则调整所述训练样本的数量以及训练次数，直至所述准确率达到所述预设阈值，获取所述行为识别模型。

第二方面，本申请提供了一种行为识别方法，应用权利要求1-8项所述的行为识别模型，所述方法包括：

获取当前行为视频；

根据所述当前行为视频以及所述行为识别模型，识别所述当前行为类别；

获取行为列表，判断所述当前行为类别是否在所述行为列表内，

若所述当前行为类别在所述行为列表内，则所述智能空调发出警示，以使所述行为人的监护者及时照料。

可选地，在所述根据所述当前行为视频以及所述行为识别模型，识别所述当前行为类别之前，所述方法还包括：

识别所述当前行为视频的人物属性；

所述不同人物属性对应不同的所述行为识别模型；

其中，所述人物属性包括成年人、儿童和老年人。

第三方面，本申请提供了一种智能家居，应用权利要求1-8项所述的行为识别模型，所述智能家居包括：

行为视频获取模块，用于获取当前行为视频；

行为识别模块，用于根据所述当前行为视频以及所述行为识别模型，识别所述当前行为类别；并用于获取行为列表，判断所述当前行为类别是否在所述行为列表内；

警示模块，用于若所述行为识别模块识别到当前行为类别在所述行为列表内，发出警示，以使所述行为人的监护者及时照料。

可选地，所述智能家居还包括：

人物属性识别模块，用于识别所述当前行为视频的人物属性；

所述不同人物属性对应不同的所述行为识别模型；

其中，所述人物属性包括成年人、儿童和老年人。

上述行为识别模型的构建方法，所述方法通过获取历史行为视频，按照时间维度和空间维度获取所述历史行为视频的多个局部特征；根据所述多个局部特征，获取所述历史行为视频的整体特征；根据所述整体特征以及预设的与所述整体特征对应的行为列表，获取所述历史行为视频所对应的行为类别；构建根据所述行为视频识别所述行为的模型；通过上述行为识别模型，能够准确识别行为人的行为类别，尤其是儿童、老人或者任何需要照料的行为人的行为类别，以使上述行为人的监护人及时进行照料，避免由于该行为导致的危险结果的发生。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中行为识别模型的构建方法的流程示意图；

图2为本发明实施例中行为识别模型的构建方法的流程示意图；

图3为本发明实施例中行为识别模型的构建方法的流程示意图；

图4为本发明实施例中行为识别方法的流程示意图；

图5为本发明实施例中智能家居的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

参照图1，在本申请的实施例中，提供了一种行为识别模型的构建方法，该方法包括：

步骤101：获取历史行为视频；

步骤102：按照时间维度和空间维度获取历史行为视频的多个局部特征；

步骤103：根据多个局部特征，获取历史行为视频的整体特征；

步骤104：根据整体特征以及预设的与整体特征对应的行为列表，获取历史行为视频所对应的行为类别；构建根据行为视频识别行为的模型。

在本申请的实施例中，预设的行为列表可以为与整体特征对应的危险行为列表，例如，儿童危险行为可能为摔倒、攀爬、高处跌落、翻滚、追逐、侧踢等任意一种行为；预设的行为列表也可以为预设的需要特别关注的行为列表，例如，需要特别关注老人反映身体状态的一些行为，例如晕倒、行为明显迟缓等。

在本申请的实施例中，通过构建上述行为识别模型，能够准确、及时的识别行为人的行为类别，尤其是儿童、老人或者任何需要照料的行为人的行为类别；进而使上述行为人的监护人及时进行照料，避免由于该行为导致的危险结果的发生。

参照图2，在本申请的实施例中，按照时间维度和空间维度获取历史行为视频的多个局部特征，包括：

获取历史行为视频的多个片段，获取片段中的任意一帧的RGB图像和光流图像，RGB图像为空间维度图像，光流图像为时间维度图像；

将多个片段的任意一帧的RGB图像进行堆叠，获取RGB图像的堆叠深度特征，根据RGB图像的堆叠深度特征，获取RGB特征序列；

将多个片段的任意一帧的光流图像进行堆叠，获取光流图像的堆叠深度特征，根据光流图像的堆叠深度特征，获取光流特征序列。

在本申请的实施例中，获取RGB图像的堆叠深度特征的方法包括：

预设空间卷积神经网络，根据空间卷积神经网路，获取RGB图像的堆叠深度特征；

获取光流图像的堆叠深度特征的方法包括：

预设时间卷积神经网络，根据时间卷积神经网路，获取光流图像的堆叠深度特征。

在本申请的实施例中，在构建行为识别模型的局部特征提取阶段，将视频平均分成若干片段，在每个片段中随机挑选一帧RGB图像和光流图像的堆叠作为模型的输入；利用VGG网络、ResNet网络、BN-Inception网络组建空间卷积神经网络和时间卷积神经网络，利用空间卷积神经网络提取每一帧RGB图像的堆叠深度特征并且组成局部RGB特征序列，利用时间卷积神经网络提取每一帧光流图像的堆叠深度特征并且组成局部光流特征序列；将获取到的行为视频按照时间维度和空间维度进行处理，提高局部特征获取的准确度。

在本申请的实施例中，根据多个局部特征，获取历史行为视频的整体特征，包括：

预先建立时序激励模块；

根据RGB特征序列以及时序激励模块，获取RGB特征的权重向量，并根据RGB特征序列以及RGB特征的权重向量，获取RGB加权特征序列；

根据光流特征序列以及时序激励模块，获取光流特征的权重向量，并根据光流特征序列以及光流特征的权重向量，获取光流加权特征序列；

根据预设规则，将RGB加权特征序列转换成与RGB加权特征相对应的第一分数值序列，以及将光流加权特征序列转换成与光流加权特征相对应的第二分数值序列；

根据第一分数值序列以及第二分数值序列，获取当前行为视频的整体特征分数值。

在本申请的实施例中，在构建行为识别模型的局部特征提取阶段之后，将局部特征融合为整体特征：通过构建时序激励模块，分析每个局部特征的重要性，对每个局部特征进行加权后获取行为视频的整体特征；其中，通过共识函数将将RGB加权特征序列转换成与RGB加权特征相对应的第一分数值序列，以及将光流加权特征序列转换成与光流加权特征相对应的第二分数值序列。

在本申请的实施例中，根据整体特征以及预设的与整体特征对应的行为列表，获取历史行为视频所对应的行为类别，包括：

获取行为列表中不同类别的行为预设的分数值，

比较整体特征分数值与不同类别的行为预设分数值，

获取整体特征分数值与不同类别的行为预设分数值的差值，

获取差值在差值预设范围内的行为，作为当前行为视频所对应的可能行为；

获取可能行为所对应的概率值，

获取最大概率值所对应的可能行为，为历史行为视频所对应的行为。

在本申请的实施例中，通过Softmax函数作为输出层，对整体特征进行判别输出每个特征的概率值，而且在数据传输过程中不容易发散。

在本申请的实施例中，根据RGB特征序列以及时序激励模块，获取RGB特征的权重向量，包括：

时序激励模块将RGB特征序列压缩，并通过预设的第一全连接层以及预设的第一激励函数，获取RGB特征的权重向量；

根据RGB特征序列以及RGB特征的权重向量，获取RGB加权特征序列，包括：通过预设的第二全连接层以及预设的第二激励函数，获取RGB加权特征序列。

可选地，根据光流特征序列以及时序激励模块，获取光流特征的权重向量，包括：时序激励模块将光流特征序列压缩，并通过预设的第一全连接层以及预设的第一激励函数，获取光流特征的权重向量；

根据光流特征序列以及光流特征的权重向量，获取光流加权特征序列，包括：通过预设的第二全连接层以及预设的第二激励函数，获取光流加权特征序列。

参照图3，在本申请的实施例中，通过预设的第一全连接层和第二全连接层，保证信息传递的完整性；第一激励函数为Relu函数，通过Relu函数来分析RGB特征以及光流特征的重要性，进行局部特征的整理；第二激励函数为Sigmoid函数，通过Sigmoid函数抑制冗余的信息和噪声，最终赋予整体特征更加多的有用信息，增加整体特征的准确度以及最终识别结果的可靠性。

在本申请的实施例中，利用平均池化的方法进行特征的压缩操作。

在本申请的实施例中，上述方法还包括：

训练行为识别模型；

训练行为识别模型的方法包括：

将历史行为视频划分为训练样本和测试样本；

通过预设标注方法标注训练样本，获取训练样本的整体特征，根据批量梯度下降法对训练样本的整体特征进行训练，获取整体特征的训练权重；

根据整体特征的训练权重和测试样本，获取测试样本所对应的行为类别；

根据预设的行为类别列表，获取测试样本对应行为类别的准确率；

判断准确率是否达到预设阈值，若准确率未达到预设阈值，则调整训练样本的数量以及训练次数，直至准确率达到预设阈值，获取行为识别模型。

在本申请实施例中，通过批量梯度下降法在梯度下降的每一步中都用所有的训练样本，最终获取最佳的行为识别结果的输出；对于不同的行为识别模型根据人物属性的不同采用上述识别模型的训练方法进行训练。

参照图4，在本申请的实施例中，提供了一种行为识别方法，该识别方法应用上述行为识别模型，包括：

步骤201：获取当前行为视频；

步骤202：根据当前行为视频以及行为识别模型，识别当前行为类别；

步骤203：获取行为列表，判断当前行为类别是否在行为列表内；

步骤204：若当前行为类别在行为列表内，则智能空调发出警示，以使行为人的监护者及时照料。

在本申请的实施例中，在根据当前行为视频以及行为识别模型，识别当前行为类别之前，上述行为识别方法还包括：

识别当前行为视频的人物属性；

不同人物属性对应不同的行为识别模型；其中，人物属性包括成年人、儿童和老年人。

在本申请的实施例中，提供了一种应用上述行为识别模型智能家居，该智能家居包括：

行为视频获取模块10，用于获取当前行为视频；

行为识别模块20，用于根据当前行为视频以及行为识别模型，识别当前行为类别；并用于获取行为列表，判断当前行为类别是否在行为列表内；

警示模块30，用于若行为识别模块识别到当前行为类别在行为列表内，发出警示，以使行为人的监护者及时照料。

在本申请的实施例中，智能家居可以为空调、智能灯具或者电视等。

在本申请的实施例中，该智能家居为应用上述行为识别模型儿童空调。该儿童空调通过行为视频获取模块10，实时获取儿童的行为视频，该行为视频获取模块10可以摄像头等能够获取到儿童行为视频的装置；并通过行为识别模块20，分析该儿童的行为是否为危险行为，若识别到儿童的行为是危险行为；则通过儿童空调设置的警示模块30向家长或者其他监护人发出预警信号的播放，避免儿童由于该危险行为导致的危险结果的发生，提高儿童空调产品的智能化、人性化以及适应不同的用户需求。

在本申请的实施例中，警示模块30还可以包括语音模块，通过控制指令驱动语音模块播放预警提示音乐。

在本申请的实施例中，智能家居还包括：

人物属性识别模块40，用于识别当前行为视频的人物属性；

不同人物属性对应不同的行为识别模型；

其中，人物属性包括成年人、儿童和老年人。

在本申请的实施例中，同样适用于行为不便的成年人以及老人年，不同的人物属性对应不同的行为识别模型，使智能家居更加人性化以及提高用户体验。

图1和图4为一个实施例中行为识别模型构建方法以及行为识别方法的流程示意图。应该理解的是，虽然图1和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。