一种基于姿态估计的跌倒检测方法及装置

摘要

本发明公开了一种基于姿态估计的跌倒检测方法及装置，方法包括，接收预设图像采集装置采集的图像数据；从所述图像数据中提取人体外接矩形框坐标；将所述人体外接矩形框坐标输入预设模型中，获取多个人体关键点坐标；对所述人体关键点坐标进行姿态分类，检测跌倒行为。解决了现有检测方案对跌倒行为的检测不够准确，且容易产生漏检的技术问题。

说明书

技术领域

本发明涉及检测技术领域，尤其涉及一种基于姿态估计的跌倒检测方法及装置。

背景技术

当今社会，人口老龄化问题日益严重，目前我国有老年人口2.09亿，是世界上老龄人口最多的国家。子女没有充足时间照顾父母，住院难、住院贵、交通紧张等问题制约老年人占据公立医院病床。老龄化正成为个人、家庭和政府的棘手问题。居家养老能够部分解决上述问题，但需要实时跟踪独居老人的在家状态，其中，尤其需要进行跌倒监测，因为65岁以上老人死因排名中，跌倒位居首位。

传统的监控系统主要是视频监控，包括加速度传感器监控，声波传感器监控等方法。但传统的监控方法以记录为主，同时还需要通过穿戴式传感器实现跌倒监测，使用者需要随时佩戴，在实际应用中极为不便。室内环境较为复杂，人体的活动容易受到遮挡，也容易受到强光的影响，传统的图像处理方法具有局限性，而使用深度图像检测跌倒需要依赖于专用硬件Kinect，成本较高且使用有距离限制。导致传统的监控系统对跌倒行为的监测不够准确，且容易出现漏检的情况。

发明内容

本发明提供了一种基于姿态估计的跌倒检测方法及装置，用于解决现有检测方案对跌倒行为的检测不够准确，且容易产生漏检的技术问题。

本发明提供了一种基于姿态估计的跌倒检测方法，包括：

接收预设图像采集装置采集的图像数据；

从所述图像数据中提取人体外接矩形框坐标；

将所述人体外接矩形框坐标输入预设模型中，获取多个人体关键点坐标；

对所述人体关键点坐标进行姿态分类，检测跌倒行为。

可选地，所述从所述图像数据中提取人体外接矩形框坐标的步骤，包括：

通过预设人体姿态数据集对预设神经网络模型进行训练，得到已训练神经网络模型；

将所述图像数据输入所述已训练神经网络模型，提取人体外接矩形框坐标。

可选地，所述将所述人体外接矩形框坐标输入预设模型中，获取多个人体关键点坐标的步骤，包括：

将所述人体外接矩形框坐标输入预设模型中，获取多个初始人体关键点坐标及每个所述初始人体关键点坐标对应的初始置信度；

依次判断每个所述初始人体关键点坐标对应的初始置信度是否小于预设阈值；

若是，删除所述初始置信度小于或等于预设阈值的初始人体关键点坐标；

确定所述初始置信度大于所述预设阈值的初始人体关键点坐标为人体关键点坐标。

可选地，所述对所述人体关键点坐标进行姿态分类，检测跌倒行为的步骤，包括：

获取预设数量帧的所述图像数据对应的人体关键点坐标，生成坐标序列；

将所述坐标序列输入预设Conv-LSTM网络进行姿态分类，并基于姿态分类结果检测跌倒行为；其中，所述预设Conv-LSTM网络中添加了注意力机制。

可选地，所述人体姿态数据集包括人体行走数据、跳跃数据、躺下数据和跌倒数据。

可选地，还包括：

当检测到跌倒行为时，发出报警信号。

本发明还提供了一种基于姿态估计的跌倒检测装置，包括：

接收模块，用于接收预设图像采集装置采集的图像数据；

提取模块，用于从所述图像数据中提取人体外接矩形框坐标；

获取模块，用于将所述人体外接矩形框坐标输入预设模型中，获取多个人体关键点坐标；

检测模块，用于对所述人体关键点坐标进行姿态分类，检测跌倒行为。

可选地，所述提取模块，包括：

训练子模块，用于通过预设人体姿态数据集对预设神经网络模型进行训练，得到已训练神经网络模型；

提取子模块，用于将所述图像数据输入所述已训练神经网络模型，提取人体外接矩形框坐标。

本发明还提供了一种电子设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行如上任一项所述的基于姿态估计的跌倒检测方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的基于姿态估计的跌倒检测方法。

从以上技术方案可以看出，本发明具有以下优点：本发明通过接收预设图像采集装置采集的图像数据；从图像数据中提取人体外接矩形框坐标；将人体外接矩形框坐标输入预设模型中，获取多个人体关键点坐标；对人体关键点坐标进行姿态分类，检测跌倒行为。解决了现有检测方案对跌倒行为的检测不够准确，且容易产生漏检的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种基于姿态估计的跌倒检测方法的步骤流程图；

图2为本发明另一实施例提供的一种基于姿态估计的跌倒检测方法的步骤流程图；

图3为本发明实施例提供的YOLOv3的示意图；

图4为本发明实施例提供的block网络图；

图5为本发明实施例提供的Conv-LSTM结构图；

图6为本发明实施例提供的一种基于姿态估计的跌倒检测装置的结构框图。

具体实施方式

本发明实施例提供了一种基于姿态估计的跌倒检测方法及装置，用于解决现有检测方案对跌倒行为的检测不够准确，且容易产生漏检的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例提供的一种基于姿态估计的跌倒检测方法的步骤流程图。

本发明提供的一种基于姿态估计的跌倒检测方法，包括：

步骤101，接收预设图像采集装置采集的图像数据；

在本发明实施例中，图像采集装置可以为摄像头等设备。

在具体实现中，本发明实施例可以通过在室内区域安装摄像头，来采集室内的图像数据。

在一个示例中，摄像头可以为具备人体跟踪功能的摄像头，以尽可能采集包含人体信息的图像数据，从而避免在老人发生事故时，没有采集到相关的图像。

步骤102，从图像数据中提取人体外接矩形框坐标；

人体外接矩形框是指人体外部轮廓多点连接构成的矩形框。所有点的坐标的集合即为人体外接矩形框坐标。

在本发明实施例中，在采集到图像数据后，可以对图像数据进行人体位置提取，以获取人体在图像数据中的外接矩形框坐标。

步骤103，将人体外接矩形框坐标输入预设模型中，获取多个人体关键点坐标；

在本发明实施例中，将采集到的图像数据输入预设模型中，可以获取多个人体关键点坐标。

在一个示例中，人体关键点坐标可以包括鼻子，左右眼，左右耳，左右肩，左右肘，左右腕，左右臀，左右膝，左右脚踝等17个。

步骤104，对人体关键点坐标进行姿态分类，检测跌倒行为。

在本发明实施例中，在获取到人体关键点坐标后，可以通过神经网络模型进行姿态分类，从而检测图像数据中是否存在跌倒行为。

本发明通过接收预设图像采集装置采集的图像数据；从图像数据中提取人体外接矩形框坐标；将人体外接矩形框坐标输入预设模型中，获取多个人体关键点坐标；对人体关键点坐标进行姿态分类，检测跌倒行为。解决了现有检测方案对跌倒行为的检测不够准确，且容易产生漏检的技术问题。

请参阅图2，图2为本发明另一实施例提供的一种基于姿态估计的跌倒检测方法的步骤流程图。具体可以包括以下步骤：

步骤201，接收预设图像采集装置采集的图像数据；

步骤202，从图像数据中提取人体外接矩形框坐标；

在本发明实施例中，步骤202可以包括：

通过预设人体姿态数据集对预设神经网络模型进行训练，得到已训练神经网络模型；

将图像数据输入已训练神经网络模型，提取人体外接矩形框坐标。

在具体实现中，可以使用神经网络YOLOv3模型作为基础网络，在此基础上对其进行改进，引入可分离卷积，构建预设神经网络模型。其中，YOLOv3网络结构如图3所示。图3左侧的方框内2个Convolutional模块加上一个Residual模块合称为一个Darknet模块。参考MobileNetV2的设计，将图3的基本模块Darknet进行替换，改为图4的block网络图。图4左边代表步长Stride为1时的网络结构，右边代表步长为2时的网络结构，其中的Relu6就是Relu函数，但是限制最大输出值为6，这样能在保证精度的情况下，大幅度降低参数数量，提高网络的检测速度。

需要说明的是，MobileNetV2引入了深度可分离卷积，深度可分离卷积将卷积核分成两个卷积核，这两个卷积核进行两个卷积：深度卷积和逐点卷积，相比传统的卷积，可以有效地减少计算量。

采用预设人体姿态数据集训练该预设神经网络模型，并在训练得到的已训练模型中输入图像数据，可以得到每帧图像数据中人体的回归框，即检测出人体的外接矩形框坐标。

需要说明的是，人体姿态数据集中可以包括人体行走数据、跳跃数据、躺下数据和跌倒数据等姿态数据。

步骤203，将人体外接矩形框坐标输入预设模型中，获取多个人体关键点坐标；

在本发明实施例中，步骤203可以包括：

将人体外接矩形框坐标输入预设模型中，获取多个初始人体关键点坐标及每个初始人体关键点坐标对应的初始置信度；

依次判断每个初始人体关键点坐标对应的初始置信度是否小于预设阈值；

若是，删除初始置信度小于或等于预设阈值的初始人体关键点坐标；

确定初始置信度大于预设阈值的初始人体关键点坐标为人体关键点坐标。

在具体实现中，预设模型可以为HRNet模型，当获取到人体外接矩形框坐标时，可以将人体外接矩形框坐标输入人体姿态估计网络HRNet模型中，得到17个初始人体关键点坐标以及对应的初始置信度。

设定阈值为0.1，当初始人体关键点坐标的初始置信度小于或等于0.1时，可以将其坐标设定为0，相当于未检测出该点的坐标。将其他初始置信度大于0.1的初始人体关键点坐标确定为人体关键点坐标。

步骤204，对人体关键点坐标进行姿态分类，检测跌倒行为；

在本发明实施例中，步骤204可以包括：

获取预设数量帧的图像数据对应的人体关键点坐标，生成坐标序列；

将坐标序列输入预设Conv-LSTM网络进行姿态分类，并基于姿态分类结果检测跌倒行为；其中，预设Conv-LSTM网络中添加了注意力机制。

在具体实现中，可以使用神经网络Conv-LSTM模型作为基础网络，并添加了注意力机制。使用上面得到的17个关键点坐标，将每10帧的数据作为一个新的坐标序列，序列大小维度为17*2*10，代表10帧图像的17个关键点及每个关键点的x轴、y轴坐标，将其输入Conv-LSTM网络，以进行姿态分类，检测跌倒行为。

其中，本发明实施例的Conv-LSTM网络可以如图5所示，其中，h

i

f

C

C

h

需要说明的是，Conv-LSTM的核心本质还是和LSTM一样，将上一层的输出作为下一层的输入。不同的地方在于Conv-LSTM加入了卷积操作之后，不仅能够得到时序关系，还能够像卷积层一样提取空间特征，这样Conv-LSTM就可以同时提取时间特征和空间特征(时空特征)，并且状态与状态之间的切换也换成了卷积运算。

另外在Conv-LSTM网络之后还加入了Attention机制模块，将Conv-LSTM的输出H＝{h

u

加入了Attention机制后，可提高网络的准确性，Attention机制其实就是一系列注意力分配系数，相当于权重参数，会专注考虑输入序列中的一些被认为比较重要的部分，引入该机制可以有效提高网络的准确率。

步骤205，当检测到跌倒行为时，发出报警信号。

在本发明实施例中，如果检测到出现跌倒行为，可向预先设置的用户的终端发送报警信号。

本发明通过接收预设图像采集装置采集的图像数据；从图像数据中提取人体外接矩形框坐标；将人体外接矩形框坐标输入预设模型中，获取多个人体关键点坐标；对人体关键点坐标进行姿态分类，检测跌倒行为。解决了现有检测方案对跌倒行为的检测不够准确，且容易产生漏检的技术问题。

请参阅图6，图6为本发明实施例提供的一种基于姿态估计的跌倒检测装置的结构框图。

本发明实施例提供了一种基于姿态估计的跌倒检测装置，包括：

接收模块601，用于接收预设图像采集装置采集的图像数据；

提取模块602，用于从图像数据中提取人体外接矩形框坐标；

获取模块603，用于将人体外接矩形框坐标输入预设模型中，获取多个人体关键点坐标；

检测模块604，用于对人体关键点坐标进行姿态分类，检测跌倒行为。

在本发明实施例中，提取模块601，包括：

训练子模块，用于通过预设人体姿态数据集对预设神经网络模型进行训练，得到已训练神经网络模型；

提取子模块，用于将图像数据输入已训练神经网络模型，提取人体外接矩形框坐标。

在本发明实施例中，获取模块603，包括：

初始人体关系点坐标及初始置信度获取子模块，用于将人体外接矩形框坐标输入预设模型中，获取多个初始人体关键点坐标及每个初始人体关键点坐标对应的初始置信度；

判断子模块，用于依次判断每个初始人体关键点坐标对应的初始置信度是否小于预设阈值；

删除子模块，用于若是，删除初始置信度小于或等于预设阈值的初始人体关键点坐标；

人体关键点坐标确定模块，用于确定初始置信度大于预设阈值的初始人体关键点坐标为人体关键点坐标。

在本发明实施例中，检测模块604，包括：

坐标序列生成子模块，用于获取预设数量帧的图像数据对应的人体关键点坐标，生成坐标序列；

检测子模块，用于将坐标序列输入预设Conv-LSTM网络进行姿态分类，并基于姿态分类结果检测跌倒行为；其中，预设Conv-LSTM网络中添加了注意力机制。

在本发明实施例中，人体姿态数据集包括人体行走数据、跳跃数据、躺下数据和跌倒数据。

在本发明实施例中，还包括：

报警模块，用于当检测到跌倒行为时，发出报警信号。

本发明实施例还提供了一种电子设备，其特征在于，设备包括处理器以及存储器：

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行本发明实施例的基于姿态估计的跌倒检测方法。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行本发明实施例的基于姿态估计的跌倒检测方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。