基于视频序列的跌倒检测算法

摘要

本发明涉及电力安全施工技术领域，尤其为基于视频序列的跌倒检测算法，其算法包括如下步骤：采集配电房监控摄像头下施工人员的人体和人头数据，图片中的人体预测使用yolov3算法，同时对原始yolov3模型进行裁剪操作，并使用采集的数据集训练裁剪之后的yolov3网络模型权重，在预测过程中，使用yolov3预测图片中的目标；本发明的算法无需依赖于海量的跌倒数据集，人体和人头检测模型训练集只需要使用开源数据集即可训练算法中的检测器，且跌倒动作检测模块中的特征提取只需典型应用场景中的小批量视频序列即可获得，同时本算法的人体和人头部位检测模型经过模型剪枝后较为轻量级，使得该算法适用于嵌入式产品。

说明书

技术领域

本发明涉及电力安全施工技术领域，具体为基于视频序列的跌倒 检测算法。

背景技术

电力施工人员在变电站、配电房等高压或者特高压环境下，施工 过程中可能会发生触电事故，如果触电人员倒地后没有被及时发现， 可能会造成更大的伤害，甚至可能会错过最佳救助时机，从而造成人 员伤亡。为了能让电力施工人员发生触电事故倒地后能够被其他人及 时发现并有效救治，对施工人员跌倒行为的预测显得十分重要。

长期以来，跌倒行为在2d图像中的检测一直是一个技术上的难 题，早期跌到检测方法大都是基于单张RGB图像，运用背景差方法从 图片中将人体和背景进行分隔，根据分隔出来的人体区域进一步做跌 倒判定，这种方法鲁棒性较差，依赖于手工调参。随着深度学习的发 展，新的跌倒检测方法取得了一定的效果，例如利用基于人体骨骼点 的openpose进行人体姿态估计，和长短期记忆 (LongShort-TermMemory，LSTM)循环神经网对视频序列进行预测。 但是无论是openpose还是LSTM，都需要大量的人体跌倒数据集训练模型权重，而跌倒数据集很难收集，少量的跌倒数据对于网络的收敛 起不到很大的作用，同时由于网络较深，运算量太大，导致现有的算 法方案很难在嵌入式产品上实施。

发明内容

本发明的目的在于提供基于视频序列的跌倒检测算法，以解决上 述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于视频序列的跌 倒检测算法，其算法包括如下步骤：

(S1)：采集配电房监控摄像头下施工人员的人体和人头数据， 图片中的人体预测使用yolov3算法，同时对原始yolov3模型进行裁 剪操作，并使用采集的数据集训练裁剪之后的yolov3网络模型权重；

(S2)：在预测过程中，使用yolov3预测图片中的目标，预测向 量经过NonMaximumSuppression算法处理后输出人体和人头部位的 boundingbox的坐标值；

(S3)：将步骤(S2)中输出的人头部位boundingbox的坐标值 输入至目标跟踪模块，跟踪模块为图像中的每个目标赋予一个独一无 二的trackid，在跟踪模块中加入哈希算法计算前后两帧图片中头部 区域的相似度，并利用相似度的值来约束最小欧式距离；

(S4)：在步骤(S3)中给每个目标赋予一个trackid，利用跟 踪点找到当前数据帧对应人体的box坐标值，在人体发生跌倒时和在 正常行走时，前后两帧人体box坐标值的纵横比变化量比较大，前后 两帧人头box中心点相对于人体box底部中心点下降的高度变化量比 正常运动大，且始终朝向地面方向运动，人体发生跌倒时人体头box 的中心点瞬时位移变化量较大，基于以上特征设计分类器；

(S5)：在收集特征时，将工人的行为动作分类为正常行走、下 蹲行为和跌倒行为，跌倒在视频序列中是连续几帧的动作，在跌倒检 测模块的输出后面加入跌倒次数计数器，当连续视频序列中某个被跟 踪目标被检测到跌倒行为的次数超过设定阈值时，判定该目标的行为 动作为跌倒行为。

优选的，所述步骤(1)中，在采集过程中，采集不同施工人员 以及不同时间的数据。

优选的，所述步骤(1)中，原始yolov3模型的分辨率为416x416。

优选的，所述步骤(2)中，输出的数据还包括有人体和人头部 位的置信度和类别信息。

优选的，所述步骤(3)中，加入的哈希算法为平均哈希算法。

优选的，所述步骤(4)中，分类器为支持向量机。

优选的，所述步骤(5)中，工人的行为动作的分类是基于box 中心点瞬时位移变化量来判断的。

优选的，所述步骤(5)中，跌倒行为次数的阀值为4-8次。

与现有技术相比，本发明的有益效果如下：

本发明的算法无需依赖于海量的跌倒数据集，人体和人头检测模 型训练集只需要使用开源数据集即可训练算法中的检测器，且跌倒动 作检测模块中的特征提取只需典型应用场景中的小批量视频序列即 可获得，同时本算法的人体和人头部位检测模型经过模型剪枝后较为 轻量级，使得该算法适用于嵌入式产品。

附图说明

图1为本发明算法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方 案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部 分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普 通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。

实施例一：

基于视频序列的跌倒检测算法，其算法包括如下步骤：

(S1)：采集配电房监控摄像头下施工人员的人体和人头数据， 图片中的人体预测使用yolov3算法，同时对原始yolov3模型进行裁 剪操作，并使用采集的数据集训练裁剪之后的yolov3网络模型权重， 图片中的人体预测使用yolov3算法代替传统的背景差分隔法，由于 yolov3模型较深，较深的模型主要是针对小目标，该算法中的场景 不存在很小的目标，所以需要对原始yolov3模型进行裁剪操作，而 在采集过程中，采集不同施工人员以及不同时间的数据，其实数据更 加分散且存有随机性，以免因数据过于集中而致算法出现错位；

(S2)：在预测过程中，使用yolov3预测图片中的目标，预测向 量经过NonMaximumSuppression算法处理后输出人体和人头部位的 boundingbox的坐标值，其中输出的数据还包括有人体和人头部位的 置信度和类别信息；

(S3)：将步骤(S2)中输出的人头部位boundingbox的坐标值 输入至目标跟踪模块，跟踪模块为图像中的每个目标赋予一个独一无 二的trackid，在跟踪模块中加入哈希算法计算前后两帧图片中头部 区域的相似度，并利用相似度的值来约束最小欧式距离，其中加入的 哈希算法为平均哈希算法，由于在人员密集的场景中，人头要比人体 更加容易预测和跟踪，所以选用人头box中心坐标点进行跟踪，跟踪 模块的实现方式是采用计算视频前后两帧图像中目标的中心点间最 小欧式距离的方法来关联前后两帧中的同一个目标，但是这种方法很 容易将靠近的两个不同的目标关联成为一个目标，所以在跟踪模块中又加入了平均哈希算法计算前后两帧图片中头部区域的相似度，利用 相似度的值来约束最小欧式距离；

(S4)：在步骤(S3)中给每个目标赋予一个trackid，利用跟 踪点找到当前数据帧对应人体的box坐标值，在人体发生跌倒时和在 正常行走时，前后两帧人体box坐标值的纵横比变化量比较大，前后 两帧人头box中心点相对于人体box底部中心点下降的高度变化量比 正常运动大，且始终朝向地面方向运动，人体发生跌倒时人体头box 的中心点瞬时位移变化量较大，基于以上特征设计分类器，且分类器 为支持向量机SVM；

(S5)：在收集特征时，将工人的行为动作分类为正常行走、下 蹲行为和跌倒行为，跌倒在视频序列中是连续几帧的动作，在跌倒检 测模块的输出后面加入跌倒次数计数器，当连续视频序列中某个被跟 踪目标被检测到跌倒行为的次数超过设定阈值时，判定该目标的行为 动作为跌倒行为。

实施例二：

基于视频序列的跌倒检测算法，其算法包括如下步骤：

(S1)：采集配电房监控摄像头下施工人员的人体和人头数据， 图片中的人体预测使用yolov3算法，同时对原始yolov3模型进行裁 剪操作，并使用采集的数据集训练裁剪之后的yolov3网络模型权重， 图片中的人体预测使用yolov3算法代替传统的背景差分隔法，由于 yolov3模型较深，较深的模型主要是针对小目标，该算法中的场景 不存在很小的目标，所以需要对原始yolov3模型进行裁剪操作，而 在采集过程中，采集不同施工人员以及不同时间的数据，其实数据更 加分散且存有随机性，以免因数据过于集中而致算法出现错位，同时 原始yolov3模型的分辨率为416x416；

(S2)：在预测过程中，使用yolov3预测图片中的目标，预测向 量经过NonMaximumSuppression算法处理后输出人体和人头部位的 boundingbox的坐标值，其中输出的数据还包括有人体和人头部位的 置信度和类别信息；

(S3)：将步骤(S2)中输出的人头部位boundingbox的坐标值 输入至目标跟踪模块，跟踪模块为图像中的每个目标赋予一个独一无 二的trackid，在跟踪模块中加入哈希算法计算前后两帧图片中头部 区域的相似度，并利用相似度的值来约束最小欧式距离，其中加入的 哈希算法为平均哈希算法，由于在人员密集的场景中，人头要比人体 更加容易预测和跟踪，所以选用人头box中心坐标点进行跟踪，跟踪 模块的实现方式是采用计算视频前后两帧图像中目标的中心点间最 小欧式距离的方法来关联前后两帧中的同一个目标，但是这种方法很 容易将靠近的两个不同的目标关联成为一个目标，所以在跟踪模块中又加入了平均哈希算法计算前后两帧图片中头部区域的相似度，利用 相似度的值来约束最小欧式距离；

(S4)：在步骤(S3)中给每个目标赋予一个trackid，利用跟 踪点找到当前数据帧对应人体的box坐标值，在人体发生跌倒时和在 正常行走时，前后两帧人体box坐标值的纵横比变化量比较大，前后 两帧人头box中心点相对于人体box底部中心点下降的高度变化量比 正常运动大，且始终朝向地面方向运动，人体发生跌倒时人体头box 的中心点瞬时位移变化量较大，基于以上特征设计分类器，且分类器 为支持向量机SVM；

(S5)：在收集特征时，将工人的行为动作分类为正常行走、下 蹲行为和跌倒行为，跌倒在视频序列中是连续几帧的动作，在跌倒检 测模块的输出后面加入跌倒次数计数器，当连续视频序列中某个被跟 踪目标被检测到跌倒行为的次数超过设定阈值时，判定该目标的行为 动作为跌倒行为，其中工人的行为动作的分类是基于box中心点瞬时 位移变化量来判断的。

实施例三：

基于视频序列的跌倒检测算法，其算法包括如下步骤：

(S1)：采集配电房监控摄像头下施工人员的人体和人头数据， 图片中的人体预测使用yolov3算法，同时对原始yolov3模型进行裁 剪操作，并使用采集的数据集训练裁剪之后的yolov3网络模型权重， 图片中的人体预测使用yolov3算法代替传统的背景差分隔法，由于 yolov3模型较深，较深的模型主要是针对小目标，该算法中的场景 不存在很小的目标，所以需要对原始yolov3模型进行裁剪操作，而 在采集过程中，采集不同施工人员以及不同时间的数据，其实数据更 加分散且存有随机性，以免因数据过于集中而致算法出现错位，同时 原始yolov3模型的分辨率为416x416；

(S2)：在预测过程中，使用yolov3预测图片中的目标，预测向 量经过NonMaximumSuppression算法处理后输出人体和人头部位的 boundingbox的坐标值，其中输出的数据还包括有人体和人头部位的 置信度和类别信息；

(S3)：将步骤(S2)中输出的人头部位boundingbox的坐标值 输入至目标跟踪模块，跟踪模块为图像中的每个目标赋予一个独一无 二的trackid，在跟踪模块中加入哈希算法计算前后两帧图片中头部 区域的相似度，并利用相似度的值来约束最小欧式距离，其中加入的 哈希算法为平均哈希算法，由于在人员密集的场景中，人头要比人体 更加容易预测和跟踪，所以选用人头box中心坐标点进行跟踪，跟踪 模块的实现方式是采用计算视频前后两帧图像中目标的中心点间最 小欧式距离的方法来关联前后两帧中的同一个目标，但是这种方法很 容易将靠近的两个不同的目标关联成为一个目标，所以在跟踪模块中又加入了平均哈希算法计算前后两帧图片中头部区域的相似度，利用 相似度的值来约束最小欧式距离；

(S4)：在步骤(S3)中给每个目标赋予一个trackid，利用跟 踪点找到当前数据帧对应人体的box坐标值，在人体发生跌倒时和在 正常行走时，前后两帧人体box坐标值的纵横比变化量比较大，前后

(S5)：在收集特征时，将工人的行为动作分类为正常行走、下 蹲行为和跌倒行为，跌倒在视频序列中是连续几帧的动作，在跌倒检 测模块的输出后面加入跌倒次数计数器，当连续视频序列中某个被跟 踪目标被检测到跌倒行为的次数超过设定阈值时，判定该目标的行为 动作为跌倒行为，其中工人的行为动作的分类是基于box中心点瞬时 位移变化量来判断的，且跌倒行为次数的阀值为4-8次。

本发明的算法无需依赖于海量的跌倒数据集，人体和人头检测模 型训练集只需要使用开源数据集即可训练算法中的检测器，且跌倒动 作检测模块中的特征提取只需典型应用场景中的小批量视频序列即 可获得，同时本算法的人体和人头部位检测模型经过模型剪枝后较为 轻量级，使得该算法适用于嵌入式产品。

支持向量机(SupportVectorMachine，SVM)是一类按监督学习(supervisedlearning)方式对数据进行二元分类的广义线性分类器(generalizedlinearclassifier)，其决策边界是对学习样本求解的最大边 距超平面(maximum-marginhyperplane)，SVM被提出于1964年，在二十世 纪90年代后得到快速发展并衍生出一系列改进和扩展算法，在人像识别、文 本分类等模式识别(patternrecognition)问题中有得到应用，SVM是由模式 识别中广义肖像算法(generalizedportraitalgorithm)发展而来的分类器， 其早期工作来自学者VladimirN.Vapnik和AlexanderY.Lerner在1963年发 表的研究。1964年，Vapnik和AlexeyY.Chervonenkis对广义肖像算法进行 了进一步讨论并建立了硬边距的线性SVM。此后在二十世纪70-80年代，随着 模式识别中最大边距决策边界的理论研究、基于松弛变量的规划问题求解技 术的出现，和VC维(Vapnik-Chervonenkisdimension，VCdimension)的提 出，SVM被逐步理论化并成为统计学习理论的一部分，SVM使用铰链损失函数(hingeloss)计算经验风险(empiricalrisk)并在求解系统中加入了正则 化项以优化结构风险(structuralrisk)，是一个具有稀疏性和稳健性的分 类器。SVM可以通过核方法(kernelmethod)进行非线性分类，是常见的核学 习(kernellearning)方法之一。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅 仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定 要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺 序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排 他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备 不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还 包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限 制的情况下，由语句“包括一个……”限定的要素，并不排除在包括 所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术 人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这 些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权 利要求及其等同物限定。