基于机器视觉的医疗结构智能安监

摘要

本发明涉及智能安监技术领域，具体地说，涉及基于机器视觉的医疗结构智能安监。其包括信息获取单元、目标检测单元、边界框提取单元、姿态估计单元和数据增强单元；信息获取单元用于获取人体姿态的信息；目标检测单元用于将所述信息获取单元获取的信息进行目标检测，得到人体检测边界框；边界框提取单元用于将所述目标检测单元的人体检测边界框进行信息提取；姿态估计单元用于去除所述边界框提取单元中姿态估计的姿态提议，得到唯一确定的人体检测边界框；数据增强单元用于训练集标注的姿态来进行密集的采样，本发明以提高了智能安监的准确性与速度，使用数据增强的方法处理数据，对老人的运动姿态进行检测，提高安全性能。

说明书

技术领域

本发明涉及智能安监技术领域，具体地说，涉及基于机器视觉的医疗结构智能安监。

背景技术

我国自1990年以来已经慢慢进入了老龄时代，随着老龄人口的迅速增多，这将会导致老龄化人口在全国人口的占比大幅增加，经过近年来中国社会学家的研究表明，我国即将步入“老龄社会”，但由于我国各省份地区之间的差异，很多地区省份已经正式进入“老龄社会”.这种老龄化情况将会持续给我国的医疗，社会，政商等多方面造成极其大的挑战，由于老年人的身体原因，65周岁及其以上的老年人较为容易因意外发生跌倒等情况，而老年人因行动不便，特别是居家独处的老龄人员是无法及时获得帮助的，有可能会导致长时间跌倒，对老龄人员来说，长时间摔倒会对老人身体健康造成不可磨灭的伤害，另外对于老龄化问题的趋于严重化，我国的医疗等资源必然会出现供不应求等现象，鉴于此，我们提出基于机器视觉的医疗结构智能安监。

发明内容

本发明的目的在于提供基于机器视觉的医疗结构智能安监，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供基于机器视觉的医疗结构智能安监，包括信息获取单元、目标检测单元、边界框提取单元、姿态估计单元和数据增强单元；

信息获取单元用于获取人体姿态的信息，可以通过信息源的图像和摄像头对人体姿态的信息进行采集；

目标检测单元用于将信息获取单元获取的信息进行目标检测，得到人体检测边界框；

边界框提取单元用于将目标检测单元的人体检测边界框进行信息提取；

姿态估计单元用于去除边界框提取单元中姿态估计的姿态提议，得到唯一确定的人体检测边界框，通过选取概率最大的姿态作为参考，并且根据消除法则来进行姿态消除，多次重复直到每个人体检测边界框都是唯一确定出现的即可，达到上述要求，此时即已经完成此模块的全部操作，则不会再存在多余现象，以提高智能安监的准确性与速度；

数据增强单元用于训练集标注的姿态来进行密集的采样，得到巨大样本，用于训练，得到数据增强后生成姿态提议，使用数据增强的方法处理数据，再进行训练，以使得模型准确性增加，有利于对老人的运动姿态进行检测，提高安全性能。

本实施例中的，信息获取单元包括图像采集模块、数据传输模块和数据显示模块；

图像采集模块用于记录图像和视频；

数据传输模块用于将图像采集模块记录的图像和视频通过图像信号通道进行数据传输；

数据显示模块用于接收数据传输模块的数据，显示图像采集模块记录的图像和视频。

作为本技术方案的进一步改进，目标检测单元采用SSD目标检测算法，SSD目标检测算法包括以下步骤：

①、采用scale来进行像素级采样；

②、使用卷积网络算法提取其特征，进而进行分类；

可以进行各种尺度的特征图采取，其中较大的用于检测小的物体范围，较小的用于检测大的物体范围，因此其对不同大小的目标检测均支持良好，采用了不同尺度比例的先验框，可以在一定程度上相对的减少训练的难度，其检测的精确度与速度要高于其他的优异算法。

作为本技术方案的进一步改进，卷积网络算法包括以下姿态：

姿态一、卷积核个数：当卷积层中有n个特征提取卷积核时，一张输入图片会生成n张特征图；

姿态二、卷积方法：一般卷积神经网络中使用补卷积或者有效卷积；补卷积会在当卷积核移动到图像边界时，对边界外进行补操作；有效卷积则卷积核只在图片内部滑动；

姿态三、步长：卷积核每次移动的间隔称为步长，当使用有效卷积且步长为时，特征图的尺度大小为：

其中，M为特征图的维度，N为大小和输入图片的尺度，m为卷积核的尺度，n为个数s为滑动步长。

作为本技术方案的进一步改进，边界框提取单元包括对称空间变换模块、并行单人姿态估计模块和空间反变换模块；

对称空间变换模块用于自动选取人体检测边界框；

并行单人姿态估计模块用于减小对称空间变换模块的比按揭狂的误差；

空间反变换模块用于实现对边界框的调整，人体姿态估计结果整合到信息源中，以达到使人体检测边界框变精准的目的；

对称空间变换模块能够自行选择目标可能存在的所有位置，且表现优秀，使用对称空间变换模块来自动选取一个较好的人体检测边界框，但是当经过并行单人姿态估计模块之后，即需要将人体姿态估计结果整合到信息源中去，因此会需要一个空间反变换模块得到参数用于反变换来实现这部分功能，通过目标检测得到的不精确的人体检测边界框可以实现对边界框的调整，以达到使人体检测边界框变精准的目的，另外为进一步的帮助对称空间变换模块减小比按揭狂的误差，会根据数据集来指定出标签的中心，其权重是固定的，即通过将并行单人姿态估计模块的输出直接的与真实值做对比，将其得到的误差反向传播到对称空间变换模块中，如果对称空间变换模块得到的不是一个中心位置的人体检测边界框，则会有比较大的误差产生，通过降低这个误差，研究可以更好的帮助对称空间变换模块得到较好的人体检测边界框，当然，这部分的内容仅仅只会在训练阶段使用，在测试阶段并不会被使用，简而言之，这一部分的内容可以被看作是训练阶段的一个正则化过程，以减少局部最优，提高模型的性能，是采用了变换的方法来将尽量消除由于目标检测输出的人类检测边界框不准确而造成的严重后果。

作为本技术方案的进一步改进，姿态估计单元包括以下姿态：

姿态一、单人姿态估计，采用堆叠沙漏网络结构，可以在第一行从左到右把两个单个沙漏模型命名H1和H2，当研究通过第一个沙漏网络H1后，提取出了一个与原信息源同大小的模块，其将会拆分为两个分支，其一为通过再来一次的对称空间变换模块网格来输入到下一个沙漏网络，其二为先经过蓝色模块得到热图，再经过一次的卷积来与上一部分合并来输入到下一个沙漏网络H2，其中蓝色部分的热图由于其深度与输入的源数据流相同，而其他的模块均具有较高的深度，所以蓝色部分的热图较为窄一些，将于经过每个沙漏网络都产生一个热图作为预测输出，因此，只要研究将每个沙漏网络产生的的蓝色模块，即热图，参与到损失计算中去，就可以使得中间监督产生效果，采用这样的中间监督方法时，其预测的准确度远远优于仅仅使用最后一个模块的，不使用中间监督方法的情况；

姿态二、多人姿态估计，采用的AlphaPose方法，人体姿态估计领域有几种很重要的方法被用于解决问题，其一为top-down方法，其二为bottom-up方法.在这里仔细解释一下两种思路方法的具体流程和优缺点，top-down是先进行多人到单人的图像分割，然后再独立的检测每一个单人的人体姿态，从而进行人体姿态估计，最后再将其估计结果放回原图中去，bottom-up是首先检测出图像中的各个关键点，然后再通过拼接以得到多个人的姿态估计.对于第一种方法，其受限于人体检测框的质量，当研究获得的人体姿态框误差较大时，可能会对多人姿态估计整体的性能造成巨大影响，对于第二种方法，当研究的信息源的多个人之中的有距离较近的人时，此种方法将会容易出现拼接错误的情况，另外这种方法是通过部件之间的关系来进行拼接完成的，很明显的是，由于是局部的拼接完成，其难以获得全局信息，失去了对于全局信息的把握，AlphaPose方法包括SSTN，PP-NMS，PGPG三大核心，着重解决了人体切割对单人姿态估计产生的影响，以及多余姿态的问题，相对于其他的多人姿态检测方法，精准是其优点。

作为本技术方案的进一步改进，姿态估计单元采用PP-NMS模块，来去除多余的姿态，其相对于其他框架所提出的方法是有所区别的，其效果明显，在提高框架效率的同时也使得准确度有所上升，包括以下步骤：

①、定义姿态，即令第i个姿态由m各关节组成，具体定义为：

此中k是定位，c是得分；

②、定义消除法则，其主要用于消除多余的姿态，以提高框架的准确性与速度，先将距离函数的定义如下：

d(P

其中，Λ＝{σ

作为本技术方案的进一步改进，得分相似度计算公式如下：

空间相似度计算公式如下：

根据距离函数来定义出消除准则为：

f(P

包括了空间距离和姿态距离的一个距离函数，如果d小于η，则会导致公式K的输出是1，即表示姿态P

作为本技术方案的进一步改进，数据增强单元采用数据增强方法，包括以下步骤：

①、通过归一化算法，将所有躯干进行归一化处理；

②、使用聚类算法来处理数据，并产生聚类中心以形成原子姿势；

③、对具有相同原子姿势的训练数据，计算其绿框与检测框的偏移，再其次对有偏移的绿框进行归一化处理；

④、将偏移作为参数，进行高斯混合分布处理，对于不同的原子姿势，就使用不同的高斯混合分布参数，形成的训练数据，使用这种数据增强的方法处理数据，再进行训练，以使得模型准确性增加。

与现有技术相比，本发明的有益效果：

该基于机器视觉的医疗结构智能安监中，通过目标检测单元的SSD方法，边界框提取单元进行信息提取，姿态估计单元去除姿态估计的姿态提议，得到唯一确定的人体检测边界框，通过选取概率最大的姿态作为参考，并且根据消除法则来进行姿态消除，多次重复直到每个人体检测边界框都是唯一确定出现的即可，达到上述要求，此时即已经完成此模块的全部操作，则不会再存在多余现象，以提高智能安监的准确性与速度，并且数据增强单元进行密集的采样，得到巨大样本，用于训练，得到数据增强后生成姿态提议，使用数据增强的方法处理数据，再进行训练，以使得模型准确性增加，有利于对老人的运动姿态进行检测，提高安全性能。

附图说明

图1为实施例1的整体的结构框图；

图2为实施例1的信息获取单元的结构框图；

图3为实施例1的边界框提取单元的结构框图；

图4为实施例1的SSD目标检测算法的流程框图；

图5为实施例1的PP-NMS模块的流程框图；

图6为实施例1的数据增强单元的流程框图。

图中各个标号意义为：

100、信息获取单元；

110、图像采集模块；120、数据传输模块；130、数据显示模块；

200、目标检测单元；

300、边界框提取单元；310、对称空间变换模块；320、并行单人姿态估计模块；330、空间反变换模块；

400、姿态估计单元；500、数据增强单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1-图6所示，本实施例提供基于机器视觉的医疗结构智能安监，包括信息获取单元100、目标检测单元200、边界框提取单元300、姿态估计单元400和数据增强单元500；

信息获取单元100用于获取人体姿态的信息，可以通过信息源的图像和摄像头对人体姿态的信息进行采集；

目标检测单元200用于将信息获取单元100获取的信息进行目标检测，得到人体检测边界框；

边界框提取单元300用于将目标检测单元200的人体检测边界框进行信息提取；

姿态估计单元400用于去除边界框提取单元300中姿态估计的姿态提议，得到唯一确定的人体检测边界框，通过选取概率最大的姿态作为参考，并且根据消除法则来进行姿态消除，多次重复直到每个人体检测边界框都是唯一确定出现的即可，达到上述要求，此时即已经完成此模块的全部操作，则不会再存在多余现象，以提高智能安监的准确性与速度；

数据增强单元500用于训练集标注的姿态来进行密集的采样，得到巨大样本，用于训练，得到数据增强后生成姿态提议，使用数据增强的方法处理数据，再进行训练，以使得模型准确性增加，有利于对老人的运动姿态进行检测，提高安全性能。

本实施例中的，信息获取单元100包括图像采集模块110、数据传输模块120和数据显示模块130；

图像采集模块110用于记录图像和视频；

数据传输模块120用于将图像采集模块110记录的图像和视频通过图像信号通道进行数据传输；

数据显示模块130用于接收数据传输模块120的数据，显示图像采集模块110记录的图像和视频。

其中，目标检测单元200采用SSD目标检测算法，SSD目标检测算法包括以下步骤：

①、采用scale来进行像素级采样；

②、使用卷积网络算法提取其特征，进而进行分类；

可以进行各种尺度的特征图采取，其中较大的用于检测小的物体范围，较小的用于检测大的物体范围，因此其对不同大小的目标检测均支持良好，采用了不同尺度比例的先验框，可以在一定程度上相对的减少训练的难度，其检测的精确度与速度要高于其他的优异算法。

具体的，卷积网络算法包括以下姿态：

姿态一、卷积核个数：当卷积层中有n个特征提取卷积核时，一张输入图片会生成n张特征图；

姿态二、卷积方法：一般卷积神经网络中使用补0卷积或者有效卷积；补0卷积会在当卷积核移动到图像边界时，对边界外进行补0操作；有效卷积则卷积核只在图片内部滑动；

姿态三、步长：卷积核每次移动的间隔称为步长，当使用有效卷积且步长为1时，特征图的尺度大小为：

其中，M为特征图的维度，N为大小和输入图片的尺度，m为卷积核的尺度，n为个数s为滑动步长。

进一步的，边界框提取单元300包括对称空间变换模块310、并行单人姿态估计模块320和空间反变换模块330；

对称空间变换模块310用于自动选取人体检测边界框；

并行单人姿态估计模块320用于减小对称空间变换模块310的比按揭狂的误差；

空间反变换模块330用于实现对边界框的调整，人体姿态估计结果整合到信息源中，以达到使人体检测边界框变精准的目的；

对称空间变换模块310能够自行选择目标可能存在的所有位置，且表现优秀，使用对称空间变换模块310来自动选取一个较好的人体检测边界框，但是当经过并行单人姿态估计模块320之后，即需要将人体姿态估计结果整合到信息源中去，因此会需要一个空间反变换模块330得到参数用于反变换来实现这部分功能，通过目标检测得到的不精确的人体检测边界框可以实现对边界框的调整，以达到使人体检测边界框变精准的目的，另外为进一步的帮助对称空间变换模块310减小比按揭狂的误差，会根据数据集来指定出标签的中心，其权重是固定的，即通过将并行单人姿态估计模块320的输出直接的与真实值做对比，将其得到的误差反向传播到对称空间变换模块310中，如果对称空间变换模块310得到的不是一个中心位置的人体检测边界框，则会有比较大的误差产生，通过降低这个误差，研究可以更好的帮助对称空间变换模块310得到较好的人体检测边界框，当然，这部分的内容仅仅只会在训练阶段使用，在测试阶段并不会被使用，简而言之，这一部分的内容可以被看作是训练阶段的一个正则化过程，以减少局部最优，提高模型的性能，是采用了变换的方法来将尽量消除由于目标检测输出的人类检测边界框不准确而造成的严重后果。

更进一步的，姿态估计单元400包括以下姿态：

姿态一、单人姿态估计，采用堆叠沙漏网络结构，可以在第一行从左到右把两个单个沙漏模型命名H1和H2，当研究通过第一个沙漏网络H1后，提取出了一个与原信息源同大小的模块，其将会拆分为两个分支，其一为通过再来一次的对称空间变换模块网格来输入到下一个沙漏网络，其二为先经过蓝色模块得到热图，再经过一次的卷积来与上一部分合并来输入到下一个沙漏网络H2，其中蓝色部分的热图由于其深度与输入的源数据流相同，而其他的模块均具有较高的深度，所以蓝色部分的热图较为窄一些，将于经过每个沙漏网络都产生一个热图作为预测输出，因此，只要研究将每个沙漏网络产生的的蓝色模块，即热图，参与到损失计算中去，就可以使得中间监督产生效果，采用这样的中间监督方法时，其预测的准确度远远优于仅仅使用最后一个模块的，不使用中间监督方法的情况；

姿态二、多人姿态估计，采用的AlphaPose方法，人体姿态估计领域有几种很重要的方法被用于解决问题，其一为top-down方法，其二为bottom-up方法.在这里仔细解释一下两种思路方法的具体流程和优缺点，top-down是先进行多人到单人的图像分割，然后再独立的检测每一个单人的人体姿态，从而进行人体姿态估计，最后再将其估计结果放回原图中去，bottom-up是首先检测出图像中的各个关键点，然后再通过拼接以得到多个人的姿态估计.对于第一种方法，其受限于人体检测框的质量，当研究获得的人体姿态框误差较大时，可能会对多人姿态估计整体的性能造成巨大影响，对于第二种方法，当研究的信息源的多个人之中的有距离较近的人时，此种方法将会容易出现拼接错误的情况，另外这种方法是通过部件之间的关系来进行拼接完成的，很明显的是，由于是局部的拼接完成，其难以获得全局信息，失去了对于全局信息的把握，AlphaPose方法包括SSTN，PP-NMS，PGPG三大核心，着重解决了人体切割对单人姿态估计产生的影响，以及多余姿态的问题，相对于其他的多人姿态检测方法，精准是其优点。

其中，姿态估计单元400采用PP-NMS模块，来去除多余的姿态，其相对于其他框架所提出的方法是有所区别的，其效果明显，在提高框架效率的同时也使得准确度有所上升，包括以下步骤：

①、定义姿态，即令第i个姿态由m各关节组成，具体定义为：

此中k是定位，c是得分；

②、定义消除法则，其主要用于消除多余的姿态，以提高框架的准确性与速度，先将距离函数的定义如下：

d(P

其中，Λ＝{σ

具体的，得分相似度计算公式如下：

空间相似度计算公式如下：

根据距离函数来定义出消除准则为：

f(P

包括了空间距离和姿态距离的一个距离函数，如果d小于η，则会导致公式K的输出是1，即表示姿态P

除此之外的，数据增强单元500采用数据增强方法，包括以下步骤：

①、通过归一化算法，将所有躯干进行归一化处理；

②、使用聚类算法来处理数据，并产生聚类中心以形成原子姿势；

③、对具有相同原子姿势的训练数据，计算其绿框与检测框的偏移，再其次对有偏移的绿框进行归一化处理；

④、将偏移作为参数，进行高斯混合分布处理，对于不同的原子姿势，就使用不同的高斯混合分布参数，形成的训练数据，使用这种数据增强的方法处理数据，再进行训练，以使得模型准确性增加。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。