一种基于光谱相机的摔倒监测警报方案

摘要

本发明公开一种基于光谱相机的摔倒监测警报方案，包括相机模块和软件分析模块,其中相机模块包括一个或者多个相机，并且至少一个相机是有光谱分辨能力的光谱相机，主要用于实时采集被检测人的视频信息及血氧与心率等；软件分析模块主要对采集到的二维图像进行关键点定位，并通过人体位姿关键点的变化以及心率与血氧等的变化来判断目标人员是否发生了摔倒等危险状况。

说明书

技术领域

本发明涉及辅助医疗领域，特别是涉及一种基于光谱相机的摔倒监测警报方案。

背景技术

在当今社会老龄化问题日益严重的情况下，老年人以及残障人士的照顾工作渐渐成为了一项重大的社会问题和家庭负担，因此如果在这个方面实现自动化将会给社会带来巨大的经济效益，解放人多的人力资源；以老年人为例，在多数情况下老年人并不需要护理人员实时陪伴，但是如果护理人员不在往往又难以及时处理很多诸如摔倒等突发情况，因此需要一种对该类危险状况实时监测的方案来辅助护理人员进行高效率工作；

本发明公布了一种基于1个或多个相机的摔倒监测警报方案，其中至少一个相机是有光谱分辨能力的光谱相机；通过一个相机对目标人员二维图像信息进行采集，对采集到的视频流进行人体关键点的识别，并通过相应的算法判断这些关键点的位置是否发生突变，如果发生了突变，就用有光谱分辨能力的光谱相机对目标人员进行光谱信息的采集，通过其光谱信息的变化判断血氧浓度的变化，并从时间序的视频流中提取脉搏波信号，并得到心率，从而通过人体位姿关键点的变化以及心率与血氧等的变化来判断目标人员是否发生了摔倒等危险状况，增加判断的准确率和危险等级的判定；

具有效率高，可靠性高，操作简便等优点，非常适合医院、养老院以及普通家庭等有老年人或者残障人员生活的环境。

发明内容

1、 一种基于光谱相机的摔倒监测警报方案，其特征在于：相机模块和软件分析模块, 其中，相机模块包括一个或者多个相机，并且至少一个相机是有光谱分辨能力的光谱相机；

2、更进一步的实施方式：相机采集目标人员的二维视频信息，可以是普通RGB相机、普通黑白相机等通用相机的任意一种可以实时拍摄的二维相机，并将拍摄的视频信息传递给软件分析模块；普通黑白相机可简单改装成可定时在透镜与二维CMOS（或CCD）阵列中插入一个由条缝与光栅组成的光谱展开模块，以便需要时（如根据获得的人体位姿关键点信息判断出有很大概率跌倒时）获得如人脸某条线区域的光谱信息（通过条缝将空间该条线上的光谱展开在二维CMOS（或CCD）阵列上）；或者在普通黑白相机中加入可调滤波片然后通过算法获得空间每一点的光谱信息；在此情形下，这一台改装的黑白相机就够了，因为它同时也是光谱相机；

3、更进一步的实施方式：软件分析模块会对视频信息进行处理，提取出视频中人体位姿的关键点，具体算法可以用OpenPose人体关键点提取算法，步骤如下：

输入目标图像，经过卷积网络提取特征，通常将VGGNet前10层用于为输入图像创建特征映射，得到一组特征图，然后分成两个岔路，分别使用 CNN网络提取PartConfidence Maps 和 Part Affinity Fields；

得到这两个信息后，我们使用图论中的 Bipartite Matching（偶匹配） 求出PartAssociation，将同一个人的关节点连接起来，由于PAF自身的矢量性，使得生成的偶匹配很正确，最终合并为一个人的整体骨架；

最后基于PAFs求Multi-Person Parsing，把Multi-person parsing问题转换成graphs问题，通过寻找增广路径，实现二分图的最大匹配；

4、 更进一步的实施方式：软件处理模块在获得人体位姿的关键点信息后，对关键点位置的检测与监控，通过对关键点速度的计算来判断目标人员是否发生倾倒等危险状况，判断准则如下：设目标人员双肩的重点为A，腰部中点为B，连接AB就代表人体的整个位姿向量，设置危险系数为m，通过向量AB的角度变化是否超过m判断人体是否倾倒；

5、 更进一步的实施方式：可以通过光谱信息辅助判断来提高检测的准确率；人体倾倒往往伴随着心率的增加和血氧浓度的变化，通过光谱相机模块对人体表皮部分裸露区（如唇部或脸部）进行光谱信息的采集，判断人体的血氧浓度有无突变，并从时间序的视频流中提取脉搏波信号，并得到心率，从而通过人体位姿关键点的变化以及心率与血氧等的变化来判断目标人员是否发生了摔倒等危险状况，增加判断的准确率和危险等级的判定。

附图说明

图1是本发明专利中一种基于光谱相机的摔倒监测警报方案的实例的示意图，以一个二维相机和一个光谱相机为例对本发明原理及流程进行阐述；

其中1—目标人体，2—二维相机，3—光谱相机，4—软件分析模块。

具体实施方式

下面结合附图对本发明专利作进一步说明；

如图1所示，首先由二维相机2对目标人体1进行视频流的采集,以达到监控目标人体安全状况的目的，随后将采集到的视频数据传送给软件分析模块4，软件分析模块4通过OpenPose人体关键点提取算法提取出人体的若干个关键点坐标，并取双肩中点坐标为A,腰间中点坐标为B，连接AB即为目标向量；并设置危险阈值系数m，当AB在每秒钟的倾斜角度超过m时，打开光谱相机3，扫描并返回人体表皮部分裸露区（如唇部或脸部）的光谱信息获取血氧浓度，并从时间序的视频流中提取脉搏波信号，并得到心率，从而通过分析人体位姿关键点的变化以及心率与血氧等的变化是否正常，如果相比于正常值发生了突变，那么就判定为危险，发出警报；

本发明提出了基于光谱相机的摔倒监测警报方案，这其中二维相机可以是RGB三色相机，灰度相机等等的任何相机（例如RGBD相机、RGBY相机），人体关键点提取算法可以是任何相关的人体关键点提取算法（例如不同的特征提取网络等等），只要运用了视频流和人体关键点提取思想的任何方案均在本专利保护范围，光谱相机模块可以是任何光谱信息采集设备（如高光谱相机，多光谱相机等等），凡是运用到通过光谱测血氧浓度及心率变化的思想均在本专利保护范围之内。