基于并行2DCNN-CBAM和雷达多域表征的毫米波雷达跌倒检测方法及系统

摘要

本发明公开了一种基于并行2DCNN‑CBAM和雷达多域表征的毫米波雷达跌倒检测方法及系统，针对雷达回波信号，通过利用脉冲压缩、Doppler‑FFT、Capon波束形成和目标状态更新的方法对目标行为进行4种不同域上的研究，利用不同域上的互补特征构成目标的多域表征，然后将获取得到的特征图像送入并行2DCNN‑CBAM进行识别。该网络结构首先利用并行2DCNN独立地从相应类型的表征中提取特征细节，然后将得到的单类特征分别通过对应的CBAM进行筛选和优化，最后对4种不同域的特征进行融合，据此通过并行网络结构实现对目标行为的多域表征。该方法能够精准识别多种干扰动作、保护用户隐私、不易受环境影响，并且能够进一步有效降低检测过程中虚警和漏警概率。

说明书

技术领域

本发明涉及雷达信号处理中的跌倒检测技术领域，特别是一种基于并行2DCNN-CBAM和雷达多域表征的毫米波雷达跌倒检测方法。

背景技术

跌倒检测是雷达信号处理及应用领域中的一个重要研究方向，据国家社会科学基金项目研究显示，在我国，中老年人跌倒发生率为20.8％。在日常生活中，浴室，卧室以及客厅等私密场所空间环境复杂，潜在跌倒隐患较多，这对跌倒检测技术提出了更高的要求。目前，跌倒检测技术主要由以下三种途径实现：基于佩戴式设备的人体跌倒检测技术、基于光学传感器的人体跌倒检测技术以及基于雷达的人体跌倒检测技术。

基于佩戴式设备的人体跌倒检测技术通过加速度计、陀螺仪等传感器判断佩戴者是否发生跌倒，易对测试者造成行动不便等客观意义上的困扰；基于光学传感器的人体跌倒检测技术能够做到针对室目标的成像精度较高，但其缺点是不仅会受到环境亮度的影响，无法保证跌倒检测的准确率，且光学设备在采集人体动作信息时会侵犯用户的日常生活隐私，导致该技术并不适用于家中等用户对日常生活隐私要求高的场景。而基于雷达的人体跌倒检测技术，由于雷达本身所具有的传输特性，使得雷达在监测时既不会受到室内光线等环境因素的影响，同时也不会侵犯用户的日常生活隐私，但缺点为雷达设备的成像效果亟待提高，且目前传统检测技术是将雷达回波信号处理结果与逻辑判断相结合，从而实现目标跌倒检测。但其存在检测成功率不高且伴随虚警等问题。少类人体运动表征与特征细节表达不完备，是制约雷达跌倒检测技术准确率的最重要因素。

有效解决跌倒检测虚警漏警问题的关键是将多域目标运动表征与深度学习相融合来进行跌倒检测。多域目标运动表征即通过雷达信号处理从不同域上获取具有不同物理含义的目标的互补表征。使目标的运动特征不仅仅局限于微多普勒特征等传统表征，同时包含具有其它物理含义的表征。仅使用单一表征可能会导致跌倒动作和其余相似动作具有相同的特征区间，从而在判断时造成虚警、漏警问题，使用多域表征能够从不同域、不同角度考量目标当前的动作情况。逻辑判断是一个主观、人工的特征判断思维，因此无法在最大程度上提取并利用特征信息，使用深度学习则是针对逻辑判断无法充分发掘表征中蕴含的丰富特征信息。

发明内容

有鉴于此，本发明的目的在于提供一种基于并行2DCNN-CBAM和雷达多域表征的毫米波雷达跌倒检测方法，该方法利用无用户隐私侵犯、跌倒动作高识别率、且能够进一步解决检测中虚警和漏警问题的基于并行2DCNN-CBAM和雷达多域表征的毫米波雷达跌倒检测方法。

为达到上述目的，本发明提供如下技术方案：

本发明提供的基于并行2DCNN-CBAM和雷达多域表征的毫米波雷达跌倒检测方法，包括以下步骤：

(1)设置毫米波雷达并通过毫米波雷达实时采集目标原始回波数据；

(2)将目标原始回波数据上传并进行处理获取目标行为多域表征，基于多个目标的数据构建行为多域表征数据集；所述多域表征包括目标的时间-距离表征、时间-速度表征、时间-角度表征、运动状态表征；

(3)构建并训练跌倒检测神经网络，所述跌倒检测神经网络用于提取目标行为特征并对特征进行融合处理；根据时间-距离表征、时间-速度表征、时间-角度表征、运动状态表征4个特征进行融合处理；

(4)基于预训练的跌倒检测神经网络得到目标行为多域特征，并根据多域特征实时判断目标是否跌倒；

若是，则进入步骤5；

若否，则返回步骤4；

(5)发送目标跌倒报警信号。

进一步，步骤(2)具体为：

(21)基于目标的雷达原始回波数据，计算获取相应的雷达中频信号，再通过脉冲压缩获取目标的时间-距离表征；

(22)通过Doppler-FFT获取目标的时间-速度表征；

(23)通过Capon波束形成获取目标的时间-角度表征；

(24)通过目标状态更新获取目标的时间-速度-距离三维图，通过选取截面的方式，获取目标的运动状态表征。

进一步，步骤(21)具体为：

根据雷达测距原理，利用时间延迟τ

进一步，步骤(22)具体为：

利用目标距离轮廓的变化可以提取出目标的速度信息，并进行多通道累积的形式，进而计算得到目标的时间-速度表征V

进一步，步骤(23)具体为：

通过卡宾波束形成估计目标的时间-角度表征，按照以下公式计算：

I

其中，I

R

a(θ)表示导向矢量；θ表示信号的到达方向；c表示光速；d表示天线阵列间距；n表示天线个数；R

进一步，步骤(24)具体为：

利用距离表征R

进一步，步骤(3)具体为：

(31)构建并行2DCNN-CBAM跌倒检测识别网络；

(32)将步骤(2)中获取的多域表征数据集作为网络输入，进行网络参数迭代更新以及模型训练，最后构成实时跌倒检测系统。

进一步，步骤(31)具体为：

利用2DCNN网络提取相应的时间-距离、时间-速度、时间-角度以及运动状态表征的空间纹理特征，再利用CBAM注意力模块对经由并行2DCNN提取出的多域特征进行信息筛选，选择出其中蕴含的重要特征并且抑制无关的细节，并将优化后的多域特征进行融合，再送入分类器中进行行为识别。

本发明提供的基于并行2DCNN-CBAM和雷达多域表征的毫米波雷达跌倒检测系统，包括电源模块、系统检测模块、数据处理模块、毫米波雷达模块和人机交互服务模块；

所述电源模块，用于为整个毫米波雷达跌倒检测系统提供所需能源；

所述系统检测模块，用于对上传的目标行为多域表征数据进行识别，实时判断目标是否跌倒；

所述数据处理模块，用于对上传的目标回波数据进行雷达信号处理获取目标行为多域表征；

所述毫米波雷达模块，用于通过雷达实时采集目标原始回波数据；

所述人机交互服务模块，用于实时监测结果展示。

进一步，所述数据处理模块设置有并行2DCNN-CBAM跌倒检测识别网络；所述并行2DCNN-CBAM跌倒检测识别网络包括输入层、特征提取层和分类层；

所述输入层，用于将生成的目标行为多域表征数据集转化为适配神经网络的数据流，以便送入跌倒检测识别网络进行后续操作；

所述特征提取层，用于全方位提取并学习多域表征数据集中的行为特征，重点关注跌倒有别于其他动作的细微差别；

所述分类层，用于检验网络学习成果，并生成跌倒检测网络模型。

本发明的有益效果在于：

本发明提供的基于并行2DCNN-CBAM和雷达多域表征的毫米波雷达跌倒检测方法。针对雷达回波信号，通过利用脉冲压缩、Doppler-FFT、Capon波束形成和目标状态更新的方法对目标行为进行4种不同域上的研究，利用不同域上的互补特征构成目标的多域表征，然后将获取得到的特征图像送入并行2DCNN-CBAM进行识别。该网络结构首先利用并行2DCNN独立地从相应类型的表征中提取特征细节，然后将得到的单类特征分别通过对应的CBAM进行筛选和优化，最后对4种不同域的特征进行融合，据此通过并行网络结构实现对目标行为的多域表征。该方法能够精准识别多种干扰动作、保护用户隐私、不易受环境影响，并且能够进一步有效降低检测过程中虚警和漏警概率。

本方法仅使用毫米波雷达完成检测，保障用户隐私，且不易受环境影响，提高了检测的安全性以及稳定性；此外，针对雷达回波信号，从4个不同域上进行目标行为研究，生成对应的互补特征，实现目标行为多域表征；同时，设计名为2DCNN-CBAM的网络来同时进行特征提取及优化。提高了关键组件对跌倒识别的贡献。不同域互补特征的融合能在保证系统高精度检测目标跌倒动作的同时，有效解决检测中的虚警和漏警问题。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明提供的基于并行2DCNN-CBAM和雷达多域表征的毫米波雷达跌倒检测方法流程图；

图2为本发明提供的室内环境毫米波雷达布设示意图；

图3为本发明提供的跌倒检测神经网络结构图；

图4为本发明功能模块原理框图；

图5为本发明提供的跌倒检测系统框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

实施例1

本实施例提供的方法整体思路为：针对目标的雷达回波信号，利用脉冲压缩、Doppler-FFT、Capon波束形成和目标状态更新提取目标在时间-距离、时间-速度、时间-角度和运动状态4个域上的互补表征。将上述4种类型的表征送入并行2DCNN-CBAM自定义网络结构中同时提取优化和利用这些不同表征域的互补特征，首先利用2DCNN分别对单一种类的表征进行纹理和轮廓特征细节的提取，再送入对应CBAM中进行核心特征筛选及优化，最后将4类不同域的特征进行融合，实现目标行为的多域特征互补表示。

本实施例提供的方法运用毫米波雷达信号处理及神经网络技术实现室内目标跌倒检测，采用脉冲压缩、Doppler-FFT、Capon波束形成和目标状态更新提取目标在时间-距离、时间-速度、时间-角度和运动状态4个域上的互补表征，再将目标多域表征送入并行2DCNN-CBAM网络中进行特征提取、优化，最后进行目标的跌倒判断。相比于基于穿戴式、光学式以及WiFi的跌倒检测系统，具有保护隐私、跌倒检测准确度高、虚警、漏警问题减少、系统稳定性高的特点。

如图1所示，本实施例提供的基于并行2DCNN-CBAM和雷达多域表征的毫米波雷达跌倒检测方法，包括以下步骤：

(1)在室内布设毫米波雷达，且雷达探测区域内有确定数量的目标；

(2)通过毫米波雷达实时采集目标原始回波数据，并上传至系统的数据处理模块，再对上传的目标回波数据进行雷达信号处理获取目标行为多域表征，基于多个目标的数据构建行为多域表征数据集；所述多域表征包括目标的时间-距离表征、时间-速度表征、时间-角度表征、运动状态表征；

(3)构建并训练跌倒检测神经网络，用于目标行为特征提取、融合；

本实施例中的倒检测神经网络用于提取目标行为特征并对特征进行融合处理；根据时间-距离表征、时间-速度表征、时间-角度表征、运动状态表征4个特征进行融合处理；

(4)基于预训练的跌倒检测网络模型，在系统中构建检测模块，并通过数据处理模块实时得到目标行为多域特征，上传至系统检测模块，实时判断目标是否跌倒；

若是，则进入步骤5；

若否，则返回步骤4；

(5)通过人机交互服务模块向远程连接的监护机构报警，实现室内目标全天候全天时跌倒检测。

如图2所示，上述步骤(1)中，为了保证雷达监测设备的检测范围覆盖到整个室内，将毫米波雷达为安装在高度2.5m的位置处。同时雷达向下倾斜30°，该毫米波雷达为了TI公司的FMCW 6843 isk侧装雷达。

上述步骤(2)具体为：

(21)基于目标的雷达原始回波数据，计算获取相应的雷达中频信号，再通过脉冲压缩获取目标的时间-距离表征；

(22)通过Doppler-FFT获取目标的时间-速度表征；

(23)通过Capon波束形成获取目标的时间-角度表征；

(24)通过目标状态更新获取目标的时间-速度-距离三维图，通过选取截面的方式，获取目标的运动状态表征。

所述步骤(21)具体为：

假设人体对象由C个散射点组成(c＝1，2，3...，C)，目标与雷达距离随时间变化函数为R

将发射信号与基于τ

雷达原始回波数据由对中频信号F

其中，R

n表示chirp信号第n个采样点数据；i表示chirp信号第i个采样点数据；N代表采样点总数量；

F

所述步骤(22)具体为：

雷达采集到的被监护人员的速度即为目标的距离变化率，因此目标的速度信息包含在时间距离像的相移之中，即进行2D-FFT处理得到目标的时间-速度表征V

其中，V

i表示距离像的第i列数据；m表示距离像的第m列数据；k表示距离像的第k行数据；

本方法采用多通道积累目标速度像的方式来增强目标的速度特征，其计算为：

其中，V

所述步骤(23)具体为：

由于雷达不同天线间与目标的距离存在细微差异，雷达天线接收到的回波信号在垂直方向上存在相位差，即通过卡宾波束形成估计目标的时间-角度表征，假设I

I

其中，a(θ)表示导向矢量；θ表示信号的到达方向；c表示光速；d表示天线阵列间距；

所述步骤(24)具体为：

在求取距离表征R

v

υ

其中，r

υ

I

ξ

k

k

上述步骤(3)具体为：

(31)构建并行2DCNN-CBAM跌倒检测识别网络；所述并行2DCNN-CBAM跌倒检测识别网络包括输入层、特征提取层、分类层；

所述输入层，用于将生成的目标行为多域表征数据集转化为适配神经网络的数据流，以便送入跌倒检测识别网络进行后续操作；

所述特征提取层，用于全方位提取并学习多域表征数据集中的行为特征，重点关注跌倒有别于其他动作的细微差别；

所述分类层，用于检验网络学习成果，并生成跌倒检测网络模型；

所述输入层包括时间-距离表征输入端、时间-速度表征输入端、时间-角度表征输入端、运动状态表征输入端；

所述时间-距离表征输入端，用于将生成的目标行为时间-距离表征数据集转化为适配神经网络的数据流；

所述时间-速度表征输入端，用于将生成的目标行为时间-速度表征数据集转化为适配神经网络的数据流；

所述时间-角度表征输入端，用于将生成的目标行为时间-角度表征数据集转化为适配神经网络的数据流；

所述运动状态表征输入端，用于将生成的目标行为运动状态表征数据集转化为适配神经网络的数据流；

所述特征提取层包括2D卷积池化层、通道注意力机制、空间注意力机制、展平层；

所述2D卷积池化层，用于提取对应数据的纹理和轮廓特征

所述通道注意力机制，用于在已提炼的特征基础上，抑制不相关的细节，并重点处理通道特征；

所述空间注意力机制，用于在已提炼的特征基础上，抑制不相关的细节，重点处理空间特征；

所述展平层，用于将学习提取到的目标域高维特征展平为低维特征；

所述分类层包括融合层、全连接层、输出层；

所述融合层，用于将目标多域高维特征展平后的低维特征进行合并；

所述全连接层，用于将学到的“分布式特征表示”映射到样本标记空间；

所述输出层，用于输出目标的分类结果；

(32)将步骤(2)中获取的多域表征数据集作为网络输入，进行网络参数迭代更新以及模型训练。

所述步骤(31)具体为：

结合图3，所述并行2DCNN-CBAM跌倒检测识别网络由4个2DCNN卷积模块、4个CBAM注意力模块以及1个分类器组成。

其中，2DCNN的内部结构相同，均包含3个2D卷积层、3个2D池化层以及1个批量归一化层。2DCNN具有较强的局部空间感知能力，同时CNN模型可以自适应学习特征，具有更强的鲁棒性和更好的泛化能力，可以从多个角度去表征目标运动的空间特征细节；其计算公式为：

其中，F(·)是该隐藏层神经元的激活函数，

表示第i层的第j个特征图中处在(x，y)的像素输出值，

b

m表示连接到当前特征映射的第(i-1)层特征映射集合上的索引数量，

H

W

为第m个特征图连接的卷积核的权重，

CBAM是一种轻量的注意力模块，由通道注意力和空间注意力两个子模块互补组成。本实施例中CBAM模块首先在通道层面进行注意力权重系数的计算，并结合输入特征，形成通道输出向量。将输出向量送入空间注意力机制中，更新空间权重系数，并与输入向量相乘，得到最后的注意力输出特征。其通道注意力计算如下所示：

其中，I为输入特征向量，W

本实施例采用hard-sigmoid作为输出向量的激活函数，其计算公式如下：

其中，I

所述步骤(32)具体为：

设置本实施例所使用的并行2DCNN-CBAM神经网络所需先验参数，其中，本发明Dropout值设置为0.5，通道注意力中设置Ratio为8，同时设置空间注意力子模块中Conv2D卷积个数为1，卷积核尺寸为3×3。网络训练周期为100epochs，训练优化器选用SGD，损失函数设置为Categorical_crossentropy，学习率设置为0.0001，动量设置为0.9，并运用了Nesterov梯度下降策略；

选择多次试验后，测试集准确率最高的网络模型作为本发明所使用的跌倒检测神经网络模型。

所述步骤(4)具体为：

基于预训练效果最优网络模型并结合图5搭建跌倒检测系统。将本实施例使用的侧装毫米波雷达所实时捕获的雷达回波信号送入系统数据处理模块，获取目标的实时多域表征，将目标实时多域表征作为并行2DCNN-CBAM网络的输入，最终将系统检测模块的输出作为跌倒检测系统的实时监控结果。

实施例2

如图5所示，本实施例提供的基于并行2DCNN-CBAM和雷达多域表征的毫米波雷达跌倒检测系统，包括电源模块、系统检测模块、数据处理模块、毫米波雷达模块、人机交互服务模块；

所述电源模块，用于为整个毫米波雷达跌倒检测系统提供所需能源；

所述系统检测模块，用于对上传的目标行为多域表征数据进行识别，实时判断目标是否跌倒；

所述数据处理模块，用于对上传的目标回波数据进行雷达信号处理获取目标行为多域表征；

所述毫米波雷达模块，用于通过雷达实时采集目标原始回波数据；

所述人机交互服务模块，用于实时监测结果展示；

电源模块通过外置接口为整个毫米波雷达跌倒检测系统提供所需能源，保证系统的正常运行。毫米波雷达模块实时采集目标原始回波数据并上传至数据处理模块，在数据处理模块中将上传的目标回波数据进行雷达信号处理从而获取目标行为多域表征，再将目标行为多域表征数据送入系统检测模块进行行为识别，系统检测模块基于上传的数据判定目标是否发生跌倒，最终将判定结果上传至人机交互服务模块，用户通过人机交互服务模块能够实时获取监控结果。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。