一种基于概率和统计评估的无线感知模型鲁棒性检测方法

摘要

本发明公开了一种基于概率和统计评估的无线感知模型鲁棒性检测方法，该方法首先训练一个底层感知模型，分别计算该无线感知模型预测测试样本过程中的概率向量和统计向量，其中的统计向量的实现步骤包括：根据保形预测理论的不一致性测量理论及步骤1中的机器学习算法定义一个不一致性测量函数；所述不一致性测量函数评估一个测试样本与之前的一组样本有众多不同，不一致性测量值越大表示该测试样本与该类之前的样本越不相似；然后定义校准数据集，计算不一致性测量得分以及计算统计向量；最后使用一个异常检测器判断底层感知模型对测试样本的预测是否正确。该方法可以用在任何基于机器学习的无线感知模型上面检测其在部署阶段的鲁棒性。

说明书

技术领域

本发明属于基于机器学习的无线感知方案的鲁棒性研究领域，具体涉及一种基于概率和统计评估的无线感知模型鲁棒性检测方法。

背景技术

无线感知技术是许多新兴应用的基础，比如，智能家居个性化定制、跌倒监测、情感检测及生命体征监测等。无线感知技术指利用普遍存在的无线信号(如WiFi、RFID、超声波等)感知周围环境及人类的活动和生理信息。目前，无线网络在全球范围内已经广泛普及，利用无线信号感知物理世界的方式将显著降低部署成本，在易用性、普适性等方面取得重要突破。环境中已有的无线信号(声、光、射频信号等)在完成本职任务(照明、通信等)的同时，还可以“额外”用来感知环境。以射频信号为例，信号发射端产生的无线信号在传播过程中会发生直射、反射、散射等物理现象，从而形成多条传播路径。这样一来，在信号接收端形成的多径叠加信号就携带了反映信号传播过程的空间信息。无线感知技术通过分析无线信号在传播过程中的变化，获得信号传播过程的信道变化特性，从而实现广泛的空间物理及人类生理感知。

在所有的无线感知技术中，基于机器学习的无线感知技术实现了突破性的进展。机器学习技术通过在一组有标签的训练样本上学习信号特性与目标活动的关系，然后对测试数据进行预测。基于机器学习的无线感知技术主要依赖机器学习技术的精密算法实现特征提取及自动分类，机器学习技术前提假设是，训练数据和测试数据分布一致。然而，无线信号极易受环境变化的影响，比如，房间布局的改变会导致信号的反射路径发生变化，进一步导致测试数据分布与训练数据分布相差较大，这样就会导致机器学习产生不可靠的预测结果。这种不可靠的预测结果反映在基于学习的无线感知技术上就是其鲁棒性受到极大的挑战。

为了提高感知模型的鲁棒性(训练好的模型对不同环境都具有很高的预测准确率称为鲁棒性)，科研人员已经做出了大量的尝试和努力，大致可以分为两类，一类是数据增强的方法；另一类是提取更加鲁棒的特征方法。数据增强方法主要是通过专业人员设计或者通过神经网络学习一个转换函数，然后通过这个转换函数得到不同场景的模拟数据，这样就能保证在每个场景都能有一个适用于该场景的机器学习模型，进而对于该场景的测试数据能有较好的鲁棒性；提取更加鲁棒的特征方法主要是通过多个接收设备或者通过一个域自适应网络提取一些对环境无关的更加鲁棒的特征，比如，不管环境怎么变化，对于人来说，“招手”这一动作都能识别，所以理论上可以找到“招手”的一些特征，不管环境怎么变化，这些特征都不会变。找到这些不会随环境改变的特征后，就可以利用这些特征训练一个鲁棒的感知模型并部署到实际环境。

尽管现有的方法对某些特定的任务或者环境改变是有效的，但是，这些方法只能解决系统设计阶段一些可以预见的影响模型鲁棒性的变化。对于系统部署后环境中不可预知的变化，比如，移动一个椅子或者执行手势的位置和方式发生变化，这些方法都不能产生较好的性能。对于数据增强的方法，不可能提前预知所有环境的改变并为每个环境改变都设计一个转换函数；对于提取与环境无关的鲁棒特征的方法，几乎不可能找到对所有环境都具有鲁棒性的特征，所以现有的方法很难解决基于学习的无线感知模型在部署阶段的鲁棒性问题，亟需对已有的方法进行改进或者寻找新的方法来解决该问题。

发明内容

针对基于机器学习的无线感知模型在部署阶段的鲁棒性问题，本发明的目的在于，提供一种基于概率和统计评估的无线感知模型鲁棒性检测方法。

为了实现上述任务，本发明采取如下的技术解决方案：

一种基于概率和统计评估的无线感知模型鲁棒性检测方法，其特征在于，包括如下步骤：

步骤1，训练一个底层感知模型

对于一个无线感知任务，首先收集一组训练样本并标记类别标签，然后提取不同类别的信号特征，最后选择一种机器学习算法训练一个基于机器学习的无线感知模型；

步骤2，计算该无线感知模型预测测试样本过程中的概率向量

当训练好的无线感知模型部署在实际环境中时，为了实时监测该感知模型的鲁棒性，对于每一个测试样本，计算该感知模型在预测测试样本过程中的概率向量以评估此次预测的可信性；所述概率向量可以通过使用python中的scikit-learn包中的predict_proba方法计算得到；

步骤3、计算该无线感知模型预测测试样本过程中的统计向量

引入统计向量，所述统计向量的实现步骤包括：

步骤3.1，根据保形预测理论的不一致性测量理论及步骤1中的机器学习算法定义一个不一致性测量函数；所述不一致性测量函数评估一个测试样本与之前的一组样本有众多不同，不一致性测量值越大表示该测试样本与该类之前的样本越不相似；

步骤3.2，定义校准数据集。

首先将训练数据集分成相等的k份，然后用其中的k-1份作为训练集，剩下的第k份作为校准数据集，这样重复k次，k＝10，训练数据集中的所有的样本都做过一次校准数据集；

步骤3.3，计算不一致性测量得分

用步骤3.1定义的不一致性测量函数计算校准数据集和测试数据集的不一致性测量得分：

对于校准数据集，已知真实标签，将得到一个校准集向量的不一致性测量得分；对于测试数据集，未知真实标签，计算与每一个候选类的不一致性测量得分；

步骤3.4，计算统计向量。

首先将校准数据集的不一致性测量得分按类别进行由小到大排序；对于测试样本，计算校准集中的不一致性测量得分至少与临时标记的测试样本的不一致性测量得分相同的比例；

步骤4，使用一个异常检测器判断底层感知模型对测试样本的预测是否正确

异常检测器主要通过在特征空间中寻找一个紧密边界，这样边界外的数据点就被认为是异常事件；

所述异常检测器是一个单类支持向量机，其边界是一个超平面，用于将特征空间中的正常数据点与原点分离，这样，超平面边界就尽可能地接近正常数据点；在部署过程中，异常检测器检查输入测试样本是否在由感知模型训练样本构建的边界内，如果不是，则认为测试样本是一个离群值，即，底层感知模型对测试样本的预测是不正确的。

根据本发明，所述异常检测器判断底层感知模型对测试样本的预测实现的方法是：

将训练数据集分成10等份，其中9份作为训练集训练无线感知模型，然后根据该无线感知模型计算剩下1份的概率向量和统计向量，这样重复10次就得到所有训练数据集的概率向量和统计向量；

将概率向量和统计向量连接成一个向量作为特征训练异常检测器；每一个候选类都训练一个异常检测器；

将所得到的概率向量和统计向量连接成一个向量，将此向量输入到预测标签对应的候选类的异常检测器中，如果输出结果为1，则该预测正确；否则该预测错误。

本发明的基于概率和统计评估的无线感知模型鲁棒性检测方法，与现有技术相比，带来的有益技术效果是：

(1)第一个使用概率评估和统计评估相结合检测无线感知系统部署阶段的鲁棒性；

(2)第一个使用异常检测器及分类拒绝策略提高基于机器学习的无线感知模型的鲁棒性；

(3)该方法可以用在任何基于机器学习的无线感知模型上面检测其在部署阶段的鲁棒性；在已被应用在11个现有的基于机器学习的无线感知模型上，均有良好的表现。

附图说明

图1是本发明的基于概率和统计评估的无线感知模型鲁棒性检测方法整体流程图。

图2是可控环境设置图。

图3是可控环境中不同的环境变化图。

图4是不同的位置和方向环境变化图。

图5是在静态设置和动态设置中不同模型自身的性能。

图6是检测不同模型中漂移样本的性能。

以下结合附图和具体实施例对本发明作进一步地详细描述。

具体实施方式

针对基于机器学习的无线感知模型在部署阶段的鲁棒性问题，首先，要明确无线感知模型在部署阶段与设计阶段的鲁棒性问题的最大区别。在设计阶段无线感知模型的鲁棒性主要取决于特征提取算法与分类算法的设计，而在部署阶段的鲁棒性主要取决于模型对环境的适应性，因此在环境改变对模型的性能产生重大影响之前，要能及时检测出来。因此，申请人提出了一种新的思路来检测基于机器学习的无线感知模型在部署阶段的鲁棒性，即，检测在部署阶段由于环境的改变无线感知模型什么时候会失效。

一般来说，对于基于机器学习的无线感知模型，不论输入是什么总会给出一个预测输出，但是并不保证输出是否正确。主要根据机器学习算法计算过程的中间结果以及概率和统计评估方法判断模型的预测是否正确，而只输出正确的预测结果。这样，当模型的预测被判定为错误预测时，即认为此模型在该种环境中失效了。因此，本申请提出的基于概率和统计评估的无线感知模型鲁棒性检测方法，与现有的设计阶段模型的鲁棒性方法是相辅相成的，当检测到部署阶段模型失效发生时，可以使用设计阶段模型的鲁棒性增强方案增强模型的鲁棒性。然而，针对部署阶段模型的鲁棒性，如何检测模型失效仍是最大的挑战。

如图1所示，本实施例给出一种基于概率和统计评估的无线感知模型鲁棒性检测方法，包括如下步骤：

步骤1，训练一个底层感知模型

一般来说，对于一个无线感知任务，首先收集一组训练样本并标记类别标签，然后提取不同类别的信号特征，最后选择一种机器学习算法训练一个基于机器学习的无线感知模型。由于目的是检测一个已经训练好的感知模型在部署过程中的鲁棒性，因此假设已经训练好一个有n个类别的无线感知模型。

步骤2，计算该无线感知模型预测测试样本过程中的概率向量[c

当训练好的无线感知模型部署在实际环境中时，为了实时监测该感知模型的鲁棒性，对于每一个测试样本，计算该感知模型在预测测试样本过程中的概率向量以评估此次预测的可信性。概率向量代表一个测试样本被底层无线感知模型归属为每一个候选类的概率，所有类的概率之和为1。如果被选择的预测类的概率相比其他的类越显著，则说明此次预测的可信性越高，相比直接输出预测结果，使用概率向量能表示预测的可信性。

概率向量可以通过使用python中的scikit-learn包中的predict_proba方法计算得到，python中的scikit-learn包几乎包含了所有的机器学习算法，比如，支持向量机、随机森林、决策树等，可以满足基本的机器学习算法的要求。

虽然概率向量能表示预测的可信性，但是由于所有候选类的概率之和必须为1，所以有时会出现异常的概率向量。比如，一个分类算法有两个候选类，对于不属于任何一个候选类的测试样本，如果该分类算法将该测试样本归属为类别1的概率很低，比如，c

步骤3，计算该无线感知模型预测测试样本过程中的统计向量[p

由于概率向量中的概率之和为1的限制，借助保形预测理论引入统计向量来弥补这一缺点。如果说概率向量表示与其他候选类相比，测试样本归属每一类的概率，那么统计向量则表示与每一个候选类之前的样本相比，测试样本归属每一类的概率，因此统计向量没有和为1的限制。具体包括如下子步骤：

步骤3.1，根据保形预测理论的不一致性测量理论及步骤1中的机器学习算法定义一个不一致性测量函数。不一致性测量函数评估一个测试样本与之前的一组样本有多不同。不一致性测量值越大表示该测试样本与该类之前的样本越不相似；

步骤3.2，定义校准数据集

校准数据集应该具有一定的代表性，能反应训练数据集的情况。因此，首先将训练数据集分成相等的k份，然后用其中的k-1份作为训练集，剩下的第k份作为校准数据集，这样重复k次，训练数据集中的所有的样本都做过一次校准数据集。本实施例中，k设置为10。

步骤3.3，计算不一致性测量得分

用步骤3.1定义的不一致性测量函数计算校准数据集和测试数据集的不一致性测量得分。对于校准数据集，已知真实标签，比如，有m个校准集{[x

步骤3.4，计算统计向量

首先将校准数据集的不一致性测量得分按类别进行由小到大排序，假如每一类都有t个样本，则校准数据集排序后的不一致性测量得分如下所示，{[A

步骤4，使用一个异常检测器判断底层感知模型对测试样本的预测是否正确

异常检测器主要通过在特征空间中寻找一个紧密边界，这样边界外的数据点就被认为是异常事件。在申请人的实施例的具体实验例子中，特征空间由步骤3和步骤4中计算的概率向量和统计向量定义。本实施例中异常检测器是一个单类支持向量机(one-classSVM)，其边界是一个超平面，用于将特征空间中的正常(即感知模型训练样本)数据点与原点分离，这样，超平面边界就尽可能地接近正常数据点。在部署过程中，异常检测器检查输入测试样本是否在由感知模型训练样本构建的边界内。如果不是，则认为测试样本是一个离群值，即，底层感知模型对测试样本的预测是不正确的。具体实现的步骤如下：

步骤4.1，训练异常检测器

将训练数据集分成10等份，其中9份作为训练集训练无线感知模型，然后根据该无线感知模型计算剩下1份的概率向量和统计向量，这样重复10次就得到所有训练数据集的概率向量和统计向量。将概率向量和统计向量连接成一个向量[c

步骤4.2，计算测试样本的概率向量和统计向量

根据步骤2和步骤3计算测试样本的概率向量和统计向量。

步骤4.3，判断底层感知模型对测试样本的预测是否正确

将步骤4.2得到的概率向量和统计向量连接成一个向量，将此向量输入到预测标签对应的候选类的异常检测器中，如果输出为1，则该预测正确；否则该预测错误。

实验设计部分：

为了评估上述实施例给出的基于概率和统计评估的无线感知模型鲁棒性检测方法，申请人将其应用于11个现有的基于机器学习的无线感知模型，如表1所示，包含不同的感知任务、不同的无线信号、不同的信号特征及不同的机器学习算法。

表1：评估的无线感知方法

1)WiG：He W，Wu K，Zou Y，et al.WiG:WiFi-Based Gesture Recognition System[C]//International Conference on Computer Communication&Networks.IEEE，2015。

2)WiAG：Virmani A,Shahzad M.Position and orientation agnostic gesturerecognition using wifi[C]//Proceedings of the 15th Annual InternationalConference on Mobile Systems，Applications，and Services.2017：252-264。

3)TACT：Wang Y，Zheng Y.Modeling RFID signal reflection for contact-free activity recognition[J].Proceedings of the ACM on Interactive，Mobile，Wearable and Ubiquitous Technologies，2018，2(4):1-22。

4)AllSee：Kellogg B，Talla V，Gollakota S.Bringing gesture recognitionto all devices[C]//11th{USENIX}Symposium on Networked Systems Design andImplementation({NSDI}14).2014：303-316。

5)EI：Jiang W，Miao C，Ma F，et al.Towards environment independent devicefree human activity recognition[C]//Proceedings of the 24th AnnualInternational Conference on Mobile Computing and Networking.2018：289-304。

6)WiWho：Zeng Y，Pathak P H，Mohapatra P.WiWho：WiFi-based personidentification in smart spaces[C]//2016 15th ACM/IEEE InternationalConference on Information Processing in Sensor Networks(IPSN).IEEE,2016：1-12。

7)WifiU：Wang W，Liu A X，Shahzad M.Gait recognition using wifi signals[C]//Proceedings of the 2016 ACM International Joint Conference on Pervasiveand Ubiquitous Computing.2016：363-373。

8)ibWrite：Liu J，Wang C，Chen Y，et al.VibWrite:Towards finger-inputauthentication on ubiquitous surfaces via physical vibration[C]//Proceedingsof the 2017 ACM SIGSAC Conference on Computer and CommunicationsSecurity.2017：73-87。

9)Taprint：Chen W：Chen L，Huang Y，et al.Taprint：Secure text input forcommodity smart wristbands[C]//The 25th Annual International Conference onMobile Computing and Networking.2019：1-16。

10)UDO-Free：Ustev Y E，Durmaz Incel O，Ersoy C.User,device andorientation independent human activity recognition on mobile phones：Challenges and a proposal[C]//Proceedings of the 2013 ACM conference onPervasive and ubiquitous computing adjunct publication.2013：1427-1436。

11)M-Touch：Song Y，Cai Z，Zhang Z L.Multi-touch authentication usinghand geometry and behavioral information[C]//2017IEEE symposium on securityand privacy(SP).IEEE，2017：357-372。

1、实验场景

本实验中，设置了两种场景，理想的可控环境和日常实际环境。可控环境为一间3.5m(长)×2.5m(宽)×2m(高)的射频暗室，如图2所示。暗室里的墙、天花板、地板都会对无线信号进行吸收，这样可以有效减小不可控的信号多路径叠加对实验造成的影响。日常实际环境为在日常的办公室和户外环境。

2、实验设置

以感知任务为单位，按照原始论文中的实验进行设置。

手势识别：在这个案例研究中，考虑六种有代表性的手势，包括“push and pull”、“draw a circle”、“throw”、“slide”、“sweep”和“draw zigzag”字形，这些都是现有方法普遍支持的。在可控环境中，收集了WiFi、RFID和超声波信号。为了可再现性，使用可编程机械臂来模拟手势。在受控环境中有五种设置，在图3中标记为S1至S5。对于WiAG(一种数据增强方法)，分别从可控环境和日常办公室环境收集WiFi信号。除了在受控环境中在S1至S5设置下评估WiAG外，还创建了两种实验变体，WiAG-C和WiAG-O。遵循WiAG原始论文说明的实验设置，WiAG-C和WiAG-O分别表示在可控环境和办公室环境下，改变五个不同的位置(位置与发送者呈不同的距离和角度，标记为L1-L5)收集信号，具体位置如图4所示。

步态识别：在这个案例研究中，使用WiFi信号从可控环境中收集了15名志愿者(8名女性)在S1至S5设置下的步态数据。

活动识别：在这个案例研究中，参照原始论文的设置，使用VibWrite-R和Taprint-R分别表示VibWrite和Taprint的输入识别，VibWrite-A和Taprint-A分别表示VibWrite和Taprint的用户识别。VibWrite和Taprint的用户识别方法可以预测哪些目标用户输入了文本。使用从智能手机惯性测量单元(IMU)传感器收集的数据，UDO-Free可识别人类活动，包括“跑步”、“走路”、“骑自行车”、“站”和“坐”。M-Touch使用从IMU传感器收集的数据进行用户认证。参与者同样是做步态识别的那15个用户。

3、设备设置

WiFi：使用两台微型PC，每台都有一个Intel 5300网络接口卡(NIC)，作为发送端和接收端来收集WiFi信号。使用一个开源的通道状态信息(CSI)测量工具来收集CSI测量。按照之前工作的常规做法，将发送方配置为每秒向接收方发送1000个数据包。

RFID：使用H47 RFID标签和由Impinj R420 RFID阅读器供电的定向天线来发送和接收信号。使用与相关方法原始论文相同数量的标签，4个用于TACT实验，3个用于AllSee实验。

Ultrasound：使用一个商用扬声器(JBL Jembe)传输一个调制的19kHz超声波，并使用一个麦克风(SAMSON Meteor mic)收集超声波信号。扬声器和麦克风连接到笔记本电脑进行数据处理。

Vibration：参照Vibwrite实验的设置，将振动电机和压电传感器连接到笔记本电脑，以发送和接收振动信号。

传感器数据：对于Taprint，要求15名志愿者在左手上佩戴LR G智能手表，并用右手敲击左手的12个指关节各50次。使用智能手表的惯性测量装置(IMU)收集传感器数据。还使用小米智能手机运行定制的安卓应用程序，为其他任务收集IMU传感器数据。

4、环境变化

对于每一个案例，通过改变活动的位置和执行方式，或者添加家具来引入额外的多路径，从而对环境进行各种更改，具体的改变参照下表2所示。

表2：每个案例研究的环境变化

5、评估设置

考虑两种训练测试场景：静态设置和动态设置。在静态设置中，训练和测试样本来自相同的环境，比如，对于手势识别，训练集和测试集样本都来自S1环境中。在动态设置中，混合来自不同环境的数据样本，包括用于收集传感模型训练样本的环境和来自其他环境设置的数据。具体来说，对从不同环境中获得的数据应用k折交叉验证，每个环境收集的数据为一组，用其中四个环境中收集的数据训练感知模型，然后在剩余的环境收集的数据测试训练的模型。

6、评估结果

如图5所示，在静态设置中，所有感知方法的预测准确率均超过93％。然而，在动态设置中，它们的性能可能会受到影响，本实验观察到预测精度平均下降22％。对于无线信号(如WiFi和超声波)，环境变化的影响也很明显，实验发现预测精度下降了40％以上。这并不奇怪，因为这些信号对环境变化很敏感。

图6展示了上述实施例给出的基于概率和统计评估的无线感知模型鲁棒性检测方法(以下简称RISE)检测被底层感知模型预测错误的样本(也就是，漂移样本)的性能。对于大多数感知方法，RISE给出的平均精度为92％(至少89％)。这意味着它很少过滤掉正确预测的样本。对于一些感知方法，如Taprint-R，RISE的平均精度为89％。这转化为3.7％的假阳性率(即错误地将正常样本预测为漂移样本)，这意味着RISE有时会拒绝正确的感知预测。发现这受到底层模型的限制，在动态环境中性能较差，其预测概率向量变得有噪声，这反过来影响RISE过滤漂移样本。还观察到召回率和F1-score的类似趋势。总体而言，在所有案例研究中，RISE的平均准确率为94.5％，召回率为92.3％。结果表明，假阳性率为1.8％，假阴性率(即漏检)为7.7％。