一种基于无线信号的监控视频流伪造检测方法和定位方法

摘要

本发明公开一种基于无线信号的监控视频流伪造检测方法和定位方法，属于视频流伪造检测领域。包括：实时等时间间隔采集视频监控区域的无线信号，得到与每个监控视频帧对应的相同个数的无线信号；分别从监控视频帧与无线信号中提取出JHM和PAF张量；若监控视频帧JHM和无线信号JHM相差大，判定当前监控视频帧为伪造。当监控摄像头与无线信号接收端处在同一空间时，视觉信号与无线信号同时能感知到人体的语义信息，从无线信号中提取人体语义信息。由于不存在伪造攻击时从视频帧与无线信号中分别提取的JHM张量相似，反之不相似，逐帧比较监控视频帧和无线信号的JHM张量差异实现伪造判断，满足实时性与细粒度检测。

说明书

技术领域

本发明属于监控视频流伪造检测领域，更具体地，涉及一种基于无线信号的监控视频流伪造检测方法和定位方法。

背景技术

随着人们在日常生活中对安全需求的不断增加，视频监控系统在室内、室外的应用范围越来越广，如银行的犯罪预防、零售店的客户监控等。由于在现实世界中的普及率和显著性迅速增长，视频监控系统不可避免地成为网络安全领域中具有吸引力的攻击对象。最近的研究表明，恶意攻击者可以通过利用监控摄像头的漏安全洞或劫持其连接以太网电缆潜入监控系统，然后篡改真实的视频流内容，并进一步掩盖被监控区域内的非法活动，而留下任何可察觉的线索。在这种攻击威胁下，迅速对正在进行的网络攻击发出警报，并实时地追踪潜在的入侵者对监控系统十分重要。

针对camera looping attacks(摄像头回放攻击)问题，Nitya Lakshmanan等人于2019年在《SurFi:detecting surveillance camera looping attacks with wi-fichannel state information》提出一种视频伪造检测方法，主要思想是基于同一空间中的视觉与WiFi CSI信号的相关时频域特征(事件的起止时间、主要频率成分)，对比两种信号特征的相似性，从而判断当前视频流是非与当前的无线信号匹配。如果不匹配检测为存在攻击。然而，该方法依赖视觉与无线信号中的事件级别的特征，造成以下问题：一是检测时间长，需要10-30s的原始信号序列作为检测单元；二是精度低，如果只用一个事件对应的数据，其系统精度不足40％；三是假设感兴趣区域只有一个人，无法支持多人出现在摄像头覆盖范围内的情况；四是，即使检测出攻击存在，该系统并不能定位出入侵者在监控区域的哪一个位置、做什么事情。因此，不能满足监控视频流对入侵检测的实时性、高精度和细粒度要求。

Cao Zhe等人于2016年提出一种定位方法，主要思想是基于人体语义信息PAF张量，设计了人体关节点的快速关联算法，进而从一张图片中估计出人体的2D姿态。然而，如果直接利用该方案分别从视觉与无线的JHM张量和PAF张量中恢复出各自的人体姿态，再逐一对比两种人体姿态的差异，从而实现入侵者定位。这种直接的方法会对每一张图片进行两次关节点关联算法，计算复杂度较大。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于无线信号的监控视频流伪造检测方法和定位方法，其目的在于解决现有视频监控系统中的视频流伪造攻击检测中不能同时满足实时性与细粒度检测能力的要求。

为实现上述目的，按照本发明的第一方面，提供了一种基于无线信号的监控视频流伪造检测方法，该方法包括：

S1.实时等时间间隔采集视频监控区域的无线信号，得到与每个监控视频帧对应的相同个数的无线信号；

S2.分别从监控视频帧与无线信号中提取出人体关节热度图和PAF张量；

S3.若监控视频帧人体关节热度图和无线信号人体关节热度图相差大，判定当前监控视频帧为伪造。

优选地，步骤S2中，采用预训练好的OpenPose网络从监控视频帧中提取出人体关节热度图和PAF张量；采用预训练好的RF2Pose网络从无线信号中提取出人体关节热度图和PAF张量；

所述RF2Pose网络包括：

无线信号变换模块，用于将每个监控视频帧对应的所有无线信号变换为与监控视频帧长宽维度相同的中间特征，并输出给人体关节热度图生成模块和PAF张量生成模块；

人体关节热度图生成模块，用于根据中间特征生成人体关节热度图；

PAF张量生成模块，用于根据中间特征生成PAF张量；

RF2Pose网络的训练样本为无线信号，标签为OpenPose网络输出的对应人体关节热度图和PAF张量。

有益效果：本发明通过深度神经网络从每一视频帧对应的无线信号中提取人体语义信息，由于无线信号复杂多变，其与人体的影响关系难以通过传统方法建模，而深度学习方法具有极强的特征映射能力，因此，利用深度神经网络可以有效从每一视频帧对应的无线信号中恢复出人体语义信息，从而可实现逐帧的伪造检测。此外，在训练阶段，本发明利用跨模态训练的方法对RF2Pose网络进行训练，由于对无线信号进行人工的标签标定需要大量的时间和劳力，因此通过已经训练好的OpenPose网络输出作为对应无线信号的标签，可以省点大量的人工成本。

优选地，所述无线信号变换模块包括依次串联的一个反卷积网络、一个卷积网络和一个残差网络；所述人体关节热度图生成模块包括依次串联的一个解码网络和一个全卷积网络，其中，解码网络为一层反卷积层和两层卷积层的重复结构；所述PAF张量生成模块包括依次串联的一个解码网络和一个全卷积网络，其中，解码网络为一层反卷积层和两层卷积层的重复结构。

有益效果：本发明设计了一种新的深度神经网络结构，包括一个无线信号变换模块、一个人体关节热度图生成模块和一个PAF张量生成模块，以从复杂多变的无线信号中提取出人体关节热度图和PAF张量。由于无线信号空间分辨率较低，无线信号变换模块首先利用一个反卷积网络对输入的无线信号进行上采样，使其具有更高的空间分辨率，接着再输入一个卷积网络和残差网络得到将人体信息与视频帧空间信息关联的中间特征；由于中间特征的人体语义信息还比较粗糙，其与人体关节热度图的映射关系还需进一步明确，因此人体关节热度图生成模块首先利用一个解码网络通过一层反卷积层加两层卷积层的重复结构逐步细化中间特征，接着利用一个全卷积网络将细化后的中间特征图转换为人体关节热度图；类似的，由于中间特征的人体语义信息还比较粗糙，其与PAF张量的映射关系还需进一步明确，因此PAF张量生成模块首先利用一个解码网络通过一层反卷积层加两层卷积层的重复结构逐步细化中间特征，接着利用一个全卷积网络将细化后的中间特征图转换为PAF张量。

优选地，所述RF2Pose网络在训练阶段的损失函数如下：

其中，

有益效果：本发明提出了一种新的损失函数，由于视频帧中背景时常占据了大多数像素，因此JHM(PAF)张量中大多数的元素值等于零，而传统L2损失函数倾向于减少总体(所有元素)的误差，因此造成视觉JHM(PAF)和无线JHM(PAF)张量之间的差距较大。为此，因此本发明通过设置

优选地，步骤S3中，采用人体关节热度图的相似度或者差值为依据，设定阈值或者构建二分类器，判断监控视频帧人体关节热度图和无线信号人体关节热度图差异大小。

有益效果：本发明利用人体关节热度图的相似度或者差值为判断依据。如果攻击不存在则其相似度较高或者差值较小；反之，则相似度较低或者差值较大。因此，基于上述关系，利用其相似度或者差值可以减少两种人体关节热度图中的冗余信息，实现简单快速的伪造检测。

为实现上述目的，按照本发明的第二方面，提供了一种基于无线信号的监控视频流伪造定位方法，该方法包括：

(T1)采用如第一方面所述的检测方法对监控视频流进行伪造检测；

(T2)对于检测结果为伪造的监控视频帧，计算当前监控视频帧人体关节热度图和无线信号人体关节热度图的差值绝对值、PAF张量和值；

(T3)基于人体关节热度图的差值绝对值，选出当前监控视频帧对应的异常人体关节点集合；

(T4)对当前监控视频帧的PAF张量和值与异常人体关节点集合进行关节点关联运算，得到的异常人体关节点之间的关联状态，从而确定伪造的人体对象在当前监控视频帧中的位置。

优选地，步骤(T3)中，通过非极大值抑制方法选出当前监控视频帧对应的异常人体关节点集合。

有益效果：本发明通过非极大值抑制方法选出当前监控视频帧对应的异常人体关节点，由于JHM差值张量里面的元素有正有负，而非极大值抑制操作只有在正值上才有相应的意义。

为实现上述目的，按照本发明的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个第一程序，所述一个或者多个第一程序被一个或者多个处理器执行，以实现如第一方面所述的基于无线信号的监控视频流伪造检测方法的步骤；或，所述计算机可读存储介质存储有一个或者多个第二程序，所述一个或者多个第二程序被一个或者多个处理器执行，以实现如第二方面所述的基于无线信号的监控视频流伪造定位方法的步骤。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明通过将从监控视频帧中提取的JHM张量与处于同一空间的无线信号中提取的JHM张量进行差异比较，判断这一视频帧是否为伪造的。由于人体电解质常数较大，无线电磁信号遇到人体会遭到很强的反射作用。因此当监控摄像头与无线信号接收端处在同一空间时，视觉信号与无线信号同时能感知到人体的语义信息，因此，可从广泛存在的无线信号中提取这些人体语义信息。由于不存在伪造攻击时从同一时刻对应的视频帧与无线信号中分别提取的JHM张量相似，存在攻击时JHM张量不相似，因此，逐帧比较监控视频帧和对应无线信号的JHM张量差异比较实现伪造判断，从而同时满足实时性与细粒度检测能力的要求。

(2)本发明在定位阶段，将视觉与无线的JHM差值张量的绝对值做非极大值抑制，从而选出候选的异常人体关节点集合。此后，将视觉PAF张量与无线PAF张量求和，得到PAF和值张量。最后利用人体关节点关联算法，就可定位出异常人体目标所在图片中的位置和姿态。直接基于JHM差值张量的绝对值选出异常人体关节点集合，可避免分别从视觉与无线JHM张量中选取各自的人体关节点集合；对视觉与无线PAF张量求和，得到PAF和值张量，对之后的人体关节点关联没有太大的影响并且可以减少计算量；只需使用一次人体关节点关联算法，从而减少计算开销。

附图说明

图1为本发明实施例提供的视频监控系统中存在的视频帧伪造攻击场景示意图；

图2为本发明实施例提供的一种基于无线信号的监控视频流伪造攻击检测与定位方法流程图；

图3(a)为本发明实施例提供的CSI重采样示意图；

图3(b)为本发明实施例提供的异常点分布示意图；

图4为本发明实施例提供的基于视频帧与无线信号的人体语义特征提取物示意图；

图5为本发明实施例提供的基于人体语义特征的视频帧伪造检测与定位示意图；

图6为本发明实施例提供的基于人体语义特征的视频帧帧间攻击下的伪造定位结果；

图7为本发明实施例提供的基于人体语义特征的视频帧伪造帧内攻击下的伪造定位结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

由于在现实世界中的普及率和显著性迅速增长，视频监控系统不可避免地成为网络安全领域中具有吸引力的攻击对象。如图1所示，恶意攻击者可以通过劫持其电缆潜入监控系统，然后篡改真实的视频流内容，并进一步掩盖监控区域内的非法活动。在这种攻击威胁下，迅速对正在进行的伪造攻击进行检测，并实时地追踪潜在的入侵者对视频监控系统十分重要。然而，现有的方法都不能同时满足监控视频流伪造检测的实时性和细粒度要求。

为此，本发明提出一种如图2所示的基于无线信号的监控视频流伪造攻击检测与定位方法。特别地，本实施例以WiFi信号为例，验证本发明的可行性。如今，很多监控摄像头所覆盖的区域，如商店、家庭等，也被WiFi热点所覆盖。由于人体对WiFi信号具有较高的反射系数。在这些区域，同步的监控视频信号和接收到的WiFi信号会携带一致的人体语义信息。一旦攻击者对监控视频流进行伪造攻击，这种跨模态的信息对应关系将被解耦。因此，可以利用这种信息的对应关系进行实时的视频帧伪造检测和定位。如图2所示，系统包括多模态信号处理、人体语义信息提取和伪造检测与定位三个功能模块。

在多模态信号处理模块，首先解压来自于监控摄像头的实时视频流，并将其记为

II＝(I

这里M是视频流中一个GOP(Group of Pictures)包含的视频帧的个数，I

其中，A

针对无线信号的测量值之间的时间间隔往往变化较大，降低了无线信号测量值的周期性，不利于视觉信息与无线信息的精准对应，本发明在无线信号处理阶段，先基于视频流的时间戳对接收的无线信号测量值进行等时间间距的重采样，经过重采样之后，视觉与无线信号之间的信息对应将更加地准确。

如图3(a)所示，由于随机接入机制以及丢包现象的存在，相邻两个原始CSI采样点之间的时间间隔并不固定。这样会导致单位时间内的CSI采样点个数不固定，降低了CSI数据的周期性，不利于视觉信息与无线信息的精准对应。

为了解决这个问题，考虑到视频流II的时间戳更加精准，系统基于II与

另外，由于环境噪声的干扰，系统将对

为了解决这个问题，本实施例利用Hampel滤波对CSI的重采样值进行异常点消除。如图3(b)所示，经过Hampel滤波之后，CSI中的异常点可被有效检测和剔除。经过以上操作，对应于视频帧I

在人体语义信息提取模块，系统将分别从视频帧I

其中，

其中，

其中，

其中，

其中

在上面两个公式中，

在伪造检测与定位模块，系统基于获得的JHM张量

上式的差分运算可以有效保留伪造信息并去除冗余的不相关信息。这是因为，如果视频帧I

在获得

本实施例中，伪造概率阈值大于0.5判定为伪造。一旦检测到伪造攻击，那么视频监控系统对伪造攻击做出及时的响应，例如预警。并进一步对伪造区域中的异常人体目标进行定位，从而准确地追踪入侵者的轨迹与行为。

如图5所示，本发明提供了一种定位方法，包括：采用如上述检测方法对监控视频流进行伪造检测；对于检测结果为伪造的监控视频帧，计算当前监控视频帧人体关节热度图和无线信号人体关节热度图的差值绝对值、PAF张量和值；基于人体关节热度图的差值绝对值，选出当前监控视频帧对应的异常人体关节点集合；对当前监控视频帧的PAF张量和值与异常人体关节点集合进行关节点关联运算，得到的异常人体关节点之间的关联状态，从而确定伪造的人体对象在当前监控视频帧中的位置。

为此，首先从JHM差分张量D

其中，N

然后，基于

其中，

图6所示为帧间攻击下的伪造定位效果，上半部代表原始的视频帧，下半部代表伪造的视频帧，定位结果(关联起来的人体关节点)重叠在伪造帧上。图6中原始视频帧被一张不包含人体目标的视频帧替换。使用本发明提出的方法有效定位出帧间攻击下所有伪造人体目标的位置。

图7所示为帧内攻击下的伪造定位效果，上半部代表原始的视频帧，下半部代表伪造的视频帧，定位结果(关联起来的人体关节点)重叠在伪造帧上。图7中原始视频帧中左边人体目标被背景替换。使用本发明提出的方法有效定位出帧内攻击下所有伪造人体目标的位置。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。