一种基于背景去除的边云协同实时视频分析方法及系统

摘要

本发明公开了一种基于背景去除的边云协同实时视频分析方法及系统。本发明提供的方法中，对于视频流中的目标视频帧，先发送给边缘端，边缘端根据已有的有效背景图像进行RoI识别，生成RoI图像并编码后发送给云端，云端接收编码文件解码后得到RoI图像，并基于RoI图像进行目标物体识别，得到目标视频帧中的目标物体检测结果发送给边缘端，同时云端根据目标物体检测结果生成目标背景图像，将目标背景图像发送给边缘端用于更新有效背景图像，这样，边缘端只需要在本地以极少的开销维护背景图片，并且对输入的视频帧进行背景去除来生成RoI图像，只向云端传输RoI部分，减少了数据传输量。

说明书

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于背景去除的边云协同实时视频分析方法及系统。

背景技术

大量的摄像头部署产生大量的视频数据流，随之而来的是日益增长的视频分析及处理的需求，很多视频分析需求都是需要识别视频中的目标物体，例如道路交通监控视频需要识别视频中的车辆、行人等。现有的视频分析往往是传输至云端进行识别后，将识别结果发回，而这种方式需要耗费大量的视频流传输资源，对互联网带宽要求很高。

因此，现有技术还有待改进和提高。

发明内容

针对现有技术的上述缺陷，本发明提供一种基于背景去除的边云协同实时视频分析方法及系统，旨在解决现有技术中视频中目标物体识别需要耗费大量传输资源，占用过多带宽的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种基于背景去除的边云协同实时视频分析方法，所述基于背景去除的边云协同实时视频分析方法包括：

边缘端获取目标视频帧，基于有效背景图像对所述目标视频帧进行处理，得到所述目标视频帧中的RoI区域对应的最终掩膜，生成目标RoI图像，对所述目标RoI图像进行编码，得到目标编码文件；

云端接收所述目标编码文件并解码得到所述目标RoI图像，根据所述目标RoI图像获取所述目标视频帧对应的目标物体检测结果，基于所述目标视频帧对应的目标物体检测结果、所述目标RoI图像和所述有效背景图像生成重建图像，将所述重建图像输入至背景重建模型，生成目标背景图像，将所述目标背景图像发送至所述边缘端；

所述边缘端接收所述目标视频帧对应的目标物体检测结果，根据所述目标视频帧对应的目标物体检测结果生成所述目标视频帧的最终目标物体检测结果，并接收所述目标背景图像，根据所述目标背景图像对所述有效背景图像进行更新。

所述的基于背景去除的边云协同实时视频分析方法，其中，所述边缘端基于有效背景图像对所述目标视频帧进行处理，得到所述目标视频帧中的RoI区域对应的最终掩膜，包括：

所述边缘端对所述有效背景图像和所述目标视频帧分别进行卷积处理，得到第一卷积图像和第二卷积图像；

所述边缘端获取所述第一卷积图像和所述第二卷积图像的差值图像，根据所述差值图像中各个像素点的像素值与第一预设阈值确定所述目标视频帧中的RoI区域对应的最终掩膜。

所述的基于背景去除的边云协同实时视频分析方法，其中，所述边缘端根据所述差值图像中各个像素点的像素值与第一预设阈值确定所述目标视频帧中的RoI区域对应的最终掩膜，包括：

所述边缘端基于第一视频帧的最终目标物体检测结果对第一矩阵进行更新，根据更新后的所述第一矩阵得到所述目标视频帧对应的权重参数，所述第一视频帧为所述目标视频帧的前一帧，所述第一矩阵的尺寸与所述第二卷积图像的尺寸相同，所述第一矩阵中的各个值反映所述目标视频帧的对应像素点位置出现目标物体的概率；

所述边缘端基于第一公式和所述目标视频帧对应的权重参数确定所述目标视频帧中的RoI区域对应的中间掩膜，并基于所述中间掩膜得到所述目标视频帧中的RoI区域对应的最终掩膜；

所述第一公式为：

其中，d(I，B)＝w(I)*|conv2d(I)-conv2d(B)|，I为所述目标视频帧，w(I)为所述目标视频帧的权重参数，B为所述有效背景图像，conv2d为卷积操作，

所述的基于背景去除的边云协同实时视频分析方法，其中，所述边缘端基于所述中间掩膜得到所述目标视频帧中的RoI区域对应的最终掩膜，包括：

所述边缘端对所述中间掩膜进行形态学膨胀操作，得到所述目标视频帧中的RoI区域对应的最终掩膜。

所述的基于背景去除的边云协同实时视频分析方法，其中，所述边缘端基于第一视频帧的最终目标物体检测结果对第一矩阵进行更新，根据更新后的所述第一矩阵得到所述目标视频帧对应的权重参数，包括：

所述边缘端将所述第一矩阵中第一区域对应位置处的值更新为当前值减去第一预设值的差，所述第一区域为所述第一视频帧中的目标物体所占区域；

所述边缘端将所述第一矩阵中第二区域对应位置处的值更新为当前值加上第二预设值的和，所述第二区域为所述第一视频帧中所述第一区域以外的区域，所述第一预设值大于所述第二预设值，所述第一预设值和所述第二预设值均大于0；

所述边缘端更新第二矩阵，所述第二矩阵的尺寸与所述第一矩阵尺寸相同，更新后的所述第二矩阵中位置为(i，j)处的值根据各个历史视频帧中对应的卷积图像对应位置处的像素值的方差得到，所述历史视频帧包括所述目标视频帧和所述目标视频帧之前的N个帧，N为正整数；

所述边缘端基于更新后的所述第二矩阵和所述第一矩阵生成中间矩阵，所述中间矩阵中的第一位置处的值为0，其余位置处的值与更新后的所述第一矩阵中对应位置处的值相等，其中，当更新后的所述第二矩阵中位置为(i，j)处的值大于第三预设阈值，且更新后的所述第一矩阵中位置为(i，j)处的值大于0时，则位置(i，j)为所述第一位置；

所述边缘端根据所述中间矩阵生成所述目标视频帧对应的权重参数。

所述的基于背景去除的边云协同实时视频分析方法，其中，所述边缘端根据所述中间矩阵生成所述目标视频帧对应的权重参数，包括：

所述边缘端基于第二公式生成所述目标视频帧对应的权重参数；

所述第二公式为：

w(I)＝f(A)

其中，A为所述中间矩阵，

所述的基于背景去除的边云协同实时视频分析方法，其中，所述云端基于所述目标视频帧对应的目标物体检测结果、所述目标RoI图像和所述有效背景图像生成重建图像，包括：

当所述目标视频帧对应的目标物体检测结果中的像素数量与所述目标视频帧中的RoI区域中的像素数量的比值超出预设阈值时，所述云端基于所述目标视频帧对应的目标物体检测结果、所述目标RoI图像和所述有效背景图像生成重建图像；

所述云端将所述目标背景图像发送至所述边缘端，包括：

当所述目标背景图像与所述有效背景图像的差异超出预设范围，且所述有效背景图像用于处理的视频帧的个数超出第二预设阈值时，所述云端将所述目标背景图像发送至所述边缘端。

所述的基于背景去除的边云协同实时视频分析方法，其中，所述云端基于所述目标视频帧对应的目标物体检测结果、所述目标RoI图像和所述有效背景图像生成重建图像，包括：

所述云端取所述目标视频帧对应的目标物体检测结果中目标物体标框的掩膜和所述目标视频帧的RoI区域中的背景区域的掩膜的并集，得到第一掩膜；

所述云端基于所述目标视频帧的尺寸对所述第一掩膜取反，得到第二掩膜；

所述云端基于所述第一掩膜从所述有效背景图像中取第一对应区域，基于所述第二掩膜从所述目标RoI图像中取第二对应区域；

所述云端对所述第一对应区域和所述第二对应区域求和，得到所述重建图像。

所述的基于背景去除的边云协同实时视频分析方法，其中，所述边缘端对所述目标RoI图像进行编码，得到目标编码文件，包括：

所述边缘端根据最新的所述第三矩阵中的值在所述目标RoI图像中确定目标矩形区域，所述目标矩形区域在所述第三矩阵中对应的值小于第四预设阈值，其中，所述第三矩阵中的值反映了图像中对应位置处出现的目标物体的大小；

所述边缘端根据第一编码参数对所述目标RoI图像中的所述目标矩形区域进行编码，根据第二编码参数对所述目标RoI图像中所述目标矩形区域以外的区域进行编码，所述第一编码参数对应的编码质量高于所述第二编码参数对应的编码质量。

所述的基于背景去除的边云协同实时视频分析方法，其中，所述云端根据所述目标ROI图像获取所述目标视频帧对应的目标物体检测结果之后，包括：

所述云端根据历史视频帧的物体检测结果确定静止目标物体，将静止目标物体的位置信息发送至所述边缘端；

若所述边缘端当前存储有静止目标物体的位置信息，则所述边缘端根据所述目标背景图像对所述有效背景图像进行更新，包括：

所述边缘端根据静止目标物体的位置信息在第二视频帧中确定对应的静止目标物体区域，将静止目标物体区域覆盖在所述目标背景图像上，得到更新后的所述有效背景图像，其中，所述第二视频帧为所述目标视频帧之后的帧；

若所述边缘端接收到新的所述目标背景图像或者所述边缘端生成的RoI区域与所述边缘端当前存储的静止目标物体的位置产生重叠，则清除当前存储的静止目标物体的位置信息，并在所述有效背景图像上清除静止目标物体；

若所述边缘端当前存储有静止目标物体的位置信息，则所述边缘端根据所述目标视频帧对应的目标物体检测结果生成所述目标视频帧的最终目标物体检测结果，包括：

所述边缘端将当前存储的静止目标物体的位置信息添加至所述目标视频帧对应的目标物体检测结果中，生成所述目标视频帧的最终目标物体检测结果。

所述的基于背景去除的边云协同实时视频分析方法，其中，所述边缘端接收所述目标物体检测结果之后，所述方法还包括：

所述边缘端根据所述目标物体检测结果更新第四矩阵、第五矩阵和第六矩阵，所述第四矩阵中的值反映了对应位置出现的目标物体的中心位置在相邻两帧中x方向的偏移量，所述第五矩阵中的值反映了对应位置出现的目标物体的中心在相邻两帧中y方向的偏移量，所述第六矩阵中的值反映了对应位置出现的目标物体在相邻两帧中检测标框面积的比值；

所述边缘端根据更新后的所述第四矩阵、所述第五矩阵和所述第六矩阵生成第三视频帧中的目标物体预测结果，所述第三视频帧为所述目标视频帧的后一帧；

当所述边缘端处于离线状态时，将所述目标视频帧对应的目标物体预测结果作为所述第三视频帧中的最终目标物体检测结果。

所述的基于背景去除的边云协同实时视频分析方法，其中，所述边缘端根据更新后的所述第四矩阵、所述第五矩阵和所述第六矩阵生成第三视频帧中的目标物体预测结果，包括：

所述边缘端采用第一补偿参数对所述第四矩阵和所述第五矩阵进行补偿，采用第二补偿参数对所述第六矩阵进行补偿；

所述边缘端根据补偿后的所述第四矩阵、所述第五矩阵和所述第六矩阵对所述目标视频帧对应的所述目标物体检测结果进行平移和放缩，得到所述第三视频帧中的目标物体预测结果。

一种基于背景去除的边云协同实时视频分析系统，所述系统包括边缘端和与所述边缘端通信连接的云端；

所述边缘端用于获取目标视频帧，基于有效背景图像对所述目标视频帧进行处理，得到所述目标视频帧中的RoI区域对应的最终掩膜，生成目标RoI图像，对所述目标RoI图像进行编码，得到目标编码文件；

所述云端用于接收所述目标编码文件并解码得到所述目标RoI图像，根据所述目标RoI图像获取所述目标视频帧对应的目标物体检测结果，基于所述目标视频帧对应的目标物体检测结果、所述目标RoI图像和所述有效背景图像生成重建图像，将所述重建图像输入至背景重建模型，生成目标背景图像，将所述目标背景图像发送至所述边缘端；

所述边缘端还用于接收所述目标视频帧对应的目标物体检测结果，根据所述目标视频帧对应的目标物体检测结果生成所述目标视频帧的最终目标物体检测结果，并接收所述目标背景图像，根据所述目标背景图像对所述有效背景图像进行更新。

有益效果：与现有技术相比，本发明提供了一种基于背景去除的边云协同实时视频分析方法及系统，对于视频流中的目标视频帧，先发送给边缘端，边缘端根据已有的有效背景图像进行RoI识别，生成RoI图像并编码后发送给云端，云端接收编码文件解码后得到RoI图像，并基于RoI图像进行目标物体识别，得到目标视频帧中的目标物体检测结果发送给边缘端，同时云端根据目标物体检测结果生成目标背景图像，将目标背景图像发送给边缘端用于更新有效背景图像，这样，边缘端只需要在本地以极少的开销维护背景图片，并且对输入的视频帧进行背景去除来生成RoI图像，只向云端传输RoI部分，减少了数据传输量。

附图说明

图1为本发明提供的基于背景去除的边云协同实时视频分析方法的实施例的流程图；

图2为本发明提供的基于背景去除的边云协同实时视频分析方法的实施例的流程架构示意图；

图3为本发明提供的基于背景去除的边云协同实时视频分析方法的实施例中生成重建图像以及生成目标背景图像的算法示意图一；

图4为本发明提供的基于背景去除的边云协同实时视频分析方法的实施例中生成重建图像以及生成目标背景图像的算法示意图二；

图5为本发明提供的基于背景去除的边云协同实时视频分析方法的实施例中偏移和放缩矩阵的更新算法示意图；

图6为本发明提供的基于背景去除的边云协同实时视频分析方法的实施例中生成目标物体预测结果的算法示意图；

图7为本发明提供的基于背景去除的边云协同实时视频分析系统的实施例的结构原理图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供的一种基于背景去除的边云协同实时视频分析方法，是可以应用在一种基于背景去除的边云协同实时视频分析系统中，所述系统中包括云端和边缘端，所述云端和所述边缘端执行所述方法中的对应步骤，实现对视频的实时分析，实现对视频中的目标物体进行识别。

实施例一

请参照图1，图1为本发明提供的基于背景去除的边云协同实时视频分析方法的一个实施例的流程图。所述基于背景去除的边云协同实时视频分析方法包括步骤：

S100、边缘端获取目标视频帧，基于有效背景图像对所述目标视频帧进行处理，得到所述目标视频帧中的RoI区域对应的最终掩膜，生成目标RoI图像，对所述目标RoI图像进行编码，得到目标编码文件；

S200、云端接收所述目标编码文件并解码得到所述目标RoI图像，根据所述目标RoI图像获取所述目标视频帧对应的目标物体检测结果，基于所述目标视频帧对应的目标物体检测结果、所述目标RoI图像和所述有效背景图像生成重建图像，将所述重建图像输入至背景重建模型，生成目标背景图像，将所述目标背景图像发送至所述边缘端；

S300、所述边缘端接收所述目标视频帧对应的目标物体检测结果，根据所述目标视频帧对应的目标物体检测结果生成所述目标视频帧的最终目标物体检测结果，并接收所述目标背景图像，根据所述目标背景图像对所述有效背景图像进行更新。

所述边缘端可以是拍摄视频的摄像头周边的计算终端，所述边缘端与所述摄像头可以是采用无线局域网或有线网络连接，获取所述摄像头拍摄的视频流，也就是说，在本实施例中，摄像头将视频实时地传输给所述边缘端，而不是直接发送给云端进行处理。在本实施例提供的方法中，所述边缘端和云端协同对视频进行处理，识别视频中的目标物体。所述云端是具备更高运算能力的终端。

所述目标视频帧可以是所述摄像头拍摄的视频流中的任一帧，所述有效背景图像是所述云端基于以往的目标物体检测结果生成并发送给所述边缘端的，所述边缘端根据所述有效背景图像对所述目标视频帧进行RoI(region of interest，感兴趣区域)识别，只将RoI部分发送给所述云端进行目标物体检测，当所述目标视频帧为视频流的第一帧时，所述边缘端可以将所述目标视频帧完整地发送给所述云端，所述云端基于所述目标视频帧生成第一张所述有效背景图像发送给所述边缘端，或者由人工确定第一帧对应的所述有效背景图像。所述云端基于所述边缘端发送的RoI图像进行目标物体检测，把检测结果发送给所述边缘端，这样边缘端只需要将RoI部分发送给所述云端，就可以得到对应的目标物体检测结果，而不需要将整张图像全部发送给所述云端。

具体地，所述边缘端基于有效背景图像对所述目标视频帧进行处理，得到所述目标视频帧中的RoI区域对应的最终掩膜，包括：

所述边缘端对所述有效背景图像和所述目标视频帧分别进行卷积处理，得到第一卷积图像和第二卷积图像；

所述边缘端获取所述第一卷积图像和所述第二卷积图像的差值图像，根据所述差值图像中各个像素点的像素值与第一预设阈值确定所述目标视频帧中的RoI区域对应的最终掩膜。

掩膜是用于标识图像中的部分区域的数据，掩膜可以视作一张尺寸与对应的原始图像相同，像素值为0和1的图像，所述目标视频帧中的RoI区域对应的最终掩膜中，RoI区域的像素值为1，其余区域的像素值为0。

所述边缘端获取到所述目标视频帧后，对所述目标视频帧进行卷积处理，得到第一卷积图像，对所述有效背景图像进行卷积处理，得到第二卷积图像，通过卷积操作可以去除图像的噪声并减少后续操作的计算量，所述第一卷积图像和所述第二卷积图像的尺寸相同，所述第一卷积图像和所述第二卷积图像的尺寸可以与所述目标视频帧相同，也可以不同。

所述边缘端根据所述差值图像中各个像素点的像素值与第一预设阈值确定所述目标视频帧中的RoI区域对应的最终掩膜，包括：

所述边缘端基于第一视频帧的最终目标物体检测结果对第一矩阵进行更新，根据更新后的所述第一矩阵得到所述目标视频帧对应的权重参数，所述第一视频帧为所述目标视频帧的前一帧，所述第一矩阵的尺寸与所述第二卷积图像的尺寸相同，所述第一矩阵中的各个值反映所述目标视频帧的对应像素点位置出现目标物体的概率；

所述边缘端基于第一公式和所述目标视频帧对应的权重参数确定所述目标视频帧中的RoI区域对应的中间掩膜，并基于所述中间掩膜得到所述目标视频帧中的RoI区域对应的最终掩膜；

所述第一公式为：

其中，d(I，B)＝w(I)*|conv2d(I)-conv2d(B)|，I为所述目标视频帧，w(I)为所述目标视频帧的权重参数，B为所述有效背景图像，conv2d为卷积操作，

具体地，在本实施例中，维护一个计数矩阵

所述边缘端将所述第一矩阵中第一区域对应位置处的值更新为当前值减去第一预设值的差，所述第一区域为所述第一视频帧中的目标物体所占区域；

所述边缘端将所述第一矩阵中第二区域对应位置处的值更新为当前值加上第二预设值的和，所述第二区域为所述第一视频帧中所述第一区域以外的区域，所述第一预设值大于所述第二预设值，所述第一预设值和所述第二预设值均大于0；

所述边缘端更新第二矩阵，所述第二矩阵的尺寸与所述第一矩阵尺寸相同，更新后的所述第二矩阵中位置为(i，j)处的值根据各个历史视频帧中对应的卷积图像对应位置处的像素值的方差得到，所述历史视频帧包括所述目标视频帧和所述目标视频帧之前的N个帧，N为正整数；

所述边缘端基于更新后的所述第二矩阵和所述第一矩阵生成中间矩阵，所述中间矩阵中的第一位置处的值为0，其余位置处的值与更新后的所述第一矩阵中对应位置处的值相等，其中，当更新后的所述第二矩阵中位置为(i，j)处的值大于第三预设阈值，且更新后的所述第一矩阵中位置为(i，j)处的值大于0时，则位置(i，j)为所述第一位置；

所述边缘端根据所述中间矩阵生成所述目标视频帧对应的权重参数。

所述边缘端接收到所述目标视频帧对应的目标物体检测结果，根据所述目标视频帧对应的目标物体检测结果生成所述目标视频帧的最终目标物体检测结果，并用于生成下一视频帧的RoI图像，也就是说，所述目标视频帧对应的RoI图像是基于所述目标视频帧的前一帧，即所述第一视频帧的最终目标物体检测结果生成的。视频帧对应的最终目标物体检测结果中包括该视频帧中存在的目标物体的位置，一般可以用矩形的标框表示，标框内为目标物体。

对于最终目标物体检测结果中的目标物体(x

对于输入视频帧I，同时还会维护一个方差矩阵

使用所述第一矩阵C来变换得到w(I)之前，S

在得到所述中间掩膜之后，可以直接将所述中间掩膜作为所述目标视频帧中的RoI区域对应的最终掩膜，在本实施例中，为了保证所述目标视频帧中的所有目标问题都包括在RoI区域内，在得到所述中间掩膜后，还对所述中间掩膜进行形态学膨胀操作以得到所述最终掩膜，即所述边缘端基于所述中间掩膜得到所述目标视频帧中的RoI区域对应的最终掩膜，包括：

所述边缘端对所述中间掩膜进行形态学膨胀操作，得到所述目标视频帧中的RoI区域对应的最终掩膜。

所述边缘端得到所述目标视频帧中的RoI区域对应的最终掩膜后，根据所述最终掩膜生成目标RoI图像，具体地，将所述目标视频帧中所述最终掩膜中值为1的区域的像素值保留，将所述最终掩膜中值为0的区域的像素值置0，得到所述目标RoI图像。

如图2所示，所述边缘端对所述目标RoI图像进行编码，得到目标编码文件后发送给所述云端，所述云端基于所述目标编码文件解码得到所述目标RoI图像进行目标物体检测，这样可以降低所述边缘端向所述云端的数据传输量。在本实施例中，为了进一步地降低视频数据的传输量，并保证目标检测的准确率，对于不同区域实现不同质量的编码，具体地，所述边缘端对所述目标RoI图像进行编码，得到目标编码文件包括：

所述边缘端根据最新的所述第三矩阵中的值在所述目标RoI图像中确定目标矩形区域，所述目标矩形区域在所述第三矩阵中对应的值小于第四预设阈值，其中，所述第三矩阵中的值反映了图像中对应位置处出现的目标物体的大小；

所述边缘端根据第一编码参数对所述目标RoI图像中的所述目标矩形区域进行编码，根据第二编码参数对所述目标RoI图像中所述目标矩形区域以外的区域进行编码，所述第一编码参数对应的编码质量高于所述第二编码参数对应的编码质量。

所述第三矩阵的更新步骤可以是所述云端执行或者所述边缘端执行，以所述云端执行为例，所述云端每隔预设时长更新一次第三矩阵并将所述第三矩阵更新至所述边缘端，具体地，所述云端确定所述第一视频帧中各个目标物体的大小，将所述第三矩阵中所述第一区域(所述第一视频帧中的目标物体所占区域)对应的位置处的值进行更新，其余位置处的值保持不变或者直接置0。具体地，对于一个目标物体(x

所述云端将更新后的所述第三矩阵发送给所述边缘端，所述边缘端获取到所述第三矩阵后，根据所述第三矩阵对所述目标RoI图像中的不同区域进行不同编码质量的编码。

具体地，所述边缘端根据所述第三矩阵在所述目标RoI图像中划分目标矩形区域，所述目标矩形区域在所述第三矩阵中对应位置的值小于第四预设阈值，对于所述目标矩形区域，所述边缘端采用编码质量更高的所述第一编码参数进行编码，对于所述目标矩形区域以外的区域，所述边缘端采用编码质量低的所述第二编码参数进行编码，这样，可以实现对不同区域实现不同质量的编码，对于小目标所在区域编码质量更高，减少数据传输量的图同时可以保证目标检测准确率。

如图2所示，所述边缘端生成所述目标RoI图像并编码后发送给所述云端，所述云端接收编码文件并解码得到所述目标RoI图像，值得说明的是，根据编码质量的不同，所述云端编码文件得到的所述目标RoI图像与所述边缘端编码前的所述目标RoI图像之间可能存在一定的差异。所述云端根据所述目标RoI图像进行目标检测，获取所述目标视频帧对应的目标物体检测结果，具体地，所述云端上可以运行一个目标检测模型，所述云端将所述目标RoI图像输入至所述目标检测模型中，获取所述目标检测模型的输出结果作为所述目标视频帧对应的目标物体检测结果(图2中的推理结果)。所述云端获取到所述目标视频帧对应的目标物体检测结果之后，发送给所述边缘端。

进一步地，考虑视频场景的变化，在本实施例中，所述云端还根据所述目标RoI图像和所述目标视频帧对应的目标物体检测结果进行背景图像的恢复和重建。为了降低数据传输量，避免不必要地更新背景图像，在本实施例中，在满足预设条件时，所述云端才生成所述重建图像以及根据所述重建图像生成所述目标背景图像并发送给所述边缘端。具体地，所述云端基于所述目标视频帧对应的目标物体检测结果、所述目标RoI图像和所述有效背景图像生成重建图像，包括：

当所述目标视频帧对应的目标物体检测结果中的像素数量与所述目标视频帧中的RoI区域中的像素数量的比值超出预设阈值时，所述云端基于所述目标视频帧对应的目标物体检测结果、所述目标RoI图像和所述有效背景图像生成重建图像。

所述云端将所述目标背景图像发送至所述边缘端，包括：

当所述目标背景图像与所述有效背景图像的差异超出预设范围，且所述有效背景图像用于处理的视频帧的个数超出第二预设阈值时，所述云端将所述目标背景图像发送至所述边缘端。

下面对所述云端具体如何生成所述重建图像进行具体说明，包括：

所述云端取所述目标视频帧对应的目标物体检测结果中目标物体标框的掩膜和所述目标视频帧的RoI区域中的背景区域的掩膜的并集，得到第一掩膜；

所述云端基于所述目标视频帧的尺寸对所述第一掩膜取反，得到第二掩膜；

所述云端基于所述第一掩膜从所述有效背景图像中取第一对应区域，基于所述第二掩膜从所述目标RoI图像中取第二对应区域；

所述云端对所述第一对应区域和所述第二对应区域求和，得到所述重建图像。

具体地，生成所述重建图像的算法输入为边缘端发送过来的所述目标RoI图像和所述目标视频帧对应的目标检测结果，所述目标检测结果为多个标框D(标框D为检测出来的目标物体位置，第i个标框为D

第二阶段为背景更新，首先计算当前生成的所述目标背景图像B和上一次发送给边缘端的背景图片B

所述云端生成所述目标背景图像的算法示意图如图3和图4所示。

由于检测出来的目标物体也可能成为目标背景的一部分，为了避免这些区域的重复传输，本实施例提供的方法，在所述云端根据所述目标ROI图像获取所述目标视频帧对应的目标物体检测结果之后，包括：

所述云端根据历史视频帧的物体检测结果确定静止目标物体，将静止目标物体的位置信息发送至所述边缘端；

若所述边缘端当前存储有静止目标物体的位置信息，则所述边缘端根据所述目标背景图像对所述有效背景图像进行更新，包括：

所述边缘端根据静止目标物体的位置信息在第二视频帧中确定对应的静止目标物体区域，将所述静止目标物体区域覆盖在所述目标背景图像上，得到更新后的所述有效背景图像，其中，所述第二视频帧为所述目标视频帧之后的帧；

若所述边缘端接收到新的所述目标背景图像或者所述边缘端生成的RoI区域与所述边缘端当前存储的静止目标物体的位置产生重叠，则清除当前存储的静止目标物体的位置信息；

若所述边缘端当前存储有静止目标物体的位置信息，则所述边缘端根据所述目标视频帧对应的目标物体检测结果生成所述目标视频帧的最终目标物体检测结果，包括：

所述边缘端将当前存储的静止目标物体的位置信息添加至所述目标视频帧对应的目标物体检测结果中，生成所述目标视频帧的最终目标物体检测结果。

具体地，所述云端中运行一个多目标跟踪模型判断给定目标物体是否处于静止状态，所述云端将静止目标物体的位置信息发送给所述边缘端。边缘端获得了这些静止的目标物体的位置信息之后，会将这些静止目标物体覆盖在原有的背景图片上，并用修改之后的背景图片进行背景去除以生成RoI，这样即可使得传输的RoI不包含已知推理结果的目标物体，减少视频数据的传输。在得到所述云端发送的目标物体检测结果后，所述边缘端再将静止物体位置信息添加进来得到最终目标物体检测结果。由于这些静止的目标物体可能会移动，需要对其进行动态移除。当所述边缘端生成的RoI非零区域与这些静止目标物体的区域产生重叠时，可以判定这些静止目标物体发生了移动，从而将其覆盖信息清除，还原已有的背景图片。此外，当云端发送新的背景图片时，边缘端也会将这些静止物体的位置信息去除。

进一步地，本实施例提供的方法中，针对可能出现的所述边缘端和所述云端之间的网络故障，提出了离线预测机制，具体地，所述边缘端接收所述目标物体检测结果之后，所述方法还包括：

所述边缘端根据所述目标物体检测结果更新第四矩阵、第五矩阵和第六矩阵，所述第四矩阵中的值反映了对应位置出现的目标物体的中心位置在相邻两帧中x方向的偏移量，所述第五矩阵中的值反映了对应位置出现的目标物体的中心在相邻两帧中y方向的偏移量，所述第六矩阵中的值反映了对应位置出现的目标物体在相邻两帧中检测标框面积的比值；

所述边缘端根据更新后的所述第四矩阵、所述第五矩阵和所述第六矩阵生成第三视频帧中的目标物体预测结果，所述第三视频帧为所述目标视频帧的后一帧；

当所述边缘端处于离线状态时，将所述目标视频帧对应的目标物体预测结果作为所述第三视频帧中的最终目标物体检测结果。

所述边缘端根据更新后的所述第四矩阵、所述第五矩阵和所述第六矩阵生成第三视频帧中的目标物体预测结果，包括：

所述边缘端采用第一补偿参数对所述第四矩阵和所述第五矩阵进行补偿，采用第二补偿参数对所述第六矩阵进行补偿；

所述边缘端根据补偿后的所述第四矩阵、所述第五矩阵和所述第六矩阵对所述目标视频帧对应的所述目标物体检测结果进行平移和放缩，得到所述第三视频帧中的目标物体预测结果。

对于一个视频流，所述边缘端会维护两个偏移矩阵和一个放缩矩阵：第四矩阵

给定视频帧I的标框B

综上所述，本发明提供一种基于背景去除的边云协同实时视频分析方法，对于视频流中的目标视频帧，先发送给边缘端，边缘端根据已有的有效背景图像进行RoI识别，生成RoI图像并编码后发送给云端，云端接收编码文件解码后得到RoI图像，并基于RoI图像进行目标物体识别，得到目标视频帧中的目标物体检测结果发送给边缘端，同时云端根据目标物体检测结果生成目标背景图像，将目标背景图像发送给边缘端用于更新有效背景图像，这样，边缘端只需要在本地以极少的开销维护背景图片，并且对输入的视频帧进行背景去除来生成RoI图像，只向云端传输RoI部分，减少了数据传输量。

应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

实施例二

基于上述实施例，本发明还相应提供了一种基于背景去除的边云协同实时视频分析系统，如图7所示，所述系统包括：边缘端和与所述边缘端通信连接的云端；

所述边缘端用于获取目标视频帧，基于有效背景图像对所述目标视频帧进行处理，得到所述目标视频帧中的RoI区域对应的最终掩膜，生成目标RoI图像，对所述目标RoI图像进行编码，得到目标编码文件，具体如实施例一中所述；

所述云端用于接收所述目标编码文件并解码得到所述目标RoI图像，根据所述目标RoI图像获取所述目标视频帧对应的目标物体检测结果，基于所述目标视频帧对应的目标物体检测结果、所述目标RoI图像和所述有效背景图像生成重建图像，将所述重建图像输入至背景重建模型，生成目标背景图像，将所述目标背景图像发送至所述边缘端，具体如实施例一中所述；

所述边缘端还用于接收所述目标视频帧对应的目标物体检测结果，根据所述目标视频帧对应的目标物体检测结果生成所述目标视频帧的最终目标物体检测结果，并接收所述目标背景图像，根据所述目标背景图像对所述有效背景图像进行更新，具体如实施例一中所述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。