一种隐私保护下的视频运动物体轨迹跟踪方法及系统

摘要

本发明提供一种隐私保护下的视频运动物体轨迹跟踪方法及系统，具体为：利用加密压缩视频中编码块的编码信息，推断出视频中是否有运动物体；再利用物体运动的时空相关性推断物体运动轨迹。本发明能够在加密的视频中检测运动物体，并且跟以往的方法相比，减少了视频数据量，提高了传输效率，降低了传输带宽。

说明书

技术领域

本发明属于视频运动物体检测技术领域，更具体地，涉及一种隐私保护下的视频运动物体轨迹跟踪方法及系统。

背景技术

目前，视频数据中的运动物体检测在很多场景下都需要用到。云服务器相比本地服务器，除具有计算性能好，数据存储量大的优势外，还非常方便用户随时随地从云端远程获取数据。因此，视频数据放到云服务器上处理已经成为一种趋势。然而，一般情况下，视频数据是通过公共网络传输的，并且，许多云服务属于第三方服务，数据安全性没法得到保证。因此，视频被送到云服务器处理会存在用户隐私泄露的风险。如何能够在保护用户隐私的同时，检测视频中的运动物体，成为了一个亟待解决的问题。

目前已有的隐私保护下的视频运动物体检测和跟踪算法大多是在像素域进行的，或者在只有很低的压缩效率的视频中进行的，因此需要很大的额外传输带宽和存储负载来传输这些视频数据。目前已有的方法可分为以下三种：

第一种方法把视频中不同的帧送到相互隔离的云服务器以保证完整的视频不被窃取，然后在每个云服务器上做运动物体检测，再把检测结果结合起来得到完整的结果。尽管该方案在时间上是高效的，但这些相互隔离的云不易找到。

第二种方法是在同态加密下通过人脸特征数据做身份验证。该方法除了有较为严重的密文膨胀问题，还有较高的计算消耗。

第三种方法的加密通过扰乱和矩阵乘法进行，然后用混合高斯模型进行运动物体检测。该方法把图像中的每一帧视作图片，用JPEG方法做压缩，其压缩效率比视频压缩方法效率低得多。

发明内容

针对现有技术方案的缺陷或改进需求，本发明提供了一种隐私保护下的运动物体轨迹跟踪方法及系统，该方法直接在加密的压缩域对运动物体进行检测，解决了现有针对隐私保护下的视频运动物体检测方法中出现的压缩效率低，传输带宽较大的问题，提高了视频的压缩效率，减少视频数据传输所需的带宽。

一种隐私保护下的运动物体检测方法，包括以下步骤：

(1)从当前已加密的压缩视频帧中提取多个编码树块CTB；

(2)判定各编码树块CTB的运动状态，将处于运动的编码树块CTB作为观测CTB；

(3)以观测CTB为起点检测目标运动轨迹：

以观测CTB为中心提取相邻的CTB作为第一待比对CTB；判定当前帧中第一待比对CTB包含的编码块数量是否大于前一加密视频帧中第一待比对CTB包含的编码块数量，若大于，则初步判定目标的运动方向是从观测CTB指向第一待比对CTB；

在当前帧的后续第一帧中，以第一待比对CTB为起点沿着初步判定的目标运动方向找到相邻的CTB作为第二待比对CTB，判定后续第一帧中第二待比对CTB包含的编码块数量是否大于当前帧中第二待比对CTB包含的编码块数量，若大于，则确认目标的运动方向是从观测CTB依次指向第一待比对CTB、第二待比对CTB；

继续在后续的第二帧中，以第二待比对CTB为起点沿着确认的目标运动方向找到相邻的CTB作为第三待比对CTB，判定后续第二帧中第三待比对CTB包含的编码块数量是否大于后续第一帧中第三待比对CTB包含的CB数量，若大于，则确认目标的运动方向是从观测CTB位置依次指向第一待比对CTB、第二待比对CTB、第三待比对CTB；

按照上述相同方式处理，直到后续第N帧处理完毕。

进一步地，所述各CTB的运动状态按照如下方式判定：

(21)判定编码树块CTB中的每一个预测块PB的预测模式，若为AMVP模式，进入步骤(22)，若为merge模式，进入步骤(23)；

(22)提取每一预测块PB中的MVD编码值，若编码值大于预定第一阈值，则判定该预测块PB的运动状态为运动，进入步骤(24)；否则，依据该预测块PB的运动向量查询其在参考视频帧中所指向的预测块PB，将被查询到的预测块PB的运动状态作为该预测块PB的运动状态，进入步骤(24)；

(23)依据该预测块PB的运动向量查询其在参考视频帧中所指向的预测块PB，将被查询到的预测块PB的运动状态作为该预测块PB的运动状态，进入步骤(24)；

(24)判定CTB中是否存在运动的预测块PB，若存在，则进入步骤(25),否则结束；

(25)提取CTB中的编码块数量，若编码块的数量大于等于第二阈值，判定该编码树块CTB的运动状态为运动，否则，判定该编码树块CTB的运动状态为非运动。

一种隐私保护下的运动物体检测系统，包括以下模块：

提取模块，用于从当前已加密的压缩视频帧中提取多个编码树块CTB；

状态确定模块，用于判定各编码树块CTB的运动状态，将处于运动的编码树块CTB作为观测CTB；

检测模块，用于以观测CTB为起点检测目标运动轨迹：

以观测CTB为中心提取相邻的CTB作为第一待比对CTB；判定当前帧中第一待比对CTB包含的编码块数量是否大于前一加密视频帧中第一待比对CTB包含的编码块数量，若大于，则初步判定目标的运动方向是从观测CTB指向第一待比对CTB；

在当前帧的后续第一帧中，以第一待比对CTB为起点沿着初步判定的目标运动方向找到相邻的CTB作为第二待比对CTB，判定后续第一帧中第二待比对CTB包含的编码块数量是否大于当前帧中第二待比对CTB包含的编码块数量，若大于，则确认目标的运动方向是从观测CTB依次指向第一待比对CTB、第二待比对CTB；

继续在后续的第二帧中，以第二待比对CTB为起点沿着确认的目标运动方向找到相邻的CTB作为第三待比对CTB，判定后续第二帧中第三待比对CTB包含的编码块数量是否大于后续第一帧中第三待比对CTB包含的CB数量，若大于，则确认目标的运动方向是从观测CTB位置依次指向第一待比对CTB、第二待比对CTB、第三待比对CTB；

按照上述相同方式处理，直到后续第N帧处理完毕。

进一步地，所述状态确定模块包括：

第一子模块，用于判定编码树块CTB中的每一个预测块PB的预测模式，若为AMVP模式，进入第二子模块，若为merge模式，进入第三子模块；

第二子模块，用于提取每一预测块PB中的MVD编码值，若编码值大于预定第一阈值，则判定该预测块PB的运动状态为运动，进入步骤(24)；否则，依据该预测块PB的运动向量查询其在参考视频帧中所指向的预测块PB，将被查询到的预测块PB的运动状态作为该预测块PB的运动状态，第四子模块；

第三子模块，用于依据该预测块PB的运动向量查询其在参考视频帧中所指向的预测块PB，将被查询到的预测块PB的运动状态作为该预测块PB的运动状态，进入第四子模块；

第四子模块，用于判定CTB中是否存在运动的预测块PB，若存在，则进入第五子模块,否则结束；

第五子模块，用于提取CTB中的编码块数量，若编码块的数量大于等于第二阈值，判定该编码树块CTB的运动状态为运动，否则，判定该编码树块CTB的运动状态为非运动。

总体而言，本发明的以上技术方案与现有技术相比，主要具备以下的技术优点：

本发明只需要利用视频在压缩域的信息，如编码树块CTB，编码块CB,预测块PB等,实现在压缩域对运动物体进行检测，解决了现有针对隐私保护下的视频运动物体检测方法(即把图像中的每一帧视作图片，用JPEG方法做压缩)中出现的压缩效率低，传输带宽较大的问题，提高了视频的压缩效率，减少视频数据传输所需的带宽。

附图说明

图1为本发明隐私保护下的运动物体检测方法流程图；

图2为本发明观测CTB为起点检测目标运动轨迹过程实例示意图，其中，图2a)为前一帧，图2b)为当前帧，图2c)为后续第一帧，图2d)为后续第二帧；

图3为本发明实例效果示意图，图3a)为运动起始视频帧，图3b)为运动结束视频帧，图3c)为加密视频中的运动轨迹检测结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

首先对本发明涉及的术语进行解释：

编码树块CTB：HEVC中一个最基本的编码单元，它的大小由编码器指定，可以是16、32或64。

编码块CB：进行预测、变换、量化和熵编码等处理的基本单元。

预测块PB：进行帧内/帧间预测的基本单元。

变换块TB：进行变换和量化的基本块。

运动向量差MVD：运动向量差是当前像素块的运动向量和前一块已编码像素块的运动向量的差值。

视频中的每一帧都包含不同的编码树块CTB，每个编码树块CTB由若干编码块CB组成，编码块由多个预测块PB和变换块TB组成。

本发明的技术思路是：在用户方对压缩视频进行加密并传输给云服务器；云服务器接收到视频后，利用视频中编码块(CB)的MVD信息，推断出视频中是否有运动物体；再利用物体运动的时空相关性推断物体运动轨迹。

图1为本发明隐私保护下的运动物体检测方法流程图，包括以下步骤：

(1)从当前加密的压缩视频帧中提取多个CTB；

(2)判定各CTB的运动状态，将处于运动的CTB作为观测CTB；

(3)以观测CTB为起点检测目标运动轨迹：

检测的思路是：本方案依据物体运动在前后帧之间的连续性做检测，即物体运动应该在连续的多帧中出现，并且运动的方向应该一致。具体的实施方式为：

以观测CTB为中心提取相邻的CTB作为第一待比对CTB；将当前帧中第一待比对CTB包含的CB数量与前一加密视频帧中第一待比对CTB包含的CB数量进行比较，若大于，则初步判定目标的运动方向是从观测CTB指向第一待比对CTB；

在当前帧的后续第一帧中，以第一待比对CTB位置为起点沿着初步判定的目标运动方向找到相邻的CTB作为第二待比对CTB，判定后续第一帧中第二待比对CTB包含的CB数量是否大于当前帧中第二待比对CTB包含的CB数量，若大于，则确认目标的运动方向是从观测CTB位置依次指向第一待比对CTB、第二待比对CTB；

继续在后续的第二帧中，以第二待比对CTB位置为起点沿着确认的目标运动方向找到相邻的CTB作为第三待比对CTB，判定后续第二帧中第三待比对CTB包含的CB数量是否大于后续第一帧中第三待比对CTB包含的CB数量，若大于，则确认目标的运动方向是从观测CTB位置指向第一待比对CTB、第二待比对CTB、第三待比对CTB位置；

按照上述相同方式处理，直到后续第N帧。

上述涉及的阈值、N为经验值，可根据实验结果和精度要求调整。

图2为本发明观测CTB为起点检测目标运动轨迹过程实例示意图，图2b)为当前帧，其中浅蓝色的CTB为观测CTB。以观测CTB为中心，获取该CTB上下左右四个方向的CTB包含的CB数量。从图中可知，在上方，左方，下方的CTB中都没有较多的CB，所以认为不会是运动方向，所以只观测右方CTB。右方CTB中包含了10个CB。而前一帧(图2a))对应位置的CTB包含了4个CB，当前帧CTB中CB数量(10个)明显大于前一帧对应位置CTB中CB数量(4个)，所以可初步判定物体从观测CTB到右方有运动。并且将观测CTB的右方CTB作为第一待比对CTB。

同理，图2c)是后一帧，获取第一待比对CTB上下左右四个方向的CTB的CB数量。在四个方向上，只有右侧的CTB有较多的CTB，所以只观测右边CTB的数量。右边CTB中包含了13个CB，而当前帧(图2b))对应位置只有4个CB，所以认为从第一待比对CTB到右方有运动。由于在连续两帧中物体都有向右的运动，此时可确认物体的运动方向是从观测CTB位置指向右边。并将第一待比对CTB右侧的CTB作为第二待比对CTB。

用同样的方法，在图2d)中，可以发现在第二待比对CTB右侧的CTB所含CB数量明显大于前一帧，所以认为从第二待比对CTB到右方有运动。

按照上述相同方式处理，直到后续第N帧。可以检测出每一帧中的运动，从而把每一帧中物体的运动方向寻找出来。

进一步地，所述各CTB的运动状态按照如下方式判定：

(21)判定CTB中的每一个PB的预测模式，若为AMVP模式，进入步骤(22)，若为merge模式，进入步骤(23)；AMVP模式是高级运动向量预测模式，该模式利用空间、时间上运动向量的相关性，分别建立空域候选列表以及时域候选列表，再从候选列表中选取最终的MVP。该模式下PB有MVD。merge模式直接采用相邻PU块的运动信息估计当前PU块的运动信息，该模式下PB不具有MVD。

(22)提取每一PB中的MVD编码值，若编码值大于预定第一阈值，则判定该PB的运动状态为运动，进入步骤(24)；否则，依据该PB块的运动向量查询其在参考视频帧中所指向的PB块，将被查询到的PB块的运动状态作为该PB块的运动状态，进入步骤(24)；

参考视频帧是帧间预测中的概念，因此首先介绍HEVC的帧间预测。帧间预测利用视频时间域的相关性，使用邻近已编码图像像素预测当前图像的像素，以达到有效去除视频时域冗余的目的。用于预测的帧称为参考视频帧。

(23)依据该PB块的运动向量查询其在参考视频帧中所指向的PB块，将被查询到的PB块的运动状态作为该PB块的运动状态，进入步骤(24)；

运动向量概念出现在HEVC的运动估计中。运动估计的主要原理是为当前图像的每个像素块在之前已编码的图像中寻找一个最佳匹配块。其中用于预测的图像称为参考图像。参考块到当前像素块的位移称为运动向量。

(24)判定CTB中是否存在运动的PB，若存在，则进入步骤(25),否则结束；

(25)提取CTB中的CB数量，若CB的数量大于等于第二阈值，判定该CTB的运动状态为运动，否则，判定该CTB的运动状态为非运动。

实施例：

图3是本发明实例效果示意图。为更好展示效果，本示意图用一段带有运动物体的视频片段做展示。其中：3a)是物体运动开始时的视频帧，3b)是运动结束时的视频帧，3c)是在加密视频中的运动轨迹检测结果。其中标记为1的轨迹表示轨迹真实值，标记为2的轨迹表示轨迹检测结果。可以看到，检测结果和真实值较为接近。因此本发明能够较为准确地检测出物体的运动轨迹。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。