视频信号监测方法及视频信号监测系统

摘要

本发明提供了一种视频信号监测方法及视频信号监测系统，视频信号监测方法包括：按照指定的多个时间戳从源视频信号和目标视频信号中分别选取对应于每个时间戳的源视频图像和目标视频图像；从对应每个时间戳的源视频图像和目标视频图像中分别提取源特征信息和目标特征信息，计算每个时间戳对应的参考特征差值；根据任一时间戳的参考特征差值、任一时间戳前n1帧的参考特征差值以及任一时间戳后n2帧的参考特征差值确定任一时间戳对应的目标特征差值；将任一时间戳对应的目标特征差值与预定阈值进行比较来确定任一时间戳对应的目标视频图像是否异常，统计异常目标视频图像的数量；并在根据异常目标视频图像的数量确定目标视频信号异常时进行报警提示。

说明书

技术领域

本发明涉及信号处理技术领域，具体而言，涉及一种视频信号监测方法和一种视频信号监测系统。

背景技术

在传统的广播电视领域，为了保障有线数字电视系统的安全可靠和高质量运行，需要部署多级监测监控系统，对播出的数字电视节目前端各个环节的信号进行质量、内容监测，系统通过统一管理，实现监测数据调度、监视画面调度、设备管理和播出节目内容管理，从而提高有线数字电视网络运维效率、节约网络运行维护成本和人力资源。

内容安全监测作为电视节目播出安全监控手段，是关系到国家文化安全的重大问题。目前，国内关于电视广播的视频音频内容监测并没有系统的技术标准，国内外关于电视广播内容监测的专业级产品也是少之又少。同时，在三网融合的大方针下，新媒体业务的迅猛发展也亟需电视节目内容安全监测。在电信网与互联网上传播的电视节目也面临着播出安全的问题，甚至与传统的广播电视网相比，新媒体业务中的电视节目的情况更为复杂：首先，图像质量，编码标准，封装格式等具有多样性；其次，传输通道具有多样性；第三，接收终端具有多样性，这使得对内容安全监测的技术的要求更高了。

多媒体信息(视音频信号)在整个传输过程中，某些视音频内容被更改(即信号反生异常)，然而传输过程本身可以正常运行，这种篡改多媒体信息的部分内容的情况，从电视节目播出方来讲是产生了播出故障，故障的严重程度取决于被篡改的内容；从用户的角度来讲，会从不同程度上降低用户体验。相关技术中，电视台的播出频道分级控制系统绝大部分采用原始的末及信号的人工监测方式，通过人眼的实时观察来发现故障并进 行报警处理，然而人工检测方式无法保证检测结果的可靠性和监测效率。

因此，如何能够准确地监测出视频信号是否发生异常成为亟待解决的技术问题。

发明内容

本发明正是基于上述技术问题至少之一，提出了一种新的视频信号监测方案，满足了对多种网络传输环境下的视频信号的监测，能够准确地监测出视频信号是否发生异常，并在视频信号异常时进行报警提醒，以便监测人员可以及时发现并处理异常视频信号。

有鉴于此，本发明提出了一种视频信号监测方法，包括：按照指定的多个时间戳从源视频信号和目标视频信号中分别选取对应于每个所述时间戳的源视频图像和目标视频图像；对于每个所述时间戳，从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息，计算每个所述时间戳对应的参考特征差值；对于所述多个时间戳中的任一时间戳，根据所述任一时间戳的参考特征差值、所述任一时间戳前n₁帧的参考特征差值，以及所述任一时间戳后n₂帧的参考特征差值确定所述任一时间戳对应的目标特征差值；将所述任一时间戳对应的目标特征差值与预定阈值进行比较来确定所述任一时间戳对应的目标视频图像是否异常，并统计异常目标视频图像的数量；根据异常目标视频图像的数量确定所述目标视频信号是否异常；在确定所述目标视频信号异常时，进行报警提示。

在该技术方案中，通过按照指定的多个时间戳从源视频信号和目标视频信号中分别选取对应于每个时间戳的源视频图像和目标视频图像，并针对每个时间戳，从每个时间戳对应的从源视频信号和目标视频信号中分别选取对应于每个所述时间戳的源视频图像和目标视频图像分别提取源特征信息和目标特征信息，以根据源特征信息和目标特征信息计算每个时间戳对应的参考特征差值，并针对任一时间戳，需根据任一时间戳的参考特征差值、任一时间戳前n₁帧的参考特征差值、以及任一时间戳后n₂帧的参考特征差值确定任一时间戳对应的目标特征差值，从而提高了对任一时间 戳对应的特征差值计算的准确性，以为后续目标视频信号异常判断准确性提高必要的前提保障，同时在确定目标视频信号异常时，进行报警提示，以便监测人员可以及时发现并处理异常视频信号。其中，n₁≥0，n₂≥0，n₁和n₂的取值可以相同也可以不相同，对于视频直播的情况，n₁≥0，n₂＝0；对于视频点播的情况，n₁≥0，n₂≥0。

其中，源视频信号和目标视频信号可以是多个网络传输环境下的视频信号，如视频直播(包括电视广播和其他计算机网络中的实时传输的视频流)，或视频点播(包括存储介质上的视频文件)，从而使得可以对多种网络传输环境下的视频信号进行监测。

具体地，对于视频直播的情况：

在电视台的播出频道的分级控制系统中：源视频信号可以是主播出设备的各级信号，目标视频信号可以是备播出设备的对应级信号；或源视频信号可以是主或备播出设备的上一级信号，而目标视频信号可以是主或备播出设备的下一级信号。

网络电视台或者视频网站对电视台的电视节目进行实时转播：源视频信号可以是网络电视台或者视频网站接收到的电视台的节目信号，而目标视频信号可以是网络电视台或者视频网站经转码后分发并实施传输的电视节目信号。

对于视频点播的情况：源视频信号可以是某一视频文件的特定拷贝，信息安全度极高；而目标视频信号可以是该视频文件在中心服务器或者边缘媒体服务器上的拷贝，信息安全度低。

在上述技术方案中，优选地，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，W和H为每个所述时间戳的所述源视频图像或所述目标视频图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像中的或所 述目标视频图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过计算每个时间戳的源视频图像中的或目标视频图像中的各个颜色分量的一阶矩，来分别作为源视频图像的源特征信息，和目标视频图像的目标特征信息。

在上述任一项技术方案中，优选地，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\frac{1}{W\times H\times (W+1)}\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\frac{1}{W\times H\times (H+1)}\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，W和H为每个所述时间戳的所述源视频图像或所述目标视频图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像中的或所述目标视频图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过计算每个时间戳的源视频图像中的或目标视频图像中的各个颜色分量的归一化一阶矩，来分别作为源视频图像的源特征信息，和目标视频图像的目标特征信息。

在上述任一项技术方案中，优选地，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，dW和dH为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过对每个时间戳的源视频图像和目标视频图像进行平均分块，并计算每分块图像的各个颜色分量的一阶矩，来分别作 为源视频图像中每分块图像的源特征信息，和目标视频图像中每分块图像的目标特征信息。其中，不同的分块，κ的数值可以不同。

在上述任一项技术方案中，优选地，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\frac{1}{dW\times dH\times (dW+1)}\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\frac{1}{dW\times dH\times (dH+1)}\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，dW和dH为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过对每个时间戳的源视频图像和目标视频图像进行平均分块，并计算每分块图像的各个颜色分量的归一化一阶矩，来分别作为源视频图像中每分块图像的源特征信息，和目标视频图像中每分块图像的目标特征信息。其中，不同的分块，κ的数值可以不同。

在上述任一项技术方案中，优选地，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$m_{pq}=\frac{1}{L}\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}{x}^p{y}^{q}g\left[f(x,y)\right];$

其中，dW和dH为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像中的像素点(x,y)的任一颜色分量的像素值，L、p、q均为预设值，g(x)为预设映射关系。

在该技术方案中，可以通过对每个时间戳的源视频图像和目标视频图像进行平均分块，并计算每分块图像的各个颜色分量的(p+q)阶矩，来分别作为源视频图像中每分块图像的源特征信息，和目标视频图像中每分 块图像的目标特征信息。其中，L、p、q均可选择非负实数。

在上述任一项技术方案中，优选地，根据以下公式确定所述任一时间戳对应的目标特征差值：

$\tilde{F}(T,i)=h\left(F\right(T-n_1,i),...,F(T,i),...,F(T+n_2,i\left)\right);$

其中，F(T,i)＝d(m_S(T，i),m_D(T,i))，F(T,i)为在时间戳上相对应的所述源视频信号中的和所述目标视频信号中的第T帧视频图像的第i分块图像的参考特征差值，F(T-n₁,i)为第T帧的前第n₁帧视频图像的第i分块图像的参考特征差值，F(T+n₂,i)为第T帧的后第n₂帧视频图像的第i分块图像的参考特征差值，所述第m_S(T，i)和m_D(T，i)为所述源视频信号中的和所述目标视频信号中的第T帧视频图像的第i分块的源特征信息和目标特征信息，d(x)为预设函数，h(x)为滤波函数。

在该技术方案中，在对源视频图像和目标视频图像进行平均分块并提取分块图像的特征信息的基础上，计算任一分块图像的目标特征差值时，需结合该帧视频图像的该分块图像自身的参考特征差值，以及该帧的前n₁帧、后n₂帧视频图像的该分块图像的参考特征差值，降低了计算误差，从而提高了对目标特征差值计算的准确性。其中，n₁≥0，n₂≥0，n₁和n₂的取值可以相同也可以不相同，对于视频直播的情况，n₁≥0，n₂＝0；对于视频点播的情况，n₁≥0，n₂≥0。

在上述任一项技术方案中，优选地，在所述任一时间戳对应的目标视频图像被平均分块处理的情况下，根据异常目标视频图像的数量确定所述目标视频信号是否异常的步骤，具体包括：统计所述任一时间戳对应的目标视频图像中的异常分块图像数量；根据所述任一时间戳对应的目标视频图像中的异常分块图像数量，调整目标阈值；判断所述异常目标视频图像的数量是否大于或等于调整后的目标阈值；在所述异常目标视频图像的数量大于或等于调整后的目标阈值时，确定所述目标视频信号异常；在所述异常目标视频图像的数量小于调整后的目标阈值时，确定所述目标视频信号正常。

在该技术方案中，通过统计任一时间戳对应的目标视频图像中的异常分块图像数量，并根据任一时间戳对应的目标视频图像中的异常分块图像 数量，调整目标阈值，具体地，若任一时间戳对应的目标视频图像中的异常分块图像数量较多，则减小目标阈值，由于分块图像数量越多，则说明该帧目标视频图像和源视频图像在内容上偏差比较大，此时适当减小目标阈值，以确保可以快速地判断出目标视频信号是否异常，若任一时间戳对应的目标视频图像中的异常分块图像数量较少，则增大目标阈值，由于分块图像数量越少，则说明该帧目标视频图像和源视频图像在内容上偏差较小，此时适当增加目标阈值，以降低误报率。

根据本发明的第二方面，提出了一种视频信号监测系统，包括：图像选取单元，用于按照指定的多个时间戳从源视频信号和目标视频信号中分别选取对应于每个所述时间戳的源视频图像和目标视频图像；信息提取单元，用于对于每个所述时间戳，从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息；计算单元，用于计算每个所述时间戳对应的参考特征差值；确定单元，用于对于所述多个时间戳中的任一时间戳，根据所述任一时间戳的参考特征差值、所述任一时间戳前n₁帧的参考特征差值，以及所述任一时间戳后n帧的参考特征差值确定所述任一时间戳对应的目标特征差值；第一检测单元，用于将所述任一时间戳对应的目标特征差值与预定阈值进行比较来确定所述任一时间戳对应的目标视频图像是否异常；第一统计单元，用于统计异常目标视频图像的数量；第二检测单元，用于根据异常目标视频图像的数量确定所述目标视频信号是否异常；提示单元，用于在所述第二检测单元确定所述目标视频信号异常时，进行报警提示。

在该技术方案中，通过按照指定的多个时间戳从源视频信号和目标视频信号中分别选取对应于每个时间戳的源视频图像和目标视频图像，并针对每个时间戳，从每个时间戳对应的从源视频信号和目标视频信号中分别选取对应于每个所述时间戳的源视频图像和目标视频图像分别提取源特征信息和目标特征信息，以根据源特征信息和目标特征信息计算每个时间戳对应的参考特征差值，并针对任一时间戳，需根据任一时间戳的参考特征差值、任一时间戳前n₁帧的参考特征差值、以及任一时间戳后n₂帧的参考特征差值确定任一时间戳对应的目标特征差值，从而提高了对任一时间 戳对应的特征差值计算的准确性，以为后续目标视频信号异常判断准确性提高必要的前提保障，同时在确定目标视频信号异常时，进行报警提示，以便监测人员可以及时发现并处理异常视频信号。其中，n₁≥0，n₂≥0，n₁和n₂的取值可以相同也可以不相同，对于视频直播的情况，n₁≥0，n₂＝0；对于视频点播的情况，n₁≥0，n₂≥0。

其中，源视频信号和目标视频信号可以是多个网络传输环境下的视频信号，如视频直播(包括电视广播和其他计算机网络中的实时传输的视频流)，或视频点播(包括存储介质上的视频文件)，从而使得可以对多种网络传输环境下的视频信号进行监测。

具体地，对于视频直播的情况：

在电视台的播出频道的分级控制系统中：源视频信号可以是主播出设备的各级信号，目标视频信号可以是备播出设备的对应级信号；或源视频信号可以是主或备播出设备的上一级信号，而目标视频信号可以是主或备播出设备的下一级信号。

网络电视台或者视频网站对电视台的电视节目进行实时转播：源视频信号可以是网络电视台或者视频网站接收到的电视台的节目信号，而目标视频信号可以是网络电视台或者视频网站经转码后分发并实施传输的电视节目信号。

对于视频点播的情况：源视频信号可以是某一视频文件的特定拷贝，信息安全度极高；而目标视频信号可以是该视频文件在中心服务器或者边缘媒体服务器上的拷贝，信息安全度低。

在上述技术方案中，优选地，所述信息提取单元具体用于，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，W和H为每个所述时间戳的所述源视频图像或所述目标视频图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像中的或所 述目标视频图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过计算每个时间戳的源视频图像中的或目标视频图像中的各个颜色分量的一阶矩，来分别作为源视频图像的源特征信息，和目标视频图像的目标特征信息。

在上述任一项技术方案中，优选地，所述信息提取单元具体用于，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\frac{1}{W\times H\times (W+1)}\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\frac{1}{W\times H\times (H+1)}\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，W和H为每个所述时间戳的所述源视频图像或所述目标视频图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像中的或所述目标视频图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过计算每个时间戳的源视频图像中的或目标视频图像中的各个颜色分量的归一化一阶矩，来分别作为源视频图像的源特征信息，和目标视频图像的目标特征信息。

在上述任一项技术方案中，优选地，所述信息提取单元具体用于，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，dW和dH为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过对每个时间戳的源视频图像和目标视频图像进行平均分块，并计算每分块图像的各个颜色分量的一阶矩，来分别作 为源视频图像中每分块图像的源特征信息，和目标视频图像中每分块图像的目标特征信息。其中，不同的分块，κ的数值可以不同。

在上述任一项技术方案中，优选地，所述信息提取单元具体用于，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\frac{1}{dW\times dH\times (dW+1)}\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\frac{1}{dW\times dH\times (dH+1)}\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，dW和dH为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过对每个时间戳的源视频图像和目标视频图像进行平均分块，并计算每分块图像的各个颜色分量的归一化一阶矩，来分别作为源视频图像中每分块图像的源特征信息，和目标视频图像中每分块图像的目标特征信息。其中，不同的分块，κ的数值可以不同。

在上述任一项技术方案中，优选地，所述信息提取单元具体用于，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$m_{pq}=\frac{1}{L}\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}{x}^p{y}^{q}g\left[f(x,y)\right];$

其中，dW和dH为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像中的像素点(x,y)的任一颜色分量的像素值，L、p、q均为预设值，g(x)为预设映射关系。

在该技术方案中，可以通过对每个时间戳的源视频图像和目标视频图像进行平均分块，并计算每分块图像的各个颜色分量的(p+q)阶矩，来分别作为源视频图像中每分块图像的源特征信息，和目标视频图像中每分 块图像的目标特征信息。其中，L、p、q均可选择非负实数。

在上述任一项技术方案中，优选地，所述确定单元具体用于，根据以下公式确定所述任一时间戳对应的目标特征差值：

$\tilde{F}(T,i)=h\left(F\right(T-n_1,i),...,F(T,i),...,F(T+n_2,i\left)\right);$

其中，F(T,i)＝d(m_S(T，i),m_D(T,i))，F(T,i)为在时间戳上相对应的所述源视频信号中的和所述目标视频信号中的第T帧视频图像的第i分块图像的参考特征差值，F(T-n₁,i)为第T帧的前第n₁帧视频图像的第i分块图像的参考特征差值，F(T+n₂,i)为第T帧的后第n₂帧视频图像的第i分块图像的参考特征差值，所述第m_S(T，i)和m_D(T，i)为所述源视频信号中的和所述目标视频信号中的第T帧视频图像的第i分块的源特征信息和目标特征信息，d(x)为预设函数，h(x)为滤波函数。

在该技术方案中，在对源视频图像和目标视频图像进行平均分块并提取分块图像的特征信息的基础上，计算任一分块图像的目标特征差值时，需结合该帧视频图像的该分块图像自身的参考特征差值，以及该帧的前n₁帧、后n₂帧视频图像的该分块图像的参考特征差值，降低了计算误差，从而提高了对目标特征差值计算的准确性。其中，n₁≥0，n₂≥0，n₁和n₂的取值可以相同也可以不相同，对于视频直播的情况，n₁≥0，n₂＝0；对于视频点播的情况，n₁≥0，n₂≥0。

在上述任一项技术方案中，优选地，还包括：第二统计单元，用于在所述任一时间戳对应的目标视频图像被平均分块处理的情况下，统计所述任一时间戳对应的目标视频图像中的异常分块图像数量；所述第二检测单元具体用于，根据所述任一时间戳对应的目标视频图像中的异常分块图像数量，调整目标阈值；判断所述异常目标视频图像的数量是否大于或等于调整后的目标阈值；在所述异常目标视频图像的数量大于或等于调整后的目标阈值时，确定所述目标视频信号异常；在所述异常目标视频图像的数量小于调整后的目标阈值时，确定所述目标视频信号正常。

在该技术方案中，通过统计任一时间戳对应的目标视频图像中的异常分块图像数量，并根据任一时间戳对应的目标视频图像中的异常分块图像数量，调整目标阈值，具体地，若任一时间戳对应的目标视频图像中的异 常分块图像数量较多，则减小目标阈值，由于分块图像数量越多，则说明该帧目标视频图像和源视频图像在内容上偏差比较大，此时适当减小目标阈值，以确保可以快速地判断出目标视频信号是否异常，若任一时间戳对应的目标视频图像中的异常分块图像数量较少，则增大目标阈值，由于分块图像数量越少，则说明该帧目标视频图像和源视频图像在内容上偏差较小，此时适当增加目标阈值，以降低误报率。

通过以上技术方案，满足了对多种网络传输环境下的视频信号的监测，能够准确地监测出视频信号是否发生异常，并在视频信号异常时进行报警提醒，以便监测人员可以及时发现并处理异常视频信号。

附图说明

图1示出了根据本发明的实施例的视频信号监测方法的示意流程图；

图2示出了根据本发明的一个实施例的视频信号监测系统的结构示意框图；

图3示出了根据本发明的实施例的源视频信号和目标视频信号在时间轴t上的多帧视频图像；

图4示出了根据本发明另一个的实施例的视频信号监测系统的结构示意框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了根据本发明的实施例的视频信号监测方法的示意流程图。

如图1所示，根据本发明的实施例的视频信号监测方法，包括：

步骤102，按照指定的多个时间戳从源视频信号和目标视频信号中分 别选取对应于每个所述时间戳的源视频图像和目标视频图像；

步骤104，对于每个所述时间戳，从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息，计算每个所述时间戳对应的参考特征差值；

步骤106，对于所述多个时间戳中的任一时间戳，根据所述任一时间戳的参考特征差值、所述任一时间戳前n₁帧的参考特征差值，以及所述任一时间戳后n₂帧的参考特征差值确定所述任一时间戳对应的目标特征差值，其中，n₁≥0，n₂≥0，n₁和n₂的取值可以相同也可以不相同，对于视频直播的情况，n₁≥0，n₂＝0；对于视频点播的情况，n₁≥0，n₂≥0；

步骤108，将所述任一时间戳对应的目标特征差值与预定阈值进行比较来确定所述任一时间戳对应的目标视频图像是否异常，并统计异常目标视频图像的数量；

步骤110，根据异常目标视频图像的数量确定所述目标视频信号是否异常；

步骤112，在确定所述目标视频信号异常时，进行报警提示。

在该技术方案中，通过按照指定的多个时间戳从源视频信号和目标视频信号中分别选取对应于每个时间戳的源视频图像和目标视频图像，并针对每个时间戳，从每个时间戳对应的从源视频信号和目标视频信号中分别选取对应于每个所述时间戳的源视频图像和目标视频图像分别提取源特征信息和目标特征信息，以根据源特征信息和目标特征信息计算每个时间戳对应的参考特征差值，并针对任一时间戳，需根据任一时间戳的参考特征差值、任一时间戳前n₁帧的参考特征差值、以及任一时间戳后n₂帧的参考特征差值确定任一时间戳对应的目标特征差值，从而提高了对任一时间戳对应的特征差值计算的准确性，以为后续目标视频信号异常判断准确性提高必要的前提保障，同时在确定目标视频信号异常时，进行报警提示，以便监测人员可以及时发现并处理异常视频信号。

其中，源视频信号和目标视频信号可以是多个网络传输环境下的视频信号，如视频直播(包括电视广播和其他计算机网络中的实时传输的视频流)，或视频点播(包括存储介质上的视频文件)，从而使得可以对多种 网络传输环境下的视频信号进行监测。

具体地，对于视频直播的情况：

在电视台的播出频道的分级控制系统中：源视频信号可以是主播出设备的各级信号，目标视频信号可以是备播出设备的对应级信号；或源视频信号可以是主或备播出设备的上一级信号，而目标视频信号可以是主或备播出设备的下一级信号。

网络电视台或者视频网站对电视台的电视节目进行实时转播：源视频信号可以是网络电视台或者视频网站接收到的电视台的节目信号，而目标视频信号可以是网络电视台或者视频网站经转码后分发并实施传输的电视节目信号。

对于视频点播的情况：源视频信号可以是某一视频文件的特定拷贝，信息安全度极高；而目标视频信号可以是该视频文件在中心服务器或者边缘媒体服务器上的拷贝，信息安全度低。

在上述技术方案中，优选地，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，W和H为每个所述时间戳的所述源视频图像或所述目标视频图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像中的或所述目标视频图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过计算每个时间戳的源视频图像中的或目标视频图像中的各个颜色分量的一阶矩，来分别作为源视频图像的源特征信息，和目标视频图像的目标特征信息。

在上述任一项技术方案中，优选地，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\frac{1}{W\times H\times (W+1)}\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\frac{1}{W\times H\times (H+1)}\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，W和H为每个所述时间戳的所述源视频图像或所述目标视频图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像中的或所述目标视频图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过计算每个时间戳的源视频图像中的或目标视频图像中的各个颜色分量的归一化一阶矩，来分别作为源视频图像的源特征信息，和目标视频图像的目标特征信息。

在上述任一项技术方案中，优选地，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，dW和dH为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过对每个时间戳的源视频图像和目标视频图像进行平均分块，并计算每分块图像的各个颜色分量的一阶矩，来分别作为源视频图像中每分块图像的源特征信息，和目标视频图像中每分块图像的目标特征信息。其中，不同的分块，κ的数值可以不同。

在上述任一项技术方案中，优选地，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\frac{1}{dW\times dH\times (dW+1)}\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\frac{1}{dW\times dH\times (dH+1)}\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，dW和dH为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过对每个时间戳的源视频图像和目标视频图像进行平均分块，并计算每分块图像的各个颜色分量的归一化一阶矩，来分别作为源视频图像中每分块图像的源特征信息，和目标视频图像中每分块图像的目标特征信息。其中，不同的分块，κ的数值可以不同。

在上述任一项技术方案中，优选地，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$m_{pq}=\frac{1}{L}\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}{x}^p{y}^{q}g\left[f(x,y)\right];$

其中，dW和dH为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像中的像素点(x,y)的任一颜色分量的像素值，L、p、q均为预设值，g(x)为预设映射关系。

在该技术方案中，可以通过对每个时间戳的源视频图像和目标视频图像进行平均分块，并计算每分块图像的各个颜色分量的(p+q)阶矩，来分别作为源视频图像中每分块图像的源特征信息，和目标视频图像中每分块图像的目标特征信息。其中，L、p、q均可选择非负实数。

在上述任一项技术方案中，优选地，根据以下公式确定所述任一时间戳对应的目标特征差值：

$\tilde{F}(T,i)=h\left(F\right(T-n_1,i),...,F(T,i),...,F(T+n_2,i\left)\right);$

其中，F(T,i)＝d(m_S(T，i),m_D(T,i))，F(T,i)为在时间戳上相对应的所述源 视频信号中的和所述目标视频信号中的第T帧视频图像的第i分块图像的参考特征差值，F(T-n₁,i)为第T帧的前第n₁帧视频图像的第i分块图像的参考特征差值，F(T+n₂,i)为第T帧的后第n₂帧视频图像的第i分块图像的参考特征差值，所述第m_S(T，i)和m_D(T，i)为所述源视频信号中的和所述目标视频信号中的第T帧视频图像的第i分块的源特征信息和目标特征信息，d(x)为预设函数，h(x)为滤波函数。其中，n₁≥0，n₂≥0，n₁和n₂的取值可以相同也可以不相同，对于视频直播的情况，n₁≥0，n₂＝0；对于视频点播的情况，n₁≥0，n₂≥0。

在该技术方案中，在对源视频图像和目标视频图像进行平均分块并提取分块图像的特征信息的基础上，计算任一分块图像的目标特征差值时，需结合该帧视频图像的该分块图像自身的参考特征差值，以及该帧的前n₁帧、后n₂帧视频图像的该分块图像的参考特征差值，降低了计算误差，从而提高了对目标特征差值计算的准确性。

在上述任一项技术方案中，优选地，在所述任一时间戳对应的目标视频图像被平均分块处理的情况下，根据异常目标视频图像的数量确定所述目标视频信号是否异常的步骤，具体包括：统计所述任一时间戳对应的目标视频图像中的异常分块图像数量；根据所述任一时间戳对应的目标视频图像中的异常分块图像数量，调整目标阈值；判断所述异常目标视频图像的数量是否大于或等于调整后的目标阈值；在所述异常目标视频图像的数量大于或等于调整后的目标阈值时，确定所述目标视频信号异常；在所述异常目标视频图像的数量小于调整后的目标阈值时，确定所述目标视频信号正常。

在该技术方案中，通过统计任一时间戳对应的目标视频图像中的异常分块图像数量，并根据任一时间戳对应的目标视频图像中的异常分块图像数量，调整目标阈值，具体地，若任一时间戳对应的目标视频图像中的异常分块图像数量较多，则减小目标阈值，由于分块图像数量越多，则说明该帧目标视频图像和源视频图像在内容上偏差比较大，此时适当减小目标阈值，以确保可以快速地判断出目标视频信号是否异常，若任一时间戳对应的目标视频图像中的异常分块图像数量较少，则增大目标阈值，由于分 块图像数量越少，则说明该帧目标视频图像和源视频图像在内容上偏差较小，此时适当增加目标阈值，以降低误报率。

图2示出了根据本发明的一个实施例的视频信号监测系统的结构示意框图。

如图2所示，根据本发明的一个实施例的视频信号监测系统200，包括：图像选取单元202、信息提取单元204、计算单元206、确定单元208、第一检测单元210、第一统计单元212、第二检测单元214、提示单元216。

其中，图像选取单元202，用于按照指定的多个时间戳从源视频信号和目标视频信号中分别选取对应于每个所述时间戳的源视频图像和目标视频图像；信息提取单元204，用于对于每个所述时间戳，从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息；计算单元206，用于计算每个所述时间戳对应的参考特征差值；确定单元208，用于对于所述多个时间戳中的任一时间戳，根据所述任一时间戳的参考特征差值、所述任一时间戳前n₁帧的参考特征差值，以及所述任一时间戳后n₂帧的参考特征差值确定所述任一时间戳对应的目标特征差值；第一检测单元210，用于将所述任一时间戳对应的目标特征差值与预定阈值进行比较来确定所述任一时间戳对应的目标视频图像是否异常；第一统计单元212，用于统计异常目标视频图像的数量；第二检测单元214，用于根据异常目标视频图像的数量确定所述目标视频信号是否异常；提示单元216，用于在所述第二检测单元214确定所述目标视频信号异常时，进行报警提示。

在该技术方案中，通过按照指定的多个时间戳从源视频信号和目标视频信号中分别选取对应于每个时间戳的源视频图像和目标视频图像，并针对每个时间戳，从每个时间戳对应的从源视频信号和目标视频信号中分别选取对应于每个所述时间戳的源视频图像和目标视频图像分别提取源特征信息和目标特征信息，以根据源特征信息和目标特征信息计算每个时间戳对应的参考特征差值，并针对任一时间戳，需根据任一时间戳的参考特征差值、任一时间戳前n₁帧的参考特征差值、以及任一时间戳后n₂帧的参 考特征差值确定任一时间戳对应的目标特征差值，从而提高了对任一时间戳对应的特征差值计算的准确性，以为后续目标视频信号异常判断准确性提高必要的前提保障，同时在确定目标视频信号异常时，进行报警提示，以便监测人员可以及时发现并处理异常视频信号。其中，n₁≥0，n₂≥0，n₁和n₂的取值可以相同也可以不相同，对于视频直播的情况，n₁≥0，n₂＝0；对于视频点播的情况，n₁≥0，n₂≥0。

其中，源视频信号和目标视频信号可以是多个网络传输环境下的视频信号，如视频直播(包括电视广播和其他计算机网络中的实时传输的视频流)，或视频点播(包括存储介质上的视频文件)，从而使得可以对多种网络传输环境下的视频信号进行监测。

具体地，对于视频直播的情况：

在电视台的播出频道的分级控制系统中：源视频信号可以是主播出设备的各级信号，目标视频信号可以是备播出设备的对应级信号；或源视频信号可以是主或备播出设备的上一级信号，而目标视频信号可以是主或备播出设备的下一级信号。

网络电视台或者视频网站对电视台的电视节目进行实时转播：源视频信号可以是网络电视台或者视频网站接收到的电视台的节目信号，而目标视频信号可以是网络电视台或者视频网站经转码后分发并实施传输的电视节目信号。

对于视频点播的情况：源视频信号可以是某一视频文件的特定拷贝，信息安全度极高；而目标视频信号可以是该视频文件在中心服务器或者边缘媒体服务器上的拷贝，信息安全度低。

在上述技术方案中，优选地，所述信息提取单元204具体用于，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，W和H为每个所述时间戳的所述源视频图像或所述目标视频 图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像中的或所述目标视频图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过计算每个时间戳的源视频图像中的或目标视频图像中的各个颜色分量的一阶矩，来分别作为源视频图像的源特征信息，和目标视频图像的目标特征信息。

在上述任一项技术方案中，优选地，所述信息提取单元204具体用于，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\frac{1}{W\times H\times (W+1)}\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\frac{1}{W\times H\times (H+1)}\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，W和H为每个所述时间戳的所述源视频图像或所述目标视频图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像中的或所述目标视频图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过计算每个时间戳的源视频图像中的或目标视频图像中的各个颜色分量的归一化一阶矩，来分别作为源视频图像的源特征信息，和目标视频图像的目标特征信息。

在上述任一项技术方案中，优选地，所述信息提取单元具体用于，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，dW和dH为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过对每个时间戳的源视频图像和目标视频图 像进行平均分块，并计算每分块图像的各个颜色分量的一阶矩，来分别作为源视频图像中每分块图像的源特征信息，和目标视频图像中每分块图像的目标特征信息。其中，不同的分块，κ的数值可以不同。

在上述任一项技术方案中，优选地，所述信息提取单元204具体用于，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$\begin{array}{c}{m}_{10}=\frac{1}{dW\times dH\times (dW+1)}\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}x[f(x,y)+\kappa ]\\ m_{01}=\frac{1}{dW\times dH\times (dH+1)}\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}y[f(x,y)+\kappa ]\end{array};$

其中，dW和dH为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像中的像素点(x,y)的任一颜色分量的像素值，κ为预设值。

在该技术方案中，可以通过对每个时间戳的源视频图像和目标视频图像进行平均分块，并计算每分块图像的各个颜色分量的归一化一阶矩，来分别作为源视频图像中每分块图像的源特征信息，和目标视频图像中每分块图像的目标特征信息。其中，不同的分块，κ的数值可以不同。

在上述任一项技术方案中，优选地，所述信息提取单元204具体用于，根据以下公式从对应每个所述时间戳的所述源视频图像和所述目标视频图像中分别提取源特征信息和目标特征信息：

$m_{pq}=\frac{1}{L}\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}{x}^p{y}^{q}g\left[f(x,y)\right];$

其中，dW和dH为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像的宽度和高度，f(x,y)为每个所述时间戳的所述源视频图像进行平均分块处理后的或所述目标视频图像进行平均分块处理后的每分块图像中的像素点(x,y)的任一颜色分量的像素值，L、p、q均为预设值，g(x)为预设映射关系。

在该技术方案中，可以通过对每个时间戳的源视频图像和目标视频图像进行平均分块，并计算每分块图像的各个颜色分量的(p+q)阶矩，来 分别作为源视频图像中每分块图像的源特征信息，和目标视频图像中每分块图像的目标特征信息。其中，L、p、q均可选择非负实数。

在上述任一项技术方案中，优选地，所述确定单元208具体用于，根据以下公式确定所述任一时间戳对应的目标特征差值：

$\tilde{F}(T,i)=h\left(F\right(T-n_1,i),...,F(T,i),...,F(T+n_2,i\left)\right);$

其中，F(T,i)＝d(m_S(T，i),m_D(T,i))，F(T,i)为在时间戳上相对应的所述源视频信号中的和所述目标视频信号中的第T帧视频图像的第i分块图像的参考特征差值，F(T-n₁,i)为第T帧的前第n₁帧视频图像的第i分块图像的参考特征差值，F(T+n₂,i)为第T帧的后第n₂帧视频图像的第i分块图像的参考特征差值，所述第m_S(T，i)和m_D(T，i)为所述源视频信号中的和所述目标视频信号中的第T帧视频图像的第i分块的源特征信息和目标特征信息，d(x)为预设函数，h(x)为滤波函数。

在该技术方案中，在对源视频图像和目标视频图像进行平均分块并提取分块图像的特征信息的基础上，计算任一分块图像的目标特征差值时，需结合该帧视频图像的该分块图像自身的参考特征差值，以及该帧的前n₁帧、后n₂帧视频图像的该分块图像的参考特征差值，降低了计算误差，从而提高了对目标特征差值计算的准确性。其中，n₁≥0，n₂≥0，n₁和n₂的取值可以相同也可以不相同，对于视频直播的情况，n₁≥0，n₂＝0；对于视频点播的情况，n₁≥0，n₂≥0。

在上述任一项技术方案中，优选地，还包括：第二统计单元218，用于在所述任一时间戳对应的目标视频图像被平均分块处理的情况下，统计所述任一时间戳对应的目标视频图像中的异常分块图像数量；所述第二检测单元214具体用于，根据所述任一时间戳对应的目标视频图像中的异常分块图像数量，调整目标阈值；判断所述异常目标视频图像的数量是否大于或等于调整后的目标阈值；在所述异常目标视频图像的数量大于或等于调整后的目标阈值时，确定所述目标视频信号异常；在所述异常目标视频图像的数量小于调整后的目标阈值时，确定所述目标视频信号正常。

在该技术方案中，通过统计任一时间戳对应的目标视频图像中的异常分块图像数量，并根据任一时间戳对应的目标视频图像中的异常分块图像 数量，调整目标阈值，具体地，若任一时间戳对应的目标视频图像中的异常分块图像数量较多，则减小目标阈值，由于分块图像数量越多，则说明该帧目标视频图像和源视频图像在内容上偏差比较大，此时适当减小目标阈值，以确保可以快速地判断出目标视频信号是否异常，若任一时间戳对应的目标视频图像中的异常分块图像数量较少，则增大目标阈值，由于分块图像数量越少，则说明该帧目标视频图像和源视频图像在内容上偏差较小，此时适当增加目标阈值，以降低误报率。

以下结合图3和图4对本发明的技术方案作进一步说明。

在本实施例中，针对两路视频信号进行内容级的比对。这两路信号中一路是内容正确的视音频信号(以下简称为源视频信号)，另一路是可能出现故障的视频信号(以下简称为目标视频信号)。对于直播和点播的情况，这两路信号的所指是不同的，具体地：

对于视频直播的情况，例如在电视台的播出频道的分级控制系统中，源视频信号可能是主播出设备的各级信号，目标视频信号可能是备播出设备的对应级信号；也有另外一种情况，源视频信号可能是主或备播出设备的上一级信号，而目标视频信号可能是主或备播出设备的下一级信号。另一种视频直播的情况是网络电视台或者视频网站对电视台的电视节目进行实时转播，在此种情况下，源视频信号一般是指网络电视台或者视频网站接收到的电视台的节目信号，而目标视频信号一般是指网络电视台或者视频网站经转码后分发并实施传输的电视节目信号。视频直播的内容安全监测方法是对这两路信号实时提取特征值并进行比对和比对结果处理。

对于视频点播的情况，源视频信号一般是指某一视频文件的特定拷贝，信息安全度极高；而目标视频信号一般是指该视频文件在中心服务器或者边缘媒体服务器上的拷贝，信息安全度低。视频点播的内容安全监测方法是对目标视频信号进行定时或者随机文件访问，提取特征值，并于事先已经提取的源视频信号的特征值进行比对和比对结果处理。

对于视频直播应用，视频信号监测分为下述几个步骤：

1)、分别并行接收源视频信号和目标视频信号；

2)、分别并行提取源视频信号和目标视频信号的特征值；

3)、对特征值进行比对；

4)、对比对结果进行处理，如果经比对发现源视频信号与目标视频信号有内容不一致的地方，进行报警处理。

对于视频点播应用，视频信号监测分为下述几个步骤：

1)、访问源视频信号，提取特征值并保存；

2)、定时或者随机访问目标视频信号，提取特征值并保存；

3)、将提取到的目标视频信号的特征值与事先提取的源视频信号特征值进行比对；

4)、对比对结果进行处理，如果经比对发现源视频信号与目标视频信号有内容不一致的地方，进行报警处理；

5)重复步骤2)至4)；

6)为保证系统的安全可靠，可以每隔一段时间对源视频信号的特征值重新进行提取并保存。

其中，在上述视频直播或视频点播应用中，对视频信号提取特征值的方法包括以下几种：

方法一、每一帧视频图像的各个颜色分量的一阶矩，具体描述如下：

$\begin{array}{c}{m}_{10}=\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}x[f(x,y)+\kappa ],\\ m_{01}=\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}y[f(x,y)+\kappa ]\end{array},---\left(Eq.1\right)$

其中，公式(Eq.1)中的W,H分别代表视频图像的宽度和高度，f(x,y)代表视频图像中像素点(x,y)的任一颜色分量的像素值，κ为预设值。

方法二、每一帧视频图像的各个颜色分量的归一化一阶矩，具体描述如下：

$\begin{array}{c}{m}_{10}=\frac{1}{W\times H\times (W+1)}\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}x[f(x,y)+\kappa ],\\ m_{01}=\frac{1}{W\times H\times (H+1)}\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}y[f(x,y)+\kappa ]\end{array},---\left(Eq.2\right)$

其中，公式(Eq.2)中的W,H分别代表视频图像的宽度和高度，f(x,y)代表视频图像中像素点(x,y)的任一颜色分量的像素值，κ为预设 值。

方法三、将每一帧视频图像划分为大小相同的分块，每一个分块的各个颜色分量的一阶矩，具体描述如下：

$\begin{array}{c}{m}_{10}=\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}x[f(x,y)+\kappa ],\\ m_{01}=\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}y[f(x,y)+\kappa ]\end{array},---\left(Eq.3\right)$

其中，公式(Eq.3)中的dW,dH分别代表视频图像的每一分块的宽度和高度，f(x,y)代表视频图像中的该分块中像素点(x,y)的任一颜色分量的像素值，κ为预设值。不同的分块κ的数值可以不同。

方法四、将每一帧视频图像划分为大小相同的分块，每一个分块的各个颜色分量的归一化一阶矩，具体描述如下：

$\begin{array}{c}{m}_{10}=\frac{1}{dW\times dH\times (dW+1)}\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}x[f(x,y)+\kappa ],\\ m_{01}=\frac{1}{dW\times dH\times (dH+1)}\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}y[f(x,y)+\kappa ]\end{array},---\left(Eq.4\right)$

其中，公式(Eq.4)中的dW,dH分别代表视频图像的每一分块的宽度和高度，f(x,y)代表视频图像中的该分块中像素点(x,y)的任一颜色分量的像素值，κ为预设值。不同的分块κ的数值可以不同

方法五、将每一帧视频图像划分为大小相同的分块，每一个分块的各个颜色分量的(p+q)阶矩，具体描述如下：

$m_{pq}=\frac{1}{L}\underset{x=1}{\overset{dW}{\Sigma }}\underset{y=1}{\overset{dH}{\Sigma }}{x}^p{y}^{q}g\left[f(x,y)\right],---\left(Eq.5\right)$

其中，公式(Eq.5)中的dW,dH分别代表视频图像的每一分块的宽度和高度，L,p,q均为预设值，一般选择非负实数，f(x,y)代表视频图像中的该分块中像素点(x,y)的某一颜色分量的像素值，g(x)为预设映射关系。

在上述视频直播或视频点播应用中，对于特征值的对比，首先要保证所比对的两帧图像的时间戳是对齐的，在时间戳对齐的前提之下，基于特征值的比对方法如下：

以帧为单位，设定一段时间作为比对范围阈值。将两路视频图像的对应帧的特征值差异进行比较，如果某一帧的特征值差异超过了给定阈值，则该帧被标注为“异常帧”，如果出现累积S帧的“异常帧”，则认定两 路视频信号存在内容差异，给出比对结果“异常”的相应处理；否则，认为两路视频信号不存在内容差异，给出比对结果“正常”的相应处理。

具体地，对于每一帧视频图像进行分块后对每一分块分别提取特征值的情况，可以设定分块阈值dT。在计算两路视频信号对应帧中对应分块的特征值时，可以进行时间轴上的滤波。

如图3所示，在时间轴t上的相对应的第T帧、第T-n₁、以及T+n₂帧源视频图像和目标视频图像的第i分块，假设滤波窗口长度为(n₁+n₂+1)，两路视频信号的第T帧图像中分块的最终特征值差异(即目标特征差值)通过对从(T-n₁)帧到(T+n₂)帧中的第i块的特征值差异(即参考特征差值)的滤波来得到：F～(T,i)＝h(F(T-n₁,i),...,F(T,i),...,F(T+n₂,i))(Eq.6)，其中，公式(Eq.6)中的F(T,i)代表两路视频信号第T帧图像中第i块的特征值差异，F(T,i)＝d(m_S(T，i),m_D(T,i))，d(x)为预设函数，m_S(T，i)和m_D(T，i)为源视频信号和目标视频信号中第T帧图像中第i块的特征值(即特征信息)，可以根据公式(Eq.3)、公式(Eq.4)或公式(Eq.5)来计算。h(x)为滤波函数，对窗口长度为(n₁+n₂+1)的输入信号进行滤波。其中，n₁≥0，n₂≥0，n₁和n₂的取值可以相同也可以不相同，对于视频直播的情况，n₁≥0，n₂＝0；对于视频点播的情况，n₁≥0，n₂≥0。

第T帧图像的最终特征值差异可以通过对该帧中每一分块的最终特征值差异来计算得到，如通过公式：

其中，公式(Eq.7)中的k(x)为预设函数，一般使用门限函数

在DF大于或等于给定阈值时，该帧被标注为“异常帧”，如果出现累积S帧的“异常帧”，则认定两路视频信号存在内容差异，即目标视频信号异常，其中，数值S可根据DF(T)进行动态调整，S的取值可随着时间的推移随时变化，具体地，当第T时刻的特征值差异函数DF(T)增大时，则减小S的取值，由于分块图像数量越多，则说明该帧目标视频图像和源视频图像在内容上偏差比较大，此时适当减小目标阈值，以确保可以快速地判断出目标视频信号是否异常；当第T时刻的特征值差异函数 DF(T)减小时，则增大S的取值，由于分块图像数量越少，则说明该帧目标视频图像和源视频图像在内容上偏差较小，此时适当增加目标阈值，以降低误报率。

如图4所示，根据本发明另一个的实施例的视频信号监测系统，包括：管理平台402、监控子系统404、以及比对服务器406。

其中，管理平台402负责管理各个监控子系统404以及比对服务器406，如对监控子系统的常规管理包括监测子系统的注册、启动、心跳检测、运行状态上报等。

监控子系统404置于前端监控设备，主要负责每个监测节点信号的基础信息处理，包括进行信号的接收，对视频信息提取特征值，并将视频特征值数据提交给比对服务器子系统406。监控子系统404的工作模式是实时和受控的，每个前端监控设备的工作模式由管理平台统一控制。对于异态的检测，设备的检测灵敏度较高，一般视频异态在1～5帧内即可检测出。

比对服务器406，完成管理平台402下发的监测任务。每个监测任务由两个监测节点组成，比对服务器406接收前端设备提交的监测节点特征值数据，实现两个监测节点之间的一致性比对，综合比对结果，形成每个监测任务的报警策略和报警方式。

上述实施例既能适用于视频直播(包括电视广播和其他计算机网络中的实时传输的视频流)的实时内容级监测，也能适用于视频点播(主要是指针对存储介质上的视频文件)的定时扫描内容监测。

以上结合附图详细说明了本发明的技术方案，本发明的技术方案提出了一种新的视频信号监测方案，满足了对多种网络传输环境下的视频信号的监测，能够准确地监测出视频信号是否发生异常，并在视频信号异常时进行报警提醒，以便监测人员可以及时发现并处理异常视频信号。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。