一种基于像素建模的移动相机下运动目标检测方法

摘要

本发明提出一种基于像素建模的移动相机下运动目标检测方法。对移动相机获取的视频图像序列进行归一化处；对图像进行归一化处理可以消除光照因素的影响；提取图像序列每帧图像的特征点，使用相邻两帧图像的特征点对应关系获取后一帧图像对应于前一帧图像的变换矩阵，使用变换矩阵更新前一帧图像的像素模型获取后一帧图像的像素模型，其中，图像序列第一帧图像的像素模型通过初始化获得；根据特征点和像素模型，计算获得检测目标所需的决策阈值和决策阈值最小数目；根据决策阈值和决策阈值最小数目判断图像中的像素点是属于背景像素还是属于运动目标像素，从而检测出图像中的目标。本发明检测结果不会出现孔洞现象，能够及时消除鬼影现象。

说明书

技术领域

本发明属于图像探测与处理技术领域，具体涉及一种基于像素建模的移动相机下运动目标检测方法。

背景技术

移动相机下的目标检测技术，可以通过运动补偿技术消除图像序列中背景运动，将移动相机下的运动目标检测问题转化为静止背景下的运动目标检测问题。目前运动补偿技术是采用特征点匹配的方式来进行，首先通过特征检测获取相邻两帧图像的特征点，然后对特征点进行匹配，从而得到相邻两帧图像之间的变换矩阵，最后进行运动补偿。移动相机场景下，典型的运动目标检测技术，主要通过两帧图像间不同区域信息作为运动目标，也就是常用的帧间差分法，这种方法虽然可以获得运动目标的大致结果，但是需要依赖于阈值的设定，而且不同的阈值造成检测结果的不同，另外一种常用方法是极线约束算法，两者的缺点都在于会造成检测结果出现孔洞。而背景差分方法主要用于静止场景下，根据输入的图像建立一个像素判断模型，在决策模块中根据判断模型来对场景中的像素信息进行分析，获得目标检测结果，但是背景差分方法参数需要固定，在场景变化场合使用中容易受到光照和场景变化的影响，造成检测中杂散信号较多的结果。

发明内容

本发明的目的在于提供一种基于像素建模的移动相机下运动目标检测方法，检测结果不会出现孔洞现象，能够及时消除鬼影现象、

为了解决上述技术问题，本发明提供一种基于像素建模的移动相机下运动目标检测方法，步骤如下：

步骤一、对移动相机获取的视频图像序列进行归一化处；对图像进行归一化处理可以消除光照因素的影响；

步骤二、提取图像序列每帧图像的特征点，使用相邻两帧图像的特征点对应关系获取后一帧图像对应于前一帧图像的变换矩阵，使用变换矩阵更新前一帧图像的像素模型获取后一帧图像的像素模型，其中，图像序列第一帧图像的像素模型通过初始化获得；

步骤三、根据特征点和像素模型，计算获得检测目标所需的决策阈值和决策阈值最 小数目；

步骤四、根据决策阈值和决策阈值最小数目判断图像中的像素点是属于背景像素还是属于运动目标像素，从而检测出图像中的目标。

进一步，所述步骤二中，使用快速多尺度变换方法提取特征点；使用变换矩阵更新前一帧图像的像素模型获取后一帧图像的像素模型的方法如式(1)所示：

式(1)中，M_k为第k帧图像的像素模型，为第k帧图像中首次出现的场景区域的像素模型，M'_k为第k帧图像中与第k-1帧图像场景重叠区域的像素模型，且有M'_k＝H_k·M_k-1，H_k为所述变换矩阵。

进一步，决策阈值和决策阈值最小数目的计算方法分别如式(2)和式(3)所示：

式(2)和式(3)中，R_k为决策阈值，为决策阈值最小数目，用 表示第n个特征点灰度值，表示相邻图像中特征点对应的数目，n为特征点序号。

进一步，步骤五的判断方法如式(4)所示，

式(4)中，F_k(x,y)＝1表示像素点(x,y)为运动目标像素，否则为背景像素。

进一步，使用运动目标和背景像素的形态学特征进一步对检测出图像中的目标进行优化。

本发明与现有技术相比，其显著优点在于，(1)本发明基于运动补偿得到的变换矩阵对图像序列的像素模型进行更新，使得像素模型更新在相机移动场景下的适应性更强，抗干扰能力更高；(2)本发明利用相邻图像对应关系来完成对目标检测判断中的决策阈值的自适应设置，改进了决策中的固定参数设计方式，从而可以保证在噪声干扰 情况下的检测，提高了通用性；(3)本发明通过决策模块中的反馈机制，在相同场景下能够检验阈值和转换矩阵的准确性，从而提高了目标检测结果的精度。

附图说明

图1是本发明方法流程图。

图2是待处理的视频图像序列的相邻两帧图像，其中，图(a)是前帧图像，图(b)是后帧图像。

图3是表示相邻两帧图像对应关系的像素模型更新示意图。

图4是表示采用反馈机制前后结果对比图，其中(a)为采用反馈机制前的结果图，(b)为采用反馈机制后的结果图。

图5是使用本发明方法、帧间差分法和极线约束算法进行仿真实验后，各方法检测获得的PCC数值对比曲线图。

图6是使用本发明方法、帧间差分法和极线约束法进行仿真实验后，各方法的检测耗时结果对比曲线图。

具体实施方式

容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明基于像素建模的移动相机下运动目标检测方法的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。

结合图1，本发明提出的基于像素建模的移动相机下运动目标检测方法，使用特征检测获取相机移动场景对应的仿射变换矩阵，使用仿射变换矩阵对像素模型进行更新，根据更新后的像素模型对当前场景的像素信息进行判断，将图像序列中像素信息分为背景信息和运动目标信息两类，并且根据变换矩阵来获得像素判断的决策阈值，在决策中增加反馈机制，反馈机制主要是根据运动目标的运动轨迹进行分析，完成运动目标检测工作。

实现上述基于像素建模的移动相机下运动目标检测方法的具体实施步骤如下：

步骤一、根据移动相机获取的视频图像，利用图像归一化原理来对图像序列进行归一化处理，使图像序列对应位置的灰度值I(x,y)相同，其计算公式如式(1)所示：

其中，I_min(x,y)表示当前图像中最小的灰度值，I_max(x,y)表示当前图像中最大的灰度值，I_s(x,y)表示图像中坐标为(x,y)的像素点的灰度值，最后得到的I(x,y)为归一化后的灰度值的大小。

步骤二、根据归一化后的图像，利用像素采样方式，获得第k帧图像的像素模型M_k(x,y)，像素模型M_k(x,y)如式(2)所示：

M_k(x,y)＝{M_k1(x,y),...,M_kn(x,y),...,M_kN(x,y)}(2)>

其中，M_k(x,y)为对应于像素点(x,y)的N维像素模型向量，M_kn(x,y)表示N维的像素模型向量中的任意一个值，本发明中使建立上述像素模型的过程如下：

2.1在k＝1时，由于不存在历史像素模型向量，需要对像素模型进行初始化工作，假设表示第k帧图像的初始化像素模型，利用像素点(x,y)8邻域N₈(x,y)像素进行初始化获得第一帧图像的初始化像素模型则最终建立的第1帧图像的像素模型M₁如公式(3)所示：

其中，表示从中随机选择N个数值。

2.2在第k＞1时，相机的移动会导致场景发生变化，如图3所示，图中具有区域A、区域B和区域C，其中，区域A表示第k帧和第k-1帧图像的重叠区域，区域B为在第k-1帧图像出现但在第k帧图像中有可能消失的场景，区域C为未在第k-1帧图像出现但在第k帧图像出现的新的场景。

2.2.1对于重叠区域A，可以对第k-1帧图像的像素模型M₁进行更新获得重叠区域A在第k帧图像的像素模型，更新过程如下：

首先，对第k-1帧和第k帧图像进行配准，从而获得仿射变换矩阵H_k，即提取第k-1帧和第k帧图像的特征点，然后根据特征点的对应关系获取变换矩阵H_k。

本发明中考虑到实际视频中存在背景聚集效应，如图2所示，而SURF(快速多尺 度变换)特征点匹配率较高，在充分利用RANSAC算法的鲁棒性以及图像的背景特征后，可以快速获取仿射变换矩阵H_k，且其中表示了相邻两帧图像的缩放关系，表示相邻两帧图像的平移关系。

其次，根据变换矩阵H_k对重叠区域A的像素模型进行更新，获得重叠区域A在第k帧图像的像素模型M'_k，像素模型M'_k如式(4)所示：

M'_k＝H_k·M_k-1(4)>

在移动相机场景下，像素模型需要根据变换矩阵进行相应的位置的改变和更换，而且需要根据应用场景的不同来确定相应的更新方式。在固定区域内进行相机循环监视情况下，需要对所有视场区域的像素模型进行保留；在不存在循环监视情况下，就需要对视场中不断消失区域的像素模型进行舍弃。

2.2.2对于在第k帧图像中首次出现的场景区域C，需要对其进行初始化工作获得初始化模型为具体过程与步骤一相同，假设区域C的初始化模型为则最终得到第k帧完整图像的像素模型M_k如式(5)所示：

2.2.3对于在第k-1帧图像中出现而在第k帧图像中有可能消失的区域B，可以分为两种情况处理：

一种情况是，移动相机存在回扫，就需要将区域B的像素模型进行保留，获得移动相机时整个视场的全景像素模型，此情况下，像素模型占用的内存会相应增大；

另一种情况是，相机向着同一方向持续移动，也就是说区域B不再出现在视场中，就不需要保留该区域的像素模型，检测方法所占用的内存也保持不变。

步骤三、根据步骤二提取的特征点和获得的像素模型，计算获得目标检测所需的决策阈值R_k和决策阈值最小数目#min_k。决策阈值R_k和决策阈值最小数目#min_k的计算方法如下：

表示匹配得到的某个特征点灰度值，表示相邻图像中SURF特征点对应的数目，R_k表示第k帧图像中灰度值I(x,y)和像素模型M_kn(x,y)之差的阈值，#min_k表示满足灰度值I(x,y)和像素模型M_kn(x,y)之差的阈值最小数目。

步骤四、根据决策阈值R_k和阈值最小数目#min_k在第k帧图像中，判断像素点(x,y)是属于背景像素还是属于运动目标像素，从而获得初步的目标检测结果，该判断方式可以用公式(8)：

其中，F_k(x,y)＝1表示像素点(x,y)为运动目标像素，否则为背景像素。

步骤五、根据初步目标检测结果，利用运动目标和背景像素的形态学特征进行反馈机制处理，获得优化后的目标检测结果。反馈机制是指根据图像中运动目标的运动轨迹和形态特征，可以发现鬼影和运动轨迹之间存在一定联系，运动目标的边界和鬼影信息存在相似性，利用这种目标结果轮廓之间的相似性特进行反馈操作，通过反馈方式来。如图4所示，(a)表示没有进行反馈处理的结果图像，鬼影现象比较明显，(b)表示加入反馈处理后的检测结果。

为了说明本发明在准确度和速度上的优势，使用本发明方法、帧间差分法和极线约束算法对每帧图像进行准确度PCC和每帧处理时间评价。其中，PCC表示图像中像素分类正确率，定义为：

上式中TP表示分类正确的目标像素数目，TN表示分类正确的背景像素数目，FP表示分类错误的背景像素数目，FN表示分类错误的目标像素数目。图5表示了在相同图像序列中三种方法的PCC结果，图6表示了在相同图像序列中三种方法每帧图像的运算时间，通过上述比较可以看出，本发明相对于其他两种方法在存在牺牲一定运算速度的前提下准确度有所提高。