一种视频中基于在线动态背景建模的运动目标检测方法

摘要

本发明公开了一种视频中基于在线动态背景建模的运动目标检测方法，包括以下步骤：采集图像并进行预处理；判读图像帧是否为第一帧，如果是则初始化背景模型，否则转到下一步；利用动态背景模型生成背景图像；在当前帧图像和背景图像中提取匹配点对；筛选精确匹配对并利用RANSAC计算校正参数；将动态背景模型校正到当前图像帧的坐标系；利用校正后的背景模型将当前帧图像的像素分为运动像素和背景像素；用背景像素对背景模型进行动态更新；对运动像素进行形态学处理、连通域分析及面积约束得到运动目标。本发明可以将固定平台下先进的基于背景建模的运动目标检测算法方便的用于航拍平台上，更精确的对运动目标进行检测。

说明书

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种航拍视频中的 运动目标检测方法。

背景技术

目前，传统的运动目标检测方法主要有基于帧间差分的方法，基 于背景建模的方法及基于光流的方法。对于静止平台下的运动目标检 测，背景建模方法由于其鲁棒性和提取运动信息的精确性是应用最为 广泛的。但对于运动平台下的运动目标检测，运动的背景增加了背景 建模的难度，而计算稠密光流的方法[H.Yalcin，M.Hebert，R.Collins， andM.Black.Aflowbasedapproachtovehicledetectionandbackground mosaickinginairbornevideo.InProceedingsofComputerVisionand PatternRecognition，volume2，page1202.IEEEComputerSociety，2005] 在没有硬件加速的情况下很难达到实时性的要求，因此目前航拍视频 中的运动目标检测大部分工作都是基于帧间差分的。即使在帧间差分 方面做了很多的工作[S.Bhattacharya，H.Idrees，I.Saleemi，S.Ali，and M.Shah.Movingobjectdetectionandtrackinginforwardlooking infraredaerialimagery，volume1，chapter10，pages221-252.Springer BerlinHeidelberg，2011；Z.YinandR.Collins.Movingobjectlocalization inthermalimagerybyforward-backwardmotionhistoryimages，pages 271-291.SpringerLondon，2009；H.Shen，S.Li，J.Zhang，andH.Chang. Tracking-basedmovingobjectdetection.InProceedingsofInternational ConferenceonImageProcessing，pages3093-3097.IEEE，2013.]，基于帧 间差分的方法还是不能很好的解决鬼影和空洞的问题。

Ratheesh[A.Colombari，A.Fusiello，V.Murino，Segmentationand trackingofmultiplevideoobjects，PatternRecognition，40(4)(2007)， 1307-1317]等利用对应点的颜色均值来将整个视频信息拼接为全局背 景图像。此类方法需要整个视频信息，因此多用于离线处理，而且需 要将整个视频以级联方式矫正在同一坐标系下，容易产生累计误差。

Chang[Y.Chang，G.Medioni，K.Jinman，I.Cohen，Detectingmotion regionsinthepresenceofastrongparallaxfromamovingcameraby multiviewgeometricconstraints，IEEETransactiononPatternAnalysis andMachineIntelligence，29(9)(2007)，1627-1641]等将当前时刻前后 45副图像校正到当前时刻图像的坐标系来建立背景模型，若逐个计算 则计算复杂度太高不能实时，若以级联方式计算则容易产生累计误差。

发明内容

有鉴于此，本发明的目的在于克服现有技术不足，提出一种新的 背景建模方法来更精确的进行航拍视频下的运动目标检测。

为达到上述目的，本发明提出了一种视频中基于在线动态背景建 模的运动目标检测方法，其特征在于，该方法包括步骤：

步骤1：读入视频帧，对其进行预处理；

步骤2：判断当前帧是否为第一帧，如果是则利用所述第一帧或 者继续读入N帧后利用读入的N帧初始化形成动态背景模型；如果不 是则直接转到步骤3；其中，N为大于1的整数；

步骤3：利用所述动态背景模型生成背景图像；

步骤4：从当前帧和背景图像中提取匹配点对；

步骤5：利用所述匹配点对计算当前帧与背景图像之间的放射变 换参数；

步骤6：利用所述仿射变换参数，计算出动态背景模型中每个像 素模型在当前帧坐标系下的位置并调整所述动态背景模型中的每个像 素模型的位置，以将所述动态背景模型校正到当前帧的坐标系下；

步骤7：利用校正后的所述动态背景模型将当前帧的像素集分为 运动像素集和背景像素集；

步骤8：利用所述背景像素集对所述动态背景模型进行更新；

步骤9：对所述运动像素集进行后处理得到运动目标。

本发明的有益效果是：一方面不需要整个视频信息来建立背模型， 因此可以在线的进行运动目标检测；另一方面不需要对每一时刻利用 前后N帧来重新建立背景模型，而是利用当前时刻图像动态的更新背 景模型，因此可以实时处理并避免校正误差的累积。利用本发明，可 以将固定平台下先进的基于背景建模的运动目标检测算法方便的用于 航拍平台上的运动目标检测，从而更精确的提取运动信息和目标。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明的技术方案流程图；图2为本发明中采集图像的示 例图；

图3为本发明中由背景模型生成的背景图像的示例图；

图4为本发明中经过后处理得到的运动图像示例图；

图5为本发明中最终目标检测结果的示例图；

具体实施方式

下面将参照附图对本发明做进一步地详细说明。背景建模方法我 们选用Vibe作为示例进行说明。应该强调的是，下述说明仅仅是示例 性的，而不是为了限制本发明的范围及其应用。

如图1所示，本发明提出了一种航拍视频中基于在线动态背景建 模的运动目标检测方法，该方法包括步骤：

步骤1、读入视频帧，并做相应的预处理。所述预处理可根据实 际的应用进行选择；例如，如果应用涉及灰度图像，则进行将图像转 换为灰度图像等相应的预处理；图2是读入的航拍视频图像帧的示例；

步骤2、判断图像帧是否为第一帧，如果是则继续读入N帧或者 利用本帧建立初始的动态背景模型，具体根据不同的背景建模方法选 择不同的策略；否则直接跳转到步骤3。例如如果用Vibe作为背景建 模的方法，对于一个像素点，随机选取其邻居点像素值作为模型的样 本值对样本集进行填充；

步骤3、利用动态背景模型生成背景图像。例如对于Vibe模型， 取每个模型样本集中像素的平均值或者中值来生成背景图像，图3是 用Vibe模型样本集中像素的平均值生成的背景图像示例；

步骤4、在当前帧图像和背景图像之间提取匹配点对。首先在当 前图像中提取一定数量的特征点(Fast或者Harris等)，然后利用 Kande-Lucas-TomasiFeatureTracker(KLT)跟踪到背景图像来寻找匹 配点对。KLT可采用PyramidKLT来提升效果；

步骤5、筛选精确的匹配点对并利用RANSAC来计算当前帧和背 景图像之间的仿射变换参数。筛选过程可首先求得匹配点对间的偏移 距离，然后找到大多数点对的偏移距离，去除不在此偏移距离一定范 围内的点对。由于对于航拍视频，目标距离相机的距离远远大于相机 焦距，所以可利用RANSAC计算具有6个参数的仿射模型来对图像 进行校正；如果匹配点对过少则认为匹配失败，把当前帧设为第一帧 转到步骤2对背景模型初始化，否则转到步骤6继续；

步骤6、利用步骤5得到的仿射变换参数，计算出动态背景模型 中每个像素模型在当前图像帧坐标系的位置并调整像素模型的位置， 将动态背景模型校正到当前图像帧的坐标系。C++/C语言实现将背景 模型校正到当前图像帧坐标系过程中，如果直接校正每个像素背景模 型的位置，赋值操作会很耗时，本发明采用校正指向每个像素背景模 型的指针的位置而不直接校正每个像素背景模型的位置来加快校正速 度。比如在位置(0，0)上的像素背景模型经仿射变换参数计算出的在 当前图像帧坐标系的位置为(1，1)，则将指向这个像素背景模型的指 针放到(1，1)的位置，而不是将整个像素背景模型复制到(1，1)位置， 复制一个指针(4字节)的操作要远远快于复制整个像素背景模型(通 常远大于4字节)的操作。；

步骤7、用校正后的动态背景模型把当前帧图像中的每个像素分 为运动目标或背景。以Vibe背景模型为例，比较当前图像中的像素与 对应的背景模型像素集中的像素在颜色空间中的距离，如果像素集中 有2个像素与当前图像中像素的距离都小于某一阈值，则判定该像素 为背景像素，否则将此像素归为前景像素，即运动像素；

步骤8、用当前图像中归类为背景的像素对动态背景模型进行动 态更新。对于Vibe建模方法，对标记为背景的像素，以的概率去 替换该像素背景模型样本集中的元素进行更新，其中被替换的元素是 在样本集中随机选取的，同时以同样的方法以的概率去更新其邻 居点的背景模型样本值，通常设为16；

步骤9、对当前图像中归类为运动目标的像素进行后处理得到运 动目标。首先使用形态学中的闭运算进行处理，得到运动图像，如图 4所示；然后对处理后的运动图像进行连通域分析，最后利用面积约 束来去除面积过大和面积过小的区域进一步提升检测结果，得到最终 的运动目标。图5是得到的最终运动目标的示例图，矩形框表示的检 测结果。其中面积约束所用面积范围由得到的最终运动目标的平均面 积不断的进行更新。

尽管已参照本发明的特定优选实施例表示和描述了本发明，但本 领域的技术人员应该明白，可以在形式上和细节上对本发明的技术思 想和相关方法做各种各样的改变，而不偏离所附权利要求书所限定的 本发明的精神和范围。