彩色视频中的多目标跟踪

摘要

运动物体检测与跟踪是数字视频处理中非常重要的一个方面，同时也有着非常重要的应用方向，同时也是安全监控等工作的基础。目前，大量离线监控视频仍然通过人工检查的方式进行处理，不但费时费力，而且处理的效率很低。经过检测与跟踪的物体可以直接进行分类判别、行为分析等处理，大大降低了冗余的信息量，有效的提升了视频的处理效率。本文在现有的研究基础上，进行了细致的分析和大胆的创新，使本文方法在跟踪效果和跟踪稳定性上均得到了增强。通过在VIRAT和MIT数据集上的对比试验表明，本文提出算法的各项指标均优于几种现有算法。
　　本文针对运动检测，运动物体检测，基于运动的分割以及运动估计四个核心问题进行了大量研究，这也是计算机视觉方面的基础研究之一。而具体的问题则有在静态和非静态摄像的情况下，通过图像流中的信息来对一个或者多个运动物体进行检测和跟踪。本文主要进行该问题两个方面的研究，即基于直方图均值漂移方法的预测与基于速度参数滤波方法的预测。在预测过程中所使用的参数主要为颜色直方图，颜色遮罩，以及直方图反投影等。
　　为了更好的完成算法的设计与改进，本文对多种特征及算法进行了深入的分析，形成了对于传统和经典算法全面的认识和深入的理解。本文重点对CAM SHIFT算法和Kalman滤波器进行了探讨，对其优缺点进行了总结，并形成了系统的改进方案。除此之外，本文还对轮廓特征、颜色特征以及一些相关的改进方法与思想进行了简述。通过完成对现有算法和特征的大量研究，本文形成了完善的算法构思与框架，为算法的具体实现打下了基础。
　　本文首先在CAM SHIFT算法的基础上提出了改进的运动跟踪算法MDCM算法，通过将内容转换至HSV空间以及颜色遮罩的建立来实现对多个物体的高精度跟踪。由于在计算过程中使用了色调作为主要的跟踪特征，使其受到周围环境的干扰最小化，同时使用了基于直方图反投影的迭代方法，使跟踪总是处于最优的状态。在经过了对其参数的优化之后，其可以很好的对不同类型视频中的运动物体进行良好的跟踪。经过与Mean SHIFT、CAMSHIFT以及其改进算法的对比实验表明，MDCM算法优于现有算法。
　　除了以上的均值漂移算法之外，对于运动物体的预测与滤波也通常被用来对其进行跟踪。本文基于Kalman滤波器提出了参数预测算法MCMP。对于视频中的运动物体，MCMP通过降低噪音和使用多种特征进行物体中心定位的方法实现更好的跟踪。结果表明，MCMP可以适应更多情况，同时具有更好的跟踪精度。
　　本文的研究成果为提出了视频运动物体的改进算法MDCM与MCMP，可以准确的对多个运动物体进行分别的跟踪，很好的提升了现有运动跟踪算法，对计算机视觉中后续处理提供了基础，具有一定的参考价值。

目录

声明

Abstract

摘要

Table of Contents

List of figures

List of Tables

Lists of Abbreviations

1 Introduction

1．1 Background

1．1．1 Terms definition

1．1．2 Areas covered

1．2 Motivation

1．3 Definition of the problem

1．4 Objectives and expected results

1．5 Research method

1．6 Dataset of Videos

1．7 Structure of the thesis

2 Theoretical Framework

2．1 Object Tracking Categorization

2．2 Corner Detector Combined with Optical Flow

2．2．1 Corner detection

2．2．2 Optical flow

2．3 Speeded up Robust Features (SURF)

2．4 Local Binary Pattern

2．5 Beyond Semi-Supervised Online Boosting Tracking

2．6 Mean Shift Tracking

2．7 Continuously Adaptive Mean Shift (CAMSHIFT) Tracking

2．7．1 Color Probability distribution and histogram back projection

2．7．2 Mass center calculation

2．7．3 CAMSHIFT advantages and disadvantages

2．8 CAMSHIFT／Mean-Shift Improvement in Literatures

2．8．1 CAMSHlFT and Mean-Shift combined with interest points

2．8．2 CAMSHIFT improvement using new HSV model

2．8．3 CAMSHIFT with improvement of object localization

2．9 Kalman filter

2．9．1 Mathematical Formulation of Kalman Filter

2．9．2 How does Kalman Filter work?

2．9．3 Example of appling the Kalman filter

2．9．4 Opencv and Kalam Filter

2．10 Summary

3 Adaptive CAMSHIFT for Multi-object Tracking using MDCM

3．1 The Key Steps of Multi-Dominant Color Model

3．2 Techniques of Multi-Dominant Color Model

3．2．1 Object Localization

3．2．2 Object Modeling

3．2．3 Making Color Mask

3．2．4 Segmentation

3．2．5 Histogram Back Projection

3．2．6 Result Analysis Method

3．3 Experiments Results

3．3．1 Implementations

3．3．2 Results and Discussions

3．3．3 Result analysis

3．4 Summary

3．4．1 Advantages

3．4．2 Some limitations

4 Adaptive Kalman Filter for Multi-Object Tracking Using MCMP

4．1 The keys steps of Multi-Color Model with Prediction

4．2 Techniques of multi-color model with Prediction

4．2．1 Image Acquisition

4．2．2 Color extraction

4．2．3 Thresholding

4．2．4 Median smoothing

4．2．5 Image center point detection and association

4．2．6 Kalman Filtering

4．2．7 Result analysis

4．3 Experiments Results

4．3．1 Real time detection

4．3．2 Real time Multi-Objects detection and tracking

4．3．3 Result analysis (test video from USB camera：60 Frames)

4．4 Summary

4．4．1 Advantages

4．4．2 Disadvantages

5 Conclusion and Further Work

5．1 Conclusion

5．2 Further work

References

Acknowledgements