多摄像机协作分布式智能视觉监控中若干问题研究

摘要

智能图像传感器是分布式视觉监控系统的关键设备，如果用高性能计算机来设计智能图像传感器，则成本过高。并且一般计算机的可靠性较差，不能满足视觉监控系统连续工作的需要。近年来，数字信号处理器(DSP)的运算速度大幅提升，而价格不断下降，因此可以用DSP代替计算机来设计智能图像传感器，降低成本并提高可靠性。与高性能计算机相比，DSP的计算能力毕竟有限，在计算机上取得良好性能的多数复杂算法不能直接应用到DSP上，必须根据DSP的计算能力设计新的算法或者对以往算法进行改进，在保证算法性能的前提下尽量降低算法的复杂度。 本文就是以基于DSP的网络摄像机为硬件平台，研究分布式智能视觉监控中背景重建、运动目标检测及跟踪、人脸检测跟踪、摄像机标定、多摄像机协作监视等基础性问题，着力解决算法复杂度与算法性能之间的矛盾。主要成果及创新如下： (1)快速而准确的背景重建是分布式智能视觉监控的重要基础之一。论文提出两种快速背景重建算法，即基于背景象素值出现频次最高假设的背景重建改进方法和利用运动分割结果指导背景更新的背景重建方法。第一种方法先去掉前景点，再统计背景点各像素值出现的频次，选出频次最大的灰度值作为背景灰度值，算法能快速有效地重构背景，并且当目标运动缓慢或在某一区域频繁出现导致前景点出现的概率大于背景点时，仍能正确重构背景。第二种方法利用运动分割检测出“虚假”的运动区域，仅对“虚假”运动区域进行背景更新，计算量小，更新速度快，并且算法不受背景点出现频次的限制。 (2)单摄像机跟踪是多摄像机跟踪的基础。论文给出一种运动检测与运动搜索相结合的卡尔曼预测多目标跟踪算法，算法使用跟踪置信度策略，在单摄像机条件下，能统一处理遮挡、合并、分裂等情况，具有较强的多目标跟踪能力。 (3)视频人脸检测、跟踪是视觉监控系统的一项重要功能。论文综合应用肤色特征和人脸区域的边缘点方向特征，给出一种基于贝叶斯分类器的快速视频人脸检测方法，并利用人脸检测及kalman预测实现多人脸的跟踪。 (4)通过摄像机标定获取目标的世界坐标是视觉监控的重要任务之一。论文提出一种基于四元数的运动摄像机旋转矩阵的在线标定方法，标定方法简捷，重建世界坐标误差较小。另外提出一种基于人体身高模型的单摄像机目标定位新方法，能通过外参数未标定的单个摄像机获取目标在地平面上的二维坐标，满足室内或室外运动目标定位的需要。 (5)多摄像机协作是提高分布式视觉监控系统智能性的重要方法。论文提出一种联盟机制多摄像机协作模型，利用基于任务需求与摄像机能力距离匹配的协作联盟快速生成算法选择择多个摄像机来跟踪目标，并用加权轨迹融合算法提高轨迹的精度。

目录

文摘

英文文摘

论文说明:图表目录

声明

致谢

第一章概述

1.1课题研究背景

1.2智能视觉监控中的关键问题

1.2.1 Marr计算视觉理论框架

1.2.2智能视觉监控的关键问题

1.3分布式智能视觉监控系统及其关键问题

1.3.1系统物理结构及功能

1.3.2图像传感器计算资源受限

1.3.3多传感器协作监视

1.4本文主要工作及论文安排

1.4.1本文主要工作

1.4.2论文组织

第一章参考文献

第二章背景重建及运动检测

2.1背景重建概述

2.1.1影响背景重建的因素

2.1.2滤波及线性预测背景重建

2.1.3统计模型背景重建

2.1.4象素值归类背景重建

2.2运动目标的检测

2.2.1光流法

2.2.2帧差法

2.2.3背景减法

2.2.4运动目标阴影消除

2.3形态学滤波及目标分割

2.3.1形态学滤波

2.3.2目标区域分割

2.4背景象素值频次最高假设下的背景重建

2.4.1背景重构算法描述

2.4.2运动检测实验结果分析

2.4.3算法适应性讨论

2.5运动分割结果指导的背景重建

2.5.1结合运动分割的背景更新算法的提出

2.5.2算法描述

2.5.3运动检测实验结果分析

2.5.4算法适用性分析

2.6本章小结

第二章参考文献

第三章单摄像机运动跟踪

3.1运动跟踪基本问题

3.1.1目标的描述

3.1.2目标运动模型

3.1.3噪声运动及目标阴影的处理

3.1.4运动场景下的目标跟踪

3.1.5多目标跟踪

3.2运动状态的预测

3.2.1卡尔曼预测

3.2.2扩展卡尔曼预测

3.2.3卡尔曼预测跟踪系统模型

3.2.4卡尔曼预测初始条件的确定

3.2.5卡尔曼预测的性能评估

3.3运动检测与运动搜索相结合的卡尔曼预测多目标跟踪

3.3.1动态目标链及置信度

3.3.2算法的提出

3.3.3目标被背景遮挡的处理

3.3.4目标合并及完全遮挡的处理

3.3.5目标分裂的处理

3.3.6多目标跟踪算法步骤

3.3.7多目标跟踪实验结果

3.4本章小结

第三章参考文献

第四章贝叶斯分类器视频人脸检测及跟踪

4.1人脸检测方法回顾

4.1.1基于先验知识的人脸检测

4.1.2基于统计模型的人脸检测

4.2肤色模型与贝叶斯分类器相结合的人脸检测

4.2.1颜色空间

4.2.2肤色模型的选择

4.2.3 Bayes分类器的特征选择

4.2.4 Bayes分类器的训练

4.2.5基于Bayes分类器的人脸检测

4.2.6人脸检测算法步骤

4.2.7视频人脸检测实验结果

4.3结合kalman预测的人脸跟踪

4.4本章小结

第四章参考文献

第五章摄像机旋转运动参数的在线标定

5.1摄像机模型

5.1.1小孔成像模型

5.1.2摄像机外部参数

5.1.3摄像机内部参数

5.1.4透镜畸变

5.2摄像机标定概述

5.2.1基于标定物的传统标定方法

5.2.2摄像机自标定

5.2.3主动视觉摄像机标定

5.3摄像机旋转运动参数的在线标定

5.3.1摄像机的旋转运动

5.3.2旋转矩阵的欧拉角表示

5.3.3四元数定义

5.3.4旋转矩阵的四元数表示

5.3.5视觉监控中旋转矩阵的四元数求解

5.4本章小结

第五章参考文献

第六章身高模型单摄像机目标定位

6.1引言

6.2身高模型单摄像机目标定位原理

6.2.1地平面坐标系

6.2.2身高模型原理

6.3基于身高模型的目标定位

6.3.1身高模型的获得

6.3.2目标横向位置确定

6.4单摄像机目标定位实验

6.5本章小结

第六章参考文献

第七章联盟机制多摄像机协作目标跟踪

7.1多摄像机数据融合概述

7.1.1多摄像机数据融合的层次

7.1.2目标关联问题及数据同步问题

7.1.3多摄像机跟踪目标轨迹融合

7.2多摄像机规划策略

7.2.1摄像机初始规划与动态规划

7.2.2摄像机动态规划策略

7.3基于能力距离匹配的联盟生成快速算法

7.3.1协作监视联盟的描述

7.3.2联盟生成快速算法

7.3.3联盟生成快速算法仿真实验

7.4基于数据置信度的加权轨迹融合

7.4.1轨迹融合的算法原理

7.4.2分段轨迹融合实现

7.4.3轨迹融合算法步骤

7.4.4轨迹融合实验

7.5本章小结

第七章参考文献

第八章总结与展望

8.1论文主要工作

8.2下一步工作展望

8.2.1智能视觉监控系统构建

8.2.2开展高层视觉处理

8.2.3完善MAS模型分布式智能视觉监控系统

攻读博士学位期间发表的论文

攻读博士学位期间参加课题情况