基于内容的智能视频监控关键技术及在公共安防中的应用研究

摘要

智能视频监控技术能够自动解读监控视频，发现不寻常的事件并进行预警，其中针对可疑人员的行为进行监控是最重要的一类应用，本文就是在这个范畴内展开相关研究。具体说来，本文围绕人体行为监控，以基于学习的方法为主线，研究了视频中的运动检测、动作识别、人脸超分辨率、表情合成及三维重建技术。 本文首先讨论了采用增量式背景建模进行运动检测与提取。提出一种自适应选取权重的机制，根据每一帧中包含的运动信息自动为这一帧选取权重，并用加权的视频帧更新背景模型。本文提供了一种合理的权重表达和自适应的权重计算方法。该方法能够很好地适应场景动态变化，即使在视频中包含复杂背景运动时仍能生成高质量的背景图像，提高了背景建模的鲁棒性。 为了对监控视频中出现的人体行为进行自动解读，本文研究了人体动作的自动识别方法，用来识别特定场合中几种具有危害性的异常动作。这是一种基于模板匹配的视点无关的人体动作识别方法。动作模板由子空间中的几个超球构成，集成了多种人体动作在多个视点下的特征，动作识别是通过待识别动作与模板中样例动作之间的相似度匹配实现的。动作超球融合了多视点下的人体运动特征，有利于进行视点无关的人体动作识别；另外基于超球的识别方法在计算效率上要优于传统的kNN算法。 监控视频中人脸区域通常很小，辨识度很差，这给主观的人脸识别造成了一定的困难，为此本文提出一种基于样本学习的两阶段人脸超分辨率技术。在第一阶段，采用局部保持幻想算法合成全局的高分辨率人脸图像；在第二阶段，为了补偿全局高分辨率人脸图像的局部细节特征，采用基于邻域重建的图像残差合成技术。本文提出的方法能够根据低分辨率人脸图像合成具有不同视觉效果的高分辨率人脸图像，消除了分辨率过低对人脸识别造成的影响。 为了解决人脸表情变化给人脸识别带来的问题，本文先后提出了基于图像的和基于视频的人脸表情合成方法。前者采用特征关联学习算法根据一幅中性表情人脸图像合成具有其它表情的人脸图像；后者是一种结合局部线性和全局非线性子空间分析的两层融合方法，其中局部线性子空间学习采用特征表示技术在时间域对视频样本进行压缩、全局非线性子空间学习在空间域内产生优化的人脸表情。合成的表情比较真实自然，有助于在表情变化时进行人脸识别。 为减小监控视频中人脸姿态变化对人脸识别造成的影响，本文先后提出基于像和视频的三维人脸重建，为人脸识别提供辅助信息。基于图像的人脸重建采用自适应的局部线性嵌入算法对样本空间进行非参数化采样，并基于采样结果合成特定的三维人脸模型。通过基于约束的纹理映射合成真实感人脸。基于视频的人脸重建首先在未标定的单目视频首帧自动标注一定数目特征点，然后使用仿射矫正的光流方法对特征点进行鲁捧的跟踪，采用SFM算法恢复相机投影矩阵和特征点三维坐标，基于人脸特征对一般人脸变形得到个性化人脸模型和表情效果，最后采用动态纹理映射方法合成真实感外观效果。本文为智能视频监控提供了一种总体解决方案，并围绕智能视频监控关键技术展开研究，取得了初步成果。在本文的总结与展望中指出，智能监控领域的许多问题仍然需要深入进行研究探索。

目录

文摘

英文文摘

论文说明：图表目录

第1章引言

1.1研究背景

1.2研究问题

1.3本文贡献

1.4论文组织

第2章智能视频监控相关技术综述

2.1单摄像机运动检测

2.1.1时间域差分(Temporal Difference)

2.1.2光流法(Optical Flow)

2.1.3背景建模(Background Modeling)

2.2人体运动跟踪

2.2.1二维人体跟踪

2.2.2三维人体跟踪

2.2.3单相机跟踪

2.2.4多相机跟踪

2.2.5视觉跟踪技术发展趋势

2.3人体行为理解

2.3.1基于模板匹配的方法(Memplate Matching)

2.3.2基于统计模型的方法

2.3.3高层行为语义描述

2.3.4人体行为理解存在的问题

2.3.5人体行为理解的发展趋势

2.4身份识别

2.4.1步态识别

2.4.2人脸识别

2.5当前已存在的智能视频监控系统

2.5.1 VSAM(Visual Surveillance and Monitoring)系统

2.5.2 W4系统

2.5.3 Pfinder系统

2.5.4 CBSR(Center for Biometrics adn Security Research)智能视频监控系统

2.6本章小结

第3章自适应选取权重的增量式特征背景建模

3.1相关工作

3.2自适应的增量式特征背景建模

3.2.1主成分分析(PCA)

3.2.2视频帧中运动区域的自适应权重选取

3.2.3加权的增量式特征背景建模

3.3实验结果及讨论

3.4本章小结

第4章基于模板匹配的视点无关的实时异常动作识别

4.1相关工作

4.2动作超球：视点无关的动作表示方法

4.2.1 MHI的极坐标特征

4.2.2动作超球

4.3动作模扳

4.4动作识别

4.5实验结果

4.6本章小结

第5章融合全局特征与局部细节信息的人脸图像超分辨率

5.1相关工作

5.2流形学习与人脸超分辨率

5.3两阶段人脸超分辨率方法

5.3.1低分辨率流形vs.高分辨率流形

5.3.2第一阶段：采用LPH(Locality Preserving Hallucination)算法合成全局高分辨率人脸图像

5.3.3第二阶段：基于邻域重建(Neighbor Reconstruction)的人脸残差补偿

5.4实验结果与分析

5.4.1数据集

5.4.2一般人脸图像超分辨率

5.4.3人脸表情超分辨率

5.4.4人脸附属物的超分辨率

5.4.5实拍图像的超分辨率

5.5本章小结

第6章基于图像和视频的人脸表情合成

6.1相关工作

6.2基于图像的人脸表情合成

6.2.1特征关联学习(Eigen-associative Learning)

6.2.2基于EAL的表情图像合成

6.2.3实验

6.3基于视频的人脸表情合成

6.3.1人脸兴趣区域

6.3.2两层的层次化框架

6.3.3基于视频的动态人脸表情合成

6.3.4实验结果与讨论

6.4本章小结

第7章基于图像和视频的三维人脸重建

7.1相关工作

7.2基于图像的三维人脸重建

7.2.1自适应的局部线性嵌入算法(Adaptivie Locally Linear Embedding)

7.2.2基于ALLE算法重建三维人脸模型

7.2.3基于约束的纹理映射

7.2.4实验与讨论

7.3基于视频的三维人脸重建

7.3.1人脸特征点跟踪

7.3.2个性化人脸建模

7.3.3动态表情建模

7.3.4基于特征脸的视频压缩

7.3.5实验结果

7.4本章小结

第8章总结与展望

8.1总结

8.2展望

参考文献

攻读博士学位期间主要的研究成果

致谢