基于全景视觉的网络会议视频处理技术研究

摘要

随着信息技术和计算机网络技术的飞速发展，网络视频会议已成为当下主流的通信方式之一。视场受限和智能化是其发展必须解决的主要问题。本文针对这些问题，采用折反射全景视觉系统采集网络会议的视频，以此扩大获取的会议视场;利用人脸识别技术对会议人员进行身份识别。主要工作内容包括:
　　1.基于全景视觉的网络视频会议系统方案设计。本文首先对全景视觉系统进行了分析与选择，在选择了折反射全景视觉系统和分析了网络视频会议系统组网结构的基础上，进行了基于全景视觉的网络视频会议系统方案设计;分析了系统的组成构件及各部分需要实现的功能;对会议视频采集系统进行了设计并分析了实现会议人员身份识别所需的技术。
　　2.研究了会议人员检测算法。针对实际视频会议环境的复杂性，对柱面全景视频进行预处理工作，包括对每一帧全景图像进行灰度变换、直方图均衡化;采用人眼定位方法，解决了人脸图像存在平面旋转的问题。为获取视频会议中各会议人员所在位置，利用Adaboost算法对会议视频进行人脸检测。针对于全景图像分辨率高使特征提取计算量大的问题，提出缩小检测区域的算法，提高了人脸检测算法的计算速率。最后通过开展多种情况下的试验，结果验证了该检测算法对视频会议中光线、遮挡等影响因素具有良好的鲁棒性。
　　3.研究了会议人员身份识别算法。本文在分析了PCA（Principle Component Analysis，主成分分析）和LBP（Local Binary Pattern，局部二值模式）特征提取算法原理和各自优缺点的基础上，提出一种对光照和会议环境变化具有良好鲁棒性的会议人员身份识别算法:基于PCA和LBP融合的人脸识别算法。通过对比实验证明了本文提出的人脸识别算法具有更好的鲁棒性和更高的识别率。
　　4.根据本文提出的一系列策略，开发了基于全景视觉的网络视频会议应用软件，可以实现获取360°会议场景信息并实时识别会议现场人员身份功能。针对会场人员不同座次、不同参会人数等情况，开展了基于全景视觉的的网络会议应用试验。对会议人员的检测实时性和识别成功率进行充分验证，结果表明本文提出的人脸识别算法的有效性，在实际会议环境中有较好的识别效果。

目录

声明

摘要

第1章绪论

1．1课题的研究背景及意义

1．2国内外研究现状

1．2．1 网络视频会议系统的发展及研究现状

1．2．2人脸检测与识别技术的国内外研究现状

1．3本论文的主要研究工作

第2章基于全景视觉的网络视频会议系统方案研究

2．1 全景视觉系统选择

2．1．1全景成像系统选择

2．1．2折反射镜面选择

2．2折反射全景视觉系统分析

2．3 基于全景视觉的网络视频会议系统方案设计

2．3．1 网络视频会议组网结构分析

2．3．2基于全景视觉的网络视频会议系统方案设计

2．3．3网络视频会议视频采集系统设计

2．3．4参会人员身份识别系统设计

2．4本章小结

第3章基于全景视频的会议人员检测算法研究

3．1会议全景图像柱面展开

3．2人脸图像预处理

3．2．1灰度变换

3．2．2光照预处理

3．2．3 图像尺度归一化处理

3．3 Adaboost人脸检测算法

3．3．1 Haar特征选取

3．3．2积分图计算Haar特征值

3．3．3级联分类器构建

3．4基于缩小检测区域的人脸检测算法

3．5人脸检测的实现与结果分析

3．5．1人脸检测的实现

3．5．2人脸检测结果与分析

3．6本章小结

第4章基于全景视频的会议人员识别算法研究

4．1 人脸特征提取方法研究

4．1．1 LBP特征提取

4．1．2 PCA特征提取

4．2人脸识别算法设计

4．2．1 基于PCA的人脸识别算法

4．2．2基于LBP的人脸识别算法

4．2．3基于PCA和LBP融合的人脸识别方法

4．2．3 PCA和LBP融合算法的实现

4．4本章小结

第5章基于全景视觉的网络视频会议系统实验验证

5．1实验系统设计

5．1．1会议视频采集模块

5．1．2人脸识别模块

5．1．3人脸注册模块

5．2实验验证及结果分析

5．2．1 实验场景

5．2．2实验结果

5．2．3结果分析

5．3本章小结

结论

参考文献

攻读硕士学位期间发表的论文和取得的科研成果

致谢