正面人脸图像眼镜去除方法研究及系统实现

摘要

随着人们对社会安全问题的迫切需求，安防技术已成为社会关注的热点话题，其中人脸识别是安防技术的重要研究之一，主要是对生物特征识别技术的部分研究。在识别的过程中，存在人脸识别准确性低和鲁棒性差的问题，主要因为人的面部受光照、面部姿态、面部表情以及面部遮挡等因素的干扰而造成。而面部遮挡中，深色眼镜边框是常见的遮挡物，从而严重破坏了人脸识别准确度。因此，本文针对正面人脸图像中的眼镜去除方法进行了研究。主要研究内容包括： 1．提出了一种基于边缘信息投影和改进TV修复模型的人脸眼镜去除方法。首先，本文根据鼻梁区域边缘信息确定人脸中是否存在眼镜；其次，根据边缘信息投影的最大值位置坐标定位眼镜所在区域；然后，在定位的眼镜遮挡区域中，通过自动获取种子区域点的区域生长方法进行眼镜模板的提取，同时为了避免提取非眼镜区域，本文采用椭圆形对眼睛区域进行覆盖；最后，根据提取到的眼镜模板图像，通过改进的TV修复模型进行眼镜遮挡区域的扩散修复，完成人脸图像中眼镜的去除。实验结果表明，本文研究的基于边缘信息投影和改进的TV修复模型方法可以有效去除人脸中的眼镜，相比较TV修复模型的去除效果，本文方法去除的视觉效果更佳。 2.提出了一种基于卷积神经网络特征重构的自动眼镜去除方法。首先，方法采用K近邻算法搜索具有相似人脸属性的戴眼镜人脸图像和无眼镜人脸图像作为图像集；其次，将图像集分别映射到网络的特征空间中，计算各自的平均特征值；然后，根据两者的差值计算来获得眼镜属性；最后，将得到的眼镜属性和映射到特征空间中的戴眼镜人脸图像进行差值运算，完成眼镜属性去除，并将眼镜去除后的人脸特征反向映射回像素空间，从而根据目标函数的设计来完成像素图像的重构。 3．基于上述工作，本文采用Matlab设计了正面人脸眼镜去除系统。系统主要包括本文所提出的基于边缘信息投影和改进的TV修复模型的眼镜去除方法及其他修复模型的眼镜去除效果和性能测评。

目录

1 绪论

1.1 课题研究背景及意义

1.2 国内外研究现状

1.3 现存问题及难点

1.4.1 本文主要工作

1.4.2 本文章节安排

2 基于边缘信息投影和改进TV修复模型的眼镜去除方法

2.1 基于边缘信息投影的眼镜检测和定位

2.1.1 基于鼻梁区域眼镜架搜索的眼镜检测

2.1.2 基于双向边缘信息投影的眼镜定位

2.2 基于自动种子区域生长的眼镜模板提取

2.2.1 自动种子点的选取

2.2.2 区域生长预处理

2.2.3 基于区域生长法提取眼镜模板

2.3 基于改进TV修复模型的人脸图像眼镜去除

2.3.1 TV修复模型

2.3.2 基于改进TV修复模型的人脸眼镜去除

2.4 实验结果及分析

2.4.1 眼镜遮挡区域检测和定位

2.4.2 眼镜遮挡区域提取实验结果

2.4.3 眼镜去除

2.5 本章小结

3 基于卷积神经网络特征重构的自动眼镜去除方法

3.1.1 卷积神经网络特征提取结构

3.1.2 卷积层提取特征

3.1.3 池化层筛选特征

3.1.4 激活函数ReLU

3.2 基于卷积神经网络特征重构的自动人脸眼镜去除

3.2.1 VGG-Net

3.2.2 基于相似属性的人脸数据采集

3.2.3 深度特征表示和眼镜属性计算

3.2.4 基于卷积神经网络特征重构的自动眼镜去除

3.3.1 实验数据集与实验环境

3.3.2 基于卷积神经网络特征重构的自动眼镜去除视觉效果

3.3.3 基于卷积神经网络特征重构的自动人脸眼镜去除客观评价

3.4 本章小结

4 系统设计与实现

4.1 系统设计

4.2 系统运行环境

4.3 系统实现

4.4 本章小结

5 总结与展望

5.1 总结

5.2 研究展望

致谢

参考文献

攻读学位期间主要研究成果