平滑网络在人脸识别对比损失函数最优化中的应用

摘要

本文主要研究的是深度学习中高度非凸非线性损失函数的优化问题，介绍了平滑网络并将其应用到如今非常火热的人脸识别技术中。平滑网络通过给网络加入噪声的方法来训练非凸的损失函数，继承了延拓法和退火法的主要思想，先训练较简单的凸的目标函数，再渐渐增加目标函数的复杂度直到最后训练原始的高度非凸非线性的目标函数。
　　本文首先介绍了平滑网络的构成，阐述了平滑子、弱梯度的概念以及通过加入噪声来对函数进行平滑的训练方法，随后引出了用于人脸识别的Siamese网络的对比损失函数，其通过距离来描述图像间的相似性。本文将平滑网络优化法用于对比损失函数的优化问题中，利用MUCT面部数据库中的人脸图片进行实证分析，通过交叉验证的方法对数据进行训练和测试，并将平滑网络方法与传统的Siamese网络的优化方法在损失函数、分类准确率以及ROC曲线这三个方面进行了学习效果对比，最终发现平滑网络优化法在高度非凸非线性损失函数的优化问题中更加高效可行，并且拥有更高的分类准确率。

目录

声明

摘要

第一章 绪论

1．1 深度神经网络的研究概况

1．2 深度学习中优化算法的研究概况

1．3 人脸识别智能网络的研究概况

1．4 本文的主要工作

第二章 平滑网络

2．1 引言

2．2 延拓法与退火法

2．3 广义平滑子与噪声平滑子

2．4 训练方法

2．5 前向网络的目标函数简化

2．5．1 单元饱和处加入噪声并将网络线性化

2．5．2 目标函数简化

2．6 平滑LSTMs和GRUs模型

2．7 p的退火过程

2．8 第二章小结

第三章 Siamese网络

3．1 简介

3．2 Siamese网络框架

3．2．1 相似性度量下的人脸识别

3．2．2 EBM能量函数

3．2．3 训练期间的对比损失函数

3．2．4 卷积神经网络GⅣⅣ

3．3 第三章小结

第四章 实证分析

4．1 人脸数据

4．1．1 数据简介

4．1．2 数据预处理

4．2 CNN网络设置

4．3 训练过程

4．4 结果分析

4．4．1 参数变化

4．4．2 学习效果对比

4．5 本章总结

第五章 结论与展望

5．1 结论

5．2 不足与展望

致谢

参考文献