梯度下降法在机器学习中的应用

摘要

针对机器学习中损失函数优化问题，引入梯度下降法及其变体算法，用迭代的方式求解其近似最优解，采用梯度下降法最小化损失函数，在MATLAB等程序实现的基础上进行研究。对线性回归模型、逻辑斯谛回归模型学习的梯度下降法及其变体算法进行算例分析，通过比较算法的收敛速度与复杂度，得到了对不同的模型的应用实例，需根据不同种类的数据集采用相对较好的优化算法。本文对梯度下降法在机器学习中的应用进行研究，主要内容如下： 第一章：介绍了相关的机器学习算法的研究背景及研究进展，并且给出了本文的主要结果。 第二章：主要介绍了本文研究使用到的理论基础知识。本章首先引入了最优化理论、经典的优化算法梯度下降法及牛顿法，然后针对线性模型，做出原理解释和理论阐述。最后讲述了逻辑斯谛回归模型的学习算法，包括推广的多项逻辑斯谛回归，为下文的研究奠定了理论基础。 第三章：本章首先利用最优化理论中经典的优化算法及线性模型，线性回归采用均方误差形式的损失函数，采用最大化对数似然函数训练逻辑斯谛回归的损失函数。通过对线性回归、逻辑斯谛回归模型学习的梯度下降算法进行算例分析，比较批量梯度下降法与随机梯度下降法的收敛速度，同时分析了不同优化方法的适用条件与优缺点。 第四章：本章对本文做了工作总结并进行了进一步展望。

目录

第一个书签之前

摘 要

Abstract

第1章 绪论

1.1 研究背景

1.3 本文的结构安排及得出的结论

对于多维无约束最优化问题

其中，这个问题的求解是指在

第3章 线性模型的研究

3.1线性回归模型学习的梯度下降算法

致 谢

参考文献

攻读硕士学位期间发表的论文