基于聚类算法的深度学习训练改进研究

摘要

深度学习作为机器学习中的一个新研究方向，近年来在各个领域取得了丰硕的研究成果。深度学习网络结构复杂，网络训练时需要大量的数据。然而在现实生活中，很难获得如此大规模的数据；同时由于深度学习层数较多，即使使用反向传播训练网络，也会消耗大量时间。因此如何通过少量数据对网络进行有效的训练成为了深度学习亟待解决的重要问题。 本文在对深度学习和传统聚类算法的特性进行分析总结的基础上，对深度学习的训练方法进行了有效改进。本文主要工作总结如下： 1.针对现有聚类算法存在的不足，提出了一种基于叠加熵的数据游走聚类算法。该算法通过构建熵值能量函数，确定能量辐射域，从而获得样本相对作用范围，在样本空间构建信息熵场，最后通过数据游走实现对样本的聚类。实验结果表明，该算法大大提高了聚类算法的自适应性。 2.证明了k-means聚类算法的矩阵可分解性，从而得出该算法的特征学习表达方式。通过分析卷积的数学意义和物理含义，得出聚类算法特征表达学习与卷积核参数之间的关系，进而得出深度学习卷积过程中卷积参数的初始化方法。 3.通过传统聚类算法对深度学习网络卷积核参数的初始化，并改进深度学习训练结构，用传统聚类算法的特征学习结果辅助深度学习训练，最终实现少量样本深度学习网络的快速训练。 最后，实验结果表明，在医学影像DDSM数据集上，当CNN聚类样本为50×50×50000时，本文提出的基于聚类算法的深度学习训练改进方法，能够在准确率为97%基本不变的前提下，将时间缩短15%，训练数据减少40%。从而实现少量样本训练深度网络，并有效地缩短训练时间。

目录

第一个书签之前