神经网络的泛化和虚假复杂度分析

摘要

在讨论了现有的泛化理论和“ＶＣ”维理论的基础上，结合考虑了样本复杂度与学习算法等因素，该文提出网络“虚假复杂度”的概念。文中通过分析、比较说明“虚假复杂度”能够很好地解释“ＶＣ”维与实际偏差。在“虚假复杂度”概念基础上，该文采用奇异值分解（ＳＶＤ）的方法，自适应地“压缩”网络。模拟实验表明这个方法很好地解决了网络最优规模的确定问题，从而既缩小了网络规模又提高了网络的泛化性能。