熵启发的分级可微分网络架构搜索

摘要

网络架构是影响卷积神经网络性能的重要因素,由于传统的人工设计方法效率较低,通过算法自动设计网络架构的方法受到了越来越多的关注.可微分网络架构搜索(DARTS)方法,能高效地自动设计网络架构,但其超网络的构建和架构派生策略也存在不足之处.针对其不足之处,本文提出了改进算法.首先,通过量化分析该算法搜索过程中跳连(skip)操作数量的变化,发现共享架构参数的设置导致DARTS算法的超网络存在耦合问题;其次,针对超网络的耦合问题,设计了元胞(cell)分级的超网络,以避免不同层级间cell的相互影响;然后,针对超网络与派生架构在性能表现上存在"鸿沟"的问题,引入架构熵作为目标函数的损失项,以启发超网络的训练.最后,在CIFAR-10数据集上进行架构搜索实验,并分别在CIFAR-10和ImageNet上进行了架构评测实验.在CIFAR-10上的实验结果表明,本文提出的算法解除了不同层级cell间的耦合,提升了自动设计的架构性能,取得了仅2.69％的分类错误率;该架构在ImageNet上的分类错误率为25.9％,实验结果表明搜得的架构具有良好的迁移性.