基于相似度运算符排序的神经架构搜索

摘要

网络架构搜索(NAS)受到了许多关注。基于超网的可区分方法由于其可以有效地共享权重并进行更有效的搜索而变得流行。然而，由权重共享导致的架构与权重之间的不匹配仍然存在。此外，不同运算符之间的关联效应也被忽略。为了缓解这些问题，本文提出通过基于相似度的运算符排序的有效的NAS方法的实施方式。为了近似超网中每层的输出，使用基于统计随机比较的基于相似度的运算符排序。在一个或多个实施方式中，可能引起特征分布差异的最小改变的运算符被剪枝。在一个或多个实施方式中，可以使用公平采样过程来减轻先前超网方法中频繁发生的运算符的Matthew效应。