资源有效的神经架构

摘要

神经架构搜索(NAS)是费力的过程。与自动化NAS目标有关的先前工作主要是提高精度，但未考虑计算资源使用。本文提出资源有效的神经架构(RENA)的实施方式，这是使用强化学习的具有网络嵌入的高效的资源受限NAS。RENA实施方式使用策略网络处理网络嵌入以生成新配置。本文还提出与图像识别和关键词检测(KWS)问题有关的RENA实施方式的示例证明。在即使资源严重受限的情况下，RENA实施方式也可找到实现高性能的新型架构。对于CIFAR10数据集，测试的实施方式在计算强度大于100FLOP/byte时具有2.95％的测试误差，并且在模型大小小于3M参数时具有3.87％的测试误差。对于谷歌语音命令数据集，测试后的RENA实施方式实现了在无资源约束的情况下的最先进精度，并在资源严重受限的情况下优于优化的架构。