黑箱优化导向的序贯均匀设计

摘要

在试验设计中,序贯均匀设计(sequential uniform design)是一种基于区域压缩思想的序贯空间填充设计,又可称为序贯数论优化方法(简记为SNTO),常被实际工作者用来寻求黑箱优化问题的全局最优值。该算法的核心思想是在每阶段的压缩子区域内迭代散布低偏差序列,如数论格子点(number-theoretic net),均匀设计(uniform design)等。原始的SNTO算法存在两个缺点:1)它是一种纯粹的区域压缩搜索算法,搜索过程中未使用任何统计代理模型信息,只关注试验点本身的信息;2)迭代过程中,非最优试验点的信息被完全丢弃,未被充分利用。本文引入序贯自适应试验设计思想,帮助SNTO算法更好的确定区域压缩中心,并称改进后的算法为EI-SNTO方法。该算法通过建立高斯过程代理模型,采用期望提高准则(expected Improvement,EI)和重要性抽样来帮助选择和更新试验点。一些经典的优化检验函数模拟结果验证了EI-SNTO算法的优化性能,同时本文还展示了该算法在机器学习模型(包括支持向量机和人工神经网络)超参数优化中的优良表现。