基于自适应静态数据布局策略的深度学习张量程序自动生成框架

摘要

如何确定静态数据布局是深度学习张量程序自动生成框架面临的重大挑战。Ansor作为目前应用最广泛、最具前景的此类框架,其根据预先指定的单一静态数据布局策略,训练性能预测模型,依据该模型搜索最佳性能的张量程序。但其存在单一策略非最优和性能预测模型不准确的问题。为此,本文提出基于自适应静态数据布局（AL）策略的深度学习张量程序自动生成框架AL-Ansor。AL-Ansor在搜索过程中自适应地选取多种静态数据布局策略,共同训练性能预测模型,从而搜索得到性能更高的张量程序。本文以32核Intel Xeon CPU为目标硬件平台,在多个卷积层上进行实验,结果表明,在同样的搜索次数下,相较于基于3种指定静态数据布局策略的Ansor,AL-Ansor生成的张量程序分别有13.81%、12.41%和16.59%的平均性能提升。