基于动态指导的深度学习模型稀疏化执行方法

摘要

以深度学习为代表的人工智能技术迅速发展,庞大的数据、模型,更大的计算量和更复杂的计算都对模型的执行提出了挑战.在实际应用中,资源和应用的动态特征以及用户的动态需求,需要模型执行的动态性来保证.而稀疏化是在资源受限、用户需求调整情况下动态模型的执行重要手段.目前主流的稀疏化技术主要是针对特定问题的稀疏化,且针对推理的多,针对训练的少,缺乏在训练执行阶段进行动态调整和稀疏化的手段.本文在对深度学习领域的基本计算单元进行可稀疏性分析的基础上,进一步分析了模型执行的不同层面、不同组成部分的稀疏化能力;经过对动态需求、模型稀疏化策略的建模后,提出了基于动态指导的深度学习模型稀疏化执行方法,并进行了基本实验;最后从量化建模与量化实验的角度对今后的研究工作提出了展望.