面向AI芯片虚拟化的学习型调度算法RLOD

摘要

AI芯片虚拟化是一种将AI芯片虚拟分构成许多逻辑互通的独立计算资源,来满足多用户并行使用的可靠技术。但是使用AI芯片上的调度器对许多实例进行调度时,如果不能实现对每个实例上任务的资源合理分配,就会导致计算资源的浪费,降低AI芯片的总体使用效率。因此本文提出了一种基于强化学习的面向AI芯片智能化调度算法RLOD,可以结合实例的情况特征与AI芯片的运行状态,合理高效调度相关任务,进一步提高AI芯片的使用效率。