深度神经网络推理计算中一种基于Profile图的优化方法

摘要

本发明提供了一种深度神经网络推理计算中一种基于Profile图的优化方法，所述深度神经网络推理计算中一种基于Profile图的优化方法包括如下步骤：步骤S1、获取深度神经网络推理计算节点的包含计算量和计算时间的Profile信息；步骤S2、将Profile信息与深度神经网络模型结构描述融合，形成Profile图：根据深度神经网络结构描述文件、Profile信息以及计算核心的信息，构建包含计算量、计算时间、计算函数的Profile图，用于指导计算调度；步骤S3、基于深度神经网络Profile图的计算核心调度，实现性能优化。本发明可以对深度神经网络推理全过程的计算工作负载有更清晰直接的认识，可实现面向具体计算设备计算资源的性能优化调度。