将梯度压缩算法开发注册到深度学习框架中的方法及系统

摘要

本发明公开了一种将梯度压缩算法开发注册到深度学习框架中的方法及系统，抽象与解压缩的通用算子，基于图形处理器实现通用算子并优化其性能，设计一套特定域语言来进一步降低梯度压缩算法的开发门槛，设计一个翻译器将特定域语言代码转换成可在图形处理器上编译并且重复利用其硬件特性以实现高性能的代码；实现一个包装器，支持将上一步得到的代码注册到不同的深度学习框架中，从而对上层开发者隐藏深度学习框架相关的扩展开发开销。以上设计能够在不影响计算正确性的前提下，极大降低图形处理器开发门开，简化梯度压缩算法开发与注册的流程，在图形处理器上实现高效率的梯度压缩算法，从而增强梯度压缩算法在实际训练中的应用。