一种机器学习工具中间件及机器学习训练方法

摘要

本发明公开了一种机器学习工具中间件及机器学习训练方法，机器学习工具包括至少一个训练单元，每个训练单元都设置有与机器学习工具结合的中间件，中间件包括底层通信模块，以及数据分发模块、模型参数更新模块、训练参数调整模块和训练停止判断模块中的至少一块。训练单元通过所述中间件从数据存储设备中分发需要的数据到各个训练单元能够访问的存储单元，以便各个训练单元从所述存储单元中读取数据进行训练；并通过中间件之间对应模块的通信完成训练单元模型参数的更新、各训练单元训练参数的调整；以及基于所有训练单元的训练信息来进行是否停止训练的判断。本发明的中间件负责进行大规模并行训练所需要的处理，对各种机器学习工具方便扩展。