深度学习大数据分析计算平台

摘要

近年来,大数据所隐含的巨大价值越来越受到各行各业的重视,大数据分析需要从纷繁复杂的数据中发现规律提取新的知识,是大数据价值挖掘的关键,而大数据计算处理,正是支持知识挖掘分析的基础。建立一套符合大数据特性的深度学习分析范式和一个可扩展的大规模深度学习并行计算平台,是大数据计算和分析研究中的一个重要挑战。通过操作系统容器进行计算资源轻量级虚拟化封装,进行有效计算资源管理,为计算节点提供轻量级虚拟化环境而几乎无额外开销,提高计算平台的管理效率和资源利用率。