一种基于申威众核处理器的大数据张量典范分解计算方法

摘要

本发明涉及一种基于申威众核处理器的大数据张量典范分解计算方法，1)根据申威众核处理器的特征提出大数据计算方法swMR；2)swMR将申威众核处理器中以8*8网格形式组织的计算处理单元集群CPE分为32个CPE对，网格中每行相邻的两个为一组，其中一个CPE处理映射Map任务，另一个处理归约Reduce任务；3)按照每个CPE对的工作负载情况，在CPE对内进行映射归约Map/Reduce处理角色动态转换，实现动态调整工作负载；4)基于swMR和申威众核处理器，对张量典范分解计算提出了合理的计算方法swTensor。本发明支持机器学习算法以及张量典范分解计算在申威处理器上的实现；通过动态划分工作负载，平衡CPE对内的作业分发情况；基于映射归约MapReduce编程模型，swTensor高效支持张量典范分解计算。