基于mapreduce框架的超大规模稀疏矩阵乘法运算的方法

摘要

一种基于mapreduce框架下的大规模稀疏矩阵乘法运算的方法，所述算法由2个mapreduce的job完成，对矩阵A和矩阵B的元素进行正确的分组，使得矩阵A的第i列的元素与矩阵B的第k行的元素进入到同一个reduce的group中，并对该group中每一个来自A的元素和来自B的元素做一次乘积。本发明只需要2个mapreduce操作就可以完成超大规模系数矩阵的乘法，减少算法的运行步骤和时间，本发明降低了对机器内存的要求，只需要机器能用hashmap存储矩阵A的每一行即可进行。