基于Spark的分布式大规模矩阵乘法的矩阵计算方法

摘要

本发明公开了一种基于Spark的分布式大规模矩阵乘法的矩阵计算方法，包括以下步骤：采用了一种基于分布式计算执行引擎Spark和单机线性代数库BLAS的系统框架；在该分布式系统中，定义与封装矩阵的相关运算接口，从分布式文件系统中读取矩阵文件，针对分布式计算环境的资源量以及待处理矩阵的规模，选择合适的方案执行分布式乘法：若两个矩阵规模都很小，汇集到本地进行单机乘法；若其中一个矩阵规模较小，则广播该矩阵执行乘法；若两个矩阵规模均很大，采用基于分块的分布式矩阵乘法。针对后两种情况，本发明分别提出了两种高效的解决方案，解决了现有的大数据处理平台对分布式矩阵运算的性能低，扩展性不好的问题。