基于映射和规约的数据均衡性处理方法、装置及系统

摘要

本发明公开了一种基于映射和规约的数据均衡性处理方法、装置及系统。包括：获取客户端提交的数据，按照预先设置的映射器数对获取的数据进行初始分区；分别对初始分区中的数据进行映射处理，获取中间结果数据；调用分区器函数，对中间结果数据按照预先设置的细粒度分区数进行细粒度分区，所述预先设置的细粒度分区数大于规约分区数；将各细粒度分区中的中间结果数据量信息输出至工作服务器，接收工作服务器返回的细粒度分区与规约分区的对应关系，合并细粒度分区中属于同一规约分区的中间结果数据并输出至对应的规约分区；对规约分区中的中间结果数据进行规约处理，获取相应的数据处理结果。应用本发明，可以均衡数据负载、提高处理数据的效率。