首页> 中文期刊>信息技术与信息化 >Hadoop平台中的MapReduce模型及优化

Hadoop平台中的MapReduce模型及优化

开具论文收录证明 >>

期刊封面封底目录下载 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

MapReduce是一种并行数据处理模型.本文讨论了MapReduce模型和其在Hadoop下的实现,研究了其在shuffle过程中可能出现的Reduce端数据倾斜和相关的解决方案.最后说明了在Hadoop下MapReduce的优化配置和使用.

著录项

来源
《信息技术与信息化》|2017年第12期|82-85|共4页
作者
杨朝辉; 康磊;
展开▼
作者单位

西安石油大学计算机学院陕西西安 710065;

展开▼
原文格式 PDF
正文语种 chi
中图分类
关键词
MapReduce; shuffle; 分区算法; MapReduce优化;
入库时间 2022-08-18 05:33:43

相似文献

中文文献
外文文献
专利

1. 基于Hadoop平台的MapReduce模型任务调度算法的研究与改进 [J] . 李霞 ,柯琦 . 数字技术与应用 . 2017,第002期
2. 基于Hadoop平台的MapReduce模型任务调度算法的研究与改进 [J] . 李霞1 ,柯琦2 . 数字技术与应用 . 2017,第002期
3. Hadoop平台下MapReduce模型调度算法研究 [J] . 刘伟 ,杜永文 ,吕晓剑 . 广西民族大学学报（自然科学版） . 2014,第003期
4. 基于MapReduce模型的并行处理优化策略 [J] . 王鹏 ,刘鹏 ,刘佳祎 . 电子技术与软件工程 . 2021,第001期
5. 基于MapReduce模型的推测执行优化算法 [J] . 黄中平 ,白光伟 ,沈航 . 计算机科学 . 2017,第004期
6. MRI:面向并行迭代的MapReduce模型 [C] . Yang Shuangtao ,杨双涛 ,Ma Zhiqiang . 2016年全国高性能计算学术年会 . 2016
7. Hadoop平台的MapReduce模型性能优化研究 [A] . 姚洪哲 . 2014

获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

客服微信
服务号