大数据及海量数据处理架构:Hadoop vs MPP

摘要

开发海量数据处理系统时存在技术框架选择不确定问题.从理论及应用角度对两种主流的海量数据处理架构MPP和Hadoop进行对比,分析各自技术特点,阐述其与传统数据处理的优势.分析结果表明,Ha?doop在存储数据规模上可轻松支持PB级别,而MPP架构大多只支持TB级别;Hadoop对海量半结构化、非结构化数据存储和处理有一定优势,但在处理速度和易用性上不及MPP;在结构化数据处理、响应性能和衍生工具等方面MPP则占优,适用于查询业务场景较多项目.通过分析两大框架底层核心技术以及归纳优缺点,为企业相关应用的技术选型提供参考.