基于Pig Latin语言的海量数据分析

摘要

随着互联网的飞速发展，分析海量数据的需求变得十分迫切。针对分布式数据库昂贵及Map-Reduce计算框架中代码难以维护、重用等问题，雅虎研发了自己的海量数据分析平台Pig。Pig平台基于Hadoop的Map-Reduce计算框架并提供类SQL的命令式查询语言Pig Latin，该平台为复杂的海量数据并行计算提供了简易的操作和编程接口。本文对PigLatin语言四种数据模型、常用表达式及关键操作符进行介绍，并结合实例对PigLatin脚本程序进行分析。