基于Spark的分布式大数据分析算法研究

摘要

随着大数据时代的到来,数据计算的实时性和数据量面临许多挑战.为了满足庞大的数据量和大数据高速处理的要求,研究将Apache作为一种集成的资源管理系统.采用Apache Storm、Apache Spice及SARKRDD处理大型分布式实时数据流,使用Apache Kafka作为消息中间件来支持异步消息的通信.设计一种支持并行运算规则的分布式大数据分析处理算法.实验结果表明:该算法可有效降低海量数据的分析速度,且支持系统内各子系统间的异构信息沟通与数据存储,足以满足高频交易市场的短期趋势预测需求.在高频、大数据处理系统中具有较高的应用价值.