基于微服务的石油大数据挖掘平台

摘要

为推进大数据技术在油田领域的快速融合和应用,提出一种覆盖大数据处理整个生命周期的多功能大数据处理平台.平台融合各类大数据分析框架和机器学习框架,设计面向油田领域,能够支持实时和离线处理的数据挖掘功能.基于Docker容器封装各类计算框架和算法服务,并基于Kubernetes框架完成容器的编排与调度.在系统的架构方式上采用基于微服务的架构方式,将不同技术栈的应用独立分解为单个服务模块,以此来保证业务系统服务的可靠性、可扩展性.这使得企业数据分析人员能够专注于业务数据分析问题,而不必花费大量时间学习框架部署和其他大型数据挖掘技术细节.