大数据时代勘探处理集群架构的改进

摘要

随着两宽一高采集模式在石油地震勘探工作中成为主流工作模式,地震勘探数据正在不断地大数据化,按照大数据应用“4V”属性判断现今的勘探数据已经是大数据的一个类型,地震勘探数据处理已具备大数据应用的特点.然而传统处理集群建设关注计算力建设的模式使得现有处理集群在大数据应用上适应性很差,很多大规模处理作业发生错误退出,集群整体效率不高并且很容易发生整体瘫痪的现象.为改变这一现象,在系统架构上进行一定的改造,将过去以计算节点为中心的架构转换为存储设备为核心的架构.笔者单位对此进行了一定的尝试并取得了一些效果,改造后的集群系统更能适合勘探大规模数据处理的需要,集群的效率和健壮性得到了一定提升.