节点地震数据切分的性能优化方法及装置

摘要

本发明提供一种节点地震数据切分的性能优化方法及装置，包括：把切分一个节点所用到的所有激发点信息对象按照放炮时间进行升序排序，将排序后的所有激发点信息对象放到数组中，所述激发点信息对象包括线号SLNo、点号SPNo、放炮时间shootTime、本道在输出道集中的索引outIndex；计算数组中每个激发点信息对象的索引；根据数组中激发点信息对象的个数和每道地震数据的字节数，确定输出文件所需的空间；按照数组中激发点的放炮时间分批切分出每道的数据，基于输出文件所需的空间，将每批道数据按线号SLNo、点号SPNo升序排列后写入输出文件中指定的位置。该方案可以达到内存资源的消耗及数据切分效率之间的平衡。

说明书

技术领域

本发明涉及石油勘探技术领域，特别涉及一种节点地震数据切分的性能优化方法及装置。

背景技术

节点是一个连续采集的仪器，定时记录其传感器的震动幅度(例如每隔1毫秒)，节点放到海底后会有一条炮船在水面上利用气枪放炮，放炮后形成的地震波会直接或经过地层反射后传递到节点。节点只是连续记录数据，但并不知道什么时候放的炮，什么时候记录的数据是有效的。而放炮的系统会准确记录下每炮的激发时间，节点也记录了起始记录时间及样点间隔，数据切分的过程就是根据这两个时间把放每一炮时这个节点所记录的一段有效数据(大约10秒)给找出来。

现有技术实现数据切分的方法,是把一个节点数据全部读入内存中,然后进行切分处理,切分完成经过排序后再整体写入文件；举个例子，比如一个节点有10GB数据，那么读数据就需要占用10GB内存，切分模块需要20GB内存(切分模块需要原始数据和切分后数据的内存空间)，输出模块也需要占用10GB内存(为了提高性能，这几个模块都是并行的，也就是说当输出模块在输出节点1的数据时，切分模块正在切分节点2的数据，同时输入模块正在读取节点3的数据)，那么要想切分这样的节点数据，理论上最少需要40GB内存，计算机内存少了，软件根本无法申请到足够的内存，无法使用。也就是说，进行数据切分时，对内存数量有严格要求，硬件的配置达不到要求则无法使用。

发明内容

本发明实施例提供了一种节点地震数据切分的性能优化方法及装置，解决了现有技术中不能达到内存资源的消耗及数据切分效率之间的平衡的技术问题。

本发明实施例提供了一种节点地震数据切分的性能优化方法，该方法包括：

把切分一个节点所用到的所有激发点信息对象按照放炮时间进行升序排序，将排序后的所有激发点信息对象放到数组中，所述激发点信息对象包括线号SLNo、点号SPNo、放炮时间shootTime、本道在输出道集中的索引outIndex；

计算数组中每个激发点信息对象的索引；

根据数组中激发点信息对象的个数和每道地震数据的字节数，确定输出文件所需的空间；

按照数组中激发点的放炮时间分批切分出每道的数据，基于输出文件所需的空间，将每批道数据按线号SLNo、点号SPNo升序排列后写入输出文件中指定的位置。

本发明实施例还提供了一种节点地震数据切分的性能优化装置，该装置包括：

排序存储模块，用于把切分一个节点所用到的所有激发点信息对象按照放炮时间进行升序排序，将排序后的所有激发点信息对象放到数组中，所述激发点信息对象包括线号SLNo、点号SPNo、放炮时间shootTime、本道在输出道集中的索引outIndex；

索引计算模块，用于计算数组中每个激发点信息对象的索引；

输出文件所需的空间确定模块，用于根据数组中激发点信息对象的个数和每道地震数据的字节数，确定输出文件所需的空间；

切分存储模块，用于按照数组中激发点的放炮时间分批切分出每道的数据，基于输出文件所需的空间，按照索引将每批道数据按线号SLNo、点号SPNo升序排列后写入输出文件中指定的位置。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。

在本发明实施例中，根据输出文件所需的空间确定内存使用方案，解决了现有技术中不能达到内存资源的消耗及数据切分效率之间的平衡的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种节点地震数据切分的性能优化方法流程图；

图2是本发明实施例提供的一种节点地震数据切分的性能优化装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中，提供了一种节点地震数据切分的性能优化方法，如图1所示，该方法包括：

步骤101：把切分一个节点所用到的所有激发点信息对象ShotPoint按照放炮时间进行升序排序，将排序后的所有激发点信息对象放到数组SPVector中。

其中，所述激发点信息对象ShotPoint包括线号SLNo、点号SPNo、放炮时间shootTime、本道在输出道集中的索引outIndex。

每炮会根据其坐标计算一个线号和点号，可以理解为将施工区域划分为一个平面网格，每炮都落在一个网格上，其线号和点号就是网格的行号和列号。

线号SLNo、点号SPNo、放炮时间shootTime是输入的数据，而本道在输出道集中的索引outIndex是由后续步骤计算得出的。对激发点信息计算其outIndex值是为后面的分批处理做准备，使分批处理时能够知道每一道放在文件中的什么位置。

步骤102：计算数组SPVector中每个激发点信息对象的索引；

具体计算方式如下：

把数组SPVector中的所有激发点信息对象按照线号SLNo、点号SPNo进行升序排列，每个激发点信息对象在数组SPVector中的索引即为outIndex字段的值。

在计算完后，还需要把数组SPVector恢复成按放炮时间shootTime升序排序。

步骤103：根据数组SPVector中激发点信息对象的个数和每道地震数据的字节数，确定输出文件所需的空间。计算公式如下：

fsz＝fhBytes+tBytes×tNum；

其中，fsz为输出文件字节数，fhBytes为地震数据文件头字节数，tBytes为每道数据的字节数，tNum为道数，也就是SPVector的元素个数。

步骤104：按照数组SPVector中激发点的放炮时间分批切分出每道的数据，基于输出文件所需的空间，按照索引将每批道数据按线号SLNo、点号SPNo升序排列后写入输入文件中指定的位置。计算公式如下：

pos＝fhBytes+outIndex×tBytes；

其中，pos为相应道在输出文件中的位置，fhBytes为地震数据文件头字节数，tBytes为每道数据的字节数，outIndex为本道在输出道集中的索引。

每次处理的道数越少则占用内存越少，但由于增加了磁盘定位次数，速度则会降低；每次处理道数越多则速度越快，但内存占用也越大；这需要根据硬件配置及对速度的要求进行选择。

本发明主要是为了解决背景技术提到的问题，假如有两个用户A、B都要切分单节点10GB的节点数据，A用户每天要处理的节点比较多，需要性能优先，而B用户每天处理的节点较少，对性能要求不太高，希望不用购置太高性能的计算机设备。现有技术无法满足B用户的要求，必须也配置大于40GB内存的计算机。

假如B用户有一台6GB内存的电脑，希望用它来切分数据，通过使用本方案可以满足其需求，具体如下：

(1)确定软件可以使用的内存数量，缺省为总内存的70％，可调整，此例中能够给软件使用的内存为6×70％＝4.2GB；

(2)根据软件可用内存计算每次读取和切分的数据量为4.2/4＝1.25GB；其中被除数4也可以根据实际情况调整大小；

(3)把激发点信息按放炮时间分组，每组对应一次处理的数据。本例子中可分的组数为10GB/1.25GB＝8，可分为8组，每次处理一组。

基于同一发明构思，本发明实施例中还提供了一种节点地震数据切分的性能优化装置，如下面的实施例所述。由于节点地震数据切分的性能优化装置解决问题的原理与节点地震数据切分的性能优化方法相似，因此节点地震数据切分的性能优化装置的实施可以参见节点地震数据切分的性能优化方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是本发明实施例的节点地震数据切分的性能优化装置的结构框图，如图2所示，包括：

排序存储模块201，用于把切分一个节点所用到的所有激发点信息对象按照放炮时间进行升序排序，将排序后的所有激发点信息对象放到数组中，所述激发点信息对象包括线号SLNo、点号SPNo、放炮时间shootTime、本道在输出道集中的索引outIndex；

索引计算模块202，用于计算数组中每个激发点信息对象的索引；

输出文件所需的空间确定模块203，用于根据数组中激发点信息对象的个数和每道地震数据的字节数，确定输出文件所需的空间；

切分存储模块204，用于按照数组中激发点的放炮时间分批切分出每道的数据，基于输出文件所需的空间，按照索引将每批道数据按线号SLNo、点号SPNo升序排列后写入输出文件中指定的位置。

在本发明实施例中，所述索引计算模块202具体用于：

按照如下方式数组中每个激发点信息对象的索引：

把数组中的所有激发点信息对象按照线号SLNo、点号SPNo进行升序排列，每个激发点信息对象在数组中的索引为outIndex字段的值。

在本发明实施例中，所述输出文件所需的空间确定模块203具体用于：

按照如下公式确定输出文件所需的空间：

fsz＝fhBytes+tBytes×tNum；

其中，fsz为输出文件字节数，fhBytes为地震数据文件头字节数，tBytes为每道数据的字节数，tNum为道数。

在本发明实施例中，所述切分存储模块204具体用于：

按照如下公式确定指定的位置：

pos＝fhBytes+outIndex×tBytes；

其中，pos为相应道在输出文件中的位置，fhBytes为地震数据文件头字节数，tBytes为每道数据的字节数，outIndex为本道在输出道集中的索引。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。

综上所述，本发明提供一种节点地震数据切分时的内存优化使用方式，根据系统能够使用的内存数量来确定内存使用方案，如果内存足够大，那么就把一个节点数据全部放到内存中，切分完后再按照线号SLNo、点号SPNo升序排列，然后再顺序写出到文件，这样读写都是顺序的，IO性能最佳。如果内存较小，就需要根据实际内存大小分批处理，分批处理时每批数据在写出到输出文件时，其数据在输出文件中是不一定全是连续的，可能需要在文件中跳转位置，这就会造成性能上的损失。但是好歹也能正常使用。这样为节点地震数据切分提供一个弹性的技术方案，使用者可以根据对效率和成本的要求来选择合适的实现方式，从而达到内存资源的消耗及数据切分效率之间的平衡。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。