一种便于遥感卫星数据归档与恢复性能测试的方法

摘要

本发明公开了一种便于遥感卫星数据归档与恢复性能测试的方法，包括：将测试磁带库接入光纤网络；根据预先设定的存储策略，将在线存储上的所有卫星的数据归档到业务磁带库，将在轨测试卫星的数据归档至测试磁带库并进行数据归档性能统计分析；将归档至测试磁带库中经统计分析的在轨测试卫星数据恢复至在线存储并进行数据恢复性能统计分析；将测试磁带库中在轨测试卫星数据对应的磁带格式化。本发明解决了目前遥感卫星地面处理系统在轨测试期间由于数据归档与恢复业务运行与在轨测试同时使用相同磁带库造成的相互干扰问题，提高了在轨测试的工作效率及测试指标有效性。

说明书

技术领域

本发明属于计算机技术在遥感卫星数据处理系统中的应用技术领域，尤其涉及一种便于遥感卫星数据归档与恢复性能测试的方法。

背景技术

为了满足各行各业用户对遥感卫星数据的需求，每年有多颗新的遥感卫星发射，因此地面系统每天有大量遥感卫星数据处理、归档与分发。同时，在地面处理系统交付用户使用之前，一般需要进行至少3个月的在轨测试，除了测试卫星图像质量是否达到研制总要求之外，还需测试地面系统处理、归档及分发的效率是否满足设计要求。对于归档系统性能测试主要包括两方面，一是每天晚上在规定时间内将当天处理系统生产的所有0级和产品数据从在线存储迁移至近线磁带库，二是将近线磁带库存储的数据及时恢复至在线存储指定位置。

目前，一个遥感卫星地面处理系统具有综合处理、归档和分发多颗卫星的能力，因此长期存在业务运行与在轨测试同时进行的状态。对于归档系统来说，一般恢复任务优先级高于归档任务。当归档系统中有大量需要从近线磁带库提取0级或产品数据的恢复任务时，将会优先占用磁带库大量资源，导致大批业务归档任务排队等候。如果此时同时进行新发射卫星的地面系统数据归档与恢复性能的在轨测试，势必会造成业务运行与测试任务的相互干扰，既影响业务运行效率，又影响测试指标真实性。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种便于遥感卫星数据归档与恢复性能测试的方法，解决了目前遥感卫星地面处理系统在轨测试期间由于数据归档与恢复业务运行与在轨测试同时使用相同磁带库造成的相互干扰问题，提高了在轨测试的工作效率及测试指标有效性。

本发明目的通过以下技术方案予以实现：一种便于遥感卫星数据归档与恢复性能测试的方法，包括：将测试磁带库接入光纤网络，使得测试磁带库相对应的数据迁移服务器与业务磁带库相对应的存储管理服务器处于相通的万兆以太网中；根据预先设定的存储策略，将在线存储上的所有卫星的数据归档到业务磁带库，将在轨测试卫星的数据归档至测试磁带库并进行数据归档性能统计分析；其中，所有卫星包括业务星和在轨测试卫星；将归档至测试磁带库中经统计分析后的在轨测试卫星数据恢复至在线存储并进行数据恢复性能统计分析；将测试磁带库中在轨测试卫星数据对应的磁带格式化。

上述便于遥感卫星数据归档与恢复性能测试的方法中，根据预先设定的存储策略，将在线存储上的所有卫星的数据归档到业务磁带库，将在轨测试卫星的数据归档至测试磁带库包括：数据归档定时器扫描数据库中的任务表，查询是否有待归档任务；若有待归档任务，提取待归档任务的卫星参数信息；根据待归档任务的卫星参数信息，查询数据库中的策略表是否有预设的归档时间；若有预设的归档时间，获取待归档任务的卫星参数信息对应的卫星的归档策略信息；查询数据库中的数据存储表，根据待归档任务的卫星参数信息获取待归档任务对应的卫星数据的在线存储路径；验证待归档任务对应的卫星数据的正确性；若验证通过，根据卫星名称判断卫星数据为业务星的数据还是在轨测试卫星的数据，若为在轨测试卫星的数据，则调用影像数据双份读写模块将在轨测试卫星的数据分别写入业务磁带库与测试磁带库；若为业务星的数据，则调用影像数据单份读写模块将业务星的数据写入业务磁带库。

上述便于遥感卫星数据归档与恢复性能测试的方法中，对归档至测试磁带库中的在轨测试卫星数据进行数据归档性能统计分析包括：统计测试磁带库每天实际归档数据量及实际归档时间，并与预设归档数据量及预设理论归档时间进行比对，看是否达到要求。

上述便于遥感卫星数据归档与恢复性能测试的方法中，将测试磁带库中经统计分析后的在轨测试卫星数据恢复至在线存储包括：数据恢复定时器扫描数据库中的任务表，查询是否有等待的数据恢复任务；若有等待的数据恢复任务，提取数据恢复任务的卫星参数信息，其中，数据恢复任务的卫星参数信息包括卫星名称、数据类型、产品号或景号、任务号；根据数据恢复任务的卫星参数信息，查询数据库中的恢复策略表，获取恢复策略，其中，恢复策略为恢复数据来源于磁带还是在线存储；根据数据恢复任务的卫星参数信息及恢复策略，查询数据库中的存储表，获取恢复数据的存储信息，其中，恢复数据的存储信息包括存储对象号、数据恢复至在线存储的地址；通过恢复数据的存储信息中的存储对象号，调用影像数据磁带提取模块，将数据归档性能在轨测试后的在轨测试卫星数据恢复至在线存储指定位置。

上述便于遥感卫星数据归档与恢复性能测试的方法中，对从测试磁带库中恢复至在线存储后的在轨测试卫星数据进行数据恢复性能统计分析包括：统计从测试磁带库恢复至在线存储后的在轨测试卫星数据文件大小及恢复至在线存储上所需要时间，并与预设在轨测试卫星数据文件大小及恢复至在线存储上预设时间进行比对，看是否达到要求。

上述便于遥感卫星数据归档与恢复性能测试的方法中，将测试磁带库中在轨测试卫星数据对应的磁带格式化包括：选取测试带库中待格式化的磁带；触发磁带格式化请求，查询数据库中的磁带表，获取请求格式化的磁带信息；其中，磁带信息包括条码、编号；

根据磁带信息，调用磁带库管理模块向测试磁带库发送格式化磁带的指令，将测试磁带库中在轨测试卫星数据对应的磁带格式化。

上述便于遥感卫星数据归档与恢复性能测试的方法中，所有卫星的数据包括所有卫星的0级数据和产品数据，在轨测试卫星的数据包括在轨测试卫星的0级和产品数据。

上述便于遥感卫星数据归档与恢复性能测试的方法中，待归档任务的卫星参数信息包括卫星名称、数据类型、产品号或景号、任务号。

上述便于遥感卫星数据归档与恢复性能测试的方法中，预设的归档时间为满足预先设置的卫星名称对应的归档时间。

上述便于遥感卫星数据归档与恢复性能测试的方法中，卫星的归档策略信息包括卫星名称、数据类型、归档份数、目标带库、归档开始时间及结束时间。

本发明与现有技术相比具有如下有益效果：

本发明解决了归档系统由于同时进行在轨测试与业务运行造成的相互干扰问题，既保证了地面处理系统数据归档与恢复业务正常运行，又不影响对新发射卫星的地面数据归档与恢复性能进行充分、有效、全面的在轨测试，大大提高了工作效率。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例提供的陆地观测卫星地面处理系统数据归档性能在轨测试流程图；

图2是本发明实施例提供的陆地观测卫星地面处理系统数据恢复性能在轨测试流程图；

图3是本发明实施例提供的陆地观测卫星地面处理系统测试磁带库数据格式化流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本实施例提供了一种便于遥感卫星数据归档与恢复性能测试的方法，该方法包括如下步骤：

(1)在轨测试开始之前，首先进行软硬件环境搭建：

(1a)将测试磁带库及数据迁移服务器接入光纤网络，测试磁带库的数据迁移服务器与业务磁带库的存储管理服务器处于相通的万兆以太网中；

(1b)存储管理服务器配置存储管理软件，以识别新添加的测试磁带库。

(2)根据预先设定的存储策略，将在线存储上的所有卫星的0级数据和产品数据归档到业务磁带库，在轨测试卫星的0级和产品数据归档至测试磁带库，其中，所有卫星包括业务星和在轨测试卫星，具体实现过程如下：

(2a)数据归档定时器自动定时启动，扫描数据库中的任务表，查询是否有待归档任务；

(2b)若有待归档任务，提取待归档任务的卫星参数信息，包括卫星名称、数据类型、产品号或景号、任务号等，进入步骤(2c)；否则，循环执行步骤(2a)；

(2c)根据待归档任务的卫星参数信息，查询数据库中的策略表是否有满足预先设置的卫星名称对应的归档时间；

(2d)若有满足预设的归档时间，获取该卫星的归档策略信息，包括卫星名称、数据类型、归档份数、目标带库、归档开始时间及结束时间等，进入步骤(2e)；否则，执行步骤(2a)；

(2e)查询数据库中的数据存储表，根据等待的归档任务的卫星参数信息获取该等待的归档任务对应的待归档数据的在线存储路径；

(2f)根据每个等待的归档任务的在线存储路径，验证在线存储上等待的归档任务对应的待归档数据是否存在以及其正确性；

(2g)若验证通过，根据归档策略信息，解析出每一条待归档任务是否双写，以及目标磁带库；对于写两份的任务，调用影像数据双份读写模块，将在轨测试卫星的数据分别写入业务磁带库与测试磁带库；对于只写一份的任务，调用影像数据单份读写模块，写入一个目标磁带库，如业务磁带库；否则，反馈出错信息；

(2h)循环执行步骤(2f)、步骤(2g)，直至完成所有任务归档，并将数据库任务表状态字段置为完成。

(3)通过测试磁带库进行数据归档性能在轨测试，具体实现过程如下：

(3a)界面灵活设置在轨测试卫星每天归档任务开始时间与结束时间；

(3b)根据步骤(2)，每天完成将地面处理系统生产的在轨测试卫星的0级数据与产品数据从在线存储分别归档至业务磁带库及测试磁带库；

(3c)选取在轨测试期间，不同月份、不同天、不同归档量的数据多组，统计测试磁带库每天实际归档数据量及归档时间，并与预设归档数据量及预设理论归档时间进行比对，看是否达到要求。

(4)通过界面订购，将测试磁带库中数据恢复至在线存储，具体实现过程如下：

(4a)通过界面设置，修改策略管理配置，设定只从磁带恢复数据至在线存储；

(4b)通过界面查询数据，并下达数据恢复订单；

(4c)数据恢复请求存入数据库中的任务表；

(4d)数据恢复定时器自动定时启动，扫描数据库中的任务表，查询是否有等待的恢复任务；

(4e)若有等待的数据恢复任务，提取相应任务的卫星参数信息，包括卫星名称、数据类型、产品号或景号、任务号等，进入步骤(4f)；否则，循环执行步骤(4d)；

(4f)根据卫星参数信息，查询数据库中的策略表，获取恢复策略，即恢复数据来源于磁带还是在线存储；

(4g)根据卫星参数信息及恢复策略，查询数据库中的存储表，获取恢复数据的存储信息，包括存储对象号、数据恢复至在线存储的地址等；

(4h)通过获取的存储对象号，调用影像数据磁带提取模块，将测试磁带库中相应磁带上的数据恢复至在线存储指定位置。

(4i)循环执行步骤(4g)、步骤(4h)，直至完成所有恢复任务，并将数据库任务表状态字段置为完成。

(5)对从测试磁带库中恢复至在线存储后的在轨测试卫星数据进行数据恢复性能在轨测试，具体实现过程如下：

(5a)根据步骤(4)，将在轨测试卫星的0级数据与产品数据从测试磁带库恢复至在线存储指定位置；

(5b)选取在轨测试期间，不同载荷、不同文件大小，处于磁带库中的多景0级和产品数据，统计每景数据文件大小，以及恢复至在线存储上所需要时间，并与预设在轨测试卫星数据文件大小及恢复至在线存储上预设时间进行比对，看是否达到要求。

(6)在轨测试完成后，自动将测试磁带库中在轨测试卫星数据对应的磁带格式化，以用于其他在轨测试卫星数据归档与恢复性能测试，具体实现过程如下：

(6a)通过界面选取测试带库中待格式化的磁带，并提交；

(6b)界面提交动作触发磁带格式化请求，自动查询数据库中的磁带表，获取请求格式化的磁带信息(条码、编号)；

(6c)根据从数据库获取的磁带信息，调用磁带库管理模块向测试磁带库发送格式化磁带的指令；

(6d)若磁带格式化任务成功完成后，修改数据库存储表中有关磁带的相关记录；否则，反馈失败信息。

具体的，在轨测试期间，测试陆地观测卫星地面处理系统数据归档性能与恢复性能的流程如图1和图2所示，测试磁带库数据格式化流程如图3所示：

(1)在轨测试开始之前，首先进行软硬件环境搭建：

(1a)将测试磁带库Oracle 150及10台数据迁移服务器接入光纤网络，并且上述10台数据迁移服务器与业务磁带库Oracle 8500的存储管理服务器处于相通的万兆以太网中；

(1b)配置控制磁带库的存储管理软件，以识别新添加的测试磁带库Oracle150。

(2)根据预先设定的存储策略，如晚上8点至次日早上8点，将在线存储上业务运行卫星及在轨测试卫星的0级数据和产品数据归档到业务磁带库Oracle 8500；根据灵活设置的存储策略，将在线存储上在轨测试卫星的0级数据和产品数据归档至测试磁带库Oracle150，具体实现过程如下：

(2a)数据归档定时器自动定时启动，扫描数据库中任务表TASKINFO，查询是否有等待的归档任务(任务类型TaskType为ARCHIVE、任务状态Tasktatus为PENDING)；

(2b)若有等待归档任务，提取相应任务的卫星参数信息，包括卫星名称SatelliteName、数据类型PruductType、产品号或景号ProductSequence、任务号TaskID等；否则，循环执行步骤(2a)；

(2c)根据卫星参数信息，查询数据库中策略表STRATEGY是否有满足预设的归档时间；

(2d)若有满足预设的归档时间，获取相应的归档策略信息，包括卫星名称SatelliteName、数据类型PruductType、归档份数ArchiveCopies、目标带库TargetLibrary、归档开始时间ArchiveStarttime及结束时间ArchiveEndtime等；否则，执行步骤(2a)；

(2e)查询数据库中的存储表STORAGEINFO，根据待归档任务信息获取上述待归档任务对应的卫星数据的在线存储路径ArchiveDir；

(2f)根据每个待归档任务对应的卫星数据的在线存储路径，验证在线存储上待归档任务对应的卫星数据是否存在以及其正确性；

(2g)若验证通过，根据归档策略信息，解析出每一条待归档任务是否双写以及目标磁带库；对于写两份的任务，调用影像数据双份读写模块，分别写入业务磁带库ORACLE8500与测试磁带库ORACLE 150；对于只写一份的任务，调用影像数据单份读写模块，写入业务磁带库ORACLE 8500；否则，反馈出错信息；

(2h)循环执行步骤(2f)、步骤(2g)，直至完成所有任务归档，并将数据库任务表TASKINFO状态字段Tasktatus置为完成COMPLETE。

(3)利用测试磁带库ORACLE 150进行数据归档性能在轨测试，具体实现过程如下：

(3a)界面灵活设置在轨测试卫星每天归档任务开始时间与结束时间；

(3b)根据步骤(2)，将地面处理系统每天生产的在轨测试卫星的0级数据与产品数据从在线存储分别归档至业务磁带库ORACLE 8500及测试磁带库ORACLE 150；

(3c)选取在轨测试期间一般3个月内10天以上不同归档量的数据，统计测试磁带库ORACLE 150每天实际归档数据量及归档时间，并与预设归档数据量及预设归档时间进行比对，看是否达到要求。

(4)通过界面订购，将测试磁带库ORACLE 150中的数据恢复至在线存储，具体实现过程如下：

(4a)系统管理员通过登录策略管理界面，修改策略配置，设定只从磁带恢复数据至在线存储；

(4b)登录用户数据查询界面，并下达数据恢复订单；

(4c)数据恢复请求存入数据库中任务表TASKINFO；

(4d)数据恢复定时器自动定时启动，扫描数据库中任务表TASKINFO，查询是否有等待的恢复任务(任务类型TaskType为RESTORE、任务状态TaskStatus为PENDING)；

(4e)若有等待的数据恢复任务，提取相应任务的卫星参数信息，包括卫星名称SatelliteName、数据类型PruductType、产品号或景号ProductSequence、任务号TaskID等；否则，循环执行(4d)；

(4f)根据卫星参数信息，查询数据库中策略表STRATEGY，获取恢复策略，即恢复数据来源于磁带还是在线存储；

(4g)根据卫星参数信息及恢复策略，查询数据库中的存储表STORAGEINFO，获取恢复数据的存储信息，包括存储对象号StorageObjectID、数据恢复至在线存储的地址ArchiveDir等；

(4h)通过获取的存储对象号StorageObjectID，调用影像数据磁带提取模块，将测试磁带库ORACLE 150中相应磁带上的数据恢复至在线存储指定位置。

(4i)循环执行(4g)、(4h)，直至完成所有恢复任务，并将数据库任务表

TASKINFO状态字段Tasktatus置为完成COMPLETE。

(5)利用测试磁带库ORACLE 150进行数据恢复性能在轨测试，具体实现过程如下：

(5a)根据步骤(4)，将在轨测试卫星的0级数据与产品数据从测试磁带库ORACLE150恢复至在线存储指定位置；

(5b)选取在轨测试期间，每颗卫星不同载荷、不同产品级别、处于测试磁带库ORACLE 150中的多景0级和产品数据，统计每景数据文件大小以及恢复至在线存储上所需要时间，并与预设每景数据文件大小以及恢复至在线存储上预设时间，看是否达到要求。

(6)在轨测试完成后，自动将测试磁带库ORACLE 150中相应卫星磁带池中的磁带格式化，以备测试其他在轨测试卫星数据归档与恢复性能，具体实现过程如下：

(6a)通过界面选取测试带库ORACLE150中待格式化的测试磁带，并提交；

(6b)界面提交动作触发磁带格式化请求，自动查询数据库中磁带表TAPEINFO，获取请求格式化的磁带信息(磁带条码Barcode及磁带编号TapeID)；

(6c)根据从数据库获取的磁带信息，调用磁带库管理模块向测试磁带库ORACLE150发送磁带格式化指令；

(6d)磁带格式化任务完成后，自动查询数据库存储对象表STORAGEOBJECT，通过被格式化的磁带编号TapeID获取对应的存储对象号StorageObjectID；然后通过存储对象号StorageObjectID，修改存储表STORAGEINFO中相关磁带信息，即将ObjectID置为-2，表示为空白磁带；否则，反馈失败信息。

本发明将每天地面处理系统业务运行卫星及在轨测试卫星的待归档任务发送至业务磁带库，同时将在轨测试卫星的待归档任务发送至测试磁带库，并按照归档策略完成日常归档，然后利用测试磁带库完成数据归档与恢复性能的测试任务。当某一颗卫星的在轨测试任务完成后，程序自动将测试磁带库中相应的磁带格式化，以便重复用于其他卫星的在轨测试。该方法解决了归档系统在轨测试与业务运行之间的相互干扰问题，既保证了地面处理系统数据归档与恢复业务正常运行，又不影响对新发射卫星地面系统数据归档与恢复性能进行充分、有效、全面的在轨测试，大大提高了工作效率。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。