基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取方法

摘要

本发明提供了一种基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取方法，该方法涉及图像处理技术领域，包括：对多个SAR传感图像进行预处理，得到多个切片图像数据；对切片图像数据进行标注处理，并将标注后的切片图像数据按照预置比例分成训练数据集及测试数据集；基于VGG16网络及RPN网络，构建Faster RCNN网络模型，并设置Faster RCNN网络模型的训练参数及构建Faster RCNN网络模型的损失函数；将训练数据集及测试数据集依次输入至Faster RCNN网络模型中进行训练及测试，并保存测试后的网络模型参数，得到测试后的Faster RCNN网络模型，该测试后的Faster RCNN网络模型用于提取车辆目标关键部位。本发明还提供了一种基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取装置、电子设备及存储介质。

说明书

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取方法、装置、电子设备及存储介质。

背景技术

车辆是一类典型的人造目标，车辆目标通常分为车身和车头部分，针对SAR（Synthetic Aperture Radar）图像车辆目标关键部位的分析和信息提取领域在军事和民用上具有重要的意义，高分辨率SAR图像的车辆目标关键部位提取需要解决：针对高分辨率SAR图像数据，利用包含单个车辆的图像切片及图像观测数据，提取其中所包含车辆目标的车头、车身部位。

在之前中低分辨率SAR图像的条件下，由于车辆目标机动性强，尺寸并不大，因此，该问题的解决无法完成。随着近年来，SAR图像分辨率的飞速提高，优于0.5mSAR图像分辨率的数据大量获得，车辆目标在高分辨率SAR图像中具有丰富的细节特征，这使得SAR图像针对车辆目标不仅能够完成检测，还能够提取车辆目标的精细化信息。

针对SAR图像目标识别领域，传统的方法采用与光学图像相同的研究思路，通过提取图像区域的亮度、纹理、几何等特征，实现检测和识别，近年来，基于深度学习的方法逐步发展应用在图像应用领域。基于卷积神经网络的深度学习技术近年来发展迅速，在语音识别、信号提取、图像应用等方面均取得了较好的应用。尤其是在图像应用领域，人脸识别、自然图像中目标检测、信息提取方面获得了较好的性能。卷积神经网络（ConvolutionalNeural Networks，CNN）是深度学习网络的一种，卷积神经网络在图像的应用中，通过多卷积层提取和学习图像局部特征，并通过池化、全连接等方式实现特征的拟合。卷积神经网络具有较强的特征表征和自适应学习能力，对于目标检测和识别具有较好的适用性。

但CNN用于SAR图像的目标检测和识别的多数方法仍然基于自然图像应用问题的应用形式，多数没有考虑SAR图像中目标的各自特点，例如：车辆目标结构特点、卫星观测条件等先验条件。

发明内容

为解决现有技术中存在的问题，本发明实施例提供的一种基于Faster RCNN（Faster Region-based Convolutional Neural Networks）的高分辨率SAR图像车辆目标关键部位提取方法、装置、电子设备、存储介质及程序产品，旨在提高车辆车头、车身的部位的特征提取精度。

本发明的第一个方面提供了一种基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取方法，包括：对多个SAR传感图像进行预处理，得到多个切片图像数据；对切片图像数据进行标注处理，并将标注后的切片图像数据按照预置比例分成训练数据集及测试数据集；基于VGG16网络（Visual Geometry Group 16）及RPN网络（Region ProposalNetworks），构建Faster RCNN网络模型，并设置Faster RCNN网络模型的训练参数及构建Faster RCNN网络模型的损失函数；将训练数据集及测试数据集依次输入至Faster RCNN网络模型中进行训练及测试，并保存测试后的网络模型参数，得到测试后的Faster RCNN网络模型，该测试后的Faster RCNN网络模型用于提取车辆目标关键部位。

进一步地，构建Faster RCNN网络模型的损失函数，包括：根据L1范数、预测目标的位置结构参数与真实值之间的参数损失及基于观测条件和目标散射特征建立的特征函数，构建Faster RCNN网络模型的损失函数；其中，特征函数通过图像空间变化得到，其表征目标车辆与地面相互作用的强散射特征。

进一步地，对多个SAR传感图像进行预处理，得到多个切片图像数据，包括：对SAR传感器在同一工作模式下不同拍摄角度采集的多个SAR传感图像进行地理编码几何校正及切片分割处理，得到多个切片图像数据；其中，多个切片图像数据的尺寸大小相同。

进一步地，对切片图像数据进行标注处理，包括：根据已知类型车辆的三维模型，按照车头与车身所对应的图像区域利用最小外接矩形框及车辆主轴对切片图像数据进行标注处理，得到标注后的切片图像数据。

进一步地，将标注后的切片图像数据按照预置比例分成训练数据集及测试数据集，包括：将每个标注后的切片图像数据生成对应的xml参数文件，并记录车辆区域的参数信息；将记录参数后的切片图像数据按照预置比例分成训练数据集及测试数据集。

进一步地，训练参数至少包括：输入通道数量、全连接层输出通道数量、ROI（Region of Interest）特征层尺寸、Classification参数、模型学习率、提取框数目、一次训练所抓取的数据样本数量及总迭代次数。

进一步地，损失函数

其中，

其中，N表示样本数量；

进一步地，预置比例为3:1或4:1。

进一步地，车辆目标关键部位包括：车头及车身关键部位。

本发明的第二个方面提供了一种基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取装置，包括：图像预处理模块，用于对多个SAR传感图像进行预处理，得到多个切片图像数据；数据集生成模块，用于对切片图像数据进行标注处理，并将标注后的切片图像数据按照预置比例分成训练数据集及测试数据集；模型构建模块，用于基于VGG16网络及RPN网络，构建Faster RCNN网络模型，并设置Faster RCNN网络模型的训练参数及构建Faster RCNN网络模型的损失函数；模型训练及测试模块，用于将训练数据集及测试数据集依次输入至Faster RCNN网络模型中进行训练及测试，并保存测试后的网络模型参数，得到测试后的Faster RCNN网络模型，该测试后的Faster RCNN网络模型用于提取车辆目标关键部位。

本发明的第三个方面提供了一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现本发明的第一个方面提供的基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取方法。

本发明的第四个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本发明的第一个方面提供的基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取方法。

本发明提供的一种基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取方法、装置、电子设备、存储介质及程序产品，该方法基于VGG16网络及RPN网络构建FasterRCNN网络模型，通过考虑SAR图像观测的特点，利用了观测角度、车辆目标与地面相互作用的强散射特征，构建了约束条件，实现了网络参数的优化。该方法相比传统的特定特征提取方法提高了自动化水平和效率，同时，该方法是一种新的针对高分辨率SAR图像的车辆目标尾部提取方法。

附图说明

为了更完整地理解本发明及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本发明一实施例的基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取方法的流程图；

图2示意性示出了根据本发明一实施例的车辆标注及几何关系示意图；

图3示意性示出了根据本发明一实施例的基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取装置的方框图；

图4示意性示出了根据本发明一实施例的适于实现上文描述的方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本发明的技术可以硬件和/或软件（包括固件、微代码等）的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

图1示意性示出了根据本发明实施例的基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取方法的流程图。如图1所示，该方法包括：步骤S101~S104。

在操作S101，对多个SAR传感图像进行预处理，得到多个切片图像数据。

本发明的实施例中，多个SAR传感图像可以是SAR传感器在同一工作模式下不同拍摄角度采集的多个SAR传感图像。对多个SAR传感图像进行预处理，可以具体包括：对多个SAR传感图像进行地理编码几何校正，得到多个SAR二级图像，然后对多个SAR二级图像进行切片分割处理，得到多个切片图像数据。需说明的是，多个SAR二级图像可以是通过图像产品级别选取得到的二级图像。

具体地，多个切片图像可以为通过截取包含车辆目标的SAR图像切片

需说明的是，在其他一些实施例中，为满足不同应用场景下的图片处理，切片图像 大小还可以为256

在操作S102，对切片图像数据进行标注处理，并将标注后的切片图像数据按照预置比例分成训练数据集及测试数据集。

本发明的实施例中，对步骤S101中生成的多个切片图像数据进行数据标注，并按照预置比例分成训练数据集及测试数据集，其中，可以基于已知型号类型的车辆进行数据标注。

针对每个车辆目标切片，根据已知的类型车辆的三维模型，如图2所示，按照车头与车身两部分所对应的图像区域利用最小外接矩形框及车辆主轴

具体地，标注参数为：车头车身的最小外接矩形框包围车辆所覆盖的图像区域，每个车辆车头最小外接矩形框的标注格式为：车头中间点在图像上的坐标

接着，图像切片标注完成后，对标注后的切片图像数据按照预置比例分成训练数据集及测试数据集。首先，将每个图像切片生成对应的xml参数文件记录车辆区域的参数信息，包含

在操作S103，基于VGG16网络及RPN网络，构建Faster RCNN网络模型，并设置Faster RCNN网络模型的训练参数及构建Faster RCNN网络模型的损失函数。

本发明的实施例中，沿用上述实施例，该网络模型需要估计的参数集合

1）、VGG16网络参数设置：VGG模型及卷积层参数，如：卷积核kernel_size=3，填充pad=1，步长stride=1，pooling层参数：卷积核kernel_size取2，步长stride=2，无填充。

2）、RPN网络参数设置：输入通道数256，特征层通道数256，Anchor生成器，Scales=[8]，比例因子Ratios=[0.5，1.0，2.0]，生成Anchor的步长 Strides=[4，8，16，32，64])。

3）、输入通道数量in_channels=256；全连接层输出通道数量，fc_out_channels=1024，ROI特征层尺寸roi_feat_size=7。

4）、Classification参数设置：num_classes=2，bounding box regression后扩展 3个参数向量，结果输出检测框参数

5）、训练参数设置：学习率为2 QUOTE

通过上述参数设置好Faster RCNN网络模型的训练参数，然后构建Faster RCNN网络模型的损失函数。本发明的实施例中，根据L1范数、预测目标的位置结构参数与真实值之间的参数损失及基于观测条件和目标散射特征建立的特征函数，构建Faster RCNN网络模型的损失函数。其中，特征函数通过图像空间变化得到，其表征目标车辆与地面相互作用的强散射特征。

具体地，构建的损失函数

其中，

损失函数

其中，N表示样本数量；

第三项

其中，

其中，坐标（

最后，计算损失函数的第三项

通过上述方法构建Faster RCNN网络模型及损失函数，通过数据训练得到训练后的网络模型，该网络模型考虑了SAR图像和车辆目标散射特征的特点，基于车辆目标与地面相互作用的强散射特征，构建损失函数，实现了网络参数的优化。

需说明的是，本发明的实施例中，模型训练参数的设置包括但不仅限于上述具体数值，其可根据实际应用需求进行相应的调整，上述参数设置仅为示例性的说明，本发明的实施例对这些参数的设置并不做限定。

在操作S104，将训练数据集及测试数据集依次输入至Faster RCNN网络模型中进行训练及测试，并保存测试后的网络模型参数，得到测试后的Faster RCNN网络模型，该测试后的Faster RCNN网络模型用于提取车辆目标关键部位。

本发明的实施例中，基于上述模型训练参数，将训练数据集及测试数据集依次输入至Faster RCNN网络模型中进行训练及测试，并保存测试后的网络模型参数，得到测试后的Faster RCNN网络模型。由此便建立了车辆目标车头、车身的提取网络模型。

具体地，模型训练过程中可以通过判断模型的损失函数的输出值是否小于一阈值，若小于，则代表模型训练结果较好，训练结束。否则，优化模型训练参数，继续进行模型训练。

本发明的实施例提供的一种基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取方法，该方法基于VGG16网络及RPN网络构建Faster RCNN网络模型，通过考虑SAR图像观测的特点，利用了观测角度、目标本身的信息，构建了约束条件，实现了网络参数的优化。该方法比传统的特定特征提取的方法提高了自动化水平和效率，同时，是一种新的针对高分辨率SAR图像的车辆目标尾部提取方法。

图3示意性示出了根据本发明实施例的基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取装置的方框图。

如图3所示，该基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取装置300包括：图像预处理模块310、数据集生成模块320、模型构建模块330及模型训练及测试模块340。该装置300可以用于实现参考图1所描述的基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取方法。

图像预处理模块310，用于对多个SAR传感图像进行预处理，得到多个切片图像数据。该图像预处理模块310例如可以用于执行上文参考图1所描述的S101步骤，在此不再赘述。

数据集生成模块320，用于对切片图像数据进行标注处理，并将标注后的切片图像数据按照预置比例分成训练数据集及测试数据集。该数据集生成模块320例如可以用于执行上文参考图1所描述的S102步骤，在此不再赘述。

模型构建模块330，用于基于VGG16网络及RPN网络，构建Faster RCNN网络模型，并设置Faster RCNN网络模型的训练参数及构建Faster RCNN网络模型的损失函数。该模型构建模块330例如可以用于执行上文参考图1所描述的S103步骤，在此不再赘述。

模型训练及测试模块340，用于将训练数据集及测试数据集依次输入至FasterRCNN网络模型中进行训练及测试，并保存测试后的网络模型参数，得到测试后的FasterRCNN网络模型，该测试后的Faster RCNN网络模型用于提取车辆目标关键部位。该模型训练及测试模块340例如可以用于执行上文参考图1所描述的S104步骤，在此不再赘述。

根据本发明的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本发明实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本发明实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上装置、基板上的装置、封装上的装置、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本发明实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，图像预处理模块310、数据集生成模块320、模型构建模块330及模型训练及测试模块340中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，图像预处理模块310、数据集生成模块320、模型构建模块330及模型训练及测试模块340中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上装置、基板上的装置、封装上的装置、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，图像预处理模块310、数据集生成模块320、模型构建模块330及模型训练及测试模块340中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图4示意性示出了根据本发明实施例的适于实现上文描述的方法的电子设备的方框图。图4示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，本实施例中所描述的电子设备400，包括：处理器401，其可以根据存储在只读存储器（ROM）402中的程序或者从存储部分408加载到随机访问存储器（RAM）403中的程序而执行各种适当的动作和处理。处理器401例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC）），等等。处理器401还可以包括用于缓存用途的板载存储器。处理器401可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 403中，存储有电子设备400操作所需的各种程序和数据。处理器 401、ROM402以及RAM 403通过总线404彼此相连。处理器401通过执行ROM 402和/或RAM 403中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 402和RAM 403以外的一个或多个存储器中。处理器401也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。

根据本发明的实施例，电子设备400还可以包括输入/输出（I/O）接口405，输入/输出（I/O）接口405也连接至总线404。电子设备400还可以包括连接至I/O接口405的以下部件中的一项或多项：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

根据本发明的实施例，根据本发明实施例的方法流程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被处理器401执行时，执行本发明实施例的装置中限定的上述功能。根据本发明的实施例，上文描述的装置、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/装置中所包含的；也可以是单独存在，而未装配入该设备/装置/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取方法。

根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 402和/或RAM 403和/或ROM 402和RAM 403以外的一个或多个存储器。

本发明的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机装置中运行时，该程序代码用于使计算机装置实现本发明实施例所提供的基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取方法。

在该计算机程序被处理器401执行时执行本发明实施例的装置/装置中限定的上述功能。根据本发明的实施例，上文描述的装置、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分409被下载和安装，和/或从可拆卸介质411被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被处理器401执行时，执行本发明实施例的装置中限定的上述功能。根据本发明的实施例，上文描述的装置、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。

需要说明的是，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来。

附图中的流程图和框图，图示了按照本发明各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本发明的各个实施例中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。

尽管已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域技术人员应该理解，在不背离所附保护范围及其等同物限定的本发明的精神和范围的情况下，可以对本发明进行形式和细节上的多种改变。因此，本发明的范围不应该限于上述实施例，而是应该不仅由所附保护范围来进行确定，还由所附保护范围的等同物来进行限定。