应用于多模态的图像配准方法、装置和设备

摘要

本申请提供一种应用于多模态的图像配准方法、装置和设备，可用于图像处理技术领域。该方法包括：获取配准图像对；基于预先设置的第一损失函数、所述第一图像模态下的训练样本，以及所述第二图像模态下的训练样本，训练模态转换模型，得到训练好的模态转换模型；将所述配准图像对中的待配准图像，输入至所述训练好的模态转换模型中进行处理，得到转换后的待配准图像；基于预先设置的第二损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的目标损失值，并基于所述目标损失值，对所述转换后的待配准图像，和所述配准参考图像进行图像配准处理，得到图像配准结果。本申请的方法，提高了图像配准的精度。

说明书

技术领域

本申请涉及图像处理技术领域，尤其涉及一种应用于多模态的图像配准方法、装置和设备。

背景技术

图像配准(Image registration)技术，可以将不同时间、不同传感器，或者不同条件下的两幅或者多幅图像进行匹配、叠加，从而可以对多张图像同时进行分析处理。

目前，图像配准技术广泛应用于医学领域，例如，涉及疾病诊断、手术导航、治疗和研究等方面。因此，对图像配准的准确度具有较高的要求。

相关技术中，在对多模态的图像进行配准时，可以根据多模态图像间的相似性度量来确定图像配准是否完成，以及确定图像配准的效果。但是，常用的相似性度量为基于互信息的度量，在基于互信息进行图像配准时，在互信息的取值达到无穷大时表征图像配准完成，进而无法有效确定出，不同模态的图像配准是否已经达到最优，也无法定量评价图像配准的效果，进而容易影响图像配准的准确度。

发明内容

本申请提供一种应用于多模态的图像配准方法、装置和设备，用以解决现有的多模态图像配准方法，精度较低，且无法定量评价的技术问题。

第一方面，本申请提供一种应用于多模态的图像配准方法，包括：

获取配准图像对；其中，所述配准图像对中包括第一图像模态下的待配准图像，和第二图像模态下的配准参考图像；所述待配准图像为，与所述配准参考图像，进行图像配准的图像；

基于预先设置的第一损失函数、所述第一图像模态下的训练样本，以及所述第二图像模态下的训练样本，训练模态转换模型，得到训练好的模态转换模型；其中，所述训练好的模态转换模型用于将所述第一图像模态下的图像，转换为所述第二图像模态下的图像；

将所述配准图像对中的待配准图像，输入至所述训练好的模态转换模型中进行处理，得到转换后的待配准图像；其中，所述转换后的待配准图像的图像模态与所述配准参考图像的图像模态相同；

基于预先设置的第二损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的目标损失值，并基于所述目标损失值，对所述转换后的待配准图像，和所述配准参考图像进行图像配准处理，得到图像配准结果；其中，所述第二损失函数包括均方差损失函数；所述预先设置的第二损失函数还用于评价所述图像配准结果。

一个示例中，所述模态转换模型包括第一模型和第二模型，其中，所述第一模型用于将所述第一图像模态下的图像转换为所述第二图像模态下的图像，所述第二模型用于将所述第二图像模态下的图像转换为所述第一图像模态下的图像；

所述基于预先设置的第一损失函数、所述第一图像模态下的训练样本，以及所述第二图像模态下的训练样本，训练模态转换模型，得到训练好的模态转换模型，包括：

将所述第一图像模态下的训练样本，输入至所述模态转换模型中的第一模型中进行处理，得到第一模态转换结果，并将所述第一模态转换结果，输入至所述模态转换模型中的第二模型中进行处理，得到第二模态转换结果；

将所述第二图像模态下的训练样本，输入至所述模态转换模型中的第二模型中进行处理，得到第三模态转换结果，并将所述第三模态转换结果，输入至所述模态转换模型中的第一模型中进行处理，得到第四模态转换结果；

基于所述预先设置的第一损失函数、所述第一图像模态下的训练样本、所述第二图像模态下的训练样本、所述第一模态转换结果、所述第二模态转换结果、所述第三模态转换结果，以及所述第四模态转换结果，训练所述模态转换模型，得到所述训练好的模态转换模型。

一个示例中，所述预先设置的第一损失函数的数量为多个；所述基于所述预先设置的第一损失函数、所述第一图像模态下的训练样本、所述第二图像模态下的训练样本、所述第一模态转换结果、所述第二模态转换结果、所述第三模态转换结果，以及所述第四模态转换结果，训练所述模态转换模型，得到所述训练好的模态转换模型，包括：

基于所述预先设置的第一损失函数中的第一子损失函数，对所述第一模态转换结果、所述第二图像模态下的训练样本、所述第一图像模态下的训练样本，以及所述第三模态转换结果，进行损失计算处理，得到第一损失函数值；

基于所述预先设置的第一损失函数中的第二子损失函数，对所述第一图像模态下的训练样本、所述第二模态转换结果、所述第二图像模态下的训练样本，以及所述第四模态转换结果，进行损失计算处理，得到第二损失函数值；

在提取所述第一图像模态下的训练样本对应的图像边缘、所述第一模态转换结果对应的图像边缘、所述第二图像模态下的训练样本对应的图像边缘、以及所述第三模态转换结果对应的图像边缘之后，基于所述预先设置的第一损失函数中的第三子损失函数，进行损失计算处理，得到第三损失函数值；

对所述第一图像模态下的训练样本，进行旋转平移变换之后，输入至所述模态转换模型中的第一模型中进行处理，得到第五模态转换结果，并对所述第五模态转换结果进行旋转平移反变换之后，基于所述预先设置的第一损失函数中的第四子损失函数，进行损失计算处理，得到第四损失函数值；

对所述第二图像模态下的训练样本，进行旋转平移变换之后，输入至所述模态转换模型中的第二模型中进行处理，得到第六模态转换结果，并对所述第六模态转换结果进行旋转平移反变换之后，基于所述预先设置的第一损失函数中的第四子损失函数，进行损失计算处理，得到第五损失函数值；

对所述第一损失函数值、所述第二损失函数值、所述第三损失函数值、所述第四损失函数值，以及所述第五损失函数值，进行第一加权求和处理，得到第一总损失函数值，并基于所述第一总损失函数值，训练所述模态转换模型，得到所述训练好的模态转换模型。

一个示例中，所述预先设置的第二损失函数为所述均方差损失函数；所述基于预先设置的第二损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的目标损失值，包括：

计算所述转换后的待配准图像和所述配准参考图像中的，各个相对应位置点的差值的平方，并将所述各个相对位置点的差值的平方，进行求和后求均值处理，得到所述目标损失值。

一个示例中，所述预先设置的第二损失函数包括所述均方差损失函数和互信息函数；所述基于预先设置的第二损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的目标损失值，包括：

基于所述均方差损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的第一损失值，并基于所述互信息函数，计算所述转换后的待配准图像和所述配准参考图像之间的第二损失值；

对所述第一损失值和所述第二损失值的相反数，进行第二加权求和处理，得到所述目标损失值。

一个示例中，所述预先设置的第二损失函数包括所述均方差损失函数、互信息函数，以及梯度相关函数；所述基于预先设置的第二损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的目标损失值，包括：

基于所述均方差损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的第三损失值；

基于所述互信息函数，计算所述转换后的待配准图像和所述配准参考图像之间的第四损失值；

基于所述梯度相关函数，计算所述转换后的待配准图像和所述配准参考图像之间的第五损失值；

对所述第三损失值、所述第四损失值的相反数，和，目标数据与所述第五损失值的相反数的求和结果，进行第三加权求和处理，得到所述目标损失值。

一个示例中，在得到图像配准结果之后，所述方法还包括：

基于所述目标损失值，对所述图像配准结果进行评价，得到图像配准评价结果；其中，所述图像配准评价结果用于评价所述转换后的待配准图像和所述配准参考图像之间的匹配程度。

第二方面，本申请提供一种应用于多模态的图像配准装置，包括：

图像获取单元，用于获取配准图像对；其中，所述配准图像对中包括第一图像模态下的待配准图像，和第二图像模态下的配准参考图像；所述待配准图像为，与所述配准参考图像，进行图像配准的图像；

模型训练单元，用于基于预先设置的第一损失函数、所述第一图像模态下的训练样本，以及所述第二图像模态下的训练样本，训练模态转换模型，得到训练好的模态转换模型；其中，所述训练好的模态转换模型用于将所述第一图像模态下的图像，转换为所述第二图像模态下的图像；

模态转换单元，用于将所述配准图像对中的待配准图像，输入至所述训练好的模态转换模型中进行处理，得到转换后的待配准图像；其中，所述转换后的待配准图像的图像模态与所述配准参考图像的图像模态相同；

图像配准单元，用于基于预先设置的第二损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的目标损失值，并基于所述目标损失值，对所述转换后的待配准图像，和所述配准参考图像进行图像配准处理，得到图像配准结果；其中，所述第二损失函数包括均方差损失函数；所述预先设置的第二损失函数还用于评价所述图像配准结果。

一个示例中，所述模态转换模型包括第一模型和第二模型，其中，所述第一模型用于将所述第一图像模态下的图像转换为所述第二图像模态下的图像，所述第二模型用于将所述第二图像模态下的图像转换为所述第一图像模态下的图像。此时，模型训练单元，用于：

将所述第一图像模态下的训练样本，输入至所述模态转换模型中的第一模型中进行处理，得到第一模态转换结果，并将所述第一模态转换结果，输入至所述模态转换模型中的第二模型中进行处理，得到第二模态转换结果；

将所述第二图像模态下的训练样本，输入至所述模态转换模型中的第二模型中进行处理，得到第三模态转换结果，并将所述第三模态转换结果，输入至所述模态转换模型中的第一模型中进行处理，得到第四模态转换结果；

基于所述预先设置的第一损失函数、所述第一图像模态下的训练样本、所述第二图像模态下的训练样本、所述第一模态转换结果、所述第二模态转换结果、所述第三模态转换结果，以及所述第四模态转换结果，训练所述模态转换模型，得到所述训练好的模态转换模型。

一个示例中，所述预先设置的第一损失函数的数量为多个，此时，模型训练单元，用于：

基于所述预先设置的第一损失函数中的第一子损失函数，对所述第一模态转换结果、所述第二图像模态下的训练样本、所述第一图像模态下的训练样本，以及所述第三模态转换结果，进行损失计算处理，得到第一损失函数值；

基于所述预先设置的第一损失函数中的第二子损失函数，对所述第一图像模态下的训练样本、所述第二模态转换结果、所述第二图像模态下的训练样本，以及所述第四模态转换结果，进行损失计算处理，得到第二损失函数值；

在提取所述第一图像模态下的训练样本对应的图像边缘、所述第一模态转换结果对应的图像边缘、所述第二图像模态下的训练样本对应的图像边缘、以及所述第三模态转换结果对应的图像边缘之后，基于所述预先设置的第一损失函数中的第三子损失函数，进行损失计算处理，得到第三损失函数值；

对所述第一图像模态下的训练样本，进行旋转平移变换之后，输入至所述模态转换模型中的第一模型中进行处理，得到第五模态转换结果，并对所述第五模态转换结果进行旋转平移反变换之后，基于所述预先设置的第一损失函数中的第四子损失函数，进行损失计算处理，得到第四损失函数值；

对所述第二图像模态下的训练样本，进行旋转平移变换之后，输入至所述模态转换模型中的第二模型中进行处理，得到第六模态转换结果，并对所述第六模态转换结果进行旋转平移反变换之后，基于所述预先设置的第一损失函数中的第四子损失函数，进行损失计算处理，得到第五损失函数值；

对所述第一损失函数值、所述第二损失函数值、所述第三损失函数值、所述第四损失函数值，以及所述第五损失函数值，进行第一加权求和处理，得到第一总损失函数值，并基于所述第一总损失函数值，训练所述模态转换模型，得到所述训练好的模态转换模型。

一个示例中，所述预先设置的第二损失函数为所述均方差损失函数，此时，图像配准单元，用于：

计算所述转换后的待配准图像和所述配准参考图像中的，各个相对应位置点的差值的平方，并将所述各个相对位置点的差值的平方，进行求和后求均值处理，得到所述目标损失值。

一个示例中，所述预先设置的第二损失函数包括所述均方差损失函数和互信息函数，此时，图像配准单元，用于：

基于所述均方差损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的第一损失值，并基于所述互信息函数，计算所述转换后的待配准图像和所述配准参考图像之间的第二损失值；

对所述第一损失值和所述第二损失值的相反数，进行第二加权求和处理，得到所述目标损失值。

一个示例中，所述预先设置的第二损失函数包括所述均方差损失函数、互信息函数，以及梯度相关函数，此时，图像配准单元，用于：

基于所述均方差损失函数，计算所述转换后的待配准图像和所述配准参考图像之间的第三损失值；

基于所述互信息函数，计算所述转换后的待配准图像和所述配准参考图像之间的第四损失值；

基于所述梯度相关函数，计算所述转换后的待配准图像和所述配准参考图像之间的第五损失值；

对所述第三损失值、所述第四损失值的相反数，和，目标数据与所述第五损失值的相反数的求和结果，进行第三加权求和处理，得到所述目标损失值。

一个示例中，该装置还包括：

评价单元，用于在得到图像配准结果之后，基于所述目标损失值，对所述图像配准结果进行评价，得到图像配准评价结果；其中，所述图像配准评价结果用于评价所述转换后的待配准图像和所述配准参考图像之间的匹配程度。

第三方面，本申请提供一种计算机设备，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现第一方面所述的方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面所述的方法。

第五方面，本申请提供一种计算机程序产品，所述计算机程序产品包括：计算机执行指令，所述计算机执行指令存储在可读存储介质中，计算机设备的至少一个处理器可以从所述可读存储介质读取所述计算机执行指令，所述至少一个处理器执行所述计算机执行指令，使得计算机设备执行第一方面所述的方法。

本申请提供的应用于多模态的图像配准方法、装置和设备，可以在获取配准图像对之后，根据配准图像对中所包括的，需要进行图像配准处理的待配准图像对应的第一图像模态，和配准参考图像所对应的第二图像模态，来训练模态转换模型，得到训练好的模态转换模型，从而可以根据图像配准的实际需求，来根据预先设置的第一损失函数，来训练对应的模态转换模型，得到训练好的模态转换模型。之后，可以根据训练好的模态转换模型，来对配准图像对中的待配准图像进行模态转换，得到转换后的待配准图像，从而可以使转换后的待配准图像，与配准参考图像的图像模态相同，以降低图像配准的难度。然后，再根据预先设置的第二损失函数，例如，均方差损失函数，计算转换后的待配准图像和配准参考图像之间的目标损失值，以基于该目标损失值，对转换后的待配准图像和配准参考图像，进行图像配准处理，得到图像配准结果，不仅提高图像配准的准确度，还可以实现对图像配准结果的定量评价。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的一种应用于多模态的图像配准方法的流程示意图；

图2为本申请实施例提供的另一种应用于多模态的图像配准方法的流程示意图；

图3为本申请实施例提供的一种模态转换模型的示意图；

图4为本申请实施例提供的一种第四子损失函数进行损失计算处理的流程示意图；

图5为本申请实施例提供的一种应用于多模态的图像配准装置的结构示意图；

图6为本申请实施例提供的另一种应用于多模态的图像配准装置的结构示意图；

图7为本申请实施例提供的一种计算机设备的结构示意图；

图8是根据一示例性实施例示出的一种计算机设备的框图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，本申请所涉及的图像数据，均为经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

一个示例中，多模态的图像配准方法，可以应用于对医学图像进行配准，能够将来自不同时间、不同成像设备以及不同模态的医学图像进行准确的空间对齐，以便于将他们叠加在一起，进行比较、分析和诊断。

一个示例中，可以基于区域的方法，来进行图像配准。其中，基于区域的方法则着重于整个图像区域的相似性，此时，可以通过优化图像的相似性度量来实现图像配准，因此，相似性度量在图像配准中起到至关重要的作用。

相关技术中，主要是基于互信息、归一化互相关、梯度相关等方法来计算相似度，得到相似度度量。但是，这些方法都有一定的局限性，并不能准确的计算两幅图像的相似程度。例如，在基于互信息进行图像配准时，在互信息的取值达到无穷大时表征图像配准完成，因此，无法准确的确定出，不同模态的图像配准是否已经达到最优，同时，也无法定量评价图像配准的效果，进而容易影响图像配准的准确度。

本申请提供的应用于多模态的图像配准方法，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1为本申请实施例提供的一种应用于多模态的图像配准方法的流程示意图，如图1所示，该方法包括：

S101、获取配准图像对。

其中，配准图像对中包括第一图像模态下的待配准图像，和第二图像模态下的配准参考图像；待配准图像为，与配准参考图像，进行图像配准的图像。

一个示例中，第一图像模态与第二图像模态不同，例如，第一图像模态(或者，第二图像模态)可以为CT成像模态(Computed Tomography，电子计算机断层扫描)，也可以为DRR成像模态(Digitally Reconstructured Radiograph，数字重建放射影像)、也可以为MRI成像模态(Magnetic Resonance Imaging，磁共振成像)、也可以为X光成像模态等。

一个示例中，假设，待配准图像对应的第一图像模态为CT成像模态，则配准参考图像对应的第二图像模态可以为MRI成像模态等。

S102、基于预先设置的第一损失函数、第一图像模态下的训练样本，以及第二图像模态下的训练样本，训练模态转换模型，得到训练好的模态转换模型。

其中，训练好的模态转换模型用于将第一图像模态下的图像，转换为第二图像模态下的图像。

一个示例中，模态转换模型可以用于将第一图像模态下的图像，转换至第二图像模态下的图像，也可以将第二图像模态下的图像，转换为第一图像模态下的图像。

一个示例中，可以将第一图像模态下的训练样本，输入值模态转换模型中，并根据预先设置的第一损失函数，训练模态转换模型，同时，还可以将第二图像模态下的训练样本，输入值模态转换模型中，并根据预先设置的第一损失函数，训练模态转换模型，得到训练好的模态转换模型。

S103、将配准图像对中的待配准图像，输入至训练好的模态转换模型中进行处理，得到转换后的待配准图像。

其中，转换后的待配准图像的图像模态与配准参考图像的图像模态相同。

此时，可以将待配准图像中的第一图像模态下的待配准图像，输入至训练好的模态转换模型中进行处理，得到转换后的待配准图像，此时，转换后的待配准图像与配准参考图像的图像模态相同，也即，图像模态均为第二图像模态。

S104、基于预先设置的第二损失函数，计算转换后的待配准图像和配准参考图像之间的目标损失值，并基于目标损失值，对转换后的待配准图像，和配准参考图像进行图像配准处理，得到图像配准结果。

其中，第二损失函数包括均方差损失函数，预先设置的第二损失函数还用于评价图像配准结果。

一个示例中，预先设置的第二损失函数，可以包括均方差损失函数，也可以包括除均方差损失函数之外的其他损失函数，这里对预先设置的第二损失函数的具体内容不作限定，以能实现为准。

通过上述描述可知，本申请实施例，可以在获取配准图像对之后，根据配准图像对中所包括的，需要进行图像配准处理的待配准图像对应的第一图像模态，和配准参考图像所对应的第二图像模态，来训练模态转换模型，得到训练好的模态转换模型，从而可以根据图像配准的实际需求，来根据预先设置的第一损失函数，来训练对应的模态转换模型，得到训练好的模态转换模型。之后，可以根据训练好的模态转换模型，来对配准图像对中的待配准图像进行模态转换，得到转换后的待配准图像，从而可以使转换后的待配准图像，与配准参考图像的图像模态相同，以降低图像配准的难度。然后，再根据预先设置的第二损失函数，例如，均方差损失函数，计算转换后的待配准图像和配准参考图像之间的目标损失值，以基于该目标损失值，对转换后的待配准图像和配准参考图像，进行图像配准处理，得到图像配准结果，不仅提高图像配准的准确度，还可以实现对图像配准结果的定量评价。

图2为本申请实施例提供的另一种应用于多模态的图像配准方法的流程示意图，如图2所示，该方法包括：

S201、获取配准图像对。

其中，配准图像对中包括第一图像模态下的待配准图像，和第二图像模态下的配准参考图像；待配准图像为，与配准参考图像，进行图像配准的图像。

一个示例中，本步骤可以参见上述S101所描述的内容，这里不再详细介绍。

S202、基于预先设置的第一损失函数、第一图像模态下的训练样本，以及第二图像模态下的训练样本，训练模态转换模型，得到训练好的模态转换模型。

其中，训练好的模态转换模型用于将第一图像模态下的图像，转换为第二图像模态下的图像。

一个示例中，模态转换模型包括第一模型和第二模型，其中，第一模型用于将第一图像模态下的图像转换为第二图像模态下的图像，第二模型用于将第二图像模态下的图像转换为第一图像模态下的图像。此时，第一模型和第二模型可以理解为生成式网络。

基于此，在对模态转换模型进行训练时，首先，可以将第一图像模态下的训练样本，输入至模态转换模型中的第一模型中进行处理，得到第一模态转换结果，并将第一模态转换结果，输入至模态转换模型中的第二模型中进行处理，得到第二模态转换结果。

一个示例中，图3为本申请实施例提供的一种模态转换模型的示意图，如图3所示，假设，模态转换模型所包括的第一模型表示为G，模态转换模型所包括的第二模型表示为F，且第一图像模态下的训练样本表示为X，第二图像模态下的训练样本表示为Y，那么，在将第一图像模态下的训练样本，输入至模态转换模型中的第一模型中进行处理之后，所得到第一模态转换结果可以表示为G(X)，将第一模态转换结果，输入至模态转换模型中的第二模型中进行处理之后，得到的第二模态转换结果可以表示为F(G(X))。

接着，可以将第二图像模态下的训练样本，输入至模态转换模型中的第二模型中进行处理，得到第三模态转换结果，并将第三模态转换结果，输入至模态转换模型中的第一模型中进行处理，得到第四模态转换结果。

基于上述所描述的实施例，此时，可以将第三模态转换结果表示为F(Y)，并将第四模态转换结果表示为G(F(Y))。

然后，可以基于预先设置的第一损失函数、第一图像模态下的训练样本、第二图像模态下的训练样本、第一模态转换结果、第二模态转换结果、第三模态转换结果，以及第四模态转换结果，训练模态转换模型，得到训练好的模态转换模型。

一个示例中，可以通过预先设置的第一损失函数，来计算第一图像模态下的训练样本、第二图像模态下的训练样本、第一模态转换结果、第二模态转换结果、第三模态转换结果，以及第四模态转换结果之间的总损失值，从而可以根据该总损失值，训练模态转换模型，以得到能够实现第一图像模态和第二图像模态相互转换的训练好的模态转换模型。

一个示例中，预先设置的第一损失函数的数量为多个，此时，本申请实施例中的预先设置的第一损失函数中可以包括第一子损失函数、第二子损失函数、第三子损失函数和第四子损失函数。

一个示例中，第一子损失函数用于计算第一模型和第二模型之间的对抗损失，例如，该第一子损失函数可以用于判断第一图像模态下的训练样本，在经过第一模型的处理之后，得到的第一模态转换结果，与第二图像模态下的训练样本之间的差异，同时，还可以用于判断第二图像模态下的训练样本，在经过第二模型的处理之后，得到的第三模态转换结果，与第一图像模态下的训练样本之间的差异。

此时，可以基于预先设置的第一损失函数中的第一子损失函数，对第一模态转换结果、第二图像模态下的训练样本、第一图像模态下的训练样本，以及第三模态转换结果，进行损失计算处理，得到第一损失函数值。此时，根据上述所描述的实施例可知，第一子损失函数可以用于判断X经过G的处理之后，与Y对应的风格之间的差异，并且，判断Y经F的处理之后，与X对应的风格的差异。此时，第一子损失函数的公式可以表示为如下公式(1)所示。

Loss

其中，Loss

一个示例中，第二子损失函数可以用于计算第一模型和第二模型之间对的循环一致损失，例如，第二子损失函数用于判断第一图像模态下的训练样本，在依次经过第一模型和第二模型的处理之后，得到的第二模态转换结果，与第一图像模态下的训练样本之间的差异，同时，还可以用于判断第二图像模态下的训练样本，在依次经过第二模型和第一模型的处理之后，得到的第四模态转换结果，与第二图像模态下的训练样本之间的差异。

此时，可以基于预先设置的第一损失函数中的第二子损失函数，对第一图像模态下的训练样本、第二模态转换结果、第二图像模态下的训练样本，以及第四模态转换结果，进行损失计算处理，得到第二损失函数值。此时，根据上述所描述的实施例可知，第二子损失函数可以用于判断X依次经过G和F的处理之后，与X之间的差异，并且，判断Y依次经F和G的处理之后，与Y之间的差异。此时，第二子损失函数的公式可以表示为如下公式(2)所示。

Loss

其中，Loss

一个示例中，由于医学图像配准中，尤其关注图像中组织、器官等的边缘，因此，为了防止图像在图像模态转换过程中的边缘发生变化，可以基于第三子损失函数来对需要进行模态转换的图像，以及模态转换之后的图像，提取其图像边缘，来得到图像边缘的差异，从而根据该图像边缘的差异，来训练模态转换模型，避免训练好的模态转换模型在对图像进行处理时，使图像的边缘发生变化。

此时，可以在提取第一图像模态下的训练样本对应的图像边缘、第一模态转换结果对应的图像边缘、第二图像模态下的训练样本对应的图像边缘、以及第三模态转换结果对应的图像边缘之后，基于预先设置的第一损失函数中的第三子损失函数，进行损失计算处理，得到第三损失函数值。

此时，根据上述所描述的实施例可知，可以在提取X的图像边缘、G(X)的图像边缘、Y的图像边缘以及F(Y)的图像边缘之后，进行损失计算处理，得到第三损失函数值，此时，第三子损失函数的公式可以表示为如下公式(3)所示。

Loss

其中，Loss

一个示例中，在进行图像边缘提取时，可以使用canny算子、sobel算子、laplace算子等，这里对提取图像边缘所使用的方法不作具体限定，以能实现为准。

一个示例中，由于图像配准注重旋转平移等刚性变换，因此，为了保证训练好的模态转换模型对位置信息的敏感性，可以使经过旋转平移之后的图像，在输入至训练好的模态转换模型，得到的转换之后的图像，在经过旋转平移反变换之后，其与输入至训练好的模态转换模型之前的，未经过旋转平移的图像相比，位置保持不变。

基于此，可以通过预先设置的第一损失函数中的第四子损失函数，计算第四子损失函数对应的分损失值，以基于该分损失值，对模态转换模型进行训练，以使训练好的模态转换模型具有位置不变的特性。

其中，第四子损失函数对应的分损失值可以包括两部分，一部分为基于第四子损失函数，计算的模态转换模型中的第一模型对应的第四损失函数值，另一部分为基于第四子损失函数，计算的模态转换模型中的第而模型对应的第五损失函数值，具体来说，可以对第一图像模态下的训练样本，进行旋转平移变换之后，输入至模态转换模型中的第一模型中进行处理，得到第五模态转换结果，并对第五模态转换结果进行旋转平移反变换之后，基于预先设置的第一损失函数中的第四子损失函数，进行损失计算处理，得到第四损失函数值，并对第二图像模态下的训练样本，进行旋转平移变换之后，输入至模态转换模型中的第二模型中进行处理，得到第六模态转换结果，并对第六模态转换结果进行旋转平移反变换之后，基于预先设置的第一损失函数中的第四子损失函数，进行损失计算处理，得到第五损失函数值。

一个示例中，图4为本申请实施例提供的一种第四子损失函数进行损失计算处理的流程示意图，由图4可知，可以在获取第一图像模态下的训练样本X之后，一方面，可以将第一图像模态下的训练样本X直接输入至第一模型G中进行处理，得到第一模态转换结果，也即G(X)。另一方面，可以将第一图像模态下的训练样本X进行旋转平移变换，再将旋转平移变换之后的X，输入至第一模型G中进行处理，得到第五模态转换结果。接着，可以对第五模态转换结果进行旋转平移反变换，得到旋转平移反变换后的第五模态转换结果，也即G(X)

一个示例中，旋转平移变换可以包括旋转参数和平移参数，其中，旋转参数表征图像的旋转角度，平移参数表征图像的平移距离，示例性地，旋转参数可以为[-10度,10度]范围内的旋转度数，平移参数可以为[-10mm,10mm]范围内的平移距离，这里对旋转参数和平移参数不作具体限定，以满足实际需要为准。

同理，针对模态转换模型中的第二模型来说，可以在获取第二图像模态下的训练样本Y之后，一方面，可以将第一图像模态下的训练样本Y直接输入至第二模型F中进行处理，得到第三模态转换结果，也即F(Y)。另一方面，可以将第二图像模态下的训练样本Y进行旋转平移变换，再将旋转平移变换之后的Y，输入至第二模型F中进行处理，得到第六模态转换结果。接着，可以对第六模态转换结果进行旋转平移反变换，得到旋转平移反变换后的第六模态转换结果，也即F(Y)

此时，将第四损失函数值和第五损失函数值进行求和计算后，得到基于第四子损失函数，所得到的分损失值。

根据上述所描述可知，基于第四子损失函数，进行损失计算处理的公式可以表示为如下公式(4)所示。

Loss

其中，Loss

之后，可以对第一损失函数值、第二损失函数值、第三损失函数值、第四损失函数值，以及第五损失函数值，进行第一加权求和处理，得到第一总损失函数值，并基于第一总损失函数值，训练模态转换模型，得到训练好的模态转换模型。

一个示例中，对第一损失函数值、第二损失函数值、第三损失函数值、第四损失函数值，以及第五损失函数值，进行第一加权求和处理的公式可以表示为如下公式(5)所示。

Loss＝Loss

其中，λ

上述实施方式中，可以通过多种预先设置的多种损失函数，来训练模态转换模型，可以使模态转换模型与图像配准的需求更加适配，进而可以通过提升模态转换模型的精确度，来提升配准图像对中待配准图像进行图像模态转换的精确度。

S203、将配准图像对中的待配准图像，输入至训练好的模态转换模型中进行处理，得到转换后的待配准图像。

其中，转换后的待配准图像的图像模态与配准参考图像的图像模态相同。

一个示例中，本步骤可以参见上述S103所描述的内容，这里不再详细赘述。

S204、基于预先设置的第二损失函数，计算转换后的待配准图像和配准参考图像之间的目标损失值，并基于目标损失值，对转换后的待配准图像，和配准参考图像进行图像配准处理，得到图像配准结果。

其中，第二损失函数包括均方差损失函数；预先设置的第二损失函数还用于评价图像配准结果。

一个示例中，预先设置的第二损失函数可以包括一种或者多种损失函数，例如，该预先设置的第二损失函数中可以包括均方差损失函数，也可以包括除均方差损失函数之外的其他损失函数。

上述实施方式中，可以将多模态下的图像配准，转换为单模态下的图像配准，能够降低图像配准的难度，提高图像配准的准确度。

一个示例中，假设，预先设置的第二损失函数为均方差损失函数，则可以计算转换后的待配准图像和配准参考图像中的，各个相对应位置点的差值的平方，并将各个相对位置点的差值的平方，进行求和后求均值处理，得到目标损失值。

一个示例中，上述基于均方差损失函数，计算得到目标损失值的计算公式可以表示为如下公式(6)所示。

其中，Loss

此时，可以通过均方差损失函数，来对转换后的待配准图像和配准参考图像进行图像配准处理，此时，根据上述公式可知，在目标损失值足够小，例如，目标损失值为0的情况下，表征待配准图像和配准参考图像配准完成，此时，可以根据目标损失值，从而可以更好的控制图像配准是否完成，以尽可能提升图像配准的准确度。

一个示例中，假设，预先设置的第二损失函数包括均方差损失函数和互信息函数，则可以先基于均方差损失函数，计算转换后的待配准图像和配准参考图像之间的第一损失值，并基于互信息函数，计算转换后的待配准图像和配准参考图像之间的第二损失值。

一个示例中，上述基于均方差损失函数，计算转换后的待配准图像和配准参考图像之间的第一损失值，可以根据上述的公式(6)进行计算，这里不再描述。

一个示例中，上述基于互信息函数，计算转换后的待配准图像和配准参考图像之间的第二损失值的计算公式可以表示为如下公式(7)所示。

其中，Loss

此时，在使用互信息函数进行图像配准时，当两幅图像完全吻合时，也即，100％重合，则计算得到的第二损失值比较大。由于在对不同模态的图像进行图像配准时，其得到的第二损失值的量级也不相同，因此，单独根据比较大的第二损失值，无法准确判断图像配准是否完成。

此时，在将互信息函数和均方差损失函数相结合，用于图像配准处理时，可以为基于互信息函数确定的第二损失值添加符号，以使基于互信息函数和均方差损失函数得到的目标损失值越小越好，基于此，可以对第一损失值和第二损失值的相反数，进行第二加权求和处理，得到目标损失值，此时，可以确定目标损失值的计算公式可以表示为如下公式(8)所示。

Loss＝α*Loss

其中，α和β表示权重，这里对α和β的取值不作限定，以能实现为准。

另一个示例中，还可以根据下面公式(9)来对第一损失值和第二损失值进行加权求和处理，得到目标损失函数值。

Loss＝α*Loss

一个示例中，假设，预先设置的第二损失函数包括均方差损失函数、互信息函数，以及梯度相关函数，则可以基于均方差损失函数，计算转换后的待配准图像和配准参考图像之间的第三损失值，然后，基于互信息函数，计算转换后的待配准图像和配准参考图像之间的第四损失值，接着，基于梯度相关函数，计算转换后的待配准图像和配准参考图像之间的第五损失值。

其中，基于均方差损失函数，计算转换后的待配准图像和配准参考图像之间的第三损失值，可以根据上述的公式(6)进行计算，这里不再描述。

其中，基于互信息函数，计算转换后的待配准图像和配准参考图像之间的第四损失值，可以根据上述的公式(7)进行计算，这里不再描述。

一个示例中，上述基于梯度相关函数，计算转换后的待配准图像和配准参考图像之间的第五损失值的计算公式可以表示为如下公式(10)所示。

其中，GRA(S)

基于此，可以对第三损失值、第四损失值的相反数，和，目标数据与第五损失值的相反数的求和结果，进行第三加权求和处理，得到目标损失值，此时，可以确定目标损失值的计算公式可以表示为如下公式(11)所示。

Loss＝α*Loss

S205、基于目标损失值，对图像配准结果进行评价，得到图像配准评价结果。

其中，图像配准评价结果用于评价转换后的待配准图像和配准参考图像之间的匹配程度。

一个示例中，可以根据上述公式(6)、(8)、(9)以及(11)中任一公式所计算得到的目标损失值，对图像配准结果进行评价，得到图像配准评价结果。

这种实施方式，不仅可以通过均方差损失函数，来对图像配准结果进行评价，还可以将均方差损失函数与其他任意的损失函数相结合，来对图像配准结果进行评价，可以提高图像配准结果的评价的多样性，和准确度，进而提升图像配准方法的性能。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

图5为本申请实施例提供的一种应用于多模态的图像配准装置的结构示意图，如图5所示，该应用于多模态的图像配准装置500包括：

图像获取单元501，用于获取配准图像对；其中，配准图像对中包括第一图像模态下的待配准图像，和第二图像模态下的配准参考图像；待配准图像为，与配准参考图像，进行图像配准的图像。

模型训练单元502，用于基于预先设置的第一损失函数、第一图像模态下的训练样本，以及第二图像模态下的训练样本，训练模态转换模型，得到训练好的模态转换模型；其中，训练好的模态转换模型用于将第一图像模态下的图像，转换为第二图像模态下的图像。

模态转换单元503，用于将配准图像对中的待配准图像，输入至训练好的模态转换模型中进行处理，得到转换后的待配准图像；其中，转换后的待配准图像的图像模态与配准参考图像的图像模态相同。

图像配准单元504，用于基于预先设置的第二损失函数，计算转换后的待配准图像和配准参考图像之间的目标损失值，并基于目标损失值，对转换后的待配准图像，和配准参考图像进行图像配准处理，得到图像配准结果；其中，第二损失函数包括均方差损失函数；预先设置的第二损失函数还用于评价图像配准结果。

图6为本申请实施例提供的另一种应用于多模态的图像配准装置的结构示意图，如图6所示，该应用于多模态的图像配准装置600包括：

图像获取单元601，用于获取配准图像对；其中，配准图像对中包括第一图像模态下的待配准图像，和第二图像模态下的配准参考图像；待配准图像为，与配准参考图像，进行图像配准的图像。

模型训练单元602，用于基于预先设置的第一损失函数、第一图像模态下的训练样本，以及第二图像模态下的训练样本，训练模态转换模型，得到训练好的模态转换模型；其中，训练好的模态转换模型用于将第一图像模态下的图像，转换为第二图像模态下的图像。

模态转换单元603，用于将配准图像对中的待配准图像，输入至训练好的模态转换模型中进行处理，得到转换后的待配准图像；其中，转换后的待配准图像的图像模态与配准参考图像的图像模态相同。

图像配准单元604，用于基于预先设置的第二损失函数，计算转换后的待配准图像和配准参考图像之间的目标损失值，并基于目标损失值，对转换后的待配准图像，和配准参考图像进行图像配准处理，得到图像配准结果；其中，第二损失函数包括均方差损失函数；预先设置的第二损失函数还用于评价图像配准结果。

一个示例中，模态转换模型包括第一模型和第二模型，其中，第一模型用于将第一图像模态下的图像转换为第二图像模态下的图像，第二模型用于将第二图像模态下的图像转换为第一图像模态下的图像。此时，模型训练单元602，用于：

将第一图像模态下的训练样本，输入至模态转换模型中的第一模型中进行处理，得到第一模态转换结果，并将第一模态转换结果，输入至模态转换模型中的第二模型中进行处理，得到第二模态转换结果；

将第二图像模态下的训练样本，输入至模态转换模型中的第二模型中进行处理，得到第三模态转换结果，并将第三模态转换结果，输入至模态转换模型中的第一模型中进行处理，得到第四模态转换结果；

基于预先设置的第一损失函数、第一图像模态下的训练样本、第二图像模态下的训练样本、第一模态转换结果、第二模态转换结果、第三模态转换结果，以及第四模态转换结果，训练模态转换模型，得到训练好的模态转换模型。

一个示例中，预先设置的第一损失函数的数量为多个，此时，模型训练单元602，用于：

基于预先设置的第一损失函数中的第一子损失函数，对第一模态转换结果、第二图像模态下的训练样本、第一图像模态下的训练样本，以及第三模态转换结果，进行损失计算处理，得到第一损失函数值；

基于预先设置的第一损失函数中的第二子损失函数，对第一图像模态下的训练样本、第二模态转换结果、第二图像模态下的训练样本，以及第四模态转换结果，进行损失计算处理，得到第二损失函数值；

在提取第一图像模态下的训练样本对应的图像边缘、第一模态转换结果对应的图像边缘、第二图像模态下的训练样本对应的图像边缘、以及第三模态转换结果对应的图像边缘之后，基于预先设置的第一损失函数中的第三子损失函数，进行损失计算处理，得到第三损失函数值；

对第一图像模态下的训练样本，进行旋转平移变换之后，输入至模态转换模型中的第一模型中进行处理，得到第五模态转换结果，并对第五模态转换结果进行旋转平移反变换之后，基于预先设置的第一损失函数中的第四子损失函数，进行损失计算处理，得到第四损失函数值；

对第二图像模态下的训练样本，进行旋转平移变换之后，输入至模态转换模型中的第二模型中进行处理，得到第六模态转换结果，并对第六模态转换结果进行旋转平移反变换之后，基于预先设置的第一损失函数中的第四子损失函数，进行损失计算处理，得到第五损失函数值；

对第一损失函数值、第二损失函数值、第三损失函数值、第四损失函数值，以及第五损失函数值，进行第一加权求和处理，得到第一总损失函数值，并基于第一总损失函数值，训练模态转换模型，得到训练好的模态转换模型。

一个示例中，预先设置的第二损失函数为均方差损失函数，此时，图像配准单元604，用于：

计算转换后的待配准图像和配准参考图像中的，各个相对应位置点的差值的平方，并将各个相对位置点的差值的平方，进行求和后求均值处理，得到目标损失值。

一个示例中，预先设置的第二损失函数包括均方差损失函数和互信息函数，此时，图像配准单元604，用于：

基于均方差损失函数，计算转换后的待配准图像和配准参考图像之间的第一损失值，并基于互信息函数，计算转换后的待配准图像和配准参考图像之间的第二损失值；

对第一损失值和第二损失值的相反数，进行第二加权求和处理，得到目标损失值。

一个示例中，预先设置的第二损失函数包括均方差损失函数、互信息函数，以及梯度相关函数，此时，图像配准单元604，用于：

基于均方差损失函数，计算转换后的待配准图像和配准参考图像之间的第三损失值；

基于互信息函数，计算转换后的待配准图像和配准参考图像之间的第四损失值；

基于梯度相关函数，计算转换后的待配准图像和配准参考图像之间的第五损失值；

对第三损失值、第四损失值的相反数，和，目标数据与第五损失值的相反数的求和结果，进行第三加权求和处理，得到目标损失值。

一个示例中，该装置还包括：

评价单元605，用于在得到图像配准结果之后，基于目标损失值，对图像配准结果进行评价，得到图像配准评价结果；其中，图像配准评价结果用于评价转换后的待配准图像和配准参考图像之间的匹配程度。

图7为本申请实施例提供的一种计算机设备的结构示意图，如图7所示，计算机设备700包括：存储器701，处理器702。

存储器701；用于存储处理器702可执行指令的存储器。

其中，处理器702被配置为执行如上述实施例提供的方法。

计算机设备还包括接收器703和发送器704。接收器703用于接收外部设备发送的指令和数据，发送器704用于向外部设备发送指令和数据。

图8是根据一示例性实施例示出的一种计算机设备的框图，该设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机执行指令，该计算机执行指令被处理器运行时执行上述方法实施例中的应用于多模态的图像配准方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本申请实施例还提供一种计算机程序产品，该计算机程序产品承载有计算机执行指令，计算机执行指令包括的指令可用于执行上述方法实施例中的应用于多模态的图像配准方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。