一种影像初始配准及神经网络的训练方法、装置和设备

摘要

本申请提供一种影像初始配准及神经网络的训练方法、装置和设备，方法包括：确定放射对象在二维影像中所形成图案的轮廓信息；将轮廓信息输入神经网络；经神经网络对输入的轮廓信息进行特征提取，并根据提取的特征确定二维影像与三维影像的初始配准信息。通过本申请的技术方案，可以提高二维影像与三维影像之间的初始配准精度和鲁棒性。

说明书

技术领域

本申请涉及网络技术领域，具体涉及一种影像初始配准及神经网络的训练方法、装置和设备。

背景技术

随着影像成像技术的快速发展，各种成像设备层出不穷，与此同时，新的成像设备的推出和已有成像设备的继续改进，使得影像成像技术在越来越多的行业中被广泛应用。

基于不同类型影像设备的成像方式不同，通过不同类型的影像设备所获得的图像具有不同的特点和应用价值。因此，如何集各种影像设备之所长，实现不同类型影像之间的综合利用具有空前的研究意义，其中，如何把基于不同成像设备在同一场景或相似场景中获得的影像进行融合是获取不同类型影像之间的综合利用价值的关键过程。

然而，相关技术中直接对不同类型的影像之间进行配准的方法，在影像的初始姿态与目标姿态相差较大的情况下极易造成错误配准，导致配准结果的准确性低下；此外，基于全局优化搜索算法的配准过程，诸如蚁群算法、模拟退火算法等，则由于迭代过程中的计算时间过长而导致配准效率低下。

发明内容

有鉴于此，本申请提供一种影像初始配准及神经网络的训练方法、装置和设备，可基于神经网络获得与放射对象在二维影像中所形成图案的轮廓信息对应的三维影像的初始配准信息，不仅降低了计算过程中的时间复杂度，而且提高了二维影像与三维影像之间的初始配准精度，且配准方法具有较高的鲁棒性。

为实现上述目的，本申请提供技术方案如下：

根据本申请的第一方面，提出了一种影像初始配准方法，所述方法包括：

确定放射对象在二维影像中所形成图案的轮廓信息；

将所述轮廓信息输入神经网络，其中，所述神经网络预先采用包括有实际配准标注信息的轮廓信息样本训练完成，所述实际配准标注信息为所述放射对象形成的三维影像的位姿数据，且所述位姿数据下的三维影像匹配于所述轮廓信息样本所属的二维影像；

经所述神经网络对输入的所述轮廓信息进行特征提取，并根据提取的特征确定所述二维影像与所述三维影像的初始配准信息。

可选的，所述确定放射对象在二维影像中所形成图案的轮廓信息，包括：

确定放射对象在二维影像中所形成图案的至少两个边缘区域的边缘轮廓曲线，所述边缘轮廓曲线是通过对所述边缘区域中的特征进行拟合而得到的；

确定所述边缘轮廓曲线之间的交点信息，以将所确定的交点信息作为所述二维影像所表征的放射对象的轮廓信息。

可选的，所述对所述边缘区域中的特征进行拟合，包括：

确定所述边缘区域中的轮廓点集；基于曲线模型确定所述轮廓点集对应的曲线方程；或者，

基于最大类间方差法提取所述边缘区域内部的图案轮廓区域；获取所述图案轮廓区域对应的投影图像；基于所述投影图像中的投影极大值点的位置拟合所述图案轮廓区域对应的回归方程。

可选的，所述轮廓信息样本所属的二维影像，包括：

基于相似性算法在二维重建图像集合中筛选出的与实际二维影像相匹配的二维重建图像，所述二维重建图像集合包括将所述放射对象按照预设规则变化后的三维影像对应的多个二维影像，所述实际配准标注信息为所述放射对象按照预设规则变化后的三维影像的位姿数据。

可选的，所述位姿数据包括基于成像设备的空间坐标系中的预设方向的偏移量和/或旋转角度值，所述按照预设规则变化，包括：基于所述成像设备的空间坐标系中的预设方向，将所述放射对象的角度值变化第一预设值和/或将所述放射对象的偏移量变化第二预设值。

根据本申请的第二方面，提出了一种用于影像初始配准的神经网络训练方法，所述方法包括：

至少将作为训练样本的二维影像中放射对象所形成图案的轮廓信息输入神经网络，其中，所述训练样本中包括有实际配准信息的轮廓信息样本，所述实际配准标注信息为所述放射对象形成的三维影像的位姿数据，且所述位姿数据下的三维影像匹配于所述轮廓信息样本所属的二维影像；

经所述神经网络对输入的所述轮廓信息进行特征提取，并根据提取的特征确定所述轮廓信息对应的预测配准信息；

确定所述预测配准信息与所述实际配准标注信息之间的差异；

基于所述差异调整所述神经网络的网络模型参数。

可选的，所述轮廓信息样本所属的二维影像，包括：

基于相似性算法在二维重建图像集合中筛选出的与实际二维影像相匹配的二维重建图像，所述二维重建图像集合包括所述放射对象按照预设规则变化后的三维影像对应的多个二维影像，所述实际配准标注信息为所述放射对象按照预设规则变化后的三维影像的位姿数据。

可选的，所述位姿数据包括基于成像设备的空间坐标系中的预设方向的偏移量和/或旋转角度值，所述按照预设规则变化，包括：基于所述成像设备的空间坐标系中的预设方向，将所述放射对象的角度值变化第一预设值和/或将所述放射对象的偏移量变化第二预设值。

可选的，所述二维影像中放射对象所形成图案的轮廓信息，包括：

所述二维影像中放射对象所形成图案的至少两个边缘区域的边缘轮廓曲线之间的交点信息，所述边缘轮廓曲线是通过对所述边缘区域中的特征进行拟合而得到的。

可选的，所述确定所述预测配准信息与所述实际配准标注信息之间的差异，基于所述差异调整所述神经网络的网络模型参数，包括：

确定包含所述网络模型参数的回归模型所对应的损失函数；

基于所述损失函数、预测配准信息和实际配准标注信息确定使得所述损失函数取得最小值时的网络模型参数。

可选的，所述确定所述预测配准信息与所述实际配准标注信息之间的差异，基于所述差异调整所述神经网络的网络模型参数，包括：

确定分别针对各个位姿维度的包含所述网络模型参数的回归模型对应的损失函数，其中，所述位姿维度包括基于所述成像设备的空间坐标系中沿各个坐标方向上的平移距离和/或旋转角度；

确定使得损失函数取得最小值时的网络模型参数为所述位姿维度下的回归模型的网络模型参数。

根据本申请的第三方面，提出了一种影像初始配准装置，所述装置包括：

确定单元，确定放射对象在二维影像中所形成图案的轮廓信息；

输入单元，将所述轮廓信息输入神经网络，其中，所述神经网络预先采用包括有实际配准标注信息的轮廓信息样本训练完成，所述实际配准标注信息为所述放射对象形成的三维影像的位姿数据，且所述位姿数据下的三维影像匹配于所述轮廓信息样本所属的二维影像；

特征提取单元，经所述神经网络对输入的所述轮廓信息进行特征提取，并根据提取的特征确定所述二维影像与所述三维影像的初始配准信息。

根据本申请的第四方面，提出了一种用于影像初始配准的神经网络训练装置，所述装置包括：

输入单元，至少将作为训练样本的二维影像中放射对象所形成图案的轮廓信息输入神经网络，其中，所述训练样本中包括有实际配准信息的轮廓信息样本，所述实际配准标注信息为所述放射对象形成的三维影像的位姿数据，且所述位姿数据下的三维影像匹配于所述轮廓信息样本所属的二维影像；

特征提取单元，经所述神经网络对输入的所述轮廓信息进行特征提取，并根据提取的特征确定所述轮廓信息对应的预测配准信息；

差异确定单元，确定所述预测配准信息与所述实际配准标注信息之间的差异；

调整单元，基于所述差异调整所述神经网络的网络模型参数。

根据本申请的第五方面，提出了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为可执行指令以实现上述第一方面所述的方法。

根据本申请的第六方面，提出了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述第一方面所述方法的步骤。

根据本申请的第七方面，提出了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为可执行指令以实现上述第二方面所述的方法。

根据本申请的第八方面，提出了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述第二方面所述方法的步骤。

由以上技术方案可见，通过神经网络回归模型确定与二维影像中图案的轮廓信息对应的三维影像的位姿数据，避免了相关技术使用的局部优化搜索算法导致无法在全局范围内进行搜索；此外，基于预先训练完成的神经网络预测二维影像于三维影像之间的配准信息，而无需经过全局优化搜索算法的复杂的迭代过程，降低了计算过程中的时间复杂度、提高了配准效率。

附图说明

图1是根据本申请一示例性实施例中的一种影像初始配准方法的流程图；

图2是根据本申请一示例性实施例中的一种用于影像初始配准的神经网络训练方法的流程图；

图3是根据本申请一示例性实施例中的另一种影像初始配准方法的流程图；

图4是根据本申请一示例性实施例中的一种单节骨骼轮廓的二维影像的示意图；

图5是根据本申请一示例性实施例中的另一种单节骨骼轮廓的二维影像的示意图；

图6是根据本申请一示例性实施例中的另一种用于影像初始配准的神经网络训练方法的流程图；

图7为是根据本申请一示例性实施例中的一种神经网络对轮廓信息进行特征提取的示意图；

图8是根据本申请一示例性实施例中的一种电子设备的示意结构图；

图9是根据本申请一示例性实施例中的一种影像初始配准装置的框图；

图10是根据本申请一示例性实施例中的另一种电子设备的示意结构图；

图11是根据本申请一示例性实施例中的一种用于影像初始配准的神经网络训练装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

随着影像成像技术的快速发展，新的成像设备的推出和已有成像设备的继续改进，使得影像成像技术在越来越多的行业中被广泛应用。基于不同类型的影像设备的成像方式不同，通过不同类型的影像设备所获得的图像具有不同的特点和应用价值，诸如基于CT的密度分辨力高，使得CT影像能够更好地显示由软组织构成的器官，当然，CT影像对于骨骼的成像同样非常清晰；核磁共振利用强大的磁场，让身体中的水分振动起来，利用不同组织里水分的振动差异形成影像，使得MRI图像对软组织具有更加清晰的成像效果；超声图像在保证了对软组织结构分辨力高、对比性强的基础上，更具有实时性强和无辐射的优点等。

鉴于不同类型的影像设备所得到成像具有不同的应用价值，因而，实际应用过程中，对基于多个影像设备获得的影像进行综合使用，对不同类型的图像信息的融合具有迫切的需求，对此，图像配准技术应运而生，通过图像配准能够对于同一对象的基于不同成像角度、不同成像设备所获得的多幅影像进行一种(或一系列)空间变换，使多幅影像之间关于同一对应点达到空间上的一致，典型的图像配准诸如：CT影像与PET图像的配准，CT影像与MRI影像的配准、超声图像与CT图像配准、fMRI图像序列的配准、不同MR加权像间的配准等。

相关技术所采用的图像配准方法提及到基于相似性对三维影像产生的DRR图像与二维影像进行局部优化搜索以进行配准，然而，在三维影像的初始位姿与目标值相差较大的情况下，由于局部优化搜索的算法无法在全局范围内完成搜索，使得容易优化搜索的过程中极易陷入局部最优而发生配准错误，导致二维影像与三维影像之间配准的准确性低下；而对于全局优化搜索算法的配准方法，诸如蚁群算法、模拟退火等启发式算法，充分迭代式的搜索方法造成配准效率极低。

有鉴于此，本申请提供一种影像初始配准及神经网络的训练方法及装置，基于神经网络获得与放射对象在二维影像中所形成图案的轮廓信息对应的三维影像的初始配准信息，该方法不仅降低了计算过程中的时间复杂度、提高了配准方法的鲁棒性，而且保证了二维影像与三维影像之间的初始配准精度，从而解决了相关技术中在二维影像与三维影像之间进行配准时准确性低、配准效率低等问题。

请参考图1，图1是根据本申请一示例性实施例中的一种影像初始配准方法的流程图，如图1所示，该方法可以包括以下步骤：

步骤101，确定放射对象在二维影像中所形成图案的轮廓信息。

通过对边缘区域中的特征进行拟合，可以确定放射对象在二维影像中所形成图案的至少两个边缘区域的边缘轮廓曲线，进而对于至少两个边缘区域的边缘轮廓曲线之间的交点信息可以作为二维影像所表征的放射对象的轮廓信息。

在对边缘区域中的特征进行拟合的过程中，可以采用多种方式，在一实施例中，可以对边缘区域中的轮廓点集进行确定，进而基于曲线模型确定轮廓点集对应的曲线方程；在另一实施例中，可以基于最大类间方差法提取边缘区域内部的图案轮廓区域，在所获取的图案轮廓区域对应的投影图像的基础上，对投影图像中的投影极大值点的位置进行拟合，以确定投影图像中的图案轮廓区域对应的回归方程。

步骤102，将轮廓信息输入神经网络，其中，神经网络预先采用包括有实际配准标注信息的轮廓信息样本训练完成，实际配准标注信息为放射对象形成的三维影像的位姿数据，且位姿数据下的三维影像匹配于轮廓信息样本所属的二维影像。

在一实施例中，用于训练神经网络的轮廓信息样本所属的二维影像可以为基于相似性算法在二维重建图像集合中筛选出的与实际二维影像相匹配的二维重建图像。具体的，可以预先确定放射对象按照预设规则变化后的三维影像，并获得按照预设规则变化后的三维影像所对应的多个二维影像，以得到用于筛选与实际二维影像相匹配的二维重建图像集合，以提高对二维重建图像集合中的二维影像的确定效率。

进一步的，实际配准信息为放射对象按照预设规则变化后的三维影像的位姿数据。具体的，位姿数据可以为基于成像设备的空间坐标系中的预设方向的偏移量、沿预设方向的旋转角度值或沿预设方向的偏移量和旋转角度值。相应的，按照预设规则对放射对象进行变化具体可以包括：基于成像设备的空间坐标系中的预设方向，将放射对象的角度值变化第一预设值、基于成像设备的空间坐标中的预设方向将放射对象沿预设方向的偏移量变化第二预设值，或者将放射对象的角度值变化第一预设值并且将放射对象的沿预设方向的偏移量变化第二预设值。

步骤103，经神经网络对输入的轮廓信息进行特征提取，并根据提取的特征确定二维影像与三维影像的初始配准信息。

经预先训练完成的神经网络对输入的交点信息进行特征提取，进而根据提取的特征预测二维影像与三维影像的初始配准信息。

通过上述实施例，确定放射对象在二维影像中图案的轮廓信息，进而将所确定的轮廓信息输入预先训练完成的神经网络，通过神经网络对输入的轮廓信息进行特征提取，可基于所提取的特征确定同一放射对象的二维影像与三维影像之间的初始配准信息，在本申请的技术方案中，通过神经网络回归模型确定与二维影像中图案的轮廓信息对应的三维影像的位姿数据，避免了相关技术使用的局部优化搜索算法导致无法在全局范围内进行搜索；此外，基于预先训练完成的神经网络预测二维影像于三维影像之间的配准信息，而无需经过全局优化搜索算法的复杂的迭代过程，降低了计算过程中的时间复杂度、提高了配准效率。

图2是根据本申请一示例性实施例中的一种用于影像初始配准的神经网络训练方法的流程图，如图2所示，该方法可以包括以下步骤：

步骤201，至少将作为训练样本的二维影像中放射对象所形成图案的轮廓信息输入神经网络，其中，训练样本中包括有实际配准信息的轮廓信息样本，实际配准标注信息为放射对象形成的三维影像的位姿数据，且位姿数据下的三维影像匹配于轮廓信息样本所属的二维影像。

在一实施例中，作为训练样本的二维影像可以为实际二维影像或者二维重建图像，其中，二维重建图像可以通过基于刚体变换后的放射对象的位姿数据所确定的多个三维影像而得到的，相应的，二维重建图像对应的实际标注信息为得到该二维重建图像时的放射对象的位姿数据，放射对象的位姿数据为沿x、y、z坐标轴三个方向的偏移量和旋转角度值，即放射对象的六自由度信息。

进一步的，在作为训练样本的二维影像为实际二维影像的情况下，可以基于相似性算法在二维重建图像集合中筛选出与实际二维影像相匹配的二维重建图像，进而将所筛选出的二维重建图像对应的放射对象的三维影像的位姿数据确定为该实际二维影像的实际标注信息，使得可将已有的实际二维影像作为轮廓信息样本。

轮廓信息样本作为训练样本，其包括有实际配准信息，其中，实际配准信息为放射对象形成的三维影像的位姿数据，且该位姿数据下的三维影像匹配于轮廓信息样本所属的二维影像。在实际应用过程中，位姿数据包括基于成像设备的空间坐标系中的预设方向的偏移量、基于成像设备的空间坐标系中的预设方向的旋转角度值或者基于成像设备的空间坐标系中的沿预设方向的偏移量和旋转角度值。

本申请中的二维重建图像对应于放射对象按照预设规则变换后的三维影像，相应的，二维重建图像集合中包括放射对象按照预设规则变化后的三维影像对应的多个二维影像，其中，预设规则可以为基于成像设备的空间坐标系中的预设方向，将放射对象的角度值变化第一预设值、基于成像设备的空间坐标系中的预设方向将放射对象的偏移量变化第二预设值或者基于成像设备的空间坐标系中的预设方向将放射对象的角度值变化第一预设值且将放射对象的偏移量变化第二预设值。

步骤202，经神经网络对输入的轮廓信息进行特征提取，并根据提取的特征确定轮廓信息对应的预测配准信息。

二维影像中图案的轮廓信息可以为该二维影像中放射对象所形成图案的至少两个边缘区域的边缘轮廓曲线之间的交点信息，其中，边缘轮廓曲线时通过对边缘区域中的特征进行拟合而得到的。

进一步的，可以对边缘区域中的轮廓点集进行确定，进而基于曲线模型确定轮廓点集对应的曲线方程；可以基于最大类间方差法提取边缘区域内部的图案轮廓区域，在所获取的图案轮廓区域对应的投影图像的基础上，对投影图像中的投影极大值点的位置进行拟合，以确定投影图像中的图案轮廓区域对应的回归方程。

步骤203，确定预测配准信息与实际配准标注信息之间的差异。

步骤204，基于差异调整神经网络的网络模型参数。

在基于差异调整神经网络的网络模型参数的过程中，在损失函数取得最小值时的网络模型参数作为神经网络优化后的模型参数。损失函数可以为预先针对包含网络模型参数的回归模型所确定的，在对神经网络进行优化的过程中，可以基于损失函数、预测配准信息和实际配准标注信息确定使得损失函数取得最小值时的网络模型参数。

进一步的，可以确定分别针对各个位姿维度的包含网络模型参数的回归模型对应的损失函数，进而将使得损失函数取得最小值时的网络模型参数确定为该位姿维度下的回归模型的网络模型参数，即针对各个位姿维度分别训练神经网络，并分别构建针对不同位姿维度的神经网络模型的损失函数，以使针对各个位姿维度的神经网络并行式地进行优化训练，进而在获取预测配准信息的阶段，对于所输入的二维影像中图案的轮廓信息可以并行式地进行预测，提高了对包含多个位姿维度的预测配准信息的预测效率。

由上述实施例可知，基于所确定的包括有实际配准信息的轮廓信息样本，将作为训练样本的二维影像中放射对象所形成图案的轮廓信息输入神经网络，进而经神经网络对输入的轮廓信息进行特征提取，并根据提取的特征确定轮廓信息对应的预测配准信息，从而基于预测配准信息于实际配准信息之间的差异调整神经网络的网络模型参数，基于所训练的神经网络能够实现对二维影像中图案的轮廓信息与放射对象的三维影像的位姿数据之间的初始配准，避免了相关技术中因局部优化搜索算法导致检索准确率低下，以及因全局优化搜索算法在迭代过程中时间复杂度高导致的配准效率低等问题。

图3是根据本申请一示例性实施例中的另一种影像初始配准方法的流程图，如图3所示，该方法可以包括以下步骤：

步骤301，确定放射对象在二维影像中所形成图案的至少两个边缘区域的边缘轮廓曲线。

边缘轮廓曲线可以是通过对构成边缘区域的像素点的位置进行拟合而得到的。具体的，可以对基于成像设备所直接获取的原始二维影像进行截取以获取包含放射对象对应图案的二维影像，进一步的，为了使获得的二维影像更为清楚，可以对包含有放射对象图案的二维影像进行二值化处理，以在二值化处理后的二维影像中起到对放射对象的轮廓特征进行凸显的效果，从而能够确定更为准确的图案的边缘区域。

在实际应用过程中，进行二值化处理的方式可以为：将像素点的灰度值与预设阈值进行比对，从而仅保留灰度值低于阈值的像素点，或者将灰度值低于阈值的像素点与灰度值高于阈值的像素点进行分离，以分别由两个不同的二维图像进行呈现；当然也可以根据二维图像中的像素点的其他属性特征诸如像素点的密度程度、相邻像素点的像素值之间的差值是否超过预设变化阈值等对轮廓特征和非轮廓特征进行区分，从而获得放射对象在二维影像中所形成图案的轮廓区域，本申请对边缘区域的具体确定方法不作限制。

在基于放射对象在二维影像中所形成的图案的边缘区域的像素点的位置拟合得到边缘轮廓曲线的过程，可以采用多种方式：

在一实施例中，可以获取放射对象在二维影像中的图案的轮廓区域，确定由轮廓区域中的像素点所构成的轮廓点集，进而基于曲线模型对轮廓点集的分布情况进行拟合，从而确定轮廓点集对应的曲线方程。

具体的，在轮廓点集的分布为符合线性关系的情况下，可以确定放射对象在二维影像中的图案的轮廓对应的线性回归模型，诸如，在放射对象为单节骨骼，且骨骼的节间边在二维影像中的图案为两条近乎直线的轮廓的情况下，可以对骨骼的节间边轮廓的点集进行线性拟合，以得到单节骨骼的节间边在二维影像中所形成的近乎直线的图案对应的线性回归方程。

类似的，在线性拟合的效果较差的情况下，可以换用曲线拟合的方法以获取所确定的轮廓对应的曲线回归模型，基于最小二乘法确定曲线回归模型的参数估计，并在回归模型通过显著性检验的情况下，确定所选用的曲线模型为放射对象在二维影像中的图案轮廓对应的拟合回归模型；实际应用过程中，曲线回归模型可以为一个或者多个回归模型的组合，回归模型可以为S曲线回归方程、三次曲线回归方程、增长曲线回归方程等。

在另一实施例中，可以基于最大类间方差法提取边缘区域内部的图案轮廓区域，进而获取图案轮廓区域对应的投影图像，基于投影图像中的投影极大值点的位置拟合图案轮廓区域对应的线性方程，在本实施例中，通过确定投影图像中的投影最大值点的位置，可将像素点分布最多的分布位置筛选出来，进而对于放射对象在二维图像中的图案中像素点分布最多的位置作为参与回归拟合的像素点的位置。

在确定图案的轮廓特征的过程中，可以分别确认不同区域的轮廓对应的曲线，进而将图案中不同区域的轮廓曲线进行汇总。

以确定单节骨骼的轮廓的过程为例，请参考图4，图4是根据本申请一示例性实施例中的一种单节骨骼轮廓的二维影像的示意图，由于单节骨骼的节间(即图4中标示出的节间边D与节间边E)在二维影像中的图案为两条近乎直线的轮廓，因而，可以分别对每一条侧边的轮廓进行线性拟合；类似的，鉴于单节骨骼的侧边轮廓为曲线，因而可以分别对单节骨骼的侧边B和侧边A的轮廓分别进行拟合，以获得侧边B和侧边A分别对应的曲线回归模型。通过上述过程，将原本由多个曲线构成的单节骨骼的轮廓划分为四个可以分别进行拟合回归的部分，从而分别针对各个曲线进行拟合，拟合后的单节骨骼的轮廓标注信息可以如图5所示，图5是根据本申请一示例性实施例中的另一种单节骨骼轮廓的二维影像的示意图，如图5所示，针对单节骨骼的轮廓所划分的四个分别进行拟合回归的部分，即节间边A、节间边B、侧边C和侧边D，可以得到四个拟合回归部分分别对应的拟合结果，即对于近似直线的节间边D和节间边C的拟合结果为图5中的直线d和直线c，对于曲线型的单节骨骼侧边B和侧边A的拟合结果为图5中所示的曲线b和曲线a。

步骤302，确定边缘轮廓曲线之间的交点信息。

根据所确定的放射对象在二维影像中所形成图案的至少两个边缘区域的回归拟合模型，可以确定边缘区域对应的边缘轮廓曲线。

在一实施例中，可以确定至少两个边缘区域对应的回归拟合模型之间的交点信息，进而可以将所确定的至少两个边缘区域对应的回归拟合模型之间的交点信息作为二维影像所表征的放射对象的轮廓信息。在另一实施例中，可以将拟合回归模型或者根据预配置的取值范围而确定的拟合回归模型中的特征点作为二维影像所表征的放射对象的轮廓信息。

步骤303，将所确定的交点信息输入预先训练好的神经网络。

神经网络的网络结构可以有多种，诸如卷积神经网络、深度神经网络等，本申请不对神经网络的网络结构进行限制。神经网络可以预先使用包含有实际配准标注信息的轮廓信息样本训练完成，轮廓信息样本的形式可以为二维影像，其中，二维影像可以为实际二维影像或者二维重建影像，在确定二维重建影像的过程中，可以将放射对象对应的三维影像的位姿数据按照预设规则进行变换，从而基于多个变换后的位姿数据的三维影像确定多个二维重建影像，以提高样本的正则化，避免因特异性的样本导致所训练的神经网络的过拟合或者欠拟合。

具体的，在使用实际二维影像用于作为训练样本的二维重建影像的过程中，可以基于相似性算法在二维重建图像集合中筛选出与实际二维影像相匹配的二维重建图像，进而将所筛选出的二维重建图像的位姿数据确定为实际二维影像所表征的放射对象的三维影像的位姿数据信息；当然，也可以在获取实际二维影像时便确定放射对象的三维影像的位姿数据，本申请对二维重建图像或二维影像所表征的放射对象的三维影像的位姿数据的确定方式不做限制。

放射对象的三维影像的位姿数据为沿坐标轴x、y、z坐标轴三个方向的偏移量和旋转角度值，本申请中借助于t

相应的，放射对象的刚体变换规则可以为预设规则，预设规则中可以包括基于成像设备的空间坐标系中的预设方向，将放射对象的偏移量沿预设方向变化第二预设值、将放射对象的角度值变化第一预设值或者沿预设方向将放射对象的偏移量变化第二预设值和沿预设方向将旋转角度值变化第一预设值。

关于神经网络的具体训练过程在图6所示的流程图对应的方法实施例中进行说明，本实施例中不再赘述。

步骤304，由神经网络对输入的交点信息进行特征提取，以根据提取的特征确定二维影像与三维影像的初始配准信息。

将放射对象在二维影像中形成图案的轮廓信息输入神经网络，经预先训练完成的神经网络对输入的交点信息进行特征提取，进而根据提取的特征预测二维影像与三维影像的初始配准信息。

由上述实施例可知，对待获取初始配准信息的二维影像，本申请可以基于所确定的放射对象在二维影像中所形成图案的至少两个边缘区域的边缘轮廓曲线，获取至少两个边缘区域的边缘轮廓曲线之间的交点信息，进而将所确定的交点信息输入预先训练好的神经网络，由神经网络对输入的交点信息进行特征提取，进而根据所提取的特征确定二维影像与三维影像的初始配准信息，区别于相关技术中基于局部优化搜索算法导致无法在全局范围内进行搜索，本申请的技术方案避免了优化搜索的过程因陷入局部最优而导致配准的准确率低下的技术问题；此外，基于预先训练完成的神经网络预测二维影像于三维影像之间的配准信息，而无需经过全局优化搜索算法的复杂的迭代过程，降低了计算过程中的时间复杂度、提高了配准效率。

图6是根据本申请一示例性实施例中的另一种用于影像初始配准的神经网络训练方法的流程图，如图6所示，该方法可以包括以下步骤：

步骤601，构建标注有配准信息的二维影像的样本数据。

在一实施例中，可以通过变换放射对象的位姿数据确定该放射对象的多个三维影像，以及每个三维影像所对应的二维影像。放射对象的三维影像的位姿数据为沿坐标轴x、y、z坐标轴三个方向的偏移量和旋转角度值，本申请中借助于t

具体的，放射对象的刚体变换规则可以为预设规则，预设规则中可以包括基于成像设备的空间坐标系中的预设方向，将放射对象的偏移量沿预设方向变化第二预设值、将放射对象的角度值变化第一预设值或者沿预设方向将放射对象的偏移量变化第二预设值和沿预设方向将旋转角度值变化第一预设值。

在实际应用中，预设规则可以为分别沿着预设方向每平移3mm采样一次、或者沿着预设方向角度值每旋转2°采样一次、或者沿着预设方向平移3mm后并将角度值旋转2°后做一次采样，本申请对实际应用中所采用的偏移方向和偏移量、旋转方向和旋转角度值不做限制，本申请中使用

在按照预设规则变化后，基于变化后的放射对象的三维影像的位姿数据，可得到相应的二维影像，相应的，放射对象在二维影像呈现的图案的轮廓信息也发生变化，且变化后的轮廓交点信息与按照预设规则变化后的放射对象的三维影像的坐标信息相匹配。放射对象按照预设规则变化后的三维影像的坐标信息满足三维刚体变换的变换规则，举例来看：在将放射对象仅沿x轴旋转

其中的

对于按照多个预设规则变化后的放射对象的三维影像，可以确定与该三维影像匹配的二维重建图像以及该三维影像的位姿数据，进而可以确定由多个标注有位姿数据的二维重建图像的样本数据集。

在另一实施例中，样本数据集中的二维影像也可以为实际二维影像，相应的，在二维影像为实际二维影像的情况下，该实际二维影像对应的三维影像的位姿数据可以为获取实际二维影像时实时对三维影像读取的位姿数据。

或者，可以通过对放射对象的三维影像按照预设规则进行变换，以确定按照预设规则变换后的三维影像所对应的多个二维重建图像，进而基于相似性算法确定多个二维重建图像中与二维影像最为相似的二维重建图像，从而将获取该最为相似的二维重建图像时的放射对象的三维影像的位姿数据标注为实际二维影像的位姿数据。在实际应用中，相似性算法可以为直方图匹配、NCC匹配、基于图像的互信息进行匹配、基于分解后的图像矩阵进行匹配等方法。

针对所构建的样本集进行数据拆分，以得到所构建的样本集对应的训练集、测试集和验证集。

在一实施例中，在构建样本集完成后，可以随机从所建立的样本数据集中按照一定比例随机选择建立训练集、验证集和测试集的数据量，诸如：可以随机从所建立的样本数据集中选择80％样本作为训练集，10％的样本作为验证集，其余的10％样本作为测试集，本申请不对具体的比例数值进行限制。

在另一实施例中，可以将数据集拆分为n份，在实际应用中，n通常取5或者10，进而不重复地每次取其中的一份作为测试集，其他(n-1)份作为训练模型的训练集。

在实际应用中，作为训练集的样本集合主要用来训练神经网络中的参数；在神经网络基于训练集训练结束后，可以通过验证集来比较判断各个模型的性能，借助于验证集能够实现对无法基于训练集进行优化的超参数进行训练优化；基于测试集的样本获取神经网络模型的评价指标。

步骤602，构建用于提取二维影像中图案轮廓信息的轮廓特征的神经网络模型。

在一实施例中，所构建的神经网络回归模型中可以由若干个卷积层、池化层、全连接层等构成，使得神经网络基于若干个卷积层、池化层等提取图像特征。在实际应用过程中，可以设置神经网络回归模型中的输入层、隐藏层和输入层的数量，诸如可以构建一个包含8个神经元的输入层、12个神经元的隐藏层、6个神经元的输出层的感知机神经网络，但本申请不对输入层、隐藏层和输出层的具体层数进行限制，可以理解的是，构建一个包含10个神经元的输入层、14个神经元的隐藏层、6个神经元的输出层的神经网络回归模型同样适用于本申请的技术方案。

进一步的，可以对神经网络的训练回合数、批次大小进行设置，为了保证训练结果的准确性，所构建的神经网络模型的批次不易过小，同时为了保障神经网络训练时的训练效率，所构建的神经网络模型的批次也不易过大，以免过大的批次导致设备的运行速度低下，甚至宕机。作为一示例性的设置方式，训练的回合数可以为20000，神经网络模型的批次可以设置为10，可以理解的是，本申请同样不对构建神经网络的训练汇合书和批次数进行限制。

步骤603，将作为训练样本的二维影像中放射对象所形成图案的轮廓信息输入神经网络。

步骤604，经神经网络对输入的轮廓信息进行特征提取，根据所提取的特征确定轮廓信息对应的预测配准信息。

神经网络所输入的作为训练样本的二维影像中的轮廓信息进行特征提取，进而根据所提取的特征输出二维影像中的轮廓信息对应的预测配准信息。具体的，可以通过神经网络中的若干个卷积层、若干个池化层即若干个全连接层的组合对所输入的二维影像的轮廓信息进行特征提取。

作为一示例性实施的，可以参考图7所示，图7为是根据本申请一示例性实施例中的一种神经网络对轮廓信息进行特征提取的示意图，如图7所示，由卷积层对二维影像中的轮廓信息进行特征提取后可由池化层对若干个特征映射进行取样，去除其中不重要的样本以进一步减少参数数量，取样完成后进入下一个卷积层进行卷积处理，重复所设置的多个卷积层、池化层后进入若干个全连接层，并由若干个全连接层输出预测结果。

步骤605，基于预测配准信息于实际配准标注信息之间的差异调整神经网络的网络模型参数。

经过神经网络计算后可以得到所输入的二维影像中图案的轮廓信息对应的预测配准信息，基于二维影像样本中预标注的配准信息能够确定预测配准信息与预标注的实际配准信息之间的差异，可以根据二维影像样本中预标注的实际配准信息与预测配准信息之间的差异确定损失函数的损失值，进而将所确定的损失值反向回传至神经网络，以使得根据接收到的损失值调整神经网络的网络参数，所调整的网络参数诸如神经网络中的全连接层的权重、卷积核的取值等。

用于确定损失值的损失函数可以为预先确定的，所选择的损失函数可以为

实际应用过程中，可以分别确定针对各个位姿维度的损失函数，即根据输入神经网络的二维影像的轮廓信息可以仅用于训练并确定放射对象的三维影像的位姿信息中的单一位姿维度的神经网络对应的网络参数，诸如根据二维影像中图案的轮廓信息预测放射对象对应的三维影像沿x轴偏移量的神经网络对应的网络参数，进而所确定的损失函数为针对该位姿维度的神经网络回归模型对应的损失函数。进一步的，位姿维度可以为基于成像设备的空间坐标系中沿各个坐标方向上的平移距离、沿各个坐标方向上的旋转角度或者沿各个坐标方向上的平移距离和旋转角度。

类似上述对网络参数的优化过程，在针对单一位姿维度训练神经网络模型的情况下，可以在所确定的损失函数取得最小值时的网络模型参数确定为该位姿维度下的回归模型的网络模型参数，进而在输入二维影像中图案的轮廓信息的情况下，可以得到同一放射对象的三维影像的与单一位姿维度有关的预测配准信息，提高对位姿数据中的每一数据预测的准确性。

在一实施例中，在神经网络训练模型训练完成后，可以通过验证集进行模型选择的优化和超参数的调整，进一步的，可以借助于测试集对模型的拟合回归效果进行评估。在实际应用过程中，针对其中一种数据集的拆分方式，即将用于作为训练集和测试集的数据集拆分为n份后，进而不重复地每次取其中的一份作为测试集，其他(n-1)份作为训练模型的训练集，相应的，可以确定k次评价结果，进而可以将k次评价的性能均值作为最终的评价结果。

值得注意的是，基于本申请提出的训练后的神经网络而确定的预测配准信息，能够综合全局搜索和可控的迭代次数的优势确定二维影像中图案的轮廓信息对应的初始配准信息，以及用于确定初始配准信息的神经网络的网络模型参数，即为确定精确的位姿数据提供初始配准信息，进而可基于初始配准信息所在的预设范围内对所确定的位姿信息进行调整，或者对神经网络回归模型对应的网络参数进一步进行优化，即根据神经网络回归模型对应的损失函数进行泰勒展开，进而借助于牛顿法或阻尼牛顿法对损失函数进一步进行优化，以得到更为精确的配准信息。

图8是根据本申请一示例性实施例中的一种电子设备的示意结构图。请参考图8，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成影像初始配准装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

请参考图9，图9是根据本申请一示例性实施例中的一种影像初始配准装置的框图，在软件实施方式中，影像初始配准装置可以包括：

确定单元901，确定放射对象在二维影像中所形成图案的轮廓信息；

输入单元902，将所述轮廓信息输入神经网络，其中，所述神经网络预先采用包括有实际配准标注信息的轮廓信息样本训练完成，所述实际配准标注信息为所述放射对象形成的三维影像的位姿数据，且所述位姿数据下的三维影像匹配于所述轮廓信息样本所属的二维影像；

特征提取单元903，经所述神经网络对输入的所述轮廓信息进行特征提取，并根据提取的特征确定所述二维影像与所述三维影像的初始配准信息。

可选的，确定单元901具体用于：

确定放射对象在二维影像中所形成图案的至少两个边缘区域的边缘轮廓曲线，所述边缘轮廓曲线是通过对所述边缘区域中的特征进行拟合而得到的；

确定所述边缘轮廓曲线之间的交点信息，以将所确定的交点信息作为所述二维影像所表征的放射对象的轮廓信息。

可选的，在确定单元901中对边缘区域中的特征进行拟合的过程包括：

确定边缘区域中的轮廓点集；基于曲线模型确定轮廓点集对应的曲线方程；或者，

基于最大类间方差法提取边缘区域内部的图案轮廓区域；获取图案轮廓区域对应的投影图像；基于投影图像中的投影极大值点的位置拟合图案轮廓区域对应的回归方程。

可选的，轮廓信息样本所属的二维影像，包括：基于相似性算法在二维重建图像集合中筛选出的与实际二维影像相匹配的二维重建图像，所述二维重建图像集合包括将所述放射对象按照预设规则变化后的三维影像对应的多个二维影像，所述实际配准标注信息为所述放射对象按照预设规则变化后的三维影像的位姿数据。

可选的，位姿数据包括基于成像设备的空间坐标系中的预设方向的偏移量和/或旋转角度值，按照预设规则变化，包括：基于成像设备的空间坐标系中的预设方向，将放射对象的角度值变化第一预设值和/或将放射对象的偏移量变化第二预设值。

图10是根据本申请一示例性实施例中的另一种电子设备的示意结构图。请参考图10，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成用于影像初始配准的神经网络训练装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

请参考图11，图11是根据本申请一示例性实施例中的一种用于影像初始配准的神经网络训练装置的框图，在软件实施方式中，用于影像初始配准的神经网络训练装置可以包括：

输入单元1101，至少将作为训练样本的二维影像中放射对象所形成图案的轮廓信息输入神经网络，其中，所述训练样本中包括有实际配准信息的轮廓信息样本，所述实际配准标注信息为所述放射对象形成的三维影像的位姿数据，且所述位姿数据下的三维影像匹配于所述轮廓信息样本所属的二维影像；

特征提取单元1102，经所述神经网络对输入的所述轮廓信息进行特征提取，并根据提取的特征确定所述轮廓信息对应的预测配准信息；

差异确定单元1103，确定所述预测配准信息与所述实际配准标注信息之间的差异；

调整单元1104，基于所述差异调整所述神经网络的网络模型参数。

可选的，所述轮廓信息样本所属的二维影像，包括：

基于相似性算法在二维重建图像集合中筛选出的与实际二维影像相匹配的二维重建图像，所述二维重建图像集合包括所述放射对象按照预设规则变化后的三维影像对应的多个二维影像，所述实际配准标注信息为所述放射对象按照预设规则变化后的三维影像的位姿数据。

可选的，所述位姿数据包括基于成像设备的空间坐标系中的预设方向的偏移量和/或旋转角度值，所述按照预设规则变化，包括：基于所述成像设备的空间坐标系中的预设方向，将所述放射对象的角度值变化第一预设值和/或将所述放射对象的偏移量变化第二预设值。

可选的，所述二维影像中放射对象所形成图案的轮廓信息，包括：

所述二维影像中放射对象所形成图案的至少两个边缘区域的边缘轮廓曲线之间的交点信息，所述边缘轮廓曲线是通过对所述边缘区域中的特征进行拟合而得到的。

可选的，所述差异确定单元1103、调整单元1104具体用于：

确定包含所述网络模型参数的回归模型所对应的损失函数；

基于所述损失函数、预测配准信息和实际配准标注信息确定使得所述损失函数取得最小值时的网络模型参数。

可选的，所述差异确定单元1103、调整单元1104具体用于：

确定分别针对各个位姿维度的包含所述网络模型参数的回归模型对应的损失函数，其中，所述位姿维度包括基于所述成像设备的空间坐标系中沿各个坐标方向上的平移距离和/或旋转角度；

确定使得损失函数取得最小值时的网络模型参数为所述位姿维度下的回归模型的网络模型参数。

所述装置与上述方法相对应，更多相同的细节不再一一赘述。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。