2D-3D医学图像配准方法、装置及可读存储介质

摘要

本发明提供一种2D‑3D医学图像配准方法、装置及可读存储介质，包括：根据3D体数据的当前位姿，生成所述3D体数据的投影图像；将投影图像和术中2D图像输入训练好的神经网络模型，输出多自由度动作值；判断当前是否满足迭代停止条件，若是，则停止迭代，若否，则基于所述多自由度动作值计算一个4×4变换矩阵，利用4×4变换矩阵更新3D体数据的位姿，并生成更新后的3D体数据的投影图像，以及将再次生成的所述投影图像和所述2D图像输入所述神经网络模型，以更新所述多自由度动作值，直至所述多自由度动作值满足迭代停止条件。即，通过输出的多自由度动作值直接判断是否停止迭代，使用较少步数迭代即可得到2D‑3D自动配准结果，配准精确高。

说明书

技术领域

本发明涉及图像配准技术领域，特别涉及一种2D-3D医学图像配准方法、装置及可读存储介质。

背景技术

临床手术中的影像导航手术通常需要在术前获取3D人体病灶图像帮助医生了解病人病情和制定手术规划，同时还需要在术中获取2D人体图像一边引导医生在手术中实现跟踪和校正手术器械相对病人病灶的空间位置，手术的关键就在于准确的建立术前3D图像和术中2D图像之间的空间位置关系，即2D-3D医学图像。

2D-3D医学图像配准通过找到术前3D体数据(例如CT断层扫描或磁共振成像)的六自由度位姿，使从该体数据中得到的感兴趣区域结构，例如血管树的VR显示图像，与术中2D图像(例如X-ray透视图像)对齐融合，进行运动补偿，从而实现图像引导手术治疗。

现有的2D-3D医学图像配准方案包括：

(1)预定义若干个离散的、可能的动作，将训练好的模型应用至参考图像与浮动图像上，并输出各个动作的动作价值，从动作价值集合中选取最大动作价值，并对浮动图像执行最大动作价值对应的建议动作，重复步骤，使用由多次迭代产生的最终变换参数配准多个医学图像；

(2)对图像中感兴趣的医疗装置(如膝关节假体、经食道的超声心动图探头)自动定位，截取边缘图像块输入深度学习网络，根据监督学习训练2D-3D配准，训练好的网络直接回归目标配准参数；

(3)针对双平板的C臂设备，对两个投影方向分别进行自适应匹配点定位，并换算配准参数。

然而，以上配准方案分别存在有以下不足：

第(1)种方案为基于动作价值的方案，需要预定义六自由度离散的动作集合，例如建议动集为{沿xyz轴移动±1mm，绕xyz轴旋转±1度}，即预定义了12种建议动作，该方案只能实现离散的动作变换，且每一步只能选择一个自由度的空间变换，配准精度和性能均有限。特别是对于感兴趣区域为血管等比较精细的结构，该方案难以达到临床需求。

第(2)种方案针对的场景较限定，目标医疗装置形状较单一，均密度较大且边缘清晰，对于普通场景，该方案不可行，而且直接回归目标配准参数难度较大。

第(3)种方案针对硬件为双平板的场景，对普通单平板的设备不可行。

发明内容

本发明的目的在于提供一种2D-3D医学图像配准方法、装置及可读存储介质，以解决现有2D-3D医学图像配准方法中的一个或多个问题。

为解决上述技术问题，本发明提供一种2D-3D医学图像配准方法，包括：

根据3D体数据的当前位姿，生成所述3D体数据的投影图像；

将所述投影图像和术中2D图像输入训练好的神经网络模型，输出多自由度动作值；

判断当前是否满足迭代停止条件，若是，则停止迭代，若否，则基于所述多自由度动作值计算一个4×4变换矩阵，利用所述4×4变换矩阵更新所述3D体数据的位姿，并生成更新后的所述3D体数据的投影图像，并将再次生成的所述投影图像和所述2D图像输入所述神经网络模型，以更新所述多自由度动作值，直至满足迭代停止条件。

可选的，在所述的2D-3D医学图像配准方法中，所述3D体数据为进行血管分割和渲染后的3D体数据。

可选的，在所述的2D-3D医学图像配准方法中，在根据所述3D体数据的当前位姿，生成所述3D体数据的投影图像之前，还包括：按目标分辨率对所述3D体数据进行重采样处理，以缩小所述3D体数据的尺寸。

可选的，在所述的2D-3D医学图像配准方法中，所述根据3D体数据的当前位姿，生成所述投影图像的方法包括：

根据3D体数据的当前位姿，模拟形成所述2D图像的硬件信息，生成与所述2D图像相同视野方向和相同视野范围的所述投影图像。

可选的，在所述的2D-3D医学图像配准方法中，所述硬件信息至少包括：射线源与平板间的距离、射线源与等中心点距离、射线源旋转角度以及等中心点位置。

可选的，在所述的2D-3D医学图像配准方法中，在将所述投影图像和所述2D图像输入训练好的神经网络模型，输出多自由度动作值之前，所述2D-3D医学图像配准方法还包括：

对所述投影图像和与所述2D图像按照设定像素值进行归一化处理，并重采样至设定尺寸。

可选的，所述迭代停止条件包括：所述多自由度动作值均小于预设阈值。

可选的，在所述的2D-3D医学图像配准方法中，所述迭代停止条件包括：迭代次数达到预设次数。

本发明还提供一种2D-3D医学图像配准装置，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，执行如上所述的2D-3D医学图像配准方法。

本发明还提供一种可读存储介质，所述可读存储介质存储有程序，所述程序被执行时，执行如上所述的2D-3D医学图像配准方法。

综上所述，本发明提供的2D-3D医学图像配准方法、装置及可读存储介质，包括：根据3D体数据的当前位姿，生成所述3D体数据的投影图像；将所述投影图像和术中2D图像输入训练好的神经网络模型，输出多自由度动作值；判断当前是否满足迭代停止条件，若是，则停止迭代，若否，则基于所述多自由度动作值计算一个4×4变换矩阵，利用所述4×4变换矩阵更新所述3D体数据的位姿，并生成更新后的所述3D体数据的投影图像，并将再次生成的所述投影图像和所述2D图像输入所述神经网络模型，以更新所述多自由度动作值，直至满足迭代停止条件。即，通过输出的连续变量的多自由度动作值直接判断是否停止迭代，使用较少步数迭代即可得到2D-3D自动配准结果，而且每次迭代即涉及到多自由度的动作变换，因此配准精确高，有更好地实现术中运动补偿，另外，对医疗装置本身没有要求，因此在实际应用时，普适性高。

附图说明

图1为本发明一实施例提供的2D-3D医学图像配准方法的流程图；

图2为本发明实施例中ActorCritic网络的训练过程示意图。

具体实施方式

为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。还应当理解的是，除非特别说明或者指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。

如图1所示，本发明实施例提供一种2D-3D医学图像配准方法，用于3D体数据与术中2D图像的对齐融合，所述2D-3D医学图像配准方法包括如下步骤：

S11，根据所述3D体数据的当前位姿，生成所述3D体数据的投影图像；

S12，将所述投影图像和所述2D图像输入训练好的神经网络模型，输出多自由度动作值；

S13，判断当前是否满足迭代停止条件，若是，则停止迭代，若否，则基于所述多自由度动作值计算一个4×4变换矩阵，利用所述4×4变换矩阵更新所述3D体数据的位姿，并重复步骤S11～S12，得到更新后的所述多自由度动作值。

本发明实施例提供的所述2D-3D医学图像配准方法，通过将3D体数据的投影图像和2D图像输入训练好的神经网络模型，以输出一多自由度动作值，通过输出的所述多自由度动作值与预设阈值的大小，来判断3D体数据与术中2D图像是否对齐融合。输出的所述多自由度动作值越小，表示3D体数据与术中2D图像的对齐融合效果越好，因此，若输出的所述多自由度动作值中之一大于预设阈值，则表明当前3D体数据与术中2D图像的对齐融合不够。当利用所述多自由度动作值计算得到一4×4变换矩阵，并利用所述4×4变换矩阵更新所述3D体数据的位姿后，3D体数据与术中2D图像的对齐融合程度变大，而与此同时，通过神经网络模型输出的多自由度动作值也将变小，如此迭代，当输出的多自由度动作值均小于预设阈值，则表示3D体数据与术中2D图像的对齐融合完成。由此可见，本发明实施例提供的所述2D-3D医学图像配准方法通过输出的连续变量的多自由度动作值直接判断是否停止迭代，每次迭代即涉及到多自由度的动作变换，因此使用较少步数迭代即可得到精确的2D-3D自动配准结果。而且每次迭代得到的多自由度的动作变换非离散值，因此配准精确高，有更好地实现术中运动补偿。另外，对医疗装置本身没有要求，因此在实际应用时，普适性高。

以下对上述各步骤做进一步详细描述。为了方便起见，在下文的描述中，神经网络模型输出的多自由度动作值均以六自由度动作值(xyz三个方向上的平移及旋转)来进行示例，但应理解，所述多自由度动作值例如还可为三自由度动作值(xyz三个方向上的平移)等，本申请不以此为限。

较佳的，本实施例提供的所述2D-3D医学图像配准方法应用在判断出3D体数据与术中2D图像未对齐之后，具体的，在执行步骤S11之前，先执行如下步骤：

对3D体数据进行血管分割和渲染；将进行血管分割和渲染后的所述3D体数据与术中2D数据进行融合；若不对齐，则说明患者发生移动，执行步骤S11～S13。

因此，较佳的，步骤S11中，所述3D体数据为进行血管分割和渲染之后的3D体数据。

步骤S11中，根据所述3D体数据的当前位姿，生成所述3D体数据的投影图像之前，较佳的，对所述3D体数据进行预处理，所述预处理包括：按目标分辨率对所述3D体数据进行重采样处理。其中，所述目标分辨率大于所述3D体数据原本的分辨率，亦即，通过对所述3D体数据进行重采样处理，所述3D体数据尺寸缩小，从而有利于后续2D图像的生成。

在另外一些实施例，若在进行配准之前，不先进行3D体数据与术中2D图像是否对齐的判断，或者，在生成3D体数据的投影图像不采用进行血管分割和渲染之后的3D体数据时，那么，在生成所述3D体数据的投影图像之前，所述预处理还包括至少去除所述3D体数据中的床板部分，以更精确地估计3D体数据的位姿。

本实施例步骤S11中，所述根据3D体数据的当前位姿，生成所述投影图像的方法包括：根据3D体数据的当前位姿，模拟形成所述2D图像的硬件信息，生成与所述2D图像相同视野方向和相同视野范围的所述投影图像。其中，所述硬件信息至少包括：射线源与平板间的距离、射线源与等中心点距离、射线源旋转角度以及等中心点位置，可选的，还可包括：射线半锥角和/或射线能量值。

具体的，术前3D体数据的模态与感兴趣区域(通常指器官、肿瘤、以及放疗中的辅助勾画)不同，可采用不同方式生成所述投影图像，如CT数据可利用2D数字重建放射影像技术(Digitally reconstructed radiograph,DRR)生成所述投影图像。若仅关注心脏部分的配准，可根据术前体数据分割心脏模型，分割出心脏体数据，并生成心脏体数据的2D投影图像，2D投影图像中仅有心脏部分。

在步骤S12中，在将所述投影图像和所述2D图像输入至训练好的神经网络模型之前，较佳的，对所述投影图像和与所述2D图像按照设定像素值进行归一化处理，并插值至设定尺寸，以使步骤S12中，在利用训练好的神经网络模型输出六自由度动作值时，保证所述投影图像和所述2D图像能够正常输入至训练好的所述神经网络模型。

本实施例中，所述设定像素值的取值为[0-1]，即，将所述投影图像和所述2D图像的像素值归一化处理至[0-1]之间，并将其重采样至192*192的尺寸，另外一些实施例中，还可将所述投影图像和所述2D图像重采样至其它尺寸等，重采样的具体尺寸与所采用神经网络模型的特性有关，在此不再赘述。

步骤S12中，所述神经网络模型可利用第一神经网络和第二神经网络训练得到，当训练次数达到设定值(例如约240万次)时，则将当前所述第一神经网络作为训练好的所述神经网络模型。其中，所述第一神经网络的输入为当前状态s

如图2所示，所述神经网络模型的训练具体可采用强化学习ActorCritic网络方案，即所述第一神经网络采用Actor深度学习网络(以下简称Actor)，所述第二神经网络采用Critic深度学习网络(以下简称Critic)，其中，Actor负责根据所述当前状态s

本实施例中，训练过程可采用强化学习常用的经验回放，包括如下步骤：

(1)创建缓存空间(Buffer)；

(2)初始化2D-3D配准环境；

(3)Actor与环境进行互动，根据当前状态s

(4)若在Actor与环境的互动下达到配准状态，或迭代次数大于预设值(例如可设置为200)时，则返回步骤(2)。

(5)当Buffer记录经验值达到一定数量后，从中随机采样指定数据的经验值组成数据集(batch)，进行Actor和Critic训练。

(6)Buffer满了后，新经验值覆盖旧经验值。经验值收集的过程(步骤2、步骤3和步骤4)一直重复到训练结束，期间Buffer内经验不断更新，与环境互动的Actor也不断随训练更新。收集的经验值中r也会从杂乱无章到基本为正数，说明Actor执行的动作合理。

本实施中，将所述环境反馈奖励值r

r

其中，t表示当前时刻，a

下一时刻变换矩阵T

T

其中，a

即，r

r

在进行训练时，训练数据集包括：若干张2D图像、与每张2D图像对应的3D体数据、以及与每张2D图像对应的3D体数据的初始变换矩阵T

在实际应用中，可不断对训练数据集进行更新，例如，可不定期从医院获取最新拍摄的病人的X射线图片和相应的CT体数据对训练数据集进行更新，从而以提高模型训练的精准度。

另外，训练过程中采用的损失函数，可包括2部分，分别为：critic_loss和actor_loss，分别针对critic和actor网络的训练。其中critic_loss为目标奖励值(即前文所述金标准奖励值r

critic_loss＝MSE_loss(Critic(batch.st，batch.at),r

actor_loss＝-mean(Critic(batch.st，Actor(batch.st)))

其中，batch为从上述经验回放Buffer中抽取的经验batch，r

通过上述两个损失函数计算得到的损失值，不断调整Critic和Actor的模型参数，从而，使得随着训练的推进，Critic网络评估奖励值会越来越接近真实值，Actor网络也逐渐偏向输出使Critic奖励值高的动作。

步骤S12中的所述神经网络模型可采用上述方法事先训练完成，使得在进行2D-3D医学图像配准时，将术中2D图像和对应3D体数据的投影图像输入至训练好的所述神经网络模型后，即可输出直接输出连续变量的六自由度动作值，进而使得步骤S13中，可根据六自由度动作值判断是否完成2D-3D医学图像的配准，若判断出六自由度动作值均小于预设阈值(例如0.01)，则表示2D-3D医学图像配准完成，停止迭代，如判断出六自由度动作值中的一个或多个不小于预设阈值，则基于当前输出的所述六自由度动作值计算一个4×4变换矩阵，利用所述4×4变换矩阵更新所述3D体数据的位姿，并重复步骤S11～S12，直至所述六自由度动作值均小于预设阈值，其中，所述4×4变换矩阵的计算公式(该计算公式中以对六自由度动作值的计算做出示例)如下：

其中，c代表余弦函数cos，s代表正弦函数sin。在另外一些实施例中，所述迭代停止条件还包括：迭代次数达到预设次数(例如20次)。当迭代次数达到预设次数时，若所述六自由度动作值依旧不满足均小于预设阈值，则输出所述3D体数据的位姿。

本实施例还提供一种2D-3D医学图像配准装置，所述2D-3D医学图像配准装置包括：处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如本实施例所述的2D-3D医学图像配准方法。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

所述存储器可用于存储所述计算机程序，所述处理器通过运行或执行存储在所述存储器内的计算机程序，以及调用存储在存储器内的数据，实现所述服务器端的各种功能。所述存储器可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本实施例还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如本实施例所述的2D-3D医学图像配准方法。

所述可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备，例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备以及上述的任意合适的组合。

综上所述，本发明提供的2D-3D医学图像配准方法、装置及可读存储介质，包括：根据所述3D体数据的当前位姿，生成所述3D体数据的投影图像；将所述投影图像和术中2D图像输入训练好的神经网络模型，输出多自由度动作值；判断当前是否满足迭代停止条件，若是，则停止迭代，若否，则基于所述多自由度动作值计算一个4×4变换矩阵，利用所述4×4变换矩阵更新所述3D体数据的位姿，并生成更新后的所述3D体数据的投影图像，并将再次生成的所述投影图像和所述2D图像输入所述神经网络模型，以更新所述多自由度动作值，直至满足迭代停止条件。即，通过输出的连续变量的多自由度动作值直接判断是否停止迭代，每次迭代即涉及到多自由度的动作变换，因此使用较少步数迭代即可得到2D-3D自动配准结果。而且每次迭代得到多自由度的动作变换非离散值，因此配准精确高，有更好地实现术中运动补偿。另外，对医疗装置本身没有要求，因此在实际应用时，普适性高。

此外还应该认识到，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围。