多任务骨关节CT/MRI融合的组织精准分割建模方法及装置

摘要

多任务骨关节CT/MRI融合的组织精准分割建模方法与装置，能够实现不同模态下图像噪点干扰去除，摆脱人工标注组织分割的操作，提高骨关节骨组织及软组织分割与建模准确度。方法包括：(1)针对临床医学影像CT/MRI，通过级联监督去噪及弱监督来进行影像增强；(2)将经增强处理的临床影像反馈到边缘注意力监督进行硬组织分割；(3)通过双重先验监督实现软组织分割，后者需要前者生成的硬组织分割结果作为先验引导。

说明书

技术领域

本发明涉及医学影像分析与机器学习的技术领域，尤其涉及一种多任务骨关节CT/MRI融合的组织精准分割建模方法，以及多任务骨关节CT/MRI融合的组织精准分割建模装置。

背景技术

关节置换手术作为治疗类风湿性关节炎等骨关节疾病的重要方法，可以有效解决关节的疼痛、骨位畸形、活动角度受限等问题。传统的人工关节置换手术依赖于术者的手术工具、手术经验以及与患者的沟通效果，容易出现关节假体安放不准确等问题，导致假体移位、磨损等一系列手术后遗症。

基于上述问题，机器人辅助关节置换手术应运而生。机器人辅助关节置换手术相比于传统人工操作，可以实现更精准的假体植入，对关节周围软组织结构保护更好，术者的学习曲线更短，术后患者的满意度更高。而目前的临床操作中，术前规划是基于医学工作者针对CT/MRI等影像，通过人机交互的方式手工进行骨关节组织分割与三维建模。

近年来，随着机器学习技术尤其是深度学习技术的迅猛发展，深度学习已经成为图像分析领域的重要工具。相比于传统的人工医学影像分析，基于深度学习的方法可以规避影像分析人员的认识主观性与局限性，加快分析速度，提高分析准确性。目前，深度学习方法已经广泛应用于医学图像检测、分类、分割、重建、合成等任务中。

临床医学影像中普遍存在的噪声，如CT低剂量灌注噪声、MR莱斯噪声以及高斯噪声等，会干扰到各种组织的拓扑结构以及边缘表示，使得深度神经网络模型提取出错误的特征；而人工标注差异会影响模型的训练，不利于参数收敛，从而降低模型的分割准确性与鲁棒性。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种多任务骨关节CT/MRI融合的组织精准分割建模方法，其能够实现噪点干扰去除，摆脱人工操作，提高骨关节骨组织及软组织分割与建模准确度。

本发明的技术方案是：这种基于多任务骨关节CT/MRI融合的组织精准分割建模方法，其包括以下步骤：

(1)针对临床医学影像CT/MRI，通过级联监督去噪及弱监督来进行影像增强；

(2)将经过增强处理的临床影像反馈到边缘注意力监督进行硬组织分割；

(3)通过双重先验监督进行软组织分割，后者需要前者所生成的硬组织分割结果作为先验引导。

本发明使用深度学习的方法，面向关节置换手术，针对术前的骨关节组织分割与建模，提出了一整套摆脱人工操作的解决方案。首先针对临床医学影像噪声大，人工标注差异大的问题，进行数据增强；再通过深度神经网络提取各类组织特征，将骨性组织分割结果和软组织解剖学特征作为先验信息，实现骨性组织与复杂软组织的精准高效分割；最后基于骨关节组织分割模型，生成三维模型。因此能够实现噪点干扰去除，摆脱人工操作，提高骨关节骨组织及软组织分割与建模准确度。

本发明提供了多任务骨关节CT/MRI融合的组织精准分割建模网络模块，其包括：

影像增强模块，其配置来针对临床医学影像CT/MRI，通过级联监督去噪及弱监督来进行影像增强；

硬组织分割模块，将经增强处理的临床影像反馈到边缘注意力监督进行硬组织分割；

软组织分割模块，通过双重先验监督进行软组织分割，后者需要前者所生成的硬组织分割结果作为先验引导。

附图说明

图1是根据本发明的多任务骨关节CT/MRI融合的组织精准分割建模方法的流程图。

图2是根据本发明的基于级联层级监督机制的噪点去除的流程图。

图3是根据本发明的基于弱监督机制的骨关节分割标记数据增强的流程图。

图4是根据本发明的基于边缘注意力监督引导的骨性关键软组织分割的流程图。

图5是根据本发明的基于双重注意力编码的骨性结构边缘特征提取的流程图。

图6是根据本发明的融合骨性组织分割及软组织解剖先验知识引导的关键软组织分割的流程图。

具体实施方式

如图1所示，这种多任务骨关节CT/MRI融合的组织精准分割建模方法，其包括以下步骤：

(1)针对临床医学影像CT/MRI，通过级联监督去噪及弱监督来进行影像增强；

(2)将经过增强处理的临床影像反馈到边缘注意力监督进行硬组织分割，通过双重先验监督进行软组织分割，后者需要前者所生成的硬组织分割结果作为先验引导；

(3)将硬组织分割结果与软组织分割结果融合输入，进行点云局部特征描述关键解剖及力线计算，生成下肢力线定位结果。

本发明使用深度学习的方法，面向关节置换手术，针对术前的骨关节组织分割与建模，提出了一整套摆脱人工操作的多任务骨关节CT/MRI组织精准分割解决方案。首先针对临床医学影像噪声大，人工标注差异大的问题，进行数据增强；再通过深度神经网络提取各类组织特征，将骨性组织分割结果和软组织解剖学特征作为先验信息，实现骨性组织与复杂软组织的精准高效分割；最后基于骨关节组织分割模型，生成三维模型。因此能够实现噪点干扰去除，摆脱人工操作，提高骨关节骨组织及软组织分割与建模准确度。

优选地，所述步骤(1)包括以下分步骤：

(1.1)基于多模态影像级联多元监督机制的影像增强；

(1.2)基于弱监督引导机制的骨关节分割标记数据增强。

优选地，所述步骤(1.1)中，首先将输入的术前MR图像反馈到级联的层级监督模块，学习提取图像中不同类型与尺度的噪点特征，再将噪点特征进行融合，由原MR图像与噪点特征图逐像素相减得到混合图像，最后通过自适应卷积滤波对混合图像进行降采样滤波，得到去噪后的MR图像。

优选地，所述步骤(1.2)中，输入图像通过弱监督注意力学习生成对应的注意力图来表示图像显著特征部分，再由随机选择注意力图使用注意力裁剪与注意力删除的方式来增强输入图像，将输入图像与增强后的图像同时作为迭代训练数据，通过弱监督学习输出目标的类别概率和注意力图，再通过目标定位和精炼定位目标位置，最后将前两个阶段的数据进行级联通道融合，输出学习后的骨关节数据增强影像。

优选地，所述步骤(2)中，将边缘检测分割和语义分割集成到一个网络，设计出一个融合边缘注意力模块的语义分割网络，基于边缘注意力引导分割过程；网络基于双重注意力模块引导编码器学习不同尺度的骨性组织特征表示，并使用加权聚合模块引导解码器聚合多尺度特征表示，在学习到高层语义特征的同时保留低层的局部边缘特征，提高模块对不同类别骨性组织的分割精度；其中，双重注意力模块融合空间注意力机制和通道注意力机制，增强骨性结构的特征表示，得到显著性特征图。

优选地，所述步骤(3)包括以下分步骤：

(3.1)基于软组织解剖信息及骨性组织分割信息提取与融合；

(3.2)基于软组织解剖先验及骨性组织分割先验引导的软组织分割。

优选地，所述步骤(3.1)中，使用带有反向连接的深度卷积神经网络模型，结合多尺度模态特征融合，建立一种基于多尺度特征图像的多通道特征融合框架，来提取关键软组织解剖特征信息以及骨性组织分割的特征信息；针对输入图像并行执行多尺度卷积运算与池化操作，并将所有计算结果拼接为一个深度特征图；在图像进行前向卷积的过程中，前面卷积计算结果同时作为后面卷积的一部分输入进行特征融合；通过使用卷积层和池化层将输入图像转化为高维度的特征图像，同时提取其中的高维特征，使用反向连接来把转换后的高维特征图像作为输入输送进前一层卷积层中，利用反卷积和上池化操作来将当前层的特征图像降维到前一层维度大小，并将其与原输入进行特征通道上的级联进行特征融合；基于以上多尺度特征提取以及反向连接的操作，提取并融合深层的软组织解剖特征信息以及骨性组织分割特征信息。

优选地，所述步骤(3.2)中，骨关节MR影像和骨性组织分割结果作为两个不同的先验特征编码器的输入，通过多元特征级联的方式将不同维度下骨性组织的先验分割特征信息以及软组织解剖先验分割信息作为网络引导输入到局部监督子网络中，在不同子网络之间进行多元特征融合，最后输出关键软组织结构分割图像。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种多任务骨关节CT/MRI融合的组织精准分割建模装置。该装置包括：

影像增强模块，其配置来针对临床医学影像CT/MRI，通过级联监督去噪及弱监督来进行影像增强；

硬组织分割模块，将经增强处理的临床影像反馈到边缘注意力监督进行硬组织分割；

软组织分割模块，通过双重先验监督进行软组织分割，后者需要前者所生成的硬组织分割结果作为先验引导。

优选地，所述硬组织分割模块执行：

(1.1)基于多模态影像级联多元监督机制的影像增强；

(1.2)基于弱监督引导机制的骨关节分割标记数据增强；

所述硬组织分割模块执行：将边缘检测分割和语义分割集成到一个网络，设计出一个融合边缘注意力模块的语义分割网络，基于边缘注意力引导分割过程；网络基于双重注意力模块引导编码器学习不同尺度的骨性组织特征表示，并使用加权聚合模块引导解码器聚合多尺度特征表示，在学习到高层语义特征的同时保留低层的局部边缘特征，提高模块对不同类别骨性组织的分割精度；其中，双重注意力模块融合空间注意力机制和通道注意力机制，增强骨性结构的特征表示，得到显著性特征图；

所述软组织分割模块执行：

(3.1)基于软组织解剖信息及骨性组织分割信息提取与融合；

(3.2)基于软组织解剖先验及骨性组织分割先验引导的软组织分割。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。