一种基于深度学习的阻生齿医学图像分割系统和方法

摘要

本发明公开了一种基于深度学习的阻生齿医学图像分割系统，涉及医学图像辅助诊断技术领域，包括预训练模块、编码器模块和解码器模块。本发明公还开了一种基于深度学习的阻生齿医学图像分割方法，包括：S100、预训练，S200、编码，S300、解码。本发明提高了分割算法的准确度，满足了医学图像分割精度要求。

说明书

技术领域

本发明涉及医学图像辅助诊断技术领域，尤其涉及一种基于深度学习的阻生齿医学图像分割系统和方法。

背景技术

牙在颌骨内由于位置不当，不能萌出到正常咬合位置，被称为阻生牙或阻生齿。最常见的阻生牙是下颌第三磨牙，其次是上颌第三磨牙和上颌尖牙。阻生牙牙冠周围的牙龈常常会发炎，疼痛，严重时脸颊可以肿胀，张口困难，甚至全身发热，颌下淋巴结肿大。阻生牙常常还会引起邻牙龋坏，松动，牙槽骨吸收等症状。由于阻生牙位置不正，被邻牙阻挡，有些还可能完全被骨组织包埋。因此阻生牙的拔除比其他牙要困难，被牙龈覆盖的要切开牙龈，被骨包埋的要把骨去除，被邻牙挡住的要把牙冠劈开，分片拔除。所以，拔阻生牙费时较长，术中术后可能发生的并发症也较多，如出血、断根、邻牙损伤、术后下唇麻木、干槽症等。医生拔牙时，如果操作不当，会造成下牙槽神经管的损伤，导致下唇麻痹，是严重的医疗事故。因此在进行牙科手术程序之前，应评估阻生第三磨牙与下牙槽神经管及周围牙槽骨的解剖位置关系，对阻生齿的CBCT图像进行分割很有必要。

医学图像的自动分析一直是计算机视觉任务中的研究热点，在手术规划、病理分析、疾病诊断等方向有广泛的应用价值。医学图像分割旨在使图像解剖或病理结构变化更加清晰，在计算机辅助诊断和智能医学中经常发挥关键作用。医学图像分割作为医学图像自动分析的一部分，是病灶检测、识别等任务的基础。医生对组织的定量分析、制定手术计划、解剖、病灶定位、病灶尺寸测量等操作，离不开医学图像的精确分割。

与传统机器学习方法不同的是，深度学习方法具有十分优秀的特征表达能力，摒弃了人工设计特征的缺点，由算法自动学习数据特征，在提高精度的同时，也节省了大量的人力，促进了医学图像分割的发展。基于深度学习技术的医学图像分割是大势所趋。医学图像分割技术的投入使用，可以为社会带来巨大的经济效益，同时可以满足人们日益增长的健康需要。

现如今大多数医学图像分割模型都是基于自然图像分割技术扩展过来的，目前比较主流的网络框架有卷积神经网络(Convolutional Neural Network，CNN)、全卷积网络(Fully Convolution Network，FCN)、U形卷积神经网络(U-Net)。尤其是基于U形架构和跳跃连接的深度卷积神经网络U-Net已广泛应用于各种医学图像任务中。

目前，虽然基于CNN的方法在医学图像分割领域取得了优异的性能，但由于卷积运算的限制，它无法很好地学习全局和远程语义信息交互，仍不能完全满足医学应用对分割精度的严格要求。最近，基于Transformer的方法变得非常流行，它取代了卷积算子，并使用自注意力模块来组成可以编码远程依赖关系的整个编码器解码器结构。基于Transformer的方法在医疗图像分割领域取得了巨大的成功。

虽然基于Transformer的方法能够提升医疗图像分割的精度，但是存在计算成本高、内存占用高的问题。从现有的研究来看，Transformer和CNN的结合可能会带来更好的结果。

专利《一种医疗图像分割方法》(申请号为CN201811405685.2)将原始医学图像输入到预处理网络中，得到相应的医学图像特征图；再将所述医学图像特征图输入到区域提取网络，得到所有的前景物体特征图；采用CNN对前景物体特征图进行分类、检测、分割，得到最终分割结果。该专利提出的医学图像分割方法，采用实例分割实现了医学图像的每一个感兴趣区域的准确分割，解决了现有分割方法中同类物体相互粘连的问题，方法简单高效。但该专利仅使用了基于CNN的方法，不能完全满足医学应用对分割精度的严格要求。

因此，本领域的技术人员致力于开发一种基于深度学习的阻生齿医学图像分割系统和方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何满足医学图像分割精度要求，提高分割算法的准确度。

发明人分析，现有技术中仅靠基于CNN的方法进行医学图像分割，无法满足医学应用对分割精度的严格要求的缺陷。因此发明人采用卷积神经网络(Convolutional NeuralNetworks,CNN)结合深度自注意力网络(Transformer)解决阻生齿锥形束计算机断层扫描(Cone Beam Computer Tomography，CBCT)图像进行分割，利用十字形窗口自注意力(Cross-Shaped Window Self-Attention Transformer，CSWin Transformer)，提高分割精度，降低计算成本。此外对编码器进行预训练，进一步提高分割精度。

本发明的一个实施例中，提供了一种基于深度学习的阻生齿医学图像分割系统，包括：

预训练模块，输入阻生齿CBCT图像，进行自监督表示学习，对感兴趣区域(Regionof Interest，ROI)感知的信息进行编码，使用多目标损失函数进行公式化，得到子体积数据；

编码器模块，对子体积数据编码，进行表示学习，提取子体积数据特征；

解码器模块，对子体积数据特征解码，通过残差块进行特征的上采样，计算分割概率，输出分割结果。

预训练模块连接编码器模块，编码器模块连接解码器模块，阻生齿CBCT图像在预训练模块进行自监督表示学习，在编码器模块提取子体积数据特征，解码器模块对提取的子体积数据特征进行解码，计算分割结果。

可选地，在上述实施例的基于深度学习的阻生齿医学图像分割系统中，预训练模块包括蒙面体积修复子模块、三维旋转预测子模块和对比学习子模块，该三个子模块依次串联连接，蒙面体积修复子模块学习蒙面区域的纹理、结构和与其周围环境的对应关系，三维旋转预测子模块学习阻生齿CBCT图像的结构内容并生成可用于对比学习的各种子体积数据，预测输入子体积数据旋转的角度类别，对比学习子模块区分不同分割部位的各种感兴趣区域。

可选地，在上述任一实施例的基于深度学习的阻生齿医学图像分割系统中，编码器模块包括四个CSWin Transformer编码器，四个CSWin Transformer编码器串联连接。

进一步地，在上述实施例的基于深度学习的阻生齿医学图像分割系统中，编码器模块中的四个CSWin Transformer编码器分别连接解码器模块。

进一步地，在上述实施例的基于深度学习的阻生齿医学图像分割系统中，四个CSWin Transformer编码器的分辨率依次降低1/2，以四种不同的分辨率提取特征表示。

可选地，在上述任一实施例的基于深度学习的阻生齿医学图像分割系统中，解码器模块包括末端子模块，为一个分割头，利用上采样后的子体积数据特征，判断该区域是否属于应分割出的阻生齿或神经管部位，计算最终的输出。

可选地，在上述任一实施例的基于深度学习的阻生齿医学图像分割系统中，解码器模块中的残差块由两个具有实例归一化的后归一化3×3×3卷积层组成，基于CNN，创建U型卷积神经网络。

基于上述任一实施例，本发明的另一个实施例，提供了一种基于深度学习的阻生齿医学图像分割方法，包括如下步骤：

S100、预训练，阻生齿CBCT图像在预训练模块进行自监督表示学习，得到经过预训练的子体积数据；

S200、编码，经过预训练的子体积数据在编码器模块中编码，进行表示学习，提取子体积数据特征；

S300、解码，提取的子体积数据特征在解码器模块中解码，进行分割结果的计算，输出分割结果。

可选地，在上述实施例的基于深度学习的阻生齿医学图像分割方法中，预训练模块包括蒙面体积修复子模块、三维旋转预测子模块和对比学习子模块。

进一步地，在上述实施例的基于深度学习的阻生齿医学图像分割方法中，步骤S100中包括：

S110、阻生齿CBCT图像输入，将阻生齿CBCT图像输入到预训练模块中，通过预训练，把阻生齿CBCT图像变为子体积数据；

S120、蒙面体积修复，在蒙面体积修复子模块学习蒙面区域的纹理、结构和与其周围环境的对应关系，蒙面体积修复目标损失函数公式定义如下：

其中，x为蒙面体积修复前的子体积数据，

S130、三维旋转预测，在三维旋转预测子模块学习阻生齿CBCT图像的结构内容，并生成可用于对比学习的不同旋转角度的子体积数据，旋转角度损失函数公式如下：

其中，y

S140、对比学习，在对比学习子模块区分不同子体积数据的各种感兴趣区域，对比学习损失函数公式如下：

其中，v

S150、计算最小化总损失函数，预训练模块需要最小化总损失函数达到最佳效果，公式如下：

l

其中，λ

可选地，在上述任一实施例的基于深度学习的阻生齿医学图像分割方法中，编码器模块包括四个CSWin Transformer编码器，四个CSWin Transformer编码器串联连接，并分别连接解码器模块，四个CSWin Transformer编码器的分辨率依次降低1/2，以四种不同的分辨率提取特征表示。

进一步地，在上述实施例的基于深度学习的阻生齿医学图像分割方法中，步骤S200包括：

S210、子体积数据输入，将经过预训练的子体积数据输入到编码器模块中，在四个CSWin Transformer编码器进行计算；

S220、十字形窗口自注意力(Cross-Shaped Window Self-Attention，CSWin)计算，在水平和垂直方向计算自注意力，并将输出连接起来，公式如下：

CSWin-Attention(X)＝Concat(head

其中，

其中，W

S230、使用局部增强位置编码(Locally-enhanced Positional Encoding，LePE)，添加子体积数据的重要位置信息，使用局部增强位置编码；

S240、子体积数据分辨率降低，在每个CSWin Transformer编码器依次将分辨率降低1/2，得到四种不同的分辨率，提取底层特征。

可选地，在上述任一实施例的基于深度学习的阻生齿医学图像分割方法中，步骤S300包括：

S310、特征上采样，对于提取的子体积数据特征，通过使用残差块进行上采样；

S320、图像分割，将上采样之后的子体积数据特征输入到具有适当激活函数的最终卷积层，计算分割概率，输出分割结果。

进一步地，在上述实施例的基于深度学习的阻生齿医学图像分割系统中，残差块由两个具有实例归一化的后归一化3×3×3卷积层组成，基于CNN，创建U型卷积神经网络。

本发明将CNN与Transformer进行结合，使用CSWin Transformer作为分割网络的编码器，并连接到基于CNN的解码器模块；CSWin Transformer编码器利用CSWin机制，并行计算水平和竖直方向自注意力，减少了计算量，提高了计算精度，引入局部增强位置编码，更好地处理了局部位置信息。本发明提高了分割算法的准确度，满足了医学图像分割精度要求。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是图示根据示例性实施例的基于深度学习的阻生齿医学图像分割系统结构图；

图2是图示根据示例性实施例的基于深度学习的阻生齿医学图像分割流程图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方示意性地适当夸大了部件的厚度。

发明人设计了一种基于深度学习的阻生齿医学图像分割系统，如图1所示，包括：

预训练模块，输入阻生齿CBCT图像，进行自监督表示学习，对感兴趣区域(Regionof Interest，ROI)感知的信息进行编码，使用多目标损失函数进行公式化，得到子体积数据；预训练模块包括蒙面体积修复子模块，三维旋转预测子模块和对比学习子模块，该三个子模块依次串联连接，蒙面体积修复子模块学习蒙面区域的纹理、结构和与其周围环境的对应关系，三维旋转预测子模块学习阻生齿CBCT图像的结构内容并生成可用于对比学习的各种子体积数据，预测输入子体积数据旋转的角度类别，对比学习子模块区分不同分割部位的各种感兴趣区域；

编码器模块，对子体积数据编码，进行表示学习，提取子体积数据特征；编码器模块包括四个CSWin Transformer编码器，串联连接，并分别连接解码器模块，四个CSWinTransformer编码器依次分辨率降低1/2，以四种不同的分辨率提取特征表示；

解码器模块，对子体积数据特征解码，通过残差块进行特征的上采样，该残差块由两个具有实例归一化的后归一化3×3×3卷积层组成，基于CNN，创建U型卷积神经网络，计算分割概率，获得分割结果；解码器模块包括末端子模块，为一个分割头，用于计算最终的输出；

预训练模块连接编码器模块，编码器模块连接解码器模块，阻生齿CBCT图像在预训练模块进行自监督表示学习，在编码器模块提取特征，解码器模块对提取的特征进行解码，计算分割结果。

基于上述实施例，发明人提供了一种基于深度学习的阻生齿医学图像分割方法，如图2所示，包括如下步骤：

S100、预训练，阻生齿CBCT图像在预训练模块进行自监督表示学习，得到经过预训练的子体积数据；具体包括：

S110、阻生齿CBCT图像输入，将阻生齿CBCT图像输入到预训练模块中，通过预训练，把阻生齿CBCT图像变为子体积数据；

S120、蒙面体积修复，在蒙面体积修复子模块学习蒙面区域的纹理、结构和与其周围环境的对应关系，蒙面体积修复目标损失函数公式定义如下：

其中，x为蒙面体积修复前的子体积数据，

S130、三维旋转预测，在三维旋转预测子模块学习阻生齿CBCT图像的结构内容，并生成可用于对比学习的不同旋转角度的子体积数据，预测输入的子体积数据旋转角度类别，旋转角度损失函数公式如下：

其中，y

S140、对比学习，在对比学习子模块区分不同子体积数据的各种感兴趣区域，对比学习损失函数公式如下：

其中，v

S150、计算最小化总损失函数，预训练模块需要最小化总损失函数达到最佳效果，公式如下：

l

其中，λ

S200、编码，经过预训练的子体积数据在编码器模块中编码，进行表示学习，提取子体积数据特征，其中编码器模块包括四个CSWin Transformer编码器，四个CSWinTransformer编码器串联连接，并分别连接解码器模块，四个CSWin Transformer编码器的分辨率依次降低1/2，以四种不同的分辨率提取特征表示；具体包括：

S210、子体积数据输入，将经过预训练的子体积数据输入到编码器模块中，在四个CSWin Transformer编码器进行计算；

S220、十字形窗口自注意力(Cross-Shaped Window Self-Attention，CSWin)计算，在水平和垂直方向计算自注意力，并将输出连接起来，公式如下：

CSWin-Attention(X)＝Concat(head

其中，

其中，W

S230、使用局部增强位置编码(Locally-enhanced Positional Encoding，LePE)，添加子体积数据的重要位置信息，使用局部增强位置编码；

S240、子体积数据分辨率降低，在每个CSWin Transformer编码器依次将分辨率降低1/2，得到四种不同的分辨率，提取底层特征。

S300、解码，提取的子体积数据特征在解码器模块中解码，进行分割结果的计算，输出分割结果；具体包括：

S310、特征上采样，对于提取的子体积数据特征，通过使用残差块进行上采样，残差块由两个具有实例归一化的后归一化3×3×3卷积层组成，基于CNN，创建U型卷积神经网络；

S320、图像分割，将上采样之后的子体积数据特征输入到具有适当激活函数的最终卷积层，计算分割概率，输出分割结果。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。