一种CT/MRI模拟超声的新方法、系统

摘要

本发明公开了一种CT/MRI模拟超声的新方法、系统,包括：S1，获取CT/MRI图像，对CT/MRI图像进行器官分割和切面处理；S2，使用预设模版对切面图像进行标记，具体包括：将模版之外的区域标记第一区域，模版之内非器官区域标记第二区域，模版内不同器官区域采用不同区域标记，器官的标记与第一区域和第二区域的标记均不同；S3，将CT/MRI标签图输入基于生成对抗网络的转换模型，转换模型生成与CT/MRI图像对应的模拟超声图像。转换模型学习超声图像风格区域，将CT/MRI标签图转换为对应的超声图像，达到生成与CT/MRI图像对应的且符合真实的超声图像的风格的超声图像的目的。

说明书

技术领域

本发明涉及医学图像处理领域，特别是涉及一种CT/MRI模拟超声的新方法、系统。

背景技术

在内科医疗诊断中，医生需要用到很多内脏器官的超声图像来进行辅助诊断，在医生的日常学习中，也需要很多这样的图像来学习和观察。因此，各种器官的医学超声图像的需求就很大，但同样的，这种图像的真实采集难度较大，而且出于保护病人隐私的目的，大规模的采集此类图像就成了难以解决的问题。

CT/MRI图像是常见的医疗图像，使用CT/MRI图像模拟超声图像可以弥补超声图像的稀缺。传统的超声图像的生成方法，通过建立模型，模拟超声波在生物组织中的传播，以此模型来生成超声图像。这样的模型通常比较复杂，计算量较大，且生成的超声图像和真实的超声影像相比差距较大。随着机器学习的兴起，很多传统方法难以解决的问题迎来了新曙光。一些方法采用生成对抗网络从大量的数据学习并建立该模型，但是这样的方法模拟的超声图像仍然不够真实。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种CT/MRI模拟超声的新方法、系统。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种CT/MRI模拟超声的新方法，包括：步骤S1，获取CT/MRI图像，对所述CT/MRI图像进行器官分割处理，获取器官分割处理后的CT/MRI图像的切面图像；步骤S2，采用标记方法对所述切面图像进行标记获得CT/MRI标签图；所述标记方法包括：使用预设的模版对待标记图像进行标记，所述模版覆盖待标记图像的目标区域，将所述模版之外的区域标记为第一区域，在所述模版之内的非器官区域标记为第二区域，所述模版内的不同器官区域采用不同的区域标记，器官的标记与第一区域和第二区域的标记均不同；步骤S3，将所述CT/MRI标签图输入基于生成对抗网络的转换模型，所述转换模型生成与所述CT/MRI图像对应的模拟超声图像。

上述技术方案：本方法通过基于生成对抗网络的转换模型将CT/MRI标签图转换为对应的模拟超声图像，不同于现有方法中需要假设超声波在生物不同组织中的传播进行响应函数计算，本方法提供的标记方法能够直接提取CT/MRI图像的超声信息，以CT/MRI标签图区域生成相应的模拟超声图像，以此达到生成和CT/MRI图像对应且符合真实超声图像风格的模拟超声图像的目的。通过将CT/MRI图像进行分割和切面获得CT/MRI切面图像，CT/MRI切面图像的标记中不依赖于先验知识，通过统一的模版对切面图像和超声图像进行标记处理获得对应标签图，使得所有标签图(包括CT/MRI标签图和超声标签图)具有统一标准，便于后续处理，该标记方法不依赖于先验知识，将模版之内不同器官标记为不同的区域构造出器官超声图像。

在本发明的一种优选实施方式中，所述模版的形状为扇形；和/或所述所述标记为颜色标记。

上述技术方案：模版为扇形符合实际中超声图像的形状。

在本发明的一种优选实施方式中，第一区域为黑色，所述第二区域为白色。

上述技术方案：将模版之内的区域标记为黑色，将模版之内非器官区域标记为白色，这样能够防止生成的超声影像出现重影，增强模拟超声图像的真实效果。

在本发明的一种优选实施方式中，获取所述基于生成对抗网络的转换模型的过程包括：步骤A，构建样本集：获取多个超声图像，采用标记方法对超声图像进行标记获得超声标签图，所述超声标签图与所述CT/MRI标签图相同区域标记区域一致，将超声标签图与相应的原超声图像进行映射，获得一个样本；步骤B，将样本集划分为训练集和测试集；步骤C，构建生成对抗网络，所述生成对抗网络包括一个生成器网络G和一个判别器网络D，设超声标签图为x，设与超声标签图映射的原始超声图像为y，生成器网络G根据x生成图像G(x,z)，z表示随机噪声，判别器网络D判断x与G(x,z)否是一对真实图像的同时还判断x与y否是一对真实图像；步骤D，不断利用训练集对生成对抗网络进行训练，以及利用测试集对训练后的生成对抗网络进行验证，直到满足目标函数，获得转换模型。

上述技术方案：使用真实的超声图像制作训练和测试样本，能够直接学习超声图像的风格，不用建立复杂的物理模型，使得训练后的生成对抗网络输出的模拟超声图像更加真实；超声图像和CT/MRI切面图像通过相同的标记方法进行标注，可以把CT/MRI标签图视为超声标签图，能够生成和CT/MRI图像对应的且符合真实超声图像风格的模拟超声图像；采用的生成对抗网络的判别器网络D判断x与G(x,z)否是一对真实图像的同时还判断x与y否是一对真实图像，使得该网络更适合用于生成与原图像对应且符合风格图像的风格的模拟图片，更适合风格转换。

在本发明的一种优选实施方式中，在对超声图像标记之前还包括对超声图像进行缩放，将预设的模版覆盖缩放后的超声图像的全部或部分器官区域的步骤。

上述技术方案：通过对超声图像进行缩放，能够保证模版能够覆盖尽可能多的器官区域。

在本发明的一种优选实施方式中，所述目标函数为：G

上述技术方案：引入l1损失项L

在本发明的一种优选实施方式中，在生成对抗网络的训练中，采用SDG优化器进行模型优化，batchsize为2，初始学习率为1×10

上述技术方案：能够加快训练速度。

在本发明的一种优选实施方式中，对所述CT/MRI图像进行器官分割处理的过程包括：步骤a，构建3DRes_Unet网络，所述3DRes_Unet网络将Unet的基础模块替换为Resnet结构；步骤c，获取多个CT/MRI图像，使用双线性插值、阈值截断和归一化方法处理CT/MRI图像，获得多个CT/MRI样本；步骤d，将多个CT/MRI样本输入3DRes_Unet网络进行训练获得CT/MRI图像器官分割模型，训练中采用DiceLoss函数为损失函数，使用Adam优化器，学习率设为0.1；步骤e，将待分割的CT/MRI图像输入CT/MRI图像器官分割模型，所述CT/MRI图像器官分割模型输出分割好的器官三维立体图像。

上述技术方案：3DRes_Unet网络训练容易并且分割效果好；使用3DRes_Unet网络对CT/MRI图像中的器官进行分割，使得标记后的CT/MRI标签图符合器官的分布结构，使模拟的超声图像更加符合真实。

为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种CT/MRI图像生成超声图像的系统，包括CT/MRI图像获取设备，处理器，所述处理器从CT/MRI图像获取设备获取CT/MRI图像，并按照本发明所述的CT/MRI模拟超声的新方法的步骤生成所述CT/MRI图像对应的模拟超声图像。

上述技术方案：系统通过基于生成对抗网络的转换模型将CT/MRI标签图转换为对应的模拟的超声图像，不同于现有方法模拟超声波在生物不同组织中的传播，能够直接学习超声图像的风格，达到生成与CT/MRI图像对应的且符合真实的超声图像的风格的超声图像的目的。通过将CT/MRI图像进行分割和切面获得CT/MRI切面图像，在CT/MRI切面图像标记中不依赖于先验知识，将模版之内不同器官标记为不同的区域，将模版之内的区域标记为黑色，将模版之内非器官区域标记为白色，这样能够防止生成的超声影像出现重影，增强模拟超声图像的真实效果。

附图说明

图1是本发明一具体实施方式中CT/MRI模拟超声的新方法的整体流程示意图；

图2是现有超声图像示意图；

图3是本发明一具体实施方式中现有超声图像模版之外全部标记为黑色后的示意图；

图4是本发明一具体实施方式中标记完成后的超声图像示意图；

图5是本发明一具体实施方式中生成对抗网络的网络结构示意图；

图6是本发明一具体实施方式中生成对抗网络训练过程中由超声标签图生成模拟的超声图像的结果示意图；

图7是本发明一具体实施方式中CT/MRI图像分割处理后的器官三维立体示意图；

图8是本发明一具体实施方式中CT/MRI图像经过分割处理后切片获得的CT/MRI切面示意图；

图9是本发明一具体实施方式中的为CT/MRI图像未经过分割处理后切片获得的CT/MRI切面示意图；

图10是本发明一具体实施方式中的CT/MRI标签图；

图11是本发明一具体实施方式中转换模型生成的模拟超声图像与对应输入的CT/MRI标签图的对比示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明公开了一种CT/MRI模拟超声的新方法，在一种优选实施方式中，如图1所示，该方法包括：

步骤S1，获取CT/MRI图像，对CT/MRI图像进行器官分割处理，获取器官分割处理后的CT/MRI图像的切面图像；对CT/MRI图像进行器官分割处理优选但不限于采用人工手动分割或采用现有的基于学习的神经网络分割。

步骤S2，采用标记方法对切面图像进行标记获得CT/MRI标签图；所述标记方法包括：使用预设的模版对待标记图像进行标记，模版覆盖待标记图像的目标区域，将模版之外的区域标记为第一区域，在模版之内的非器官区域标记为第二区域，模版内的不同器官区域采用不同的区域标记，器官的标记与第一区域和第二区域的标记均不同；对CT/MRI切面图像中各区域的区域标记与对超声波图像的标记一致。标记优选的但不限于为颜色标记，优选的，将模版之外的区域标记为第一颜色，在模版之内的非器官区域标记为第二颜色，模版内的不同器官区域采用不同颜色标记，器官的标记颜色与第一颜色和第二颜色均不同；对CT/MRI切面图像中各区域的颜色标记与对超声波图像的标记一致，优选但不限于为：蓝色区域表示肝脏、湖蓝色区域表示门静脉、红色区域表示病变等。从若干个角度对分割出来的3D图像进行切面，生成相应的CT/MRI切面图，效果如图8所示，作为对比，图9是未经过分割标注的切面图像。CT/MRI标签图如图10所示。

步骤S3，将CT/MRI标签图输入基于生成对抗网络的转换模型，转换模型生成与CT/MRI图像对应的模拟超声图像，生成结果如图11所示，图11中每列两幅图像为一组，其中上面的图像为输入的CT/MRI标签图，下面的图像为转换模型输出的与上面图像对应的模拟超声图像。

在本实施方式中，模版的形状可以为任意形状，比如矩形，正方形，优选的，模版的形状为扇形，以匹配现有超声图像形状。模版的大小固定。

在本实施方式中，优选的，第一区域为黑色，第二区域为白色。在本实施方式中，优选的，获取基于生成对抗网络的转换模型的过程包括：

步骤A，构建样本集：获取多个超声图像，采用标记方法对超声图像进行标记获得超声标签图，超声标签图与CT/MRI标签图相同区域标记区域一致，如模版外为黑色，模版内非器官区域为白色，相同器官区域区域一致，如图4所示，超声标签图与CT/MRI标签图中，肝脏区域用蓝色标注，RGB值：0，0,255，门静脉区域用湖蓝色标注，RGB值：0,255,255，肝静脉区域用浅紫色标注，RGB值：255,0,255，扇形区域用白色标注，RGB值：255,255,255和背景用黑色标注，RGB值：0,0,0将超声标签图与相应的原超声图像进行映射，获得一个样本；

步骤B，将样本集划分为训练集和测试集；优选但不限于按照9:1的比例划分训练集和测试集；

步骤C，构建生成对抗网络，如图5所示，生成对抗网络包括一个生成器网络G和一个判别器网络D，设超声标签图为x，设与超声标签图映射的原始超声图像为y，生成器网络G根据x生成图像G(x,z)，z表示随机噪声，判别器网络D判断x与G(x,z)否是一对真实图像的同时还判断x与y否是一对真实图像；通过成对的数据实现CT/MRI图像到超声图像的翻译，能生成真实的图片，适合于风格转换任务。

步骤D，不断利用训练集对生成对抗网络进行训练，以及利用测试集对训练后的生成对抗网络进行验证，直到满足目标函数，获得转换模型。

在本实施方式中，现有的超声图像如图2所示，将现有的超声图像进行缩放，将统一的预设模版覆盖缩放后的超声图像的全部或部分器官区域，具体覆盖区域可根据需求自由设定，便于进一步的利用，只保留扇形区域，其余区域全部涂黑，得到如图3所示的图像。

在本实施方式中，优选的，将超声标签图进行去噪处理之后输出，能够减少噪声对后续处理的干扰。

在本实施方式中，优选的，标记方法中对模版之内各器官区域进行区域标记的过程为：将超声图像中器官所在位置标注出来，将图像分为若干区域，优选但不限于通过人工标注的方式将超声图像中器官所在位置标注出来。

在本实施方式中，优选的，目标函数为：

G

其中，L

L

L

在本实施方式中，优选的，在生成对抗网络的训练中，采用SDG优化器进行模型优化，batchsize为2，初始学习率为1×10

步骤a，构建3DRes_Unet网络，3DRes_Unet网络将Unet的基础模块替换为Resnet结构，将两种网络结合了起来，训练容易且分割效果好。

步骤c，获取多个CT/MRI图像，使用双线性插值、阈值截断和归一化方法处理CT/MRI图像，获得多个CT/MRI样本；双线性插值用于补足图像漏洞，具体算法可采用现有技术，如

步骤d，将多个CT/MRI样本输入3DRes_Unet网络进行训练获得CT/MRI图像器官分割模型，训练中采用DiceLoss函数为损失函数，使用Adam优化器，学习率设为0.1，总共训练60个epoch。

步骤e，将待分割的CT/MRI图像输入CT/MRI图像器官分割模型，CT/MRI图像器官分割模型输出分割好的器官三维立体图像。图7所示，为多个CT/MRI切片图像输入CT/MRI图像器官分割模型后得到的器官三维立体图像。每行显示从单个患者获取的CT/MRI扫描。分割出来的区域，用和标注超声图像的对应区域标记来表示，蓝色区域表示肝脏、湖蓝色区域表示门静脉、红色区域表示病变等。

本发明还公开了一种CT/MRI图像生成超声图像的系统，在一种优选实施方式中，该系统包括CT/MRI图像获取设备，处理器，处理器从CT/MRI图像获取设备获取CT/MRI图像，并按照上述基于生成对抗网络的CT/MRI模拟超声的新方法的步骤生成CT/MRI图像对应的模拟超声图像。CT/MRI图像获取设备优选但不限于为CT/MRI设备或者CT/MRI图像存储器或者与CT/MRI设备连接的采集设备。

在本实施方式中，优选的，该系统还包括显示单元，通过显示单元显示处理器生成的模拟超声图像。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。