基于超声深度学习的热消融区域识别监测成像方法与系统

摘要

本发明公开了一种基于超声深度学习的热消融区域识别监测成像方法与系统。所述识别方法包括：获取热消融过程中的原始超声射频数据、超声图像以及光学图像；将超声射频数据点以及光学图像中的像素点一一对应，确定超声射频数据点以及光学图像之间的空间位置对应关系；根据空间位置对应关系确定热消融区域图像；根据热消融区域图像搭建深度学习模型；将热消融分类图像叠加到超声图像，确定热消融识别图像；根据热消融识别图像对超声图像中热消融区域进行识别。采用本发明所提供的识别监测成像方法及系统能够提高超声图像中热消融区域的识别精度。

说明书

技术领域

本发明涉及超声监控成像领域，特别是涉及一种基于超声深度学习的热消融区域识别监测成像方法与系统。

背景技术

肿瘤热消融是一种通过某种方法将肿瘤组织加热至超过其耐热温度从而产生凝固性坏死以杀死癌细胞的原位治疗技术，随着现代医学影像技术的发展，微创或无创的热消融技术在临床治疗中得到了广泛地应用。目前，热消融治疗技术在临床应用的主要方法包括高强度聚焦超声、射频消融、激光消融和微波消融；高强度聚焦超声具有无创、高效、聚焦性能好等诸多优点，在临床上得到了愈来愈广泛的应用，主要应用于乳腺癌和前列腺癌等疾病的治疗；在激光治疗过程中，激光刀避免直接与组织接触，能够很大程度减少并发症，在宫颈糜烂、宫颈腺囊肿、宫颈外翻、宫颈息肉等妇科疾病等妇科疾病治疗中发挥着重要的价值；微波消融与射频消融类似，它不依赖于组织的导电特性，能够在短时间内在肿瘤中形成高温，从而产生热凝固杀死肿瘤细胞，随着治疗技术、医学影像技术及微波电极制造技术的发展，微波消融治疗技术被越来越多的应用于肝脏、肾脏、肺、甲状腺等脏器肿瘤的治疗过程中。

在确保热消融治疗有效性的同时，还需要防止并发症的发生，因此在消融肿瘤组织的同时需要尽量避免伤害周围的正常组织或器官；热消融治疗安全有效地应用于临床治疗依赖于治疗过程中的监控成像技术，现代医学影像技术在微波消融治疗的术前科学规划、治疗过程中实时监控及治疗后疗效评估中发挥至关重要的作用；目前，微波、射频消融临床治疗的监控成像通常采用常规的超声成像方式，超声图像主要反映组织的回波信号强度，热消融区域于高温产生大量的气泡，致使该区域超声回波增强，消融区域表现为强回声，而强回声会随着气泡的消散而消失；同时，在热消融过程中，并不是所有的热消融区域都会产生气泡，正常情况下，气泡所处区域比实际热损伤区域要小一些，因此，临床医师无法通过超声准确得到微波消融区域。此外，热消融结束后，热损伤区域的气泡消散，在超声图像上消融区域和正常组织区域之间的低对比度，使得在传统的超声图像上很难将热损伤检测出来。因此以传统的超声图像进行热消融的监控成像较难取得理想的效果。

发明内容

本发明的目的是提供一种基于超声深度学习的热消融区域识别监测成像方法与系统，以解决超声图像中热消融区域识别精度低的问题。

为实现上述目的，本发明提供了如下方案：

一种基于超声深度学习的热消融区域识别监测成像方法，包括：

获取热消融过程中的原始超声射频数据、超声图像以及光学图像；所述原始超声射频数据包括多个超声射频数据点；所述超声射频数据点为超声成像设备采集的超声散射回波信号；多个所述超声射频数据点组成超声射频数据矩阵；所述光学图像由手机或摄像机拍摄；

将所述超声射频数据点以及所述光学图像中的像素点一一对应，确定所述超声射频数据点以及所述光学图像之间的空间位置对应关系；

根据所述空间位置对应关系确定热消融区域图像；

根据所述热消融区域图像搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络；

根据所述深度学习模型确定热消融分类图像；

将所述热消融分类图像叠加到所述超声图像，确定热消融识别图像；

根据所述热消融识别图像对所述超声图像中热消融区域进行识别。

可选的，所述根据所述空间位置对应关系确定热消融区域图像，具体包括：

对所述光学图像进行裁剪，确定裁剪后的光学图像；

获取所述裁剪后的光学图像中消融辐射器位置以及所述超声图像中消融辐射器位置；

将所述裁剪后的光学图像中消融辐射器位置以及所述超声图像中消融辐射器位置相重合，确定消融辐射器重合位置；

以所述消融辐射器重合位置为中心，对所述裁剪后的光学图像进行插值处理，确定热消融区域图像。

可选的，所述以所述消融辐射器重合位置为中心，对所述裁剪后的光学图像进行插值处理，确定热消融区域图像之后，还包括：

对所述热消融区域图像进行二值化处理，确定二值化图像；所述二值化图像内的热消融区域所对应的分类标签为1，所述热消融区域的周围区域所对应的分类标签为0；所述二值化图像包括多个超声射频数据点以及所述超声射频数据点所对应的分类标签；

遍历所述超声射频数据矩阵将所述超声射频数据点分为训练样本以及测试样本；

根据所述二值化图像，确定所述训练样本所对应的训练分类标签以及所述测试样本所对应的测试分类标签。

可选的，所述根据所述热消融区域图像搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络，具体包括：

获取所述二值化图像对应的超声射频数据矩阵以及所述超声射频数据点所对应的分类标签；

根据所述超声射频数据矩阵确定超声散射回波谱估计参量以及超声散射回波统计参量；所述超声散射回波谱估计参量包括超声衰减参量、超声背向散射参量以及超声散射子特性参量，所述超声散射回波统计参量包括超声Nakagami参量、超声熵参量以及超声散射密度参量；

获取卷积神经网络参数；所述卷积神经网络参数包括卷积核尺寸、隐藏层数量以及各层特征图谱个数；

根据所述卷积神经网络参数，依次输入所述训练样本、超声散射回波谱估计参量、超声散射回波统计参量以及所述超声射频数据点所对应的分类标签搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络。

一种基于超声深度学习的热消融区域识别监测成像系统，包括：

原始超声射频数据以及光学图像获取模块，用于获取热消融过程中的原始超声射频数据、超声图像以及光学图像；所述原始超声射频数据包括多个超声射频数据点；所述超声射频数据点为超声成像设备采集的超声散射回波信号；多个所述超声射频数据点组成超声射频数据矩阵；所述光学图像由手机或摄像机拍摄；

空间位置对应关系确定模块，用于将所述超声射频数据点以及所述光学图像中的像素点一一对应，确定所述超声射频数据点以及所述光学图像之间的空间位置对应关系；

热消融区域图像确定模块，用于根据所述空间位置对应关系确定热消融区域图像；

卷积神经网络搭建模块，用于根据所述热消融区域图像搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络；

热消融分类图像确定模块，用于根据所述深度学习模型确定热消融分类图像；

热消融识别图像确定模块，用于将所述热消融分类图像叠加到所述超声图像，确定热消融识别图像；

识别模块，用于根据所述热消融识别图像对所述超声图像中热消融区域进行识别。

可选的，所述热消融区域图像确定模块具体包括：

裁剪单元，用于对所述光学图像进行裁剪，确定裁剪后的光学图像；

消融辐射器位置确定单元，用于获取所述裁剪后的光学图像中消融辐射器位置以及所述超声图像中消融辐射器位置；

消融辐射器重合位置确定单元，用于将所述裁剪后的光学图像中消融辐射器位置以及所述超声图像中消融辐射器位置相重合，确定消融辐射器重合位置；

热消融区域图像确定单元，用于以所述消融辐射器重合位置为中心，对所述裁剪后的光学图像进行插值处理，确定热消融区域图像。

可选的，还包括：

二值化处理模块，用于对所述热消融区域图像进行二值化处理，确定二值化图像；所述二值化图像内的热消融区域所对应的分类标签为1，所述热消融区域的周围区域所对应的分类标签为0；所述二值化图像包括多个超声射频数据点以及所述超声射频数据点所对应的分类标签；

遍历模块，用于遍历所述超声射频数据矩阵将所述超声射频数据点分为训练样本以及测试样本；

第一分类标签确定模块，用于根据所述二值化图像，确定所述训练样本所对应的训练分类标签以及所述测试样本所对应的测试分类标签。

可选的，所述卷积神经网络搭建模块具体包括：

第二分类标签确定单元，用于获取所述二值化图像对应的超声射频数据矩阵以及所述超声射频数据点所对应的分类标签；

参量获取单元，用于根据所述超声射频数据矩阵确定超声散射回波谱估计参量以及超声散射回波统计参量；所述超声散射回波谱估计参量包括超声衰减参量、超声背向散射参量以及超声散射子特性参量，所述超声散射回波统计参量包括超声Nakagami参量、超声熵参量以及超声散射密度参量；

卷积神经网络参数获取单元，用于获取卷积神经网络参数；所述卷积神经网络参数包括卷积核尺寸、隐藏层数量以及各层特征图谱个数；

卷积神经网络搭建单元，用于根据所述卷积神经网络参数，依次输入所述训练样本、超声散射回波谱估计参量、超声散射回波统计参量以及所述超声射频数据点所对应的分类标签搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明公开了一种基于超声深度学习的热消融区域识别监测成像方法及系统，以原始超声射频数据为依据，利用原始超声射频数据中的超声射频数据点与光学图像之间的空间位置对应关系，利用卷积神经网络确定热消融识别图像，根据所述热消融识别图像对超声图像中热消融区域进行识别，本发明基于机器学习模型对超声图像中的热消融区域进行识别，而不是依赖于超声回波信号强度所产生的气泡数量，采用本发明所提供的识别监测成像方法及系统，不会由于温度的变化而变化，从而提高对所述超声图像中的热消融区域的识别精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的超声图像内热消融识别区域识别方法流程图；

图2为本发明所提供的超声数据矩阵与消融区域光学图像的配准图；

图3为本发明所提供的超声图像与消融区域光学图像的配准前后对比图；图3(a)为本发明所提供的超声图像与消融区域光学图像的配准前示意图；

图3(b)为本发明所提供的超声图像与消融区域光学图像的配准后示意图；

图4为本发明所提供的对超声数据矩阵进行标定的示意图；图4(a)为本发明所提供的对光学图像进行减影和阈值分割处理的示意图；图4(b)为本发明所提供的对光学图像进行二值化处理的示意图；图4(c)为本发明所提供的对超声数据矩阵标定的示意图；

图5为本发明所提供的猪肝组织HE染色图；图5(a)为本发明所提供的标定热消融区域的猪肝组织示意图；图5(b)为本发明所提供的猪肝组织热消融区域示意图；图5(c)为本发明所提供的猪肝组织未消融区域示意图；

图6为本发明所提供的训练样本提取示意图；

图7为本发明所提供的基于卷积神经网络的热消融成像流程图；

图8为本发明所提供的B模式图像、超声CNN图像以及消融区域图像对比图；

图9为本发明所提供的超声图像内热消融识别区域识别系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于超声深度学习的热消融区域识别监测成像方法及系统，能够提高超声图像中热消融区域的识别精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明所提供的超声图像内热消融识别区域识别方法流程图，如图1所示，一种基于超声深度学习的热消融区域识别监测成像方法，包括：

步骤101：获取热消融过程中的原始超声射频数据、超声图像以及光学图像；所述原始超声射频数据包括多个超声射频数据点；所述超声射频数据点为超声成像设备采集的超声散射回波信号；多个所述超声射频数据点组成超声射频数据矩阵；所述光学图像由手机或摄像机拍摄。

步骤102：将所述超声射频数据点以及所述光学图像中的像素点一一对应，确定所述超声射频数据点以及所述光学图像之间的空间位置对应关系。

步骤103：根据所述空间位置对应关系确定热消融区域图像。

所述步骤103具体包括：对所述光学图像进行裁剪，确定裁剪后的光学图像；获取所述裁剪后的光学图像中消融辐射器位置以及所述超声图像中消融辐射器位置；将所述裁剪后的光学图像中消融辐射器位置以及所述超声图像中消融辐射器位置相重合，确定消融辐射器重合位置；以所述消融辐射器重合位置为中心，对所述裁剪后的光学图像进行插值处理，确定热消融区域图像。

所述以所述消融辐射器重合位置为中心，对所述裁剪后的光学图像进行插值处理，确定热消融区域图像之后，还包括：对所述热消融区域图像进行二值化处理，确定二值化图像；所述二值化图像内的热消融区域所对应的分类标签为1，所述热消融区域的周围区域所对应的分类标签为0；所述二值化图像包括多个超声射频数据点以及所述超声射频数据点所对应的分类标签；遍历所述超声射频数据矩阵将所述超声射频数据点分为训练样本以及测试样本；根据所述二值化图像，确定所述训练样本所对应的训练分类标签以及所述测试样本所对应的测试分类标签。

训练样本包括正样本和负样本，正样本表示消融区域的样本，而负样本则表示正常肝脏组织的样本。由于气泡和声遮挡等因素的影响，从常规超声图像上无法获得准确的消融区域。本发明通过与超声数据矩阵对应的消融区域光学图像对超声数据矩阵中的消融区域进行标定，进而提取训练样本，训练样本的提取过程如下：

1)提取消融区域光学图像

获取离体肝脏微波消融视频图像；该视频记录了微波消融过程中肝脏中消融区域的生长情况，为了对超声数据矩阵中的消融区域进行标定，需要得到每一帧超声数据对应时刻的消融区域光学图像；样本提取的时间间隔设置为20s/次，根据超声射频数据的采样时间，提取视频中特定时间的肝脏消融区域光学图像，实现每一帧超声射频数存在同时刻相对应的消融区域光学图像。

2)超声数据矩阵与消融区域光学图像配准

通过消融区域光学图像对超声射频数据中的消融区域进行标记；因此，对超声射频数据和肝脏消融区域光学图像进行配准，以达到超声射频数据与肝脏消融区域光学图像尺寸相同且空间位置对应的目的。

超声数据采集切面、以及消融区域光学图像的空间位置对应关系如图2所示：ABCD表征消融区域光学图像，EFGH表征盛放肝脏的容器，IGKL表征超声探头，LKNM表征超声数据采集切面，O表征消融辐射器所在位置。为了实现超声射频数据与肝脏消融区域光学图像尺寸相同且空间位置对应，首先，对消融区域光学图像进行裁剪，仅保留肝脏容器光学图像部分；然后，在肝脏容器光学图像中选中消融辐射器位置，并设置给位置坐标与对应时刻的微波消融超声图像中的消融辐射器位置坐标相同；接着，参考肝脏容器的实际尺寸，以消融辐射器位置为中心，将肝脏容器光学图像裁剪成尺寸为33.3×53的区域，最后，对上一步得到的光学图像区域进行插值操作，使该光学图像区域的矩阵尺寸与同时刻超声数据采集切面的矩阵尺寸保持一致。则实现超声射频数据与肝脏消融区域光学图像尺寸相同且空间位置完全对应，超声射频数据对应的超声图像与消融区域光学图像配准前后的结果如图3所示：

3)超声数据矩阵标定

经过对消融区域光学图像进行图像剪影和阈值分割，用当前时刻的消融区域光学图像减去零时刻消融区域的光学图像，通过阈值滤除图像中的噪声，得到当前时刻的消融区域的边缘。并依此对消融结束时刻超声图像中的消融区域进行标定，边界内的组织为消融区域，属于热消融类别，而边界外则属于非热消融类别，由此可得到超声数据矩阵中每一个点所对应的标签类别。超声数据的标定过程如图4所示：

训练样本分类标签的准确性对提高卷积神经网络分类性能有着重要的意义。为了证实通过上述实验方法得到消融区域的准确性，对消融后的猪肝组织进行病理分析，不同放大倍数下的HE染色结果如图5所示：

(a)标定消融区域的猪肝组织；(b)猪肝组织消融区域；(c)猪肝组织未消融区域根据图5的结果可知，正常肝组织的结构比较完整，且细胞间结合紧密，而经过微波消融后，肝组织中的肝板发生破裂，且细胞间的间隙增大。本文对4组猪肝的HE染色图像中的消融区域进行标定，根据消融区域的标定结果计算消融区域的面积，并通过图4所示的数据标定方法计算了消融区域的面积，通过后者得到的面积除去前者得到的面积计算面积准确率，其数值为1.19±0.07。即通过消融区域剪影光学图像得到的消融区域面积大于通过HE染色图像得到的消融区域面积，但考虑到组织HE染色切片制作过程，会导致组织产生萎缩，因此通过HE染色图像得到的消融区域会消融实际的消融区域。同时，在临床肿瘤微波消融过程中，要求真实消融区域要大于肿瘤所在区域，因此，通过图4所示的超声数据标定方法是可行的，可以得到较为准确的训练样本分类标签。

4)提取训练样本

已得到超声数据矩阵中每一个点所属的分类标签，但是，这里的每一个点只能够提供自身的幅值信息，对于实际分类并没有多少意义，因此，选择以当前分类点为中心的一个矩阵作为训练样本，选择矩阵作为训练样本有这样两个优势：

其一，矩阵包括当前分类点与周围环境的幅值关系。

其二，矩阵能够表述该点附近的纹理特征，这对于正确的分类有着重要价值；用矩阵来代替一个点进行分类训练的同时，也引入了一个新的问题。以大矩阵作为训练样本，虽然能够提高分类的准确率，但是同时很大程度的提高了数据的运算量。对于实时监控热消融来说，减少数据运算量是非常有必要的，因此，在提高消融区域识别准确度的同时，而又要保证超声监控效果的实时性，训练样本尺寸的选择显得十分重要。为了进一步降低数据运算量，通过间隔采样的方式从超声射频矩阵中提取训练样本。

步骤104：根据所述热消融区域图像搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络。

所述根据所述热消融区域图像搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络，具体包括：获取所述二值化图像对应的超声射频数据矩阵以及所述超声射频数据点所对应的分类标签；根据所述超声射频数据矩阵确定超声散射回波谱估计参量以及超声散射回波统计参量；所述超声散射回波谱估计参量包括超声衰减参量、超声背向散射参量以及超声散射子特性参量，所述超声散射回波统计参量包括超声Nakagami参量、超声熵参量以及超声散射密度参量；获取卷积神经网络参数；所述卷积神经网络参数包括卷积核尺寸、隐藏层数量以及各层特征图谱个数；根据所述卷积神经网络参数，依次输入所述训练样本、超声散射回波谱估计参量、超声散射回波统计参量以及所述超声射频数据点所对应的分类标签搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络。

步骤105：根据所述深度学习模型确定热消融分类图像。

除此之外，还可以采用其他深度学习方法识别超声图像中的热消融区域，例如：循环神经网络以及递归神经网络等。

步骤106：将所述热消融分类图像叠加到所述超声图像，确定热消融识别图像。

步骤107：根据所述热消融识别图像对所述超声图像中热消融区域进行识别。

基于本发明所提供的识别监测成像方法，本发明提出了一种基于深度学习的热消融超声监控成像方法，具体包括以下步骤：

步骤一：采集离体猪肝微波热消融过程中热凝固部位的超声射频数据，消融时间为5min，采样频率设置为0.2次/秒，并用手机拍摄视频，记录热消融区域的变化情况，需保证摄像位置与超声射频数据采集位置同属一个截面。提取热消融视频中的特定帧频，使得每一个时刻的超声射频数据都存在与之对应的热消融照片；除了采用微波方式进行热消融，热消融技术还包括射频消融以及激光消融等消融方式。

步骤二：在热消融照片和超声射频数据中找到三个空间位置对应的点，对热消融照片进行裁剪，同时进行相关的平移操作和插值运算，使得热消融照片中的像素点与超声射频数据点一一对应起来。

步骤三：应用阈值分割法，绘制热消融照片中的热凝固区域，大于阈值的位置认为是热消融区域，其它则为正常区域，将照片转化为二值图像，热凝固区域的幅值设置为1，周围区域的幅值设置为0，以此作为分类标签。

步骤四：根据超声的物理性质，由超声射频数据矩阵计算得到超声衰减参量矩阵以及超声Nakagami参量矩阵。

步骤五：如图6所示，为了降低运算复杂度，以16*3的步长遍历超声射频数据矩阵，以遍历点为中心提取尺寸为128*28的矩阵(对应实际尺寸4mm*4mm)，这些矩阵即训练样本，热消融二值照片中该点对应位置的取值即分类标签。

步骤六：搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络，设置卷积核尺寸、隐藏层数量、各层特征图谱个数。首先输入训练样本，待神经网络提取到能够表征热损伤的高级特征后，再依次输入衰减参量特征、超声Nakagami参量特征完成神经网络的训练，得到神经网络的模型参数。

步骤七：按照步骤四所述内容，将需要测试的超声射频矩阵分为若干小尺寸矩阵，同时计算得到其衰减参量矩阵和Nakagami参量矩阵，将这些数值依次输入已训练的卷积神经网络中，得到最初的分类结果。

步骤八：如图7所示，按照空间位置的对应关系，得到分类结果的二值矩阵，绘制其二值图像，去除图像中的独立散点，并平滑热消融区域的边缘，得到热消融分类图像。

步骤九：如图8所示，将得到的热消融分类图像叠加到超声图像上，对热消融区域进行标注，周围正常组织保留超声图像结果。

采用本发明所提供的热消融识别方法能够达到以下效果：

1、由于超声图像所包含的特征信息十分有限，而原始超声射频数据中则蕴含着反射、散射、衰减等声学参量信息，本发明为了保证卷积神经网络能提取到足够的分类特征，以原始超声射频数据作为训练样本，提高热消融识别的准确性。

2、传统超声图像难以得到准确的热消融区域，为了得到更加准确的分类标签，通过对热消融照片和超声射频数据进行位置匹配，以照片中的热消融位置作为分类标签的黄金标准，提高热消融的准确性。

3、衰减系数、Nakagami参量是表现组织特性的重要参数，通过人工特征提取的方式得到衰减系数以及Nakagami参量等超声参量，将这些人工提取到的特征和卷积神经网络自动提取到的特征共同用于热消融区域的识别，提高分类的准确性。

图9为本发明所提供的超声图像内热消融识别区域识别系统结构图，如图9所示，一种基于超声深度学习的热消融区域识别监测成像系统，包括：

原始超声射频数据以及光学图像获取模块901，用于获取热消融过程中的原始超声射频数据、超声图像以及光学图像；所述原始超声射频数据包括多个超声射频数据点；所述超声射频数据点为超声成像设备采集的超声散射回波信号；多个所述超声射频数据点组成超声射频数据矩阵；所述光学图像由手机或摄像机拍摄。

空间位置对应关系确定模块902，用于将所述超声射频数据点以及所述光学图像中的像素点一一对应，确定所述超声射频数据点以及所述光学图像之间的空间位置对应关系。

热消融区域图像确定模块903，用于根据所述空间位置对应关系确定热消融区域图像。

所述热消融区域图像确定模块903具体包括：裁剪单元，用于对所述光学图像进行裁剪，确定裁剪后的光学图像；消融辐射器位置确定单元，用于获取所述裁剪后的光学图像中消融辐射器位置以及所述超声图像中消融辐射器位置；消融辐射器重合位置确定单元，用于将所述裁剪后的光学图像中消融辐射器位置以及所述超声图像中消融辐射器位置相重合，确定消融辐射器重合位置；热消融区域图像确定单元，用于以所述消融辐射器重合位置为中心，对所述裁剪后的光学图像进行插值处理，确定热消融区域图像。

卷积神经网络搭建模块904，用于根据所述热消融区域图像搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络。

所述卷积神经网络搭建模块904具体包括：第二分类标签确定单元，用于获取所述二值化图像对应的超声射频数据矩阵以及所述超声射频数据点所对应的分类标签；参量获取单元，用于根据所述超声射频数据矩阵确定超声散射回波谱估计参量以及超声散射回波统计参量；所述超声散射回波谱估计参量包括超声衰减参量、超声背向散射参量以及超声散射子特性参量，所述超声散射回波统计参量包括超声Nakagami参量、超声熵参量以及超声散射密度参量；卷积神经网络参数获取单元，用于获取卷积神经网络参数；所述卷积神经网络参数包括卷积核尺寸、隐藏层数量以及各层特征图谱个数；卷积神经网络搭建单元，用于根据所述卷积神经网络参数，依次输入所述训练样本、超声散射回波谱估计参量、超声散射回波统计参量以及所述超声射频数据点所对应的分类标签搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络。

热消融分类图像确定模块905，用于根据所述深度学习模型确定热消融分类图像。

热消融识别图像确定模块906，用于将所述热消融分类图像叠加到所述超声图像，确定热消融识别图像。

识别模块907，用于根据所述热消融识别图像对所述超声图像中热消融区域进行识别。

本发明所提供的识别系统还包括：二值化处理模块，用于对所述热消融区域图像进行二值化处理，确定二值化图像；所述二值化图像内的热消融区域所对应的分类标签为1，所述热消融区域的周围区域所对应的分类标签为0；所述二值化图像包括多个超声射频数据点以及所述超声射频数据点所对应的分类标签；遍历模块，用于遍历所述超声射频数据矩阵将所述超声射频数据点分为训练样本以及测试样本；第一分类标签确定模块，用于根据所述二值化图像，确定所述训练样本所对应的训练分类标签以及所述测试样本所对应的测试分类标签。

本发明涉及一种基于深度学习的热消融过程超声监控成像方法，该方法以热消融过程中拍摄到的热损伤照片作为卷积神经网络的分类标签，考虑到深度学习自动提取特征与人工提取特征各自的优势，在以超声射频数据作为输入样本的同时，同时输入组织超声衰减系数以及组织Nakagami参量等人工提取的高级特征，三者共同用于卷积神经网络的训练，进而提高卷积神经网络对热消融区域识别的准确性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。