基于深度学习的快速X射线动态实时成像去噪方法

摘要

本发明公开了一种基于深度学习的快速X射线动态实时成像去噪方法，包括如下步骤：S1、对临床采集的X射线动态实时视频数据进行预处理得到数据集；S2、构建包含至少一个去噪模块的深度学习模型，其中，所述至少一个去噪模块形成一层网络或者级联的两层网络；S3、使用所述数据集训练所述深度学习模型；S4、将低辐射剂量的X射线动态实时视频的若干连续帧输入到经步骤S3训练好的深度学习模型中，输出若干连续帧的中间帧的去噪结果。本发明所提出的基于深度学习的快速X射线动态实时成像视频去噪的方法使得在保证去噪效果的基础上，去噪时间大大缩短，可以应用于以往方法无法达到的手术视频实时去噪处理。

说明书

技术领域

本发明涉及视频质量增强技术领域，具体涉及一种基于深度学习的手术过程中快速X射线动态实时成像视频去噪的方法。

背景技术

X射线动态实时成像引导的透视系统用于在外科医生进行解剖的过程中指导手术器械的使用。这些透视系统所提供的实时反馈能捕捉到外科医生的精确动作，并将其显示在手术室的显示器中。因此，由于可以在减少入侵性的同时使得外科医生对手术有着更多的控制性，进而减少组织的创伤和干扰，这种X射线动态实时成像已经成为许多外科手术的标准。

然而，这些透视系统均需要足够的辐射剂量以获得足够组织对比度的高质量视频，这种辐射暴露对患者和外科医生都有损害的：可导致患者的DNA损伤、加速老化、脱发、烧伤和组织坏死等；外科医生暴露于辐射会导致更高的患癌风险。对于应对方法，除了使用防护设备外，也要在保证X射线动态实时成像系统的功能下采取尽可能低的辐射剂量。然而现实是在较低剂量的辐射强度下产生的透视视频具有极高的噪声，并不适合临床使用。因此，一种合适的视频去噪手段显得尤为关键。

目前在视频去噪领域，其处理方式主要分为两类：一类是基于补丁的算法，如VBM4D和VNLB；另一类是基于深度学习的算法，如DVDnet。但这两类去噪算法都存在着由于处理时间较长，无法应用于实时视频处理的问题。另一方面，对于基于深度学习的算法，由于安全的辐射剂量无法产生近似无噪声的真实数据，因此X射线动态实时视频很难制作出用于训练的数据集。

发明内容

本发明的主要目的在于克服现有技术的不足，提出一种基于深度学习的快速X射线动态实时成像去噪方法，以解决低剂量辐射强度下产生的X射线透视视频具有极高的噪声而无法用于临床指导手术的问题。

本发明为达上述目的而提出的技术方案如下：

一种基于深度学习的快速X射线动态实时成像去噪方法，包括如下步骤：

S1、对临床采集的X射线动态实时视频数据进行预处理得到数据集；S2、构建包含至少一个去噪模块的深度学习模型，其中，所述至少一个去噪模块形成一层网络或者级联的两层网络；S3、使用所述数据集训练所述深度学习模型；S4、将低辐射剂量的X射线动态实时视频的连续若干帧输入到经步骤S3训练好的深度学习模型中，输出所述连续若干帧的中间帧的去噪结果。

更进一步地，步骤S1包括：S11、获取正常辐射剂量下的X射线动态实时视频数据，记为B1；S12、对B1进行精细去噪处理，获得仿真的无噪声数据，记为B2；S13、将B1与B2相减获得仿真的正常辐射剂量噪声，记为C1；S14、确定用以表征低辐射剂量噪声与正常辐射剂量噪声之间倍数关系的常数因子c，将C1与常数因子c相乘，获得仿真的低辐射剂量噪声，记为C2；其中，c＞1；S15、将C2与B2相加，获得仿真的低辐射剂量视频数据，记为B3；S16、将B3中的若干连续视频帧作为训练时网络的输入、B2中对应若干连续视频帧中的中间帧作为训练时网络的期望输出，构成数据对，多个所述数据对构成所述数据集。

更进一步地，步骤S12中所述的精细去噪处理包括：首先对B1做时域平均化处理，即对一个邻域的相邻帧在像素尺度上做均一化，其中对于包含运动的视频区间，缩小邻域范围；然后，通过VBM4D算法进行去噪处理，得到B2。

更进一步地，所述去噪模块是使用了残差学习的U-Net多层级网络；且所述去噪模块可接收连续若干帧输入，并估计出所述连续若干帧的中间帧的去噪结果。

更进一步地，所述去噪模块的网络结构从输入端到输出端依次为第一编码模块、第二编码模块、瓶颈模块、第一解码模块和第二解码模块：第一编码模块作为输入端口，可接收连续若干帧输入，同时，所述连续若干帧的中间帧还直接送至第二解码模块的输出，以与所述第二解码模块的输出进行像素级别的相加操作，相加结果作为所述去噪模块的最终输出帧；第一编码模块的输出作为第二编码模块的输入，同时，所述第一编码模块的输出还直接连接到第一解码模块的输出，以与所述第一解码模块的输出进行像素级别的相加操作；第二编码模块的输出作为所述瓶颈模块的输入，同时，所述第二编码模块的输出还直接连接到所述瓶颈模块的输出，以与所述瓶颈模块的输出进行像素级别的相加操作；所述第二编码模块的输出与所述瓶颈模块的输出进行像素级别的相加操作所得到的结果作为第一解码模块的输入，所述第一编码模块的输出与所述第一解码模块的输出进行像素级别的相加操作所得到的结果作为第二解码模块的输入。

更进一步地，所述去噪模块的网络结构中包含四种卷积网络，分别为：卷积层、BN归一化操作和ReLU激励操作依次串联形成的第一卷积网络；卷积层、BN归一化操作和ReLU激励操作依次串联形成且步长为2的第二卷积网络；卷积层之后串联上采样操作的第三卷积网络；仅卷积层且输出通道数为1的第四卷积网络；其中：所述第一编码模块由2个所述第一卷积网络依次串联而成，其中在前的第一卷积网络可接收若干连续帧输入，且输出通道数为3；所述第二编码模块由1个所述第二卷积网络和2个所述第一卷积网络依次串联而成；所述瓶颈模块由1个所述第二卷积网络、4个所述第一卷积网络和1个所述第三卷积网络依次串联而成；所述第一解码模块由2个所述第一卷积网络和1个所述第三卷积网络依次串联而成；所述第二解码模块由1个所述第一卷积网络和1个所述第四卷积网络依次串联而成。

更进一步地，在所述第一编码模块中，在后的第一卷积网络的输出通道数为32；在所述第二编码模块中，各第一卷积网络和第二卷积网络的输出通道数均为64；在所述瓶颈模块中，各第一卷积网络和第二卷积网络的输出通道数均为128，第三卷积网络的输出通道数为256；在所述第一解码模块中，各第一卷积网络的输出通道数均为64，第三卷积网络的输出通道数为128；在所述第二解码模块中，第一卷积网络的输出通道数为32。

更进一步地，所述深度学习模型为包含一个所述去噪模块的单层网络，且该去噪模块接收连续的多帧输入，并输出所述连续的多帧输入中的中间帧的去噪结果，作为所述深度学习模型的最终输出。

更进一步地，所述深度学习模型为由多个所述去噪模块级联形成的两层网络，其中，第二层网络由一个去噪模块构成；第一层网络的各去噪模块分别接收连续的多帧输入中的若干连续帧，且第一层网络的各去噪模块的去噪结果同时输入第二层网络的去噪模块，第二层网络的去噪模块的输出作为所述深度学习模型的最终输出。

更进一步地，步骤S3中训练所述深度学习模型时，损失函数采用L1损失，并使用Adam优化器进行优化，学习率设置为0.001，周期为40。

与现有技术相比，本发明的有益效果在于：一方面，本发明提出的数据集制作方法使得深度学习模型的训练数据噪声分布更接近真实的低辐射剂量X射线动态实时成像视频噪声分布，有利于真实场景下的应用；另一方面，现有的方法(包括深度学习的方法)，在处理连续视频帧的时间关联性时，都会用到显性的运动估计和运动补偿过程，这些步骤需要大量的计算，是非常耗时的，而本发明所提出的基于深度学习的快速X射线动态实时成像视频去噪的方法，没有运动估计和运动补偿的显性过程，直接通过连续多帧输入的方式让神经网络学习视频帧时间尺度的关联性，使得在保证去噪效果的基础上，去噪时间大大缩短，可以应用于以往方法无法达到的手术视频实时去噪处理。

附图说明

图1是本发明实施例提出的基于深度学习的快速X射线动态实时成像去噪方法的流程图；

图2是本发明实施例制作用于训练深度学习模型的数据集的方法流程图；

图3是本发明实施例提出的用于去噪方法的深度学习模型架构图；

图4是本发明实施例提出的去噪模块的一种示例性网络架构图；

图5是采用本发明方法对X射线动态实时成像进行去噪的效果对比图。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参照以下附图，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。

本发明提出一种基于深度学习的快速X射线动态实时成像去噪方法，如图1所示，该去噪方法主要包括如下步骤S1～S4：

步骤S1、对临床采集的X射线动态实时视频数据进行预处理得到数据集。该数据集后续将用于训练本发明所提出的深度学习模型。

步骤S2、构建包含至少一个去噪模块的深度学习模型，其中，所述至少一个去噪模块形成一层网络或者级联的两层网络。在一些实施例中，所述深度学习模型是由一个去噪模块所构成的单层网络；在另一些实施例中，所述深度学习模型是由多个去噪模块所级联形成的双层网络。所述的去噪模块可以是使用了残差学习的U-Net多层级网络；也可以是其它结构的残差网络。

步骤S3、使用步骤S1的数据集训练步骤S2构建的深度学习模型。训练时的损失函数可采用L1损失，即网络输出与无噪数据的绝对值差异。应当理解的是，也可以采用L2损失。另外，由于本发明的深度学习模型是在Pytorch框架下搭建，因此在训练时使用Adam优化器进行优化，学习率设置为0.001，周期为40。

步骤S4、将低辐射剂量的X射线动态实时视频的连续若干帧输入到经步骤S3训练好的深度学习模型中，输出所述连续若干帧的中间帧的去噪结果。

在一些实施例中，参考图2，步骤S1对临床采集的X射线动态实时视频数据进行预处理得到数据集的过程具体包括：

S11、获取正常辐射剂量下的X射线动态实时视频数据，记为B1。此步骤需要在大范围内获取正常辐射剂量下的X射线动态实时视频数据，所谓大范围是指视频分辨率、视频帧数、视频帧率等指标的变化范围。在一种实施例中，所采集的视频数据帧数在20-400之间，帧分辨率包含768*768、1024*1024、1536*1536三种分辨率，视频帧率在4-30fps之间。

S12、对B1进行精细去噪处理，获得仿真的无噪声数据，记为B2。此处精细去噪处理是指，由于此处是制作训练用的数据集步骤，因此该去噪步骤不要求实时性，允许运行时间较长。具体而言，首先对B1做时域平均化处理，即对一个邻域的相邻帧在像素尺度上做均一化，其间对于包含运动的视频区间，则适当缩小邻域范围；之后通过花费时间较长的VBM4D算法进行去噪处理，最后可以得到近似无噪声的数据，即仿真的无噪声数据B2。

S13、将B1与B2相减获得仿真的正常辐射剂量噪声，记为C1。

S14、确定用以表征低辐射剂量噪声与正常辐射剂量噪声之间倍数关系的常数因子c，将C1与常数因子c相乘，获得仿真的低辐射剂量噪声，记为C2；其中，c＞1。由于已有的实验研究表明，噪声与辐射剂量的开方成反比，因此当设定低辐射剂量噪声为正常辐射剂量噪声的c倍时，相应地，正常辐射剂量为低辐射剂量的c

S15、将C2与B2相加，获得仿真的低辐射剂量视频数据，记为B3；

S16、将B3中的若干连续视频帧作为训练时网络的输入、B2中对应若干连续视频帧中的中间帧作为训练时网络的期望输出，构成数据对，多个所述数据对构成所述数据集。训练深度学习模型时，所采用的数据集即由上述这样的很多个数据对构成，每个数据对均是由一个仿真的低辐射剂量视频数据与一个仿真的无噪声数据构成。

如图3所示为本发明一种示例性的深度学习模型示意图，该深度学习模型为多个去噪模块级联构成的两层网络结构，其中第一层网络包括三个去噪模块即去噪模块1、2和3，第二层包括一个去噪模块4。第一层三个去噪模块的输出同时输入到第二层的去噪模块4，第二层去噪模块4的输出作为该深度学习模型的最终输出。在一种优选的实施例中，可认为每个去噪模块的作用为将连续的三帧作为输入，估计出中间一帧的去噪结果。

比如在图3的示例中，第一层三个去噪模块与第二层一个去噪模块级联，可输入连续的5帧视频，其中三个连续输入帧t-2、t-1和t输入至去噪模块1，去噪模块1估计出中间帧t-1的去噪结果；同理，三个连续输入帧t-1、t和t+1输入至去噪模块2，去噪模块2估计出中间帧t的去噪结果；三个连续输入帧t、t+1和t+2输入至去噪模块3，去噪模块3估计出中间帧t+1的去噪结果。然后，三个去噪模块1、2、3的去噪结果再同时送入去噪模块4，去噪模块4估计出帧t的去噪帧的再次去噪帧，即作为最终的输出帧。也就是说，级联网络可以利用到了更多的时序信息，提高去噪效果。

在另一些实施例中，深度学习模型也可以只有一层网络，即仅由一个去噪模块构成。比如可输入连续的5帧，然后估计出中间帧也就是第3帧的去噪结果作为输出。因此，应当理解的是，本发明的深度学习模型，在对原始视频进行去噪处理时，每一次去噪处理的输入是连续的奇数帧、输出是中间帧的去噪结果，这样一来，不断地输入连续奇数帧，不断地输出去噪结果，从而可以连续不断地输出实时去噪帧，无需等待对整个视频进行去噪之后再输出，即，达到对手术中的实时成像视频进行实时去噪处理的效果。

如图4所示，所述去噪模块以U-Net多层级网络为例，可包括从输入端到输出端的第一编码模块100、第二编码模块200、瓶颈模块300、第一解码模块400和第二解码模块500。其中，第一编码模块100作为输入端口，可接收连续的多帧输入，比如与图3所示例子相适应则可输入连续的3帧；同时，所述连续的多帧输入的中间帧还直接送入到第二解码模块500的输出，以与第二解码模块500的输出进行像素级别的相加操作，相加的结果作为去噪模块的最终输出帧，从而实现残差学习。比如，对于具有如图4所示结构的去噪模块2，其残差学习的原理是，在第二解码模块500输出帧t的去噪帧之后，将原始待估计的帧t直接送到第二解码模块500的输出端、以与帧t的去噪帧进行像素级别的相加操作，作为去噪模块的去噪结果，实现了残差学习。第一编码模块100的输出作为第二编码模块200的输入，同时，第一编码模块100的输出还直接连接到第一解码模块400的输出，以与第一解码模块400的输出进行像素级别的相加操作。第二编码模块200的输出作为瓶颈模块300的输入，同时，第二编码模块200的输出还直接连接到瓶颈模块300的输出，以与瓶颈模块300的输出进行像素级别的相加操作。第二编码模块200的输出与瓶颈模块300的输出进行像素级别的相加操作所得到的结果作为第一解码模块400的输入，第一编码模块100的输出与第一解码模块400的输出进行像素级别的相加操作所得到的结果作为第二解码模块500的输入。

去噪模块的编码部分，是将原始输入图像编码为更小尺寸特征图的过程，去噪模块的解码部分，是将小尺寸特征图再恢复成原始尺寸图像。因此对于一般的X射线动态实时视频数据，去噪模块的第一层网络的输出通道数可为3，最后一层网络的输出通道数为1。如图4，在去噪模块的网络结构中，包含了四种卷积网络，分别为：

卷积层、批归一化操作(Batch Normalization，BN)和ReLU激励操作依次串联形成的第一卷积网络，即图4中矩形框所表示；卷积层、批归一化操作和ReLU激励操作依次串联形成的且步长为2的第二卷积网络，即图4中圆角矩形所表示；卷积层之后串联PixelShuffle上采样操作的第三卷积网络，即图4中平行四边形所表示；最后一种即去噪模块最后一个网络层：仅单独的卷积层构成的第四卷积网络，即图4中椭圆形所表示。

在以上划分的基础上，第一编码模块100由2个所述第一卷积网络依次串联而成，其中在前的第一卷积网络可接收连续的多帧输入，且输出通道数为3，而在后的第一卷积网络的输出通道数可为32。第二编码模块200由1个所述第二卷积网络和2个所述第一卷积网络依次串联而成，且其中各第一卷积网络和第二卷积网络的输出通道数均为64。瓶颈模块300由1个所述第二卷积网络、4个所述第一卷积网络和1个所述第三卷积网络依次串联而成，且其中各第一卷积网络和第二卷积网络的输出通道数均为128、第三卷积网络的输出通道数为256。第一解码模块400由2个所述第一卷积网络和1个所述第三卷积网络依次串联而成，且其中各第一卷积网络的输出通道数均为64、第三卷积网络的输出通道数为128。第二解码模块500由1个所述第一卷积网络和1个所述第四卷积网络依次串联而成，其中的第一卷积网络的输出通道数为32。

基于图3和图4所示的网络结构的去噪方法，其深度学习模型的每个去噪模块都使用了残差学习：将中间带噪声的帧直接连接到输出前，使得网络学习更容易学到残差信息。

如图5所示，为采用本发明前述的去噪方法对X射线动态实时成像进行去噪的效果对比图，其中(a)、(b)、(c)、(d)依次为：仿真的无噪声数据(即训练时的期望输出)、正常辐射剂量数据(存在正常噪声)、低辐射剂量数据(存在大量噪声)、本发明方法的去噪结果。其中：

TSNM(time-series noise metric)：在没有对照视频的时候用于估计时空域噪声的评价指标；在本实验中将其归一化，使得低辐射剂量数据的TSNM指标为1(该指标数值越低，噪声越小)。从图5中可以看出，正常辐射剂量数据(b)的该噪声评价指标为0.5；本发明方法的去噪结果(d)的噪声评价指标为0.42，即对输入的低辐射剂量数据(c)进行去噪后能获得比正常辐射剂量数据噪声更少的图像，从而使得在低辐射剂量下成像并实时去噪获得更清晰的成像成为可能。

SSIM(structural similarity index measure)：结构相似性指标是一种用以衡量两张数位影像相似程度的指标，在影像品质的衡量上更能符合人眼对影像品质的判断(该指标越接近1越相似)。从图5中可以看出，本发明方法的去噪结果(d)的该指标为0.8，比正常辐射剂量数据(b)的影像品质更好，正常辐射剂量数据(b)的该指标也仅为0.74。

PSNR(Peak signal-to-noise ratio)：峰值信噪比是一个表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值的工程术语，该指标更多考察与参考数据像素级别的差异(该指标数值越大越相似)。从图5中可以看出，本发明方法的去噪结果(d)的PSNR指标为28.45，也大于正常辐射剂量数据(b)的25.91。

综上，利用本发明的去噪方法对低辐射剂量下的X射线动态实时成像进行去噪，不仅可以快速、实时地去噪，而且还能获得比正常辐射剂量下的X射线动态实时成像更好的图像效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。