多通路生成对抗网络的便携超声视频优化重建方法

摘要

一种基于超声感知动态信息整合多通路生成对抗网络的便携超声视频优化重建方法，首先将便携超声仪器采集的超声B模式图像进行超声感知动态信息整合分解，生成低秩部分和稀疏部分以有效分解图像中的低秩部分与稀疏部分；通过分别位于原图像子通道、低秩子通道和稀疏子通道上的多通路生成对抗网络以动态/静态信息级联迁移学习策略分别学习便携超声仪器采集的超声B模式图像、分解得到的低秩部分和稀疏部分，最后由过融合层平均后得到重建结果。本发明通过级联迁移学习策略捕捉动态信息、实现由粗到精的学习过程，显著提升重建效果。

说明书

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于超声感知动态信息整合多通路生成对抗网络的便携超声视频优化重建方法。

背景技术

便携超声仪器作为一种新兴超声成像设备，在社区医疗、乡镇医疗、远程医疗等多领域有着较大的应用前景。便携超声仪器有操作简单、成像快速、价格便宜和设备轻便等优势。但便携超声仪器受自身尺寸的限制，成像分辨率低且伪影噪声强。成像低质量问题严重降低了便携超声设备的诊断可靠性，而传统基于灰度分布后处理方法的改进受到有限采集信息的制约无法突破硬件的限制。

发明内容

本发明针对现有便携超声视频的成像低质量问题，提出一种基于超声感知动态信息整合多通路生成对抗网络的便携超声视频优化重建方法，通过利用深度学习方法直接构建端对端超声视频增强映射网络，能够多通道并行地处理全局特征和局部细节；通过级联迁移学习策略捕捉动态信息、实现由粗到精的学习过程；将传统的对抗损失、均方误差损失与新型的超声特定感知损失相结合，利用深度感知特征评估网络训练状态，从而提升重建效果。

本发明是通过以下技术方案实现的：

本发明涉及一种基于超声感知动态信息整合多通路生成对抗网络的便携超声视频优化重建方法，首先将便携超声仪器采集的超声B模式图像进行超声感知动态信息整合分解，生成低秩部分和稀疏部分以有效分解图像中的低秩部分与稀疏部分；通过分别位于原图像子通道、低秩子通道和稀疏子通道上的多通路生成对抗网络以动态/静态信息级联迁移学习策略分别学习便携超声仪器采集的超声B模式图像、分解得到的低秩部分和稀疏部分，从而辅助提供全局性的重建映射关系、捕捉高/低质量图像间的对比度差异，以突出超声图像中的组织结构信息并预测高质量图像的散斑纹理、保留边缘信息并消除噪声；最后通过融合层平均后得到重建结果。

技术效果

本发明整体解决了现有低端超声或便携超声设备的成像低质量缺陷，克服便携超声仪器的硬件限制并提高其成像质量，重建出高质量、高稳定性、高连续性的便携超声视频，该技术能够帮助便携设备在临床医学中得到更广泛的应用。

与现有技术相比，本发明由动态到静态的级联迁移学习策略，实现视频动态信息的提取和利用；提出超声特定感知损失，将利用预训练的损失网络对生成模型实时评估，辅助多通路生成对抗网络快速收敛。

附图说明

图1为本发明总体架构示意图；

图2为动态/静态信息级联迁移学习策略示意图；

图3为子通道中各个多通路生成对抗网络的结构图；

图4为图3中相邻帧注意力层的具体结构示意图；

图5为超声损失网络结构图；

图6为超声视频重建结果对比图；

图中：(a)为从输入视频中截取的单帧图像，(b)-(h)分别为DHE方法、基于超声图像的降噪方法、aDWT融合方法、SRCNN方法、ESRGAN方法、SRFBN方法、two-stage GAN方法和本方法重建结果；

图7为实施例效果示意图；

图中：(a)原始视频的血管横截面积变化曲线，(b)基于多帧信息方法的比较，(c)基于深度学习方法的比较。

具体实施方式

如图1所示，为本实施例涉及一种基于超声感知动态信息整合多通路生成对抗网络的便携超声视频优化重建方法，首先将便携超声仪器采集的超声B模式图像进行超声感知动态信息整合分解，生成低秩部分和稀疏部分以有效分解图像中的低秩部分与稀疏部分；通过分别位于原图像子通道、低秩子通道和稀疏子通道上的多通路生成对抗网络以动态/静态信息级联迁移学习策略分别学习便携超声仪器采集的超声B模式图像、分解得到的低秩部分和稀疏部分，从而辅助提供全局性的重建映射关系、捕捉高/低质量图像间的对比度差异，以突出超声图像中的组织结构信息并预测高质量图像的散斑纹理、保留边缘信息并消除噪声；最后通过融合层平均后得到重建结果。

所述的超声感知动态信息整合分解是指：将超声视频输入的每一帧逐一进行低秩分解以获得低秩部分与稀疏部分，具体为：

如图2所示，所述的动态/静态信息级联迁移学习策略是指：在动态信息学习阶段，每个子通道上的多通路生成对抗网络学习多角度平面波视频中由t-1、t和t+1时刻采集的相邻帧低质量图像到高质量中间帧图像的映射规则，将t-1、t和t+1时刻采集的多角度平面波图像进行配准和融合作为高质量参考图像，通过多通路生成对抗网络的三个路径分支提取出单角度平面波视频的动态信息特征并发掘连续帧之间关联性；在静态信息学习阶段，将平面波多/单角度视频数据训练得到的模型迁移，用以辅助学习便携/高端设备采集的超声图像对的映射关系，通过多通路生成对抗网络根据重叠预处理后的便携/高端设备采集的训练图像，经由粗到精的学习过程生成重叠的高质量图像。

所述的配准，通过最小化相邻帧与中间帧之间的互信息损失C

所述的融合，采用小波图像融合方法，在小波域进行取平均运算来获得最终动态信息学习阶段的参考图像。

所述的多角度平面波视频，优选基于单角度平面波视频经多角度复合得到，具体为：当二维回波信号矩阵为：

所述的动态信息特征是指：超声视频中心脏、血流等组织或结构运动的特有信息，反映人体结构及其生理状态。

所述的连续帧之间关联性是指：由于影像科医生扫描过程中的平移动和角度变换，且会受到人的呼吸运动等影响，超声视频各帧之间会存在由多因素导致的差异，由于多帧之间存在组织运动的信息，考虑多帧相关性能够解决重建视频帧间不联系问题，且各帧具有相关的互补信息，能够使重建视频有更丰富的细节。

本实施例中的平面波单角度视频数据，通过Verasonics超声系统以扫描角度16°至16°采集了20名志愿者，选取扫描角度为0°的连续三帧图像作为输入样本，以75个角度射频信号通过多角度复合后作为参考教师，共获取了80对单/多角度视频对。

本实施例中的便携/高端设备采集的超声图像对，通过东芝Aplio 500设备与mSonics MU1便携设备，其换能器中心频率分别为7.5MHz和6MHz。颈动脉和甲状腺图像数据由经验丰富的超声科医生扫描47名健康志愿者获得。在扫描过程中，为减少形变误差，医生需在目标检测位置上记录标志点，且被测志愿者在每组数据的两次扫描间隔期间需屏住呼吸，共包含 120组在体数据。

如图3所示，所述的多通路生成对抗网络包括：具有三个路径分支的多通路生成器和判别器，其中：每个路径分支中分别设有若干残差块以提高生成器的特征分解能力，解决梯度消失问题；多通路生成器中的相邻帧注意力(AFA)层进行深度特征融合，通过若干残差块处理融合特征，进一步提升其特征分解能力；多通路生成器输出即为可供判别器判断真假的t时刻的重建图像。

所述的多通路生成器具体包括：卷积层、激活函数层、若干残差块以及相邻帧注意力层，其中：初始卷积和激活函数层进行浅层特征提取，若干残差块利用跳层连接加深网络解决梯度消失或爆炸问题；相邻帧注意力层将三通路合并，充分提取并整合相邻帧的全局特征。

所述的判别器包括：多个卷积层、按元素求和层、中间层、全连接层、Sigmoid层，其中：每个卷积层都采用ReLU作为激活函数并进行批归一化处理、利用这样的深度多卷积层结构提取信息，增加其判别能力。

如图4所示，所述的相邻帧注意力层包括：分别用于接收从不同时隙采集到的图像中提取出的浅层特征的三个卷积层、转置器、矩阵乘法器、softmax激活函数和求和器，其中：第一路径分支的输入经卷积和转置后与第二路径分支输入的卷积结果矩阵相乘后进行softmax激活，再与第三路径分支输入的卷积结果矩阵相乘后与第二路径分支的输入求和得到输出结果，实现深度特征融合。

所述的多通路生成对抗网络的训练，即解决极大极小博弈问题训练，具体为：

所述的生成器的损失函数包括：对抗损失(l

所述的超声特定感知损失通过超声损失网络计算得到，如图5所示，该超声损失网络为二分类网络，具体包括：卷积层层激活函数层池化层和全连接层，其中：卷积层进行特征的提取和抽象，全连接层将特征映射至1维。

所述的超声损失网络，优选采用未配对的便携/高端设备超声图像进行训练，并以均方误差作为损失函数，将医用设备采集的高质量图像和便携设备采集的低质量图像的分类标签分别设置为1和0，选取超声损失网络全连接层的输出作为超声图像质量评估分数。

在超声损失网络训练过程中，当质量评估分数高于0.5时，网络将输入图像归类为高质量图像；否则，输入图像将被归类为低质量图像。在此规则下，测试高质量图像时，其质量评估分数接近1；测试低质量图像时，其质量分数接近0。由此，超声特定感知损失函数为：

如下表所示，为本实施例与现有技术重建结果指标对比。

实验结果表明，本实施例能够重建出组织结构清晰、散斑信息完整且对比度良好的超声视频。如图6和表1所示，从评估指标来看，本方法的重建视频与原始视频相比，PSNR、SSIM 和MI指标分别提高了57.33％、87.50％和47.89％，超声质量分数提升了15倍，NIQE分数降低了64.32％。如图7所示，利用本方法绘制的血管面积随时间变化曲线在各个收缩期和舒张期有更高的一致性，证明其能够重建出具有更高连续性的便携超声视频。

综上，本实施例提出的超声感知动态信息整合多通路生成对抗网络方法能够重建出高质量、高稳定性、高连续性的便携超声视频，该技术能够帮助便携设备在临床医学中得到更广泛的应用。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。