一种基于动态超声心动图的心脏相位识别方法

摘要

本发明公开了一种基于动态超声心动图的心脏相位识别方法，包括：生成满足高斯概率分布的数据标签作为心脏相位识别模型学习的目标；获取Dicom文件解码后的动态超声心动图视频序列，并对视频序列进行预处理和数据增强；采用滑动窗口对数据增强后的视频序列进行采样，从而将该视频序列采样为若干个有重叠的视频段；构建心脏相位识别模型；训练心脏相位识别模型；采用训练好的心脏相位识别模型对待识别的动态超声心动图视频进行识别，得到该视频中每一帧为心脏关键相位ED或ES的概率，并对重复采样的帧得到的多个概率值取平均，作为该帧的最终概率。本发明提高了模型检测心脏相位帧的精确度和鲁棒性。

说明书

技术领域

本发明涉及超声心动图相位识别技术，具体涉及一种基于动态超声心动图的心脏相位识别方法。

背景技术

超声心动图(Echocardiogram,ECHO)是一种无创、安全的医学成像方式，可以准确地识别心脏结构，被广泛应用于心脏病患者的诊断和治疗。超声心动图检查中，心脏相位检测，即舒张末期(End-diastole,ED)和收缩末期(End-systole,ES)帧的检测，是一项非常重要的工作，量化心脏大小、评价心脏功能都需要在此基础上进行。ED帧被定义为二尖瓣(Mitral valve,MV)关闭后第一帧，或心动周期中左心室径线或容量最大的停帧，或心电图(Electrocardiogram,ECG)中R波波峰的对应帧；ES帧被定义为主动脉瓣(Aortic valve,AV)关闭后的第一帧，或心动周期中左心室径线或容量最小的停帧，或ECG中T波终点的对应帧。单靠超声医师借助ECG中R波和T波或目测观察左心室的大小来识别关键帧，工作量大、耗时、操作者经验依赖性高、重复性差，考虑到这些因素，需要探讨一种自动且较为精确的方法检测超声心动图心脏相位。

发明内容

发明目的：本发明的目的是提供一种基于动态超声心动图的心脏相位识别方法，该方法可以应用到超声心动图常见的切面，适用性较强。

技术方案：本发明的一种基于动态超声心动图的心脏相位识别方法，包括以下步骤：

S1、为超声心动图视频中的每一帧自动生成代表心脏关键相位概率的数据标签，在给定每个视频的心脏关键相位的帧索引后，围绕心脏关键相位ED和ES帧索引生成满足高斯概率分布的数据标签作为心脏相位识别模型学习的目标；

S2、获取Dicom文件解码后的动态超声心动图视频序列，并对视频序列进行预处理，去除图像上的无效信息；然后进行数据增强；

S3、采用滑动窗口对数据增强后的视频序列进行采样，从而将该视频序列采样为若干个有重叠的视频段；

S4、构建心脏相位识别模型，心脏相位识别模型包括空间特征抽取器、时空特征聚合模块和回归头，空间特征抽取器为基于CNN的CSPVoVNet，CSPVoVNet网络的核心是引入通道补偿技术和Cross Stage Partial技术对传统的CNN模型进行改进；CSPVoVNet通过在特征通道维度上拼接的方式进行通道补偿，再通过一个1*1卷积层对拼接后的特征图进行降维；时空特征聚合模块包括窗口自注意力结构和移动窗口自注意力结构，窗口自注意力结构用于计算独立窗口内的注意力，移动窗口自注意力结构用于计算不同窗口之间的注意力；

空间特征抽取器用于对视频段的每一帧图像进行空间特征编码，获得该视频段的空间特征序列；时空特征聚合模块用于对空间特征序列进行时序方向的注意力计算，获取时空特征序列；回归头用于将时空特征序列映射成视频段中每一帧图像为ED和ES的概率；

S5、采用步骤S3获得的若干个重叠的视频段对步骤S4中的心脏相位识别模型进行训练；包括：将步骤S3获得的视频段输入心脏相位识别模型，计算出每一帧为心脏关键相位ED或ES的概率后，再与步骤S1中生成的满足高斯概率分布的数据标签计算均方误差，进行梯度回传，通过随机梯度下降算法进行心脏相位识别模型参数更新，从而实现对心脏相位识别模型的训练；

S6、采用训练好的心脏相位识别模型对待识别的动态超声心动图视频进行识别，得到该视频中每一帧为心脏关键相位ED或ES的概率，并对重复采样的帧得到的多个概率值取平均，作为该帧的最终概率。

进一步的，步骤S2中对视频序列进行预处理包括：

对图像进行阈值分割，分割出图像的前景；

对图像做先开后闭的形态学操作，去除图像中小的噪点；

对图像做Canny边缘检测，获取图像的边缘；

对图像做Hough直线检测，获取组成扇形区域的两条直线；

计算两条直线的交点后，即能计算出扇形区域的半径，从而能够定位到超声心动图中的扇形区域；

将动态超声心动图视频中每一帧的扇形区域外所有像素点置0，只保留超声心动图的有效信息；

进一步的，数据增强包括空间维度增强和时序维度增强；其中空间维度增强包括：随机缩放、随机中心裁剪、随机旋转；时序维度增强是将对整个视频序列进行滑动窗口采样的采样步长随机设置为1、2或4。

进一步的，步骤S4中CSPVoVNet的核心组成结构CSPVoVNet Block包括两个阶段，第一阶段为：若输入的张量为

进一步的，步骤S4中窗口自注意力结构和移动窗口自注意力结构成对出现，窗口自注意力结构包括层归一化LN结构、3D W-MSA结构和MLP结构，移动窗口自注意力结构包括LN结构、3D SW-MSA结构和MLP结构；在窗口自注意力结构中，输入的空间特征序列会首先经过LN结构，再输入进3D W-MSA结构，将计算注意力后的空间窗口特征序列与空间特征序列进行相加，构成残差连接；再将残差连接后的空间窗口特征序列依次输入至LN模块和MLP模块，进一步增加特征图的非线性，再与残差连接后的空间窗口特征序列进行相加，构成残差连接；将窗口自注意力结构的输出特征序列输入至移动窗口自注意力结构；移动窗口自注意力结构的流程与窗口自注意力结构一致。

进一步的，步骤S4中对空间特征序列进行时序方向的注意力计算，获取时空特征序列，包括：

将空间特征序列分为若干个窗口后，输入至窗口自注意力结构中计算自注意力，其公式如下：

其中，Attn

将空间特征序列的窗口进行移位，再输入至移动窗口自注意力结构中计算自注意力，其运算过程与窗口自注意力结构中计算自注意力一致，得到的特征即为时空特征序列。

进一步的，步骤S4中将时空特征序列映射成视频段中每一帧图像为ED和ES的概率，包括；

对时空特征序列进行如下公式的操作，从而计算出视频段的每一帧为关键心脏相位的概率；

Prob＝Softmax(+f

其中，f

基于相同的发明构思，本发明的一种基于动态超声心动图的心脏相位识别系统，包括：

数据标签生成模块，用于为超声心动图视频中的每一帧自动生成代表心脏关键相位概率的数据标签，在给定每个视频的心脏关键相位的帧索引后，围绕心脏关键相位ED和ES帧索引生成满足高斯概率分布的数据标签作为心脏相位识别模型学习的目标；

数据处理模块，用于获取Dicom文件解码后的动态超声心动图视频序列，并对视频序列进行预处理，去除图像上的无效信息；然后进行数据增强；

采样模块，用于采用滑动窗口对数据增强后的视频序列进行采样，从而将该视频序列采样为若干个有重叠的视频段；

模型构建模块，用于构建心脏相位识别模型，心脏相位识别模型包括空间特征抽取器、时空特征聚合模块和回归头，空间特征抽取器为基于CNN的CSPVoVNet，CSPVoVNet网络的核心是引入通道补偿技术和Cross Stage Partial技术对传统的CNN模型进行改进；CSPVoVNet通过在特征通道维度上拼接的方式进行通道补偿，再通过一个1*1卷积层对拼接后的特征图进行降维；时空特征聚合模块包括窗口自注意力结构和移动窗口自注意力结构，窗口自注意力结构用于计算独立窗口内的注意力，移动窗口自注意力结构用于计算不同窗口之间的注意力；

空间特征抽取器用于对视频段的每一帧图像进行空间特征编码，获得该视频段的空间特征序列；时空特征聚合模块用于对空间特征序列进行时序方向的注意力计算，获取时空特征序列；回归头用于将时空特征序列映射成视频段中每一帧图像为ED和ES的概率；

模型训练模块，用于采用获得的若干个重叠的视频段对心脏相位识别模型进行训练；包括：将获得的视频段输入心脏相位识别模型，计算出每一帧为心脏关键相位ED或ES的概率后，再与生成的满足高斯概率分布的数据标签计算均方误差，进行梯度回传，通过随机梯度下降算法进行心脏相位识别模型参数更新，从而实现对心脏相位识别模型的训练；

识别模块，用于采用训练好的心脏相位识别模型对待识别的动态超声心动图视频进行识别，得到该视频中每一帧为心脏关键相位ED或ES的概率，并对重复采样的帧得到的多个概率值取平均，作为该帧的最终概率。

基于相同的发明构思，本发明的一种电子设备，包括存储器和处理器，其中：

存储器，用于存储能够在处理器上运行的计算机程序；

处理器，用于在运行所述计算机程序时，执行如上述一种基于动态超声心动图的心脏相位识别方法的步骤。

基于相同的发明构思，本发明的一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如上述一种基于动态超声心动图的心脏相位识别方法的步骤。

有益效果：与现有技术相比，本发明的显著技术效果为：

(1)本发明首先获取视频解码后的视频序列，并对每一帧进行预处理，去除超声心动图扇形区域之外的文字和心电图信息，能够很大程度上减少无关信息对模型的干扰，从而提高模型的准确率；

(2)本发明提出的基于滑动窗口的带重叠的视频段采样方法，对每一帧先用CNN模型进行空间特征的抽取，再利用该视频段的空间特征进行时序建模。这样的设计能够在保证有效建模空间和时序特征的前提下，有效的减少计算量，能够满足实时在线推理视频流的需求；

(3)本发明提出的基于滑动窗口的概率后处理的方法，能够对该视频的每一帧为关键心脏相位的概率进行有效的归一化，从而避免因为分段采样而导致在推理含有多个心动周期的超声心动图视频时出现概率曲线无法分辨出极大值的问题，使得该技术方案能够满足推理含有多个心动周期的视频的需求。

(4)本发明方法既不需要分割左心室，也不依赖心电图，只需要通过卷积神经网络与时空特征聚合模块的结合，能够直接从任意长度的二维心脏超声序列中自动、精确地识别出多个心动周期的ED和ES帧。该方法可以应用到超声心动图常见的切面，适用性较强。

附图说明

图1是本发明总体运行流程示意图；

图2是视频中表示每一帧为ED和ES的数据标签生成示例；

图3是所用卷积神经网络模型的核心部件CSPVoVNet Block的结构示意图；

图4是时空特征聚合模块的组成部分Video Swin Transformer Block的结构示意图，其中左半边为窗口自注意力结构，右半边为移动窗口自注意力结构；

图5是滑动窗口后处理流程示意图；

图6是预测结果可视化示例。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

本发明提供了一种基于动态超声心动图的心脏相位识别方法，将该方法应用于一段具有多个心动周期的动态超声心动图视频上，能够自动识别出该段视频中舒张末期(EndDiastole,ED)和收缩末期(End Systole,SD)帧并生成其具体的帧索引。如图1所示，具体包括以下步骤：

S1、为超声心动图视频中的每一帧自动生成代表心脏关键相位概率的数据标签，其结果如图2所示。在给定了一段视频中的心脏关键相位的帧索引后，生成以该帧索引为μ，σ为10的高斯分布概率密度函数，公式如式(1)所示，其中x为任意一帧的帧索引，μ为ED或ES帧所在的帧索引，p(x)为每一帧为ED或ES帧的概率，σ为常数。

将当前心动周期的ED帧与下一相邻心动周期的ED帧的概率设置为1.0，两个ED帧之间的帧的概率基于高斯概率密度函数进行概率插值，即可得到代表该心动周期的每一帧为ED相位的概率曲线。该心动周期的ES概率曲线生成规则与ED同理。假设当前视频标记的ED帧索引为20，ES帧索引为43，按照先前所述数据标签的自动生成规则，分别生成心脏关键相位ED和ES的目标概率曲线，即为数据标签，如图2所示，作为心脏相位识别模型学习的目标，即Ground Truth。

S2、获取Dicom文件解码后的动态超声心动图视频序列，并对视频序列进行预处理，去除图像上的心电图、比例尺等无效信息；然后进行数据增强；

其中，预处理步骤包括：

对图像进行阈值分割，分割出图像的前景；

对图像做先开后闭的形态学操作，去除图像中小的噪点；

对图像做Canny边缘检测，获取图像的边缘；

对图像做Hough直线检测，获取组成扇形区域的两条直线；

计算两条直线的交点后，即可计算出扇形区域的半径，从而能够定位到超声心动图中的扇形区域；

将动态超声心动图视频中每一帧的扇形区域外所有像素点置0，只保留超声心动图的有效信息。

对超声心动图视频序列做数据增强，包括空间维度增强和时序维度增强。其中空间维度增强包括：随机缩放、随机中心裁剪、随机旋转；所谓时序维度增强指的是将对整个视频序列进行滑动窗口采样的采样步长随机设置为1、2或4；

S3、使用与步骤S2中相同的具有一定长度和步长的滑动窗口对预处理后的视频序列进行采样，从而将该视频序列采样为若干个有重叠的视频段；

S4、构建心脏相位识别模型，心脏相位识别模型包括空间特征抽取器、时空特征聚合模块和回归头，空间特征抽取器为基于CNN的CSPVoVNet，CSPVoVNet网络的核心是引入通道补偿技术和Cross Stage Partial技术对传统的CNN模型进行改进；CSPVoVNet通过在特征通道维度上拼接的方式进行通道补偿，再通过一个1*1卷积层对拼接后的特征图进行降维；时空特征聚合模块包括窗口自注意力结构和移动窗口自注意力结构，窗口自注意力结构用于计算独立窗口内的注意力，移动窗口自注意力结构用于计算不同窗口之间的注意力；

空间特征抽取器用于对视频段的每一帧图像进行空间特征编码，获得该视频段的空间特征序列；时空特征聚合模块用于对空间特征序列进行时序方向的注意力计算，获取时空特征序列；回归头用于将时空特征序列映射成视频段中每一帧图像为ED和ES的概率；

对视频段的每一帧图像分别使用CSPVoVNet网络进行空间特征编码，获得该视频段的空间特征序列；具体包括：

对视频段的每一帧图像分别使用2D的卷积神经网络(Convolutional NeuralNetwork,CNN)CSPVoVNet抽取空间特征，即可获得该视频段的空间特征序列；

CSPVoVNet的核心组成结构CSPVoVNet Block包括通道补偿技术和Cross StagePartial技术，具体操作步骤可见图3。

CSPVoVNet的核心组成结构CSPVoVNet Block包括两个阶段，第一阶段为：若输入的张量为

对空间特征序列进行时序方向的注意力计算，获取时空特征序列；分开抽取空间特征和时序特征能够减少计算量。其步骤包括：

将空间特征序列分为若干个窗口后，输入至窗口自注意力结构中计算自注意力，其公式如下。

其中，Attn

将空间特征序列的窗口进行移位，再输入至移动窗口自注意力结构中计算自注意力，其运算过程与窗口自注意力结构中计算自注意力方法一致，得到的特征即为时空特征序列。

对时空特征序列通过回归头结构输出该视频段中每一帧为心脏关键相位的概率；

对时空特征序列进行如下公式的操作，从而计算出视频段的每一帧为关键心脏相位的概率。其中，f

P(ob＝Softmax(Wf

在计算出每一帧的为ED和ES的预测概率后，与先前所述的数据标签计算均方误差(Mean Squared Error,MSE)，进行梯度回传，通过随机梯度下降算法进行心脏相位识别模型参数更新，从而实现对心脏相位识别模型的训练。

S6、采用训练好的心脏相位识别模型对待识别的动态超声心动图视频进行识别，得到该视频中每一帧为心脏关键相位ED或ES的概率，对视频中被重复采样的帧所获得的多个概率取平均，得到最终每帧为心脏关键相位的概率，从而实现心脏相位识别。步骤包括：

当采样的步长小于其视频段长度时，有些帧图像会被重复采样，即会被计算多个相位概率值，因此将多个概率值取平均，作为该帧的最终概率。

具体实施方案包括：数据标签的自动生成和数据增强方法，心脏相位识别模型的结构，滑动窗口概率后处理方法。

实施例1：

数据标签的自动生成和数据增强方法包括如下内容：数据标签的自动生成如图2所示。在给定了一段视频中的心脏关键相位的帧索引后，生成以该帧索引为μ，σ为10的高斯分布概率密度函数，公式如式(1)所示，其中x为任意一帧的帧索引，μ为ED或ES帧所在的帧索引，p(x)为每一帧为ED或ES帧的概率，σ为常数。

将当前心动周期的ED帧与下一相邻心动周期的ED帧的概率设置为1.0，两个ED帧之间的帧的概率基于高斯概率密度函数进行概率插值，即可得到代表该心动周期的每一帧为ED相位的概率曲线。该心动周期的ES概率曲线生成规则与ED同理。假设当前视频标记的ED帧索引为20，ES帧索引为43，按照先前所述数据标签的自动生成规则，分别生成ED和ES的目标概率曲线，即为数据标签，如图2所示，作为心脏相位识别模型学习的目标，即GroundTruth。

数据增强方法分为空间维度增强和时序维度增强。空间维度增强包括：随机缩放、随机中心裁剪、随机旋转；所谓时序维度增强指的是将先前S2所述的滑动窗口的采样步长随机设置为1、2或4，对超声序列进行等间隔采样16帧，以丰富数据集的种类，若滑动窗口取样的最后一个视频段长度不满16帧，则使用视频最后一帧进行填充直至长度为16帧。

实施例2：

心脏相位识别模型包括空间特征抽取器、时空特征聚合模块和回归头三个部分。其搭建主要分为以下几步：

第一步，使用基于卷积神经网络(Convolutional Neural Network,CNN)的空间特征抽取器，对上述数据增强方法中提到的时序维度增强方法中的随机步长采样得到的，长度为16帧的视频段中的每一帧图像独立地抽取其空间特征，即该空间特征抽取器结构的输入是长度为16帧，宽高为320像素的RGB图像，输出为16帧，宽高为10，特征维度为2048的空间特征序列。本发明所使用的空间特征抽取器为基于CNN的CSPVoVNet，其核心组成结构CSPVoVNet Block如图3所示。CSPVoVNet网络的核心是引入通道补偿和Cross StagePartial(CSP)技术对传统的CNN模型进行改进，从而能够实现以更小的计算量和更少的内存访问次数来获得与同类CNN模型相似或更高的精度。相较于常用的CNN模型ResNet，CSPVoVNet通过在特征通道维度上拼接(Concatenation)的方式进行通道补偿，能够更有利于CSPVoVNet模型学习到多个不同感受野的特征信息，再通过一个1*1卷积层对拼接后的特征图进行降维，能够有效的对特征进行压缩，整理不同感受野下的特征，并去除冗余的特征。相比于同样以拼接作为通道补偿的方式的DenseNet模型而言，DenseNet的通道补偿过于频繁，导致冗余的特征过多，引入了较大的计算量，并且频繁的通道补偿必定引起频繁的内存访问，因此对于端侧部署而言也不够友好。CSPVoVNet通过one-shot的融合方式对通道进行拼接，而非每经过一个卷积层结构就与前面的特征图进行通道维度的拼接，极大程度上减少了计算量和特征的冗余。

对于CSPVoVNet Block而言，其推理过程总共分为两个阶段。其中第一阶段为：若输入的张量为

第二步，本发明创新性的在卷积神经网络CSPVoVNet后加入了时空特征聚合模块用作时序特征和空间特征的建模和融合。区别于已提出的心脏相位识别方法，建模时序特征能够大幅度的提高心脏相位识别的准确率。时空特征聚合模块的输入为第一步所得到的16帧图像的空间特征序列，每帧图像的空间特征图的大小为2048*10*10，其中10*10为特征图的宽高像素数，2048为图像的特征维度。输出为聚合了时序特征和空间特征的特征图，大小为16*2048*10*10。时空特征聚合模块由一个Video Swin Transformer Block(以下简称VST Block)组成，用于对16张独立的空间特征图进行时序维度上的建模，从而使空间特征图能够成为同时携带有时序特征和空间特征的时空特征序列。VST Block的主要原理为采用自注意力机制对超声序列的时序信息进行建模，从而建模空间特征序列之间的时序关联信息，计算上高度并行，避免出现梯度消失或梯度爆炸的问题。

VST Block由一个窗口自注意力结构(图4左半边)和一个移动窗口自注意力结构(图4右半边)组成。一般地，窗口自注意力结构和移动窗口自注意力结构应当成对出现，原因为前者建模的是独立窗口内的注意力，尽管大幅度的减少了计算量，但是该特征图的感受野仍属于局部感受野。为了能够建模全局感受野，需要使用移动窗口自注意力结构实现不同窗口之间的注意力计算，从而将局部感受野扩展为近似全局感受野。

窗口自注意力结构由层归一化(Layer Normalization,LN)结构、3D W-MSA结构和MLP结构组成，移动窗口自注意力结构由LN结构、3D SW-MSA结构和MLP结构组成，其运算流程如图4所示。

在窗口自注意力结构中，输入的空间特征序列会首先经过LN结构，再输入进3D W-MSA结构。3D W-MSA结构会先对大小为16*2048*10*10的空间特征序列进行窗口分区。空间特征序列被划分为16个大小为4*8*8的独立窗口，其中4表示每个窗口囊括长度为4帧的特征序列，8*8表示窗口的宽和高为8个像素。为了满足窗口大小能够被原特征图的宽高整除，需要将输入的特征图用0进行填补，填补后的特征图宽高为16*16，特征维度仍然为2048不变。之所以使用了较大的窗口进行划分，是因为相较于一般的基于VST Block的模型而言，此时该结构的输入特征图大小已经下采样到长、宽仅有10个像素，即使使用了较大的窗口进行划分，也不会引入过多的计算量，为心脏相位识别模型的实时在线运行和端侧部署提供了无限的可能。在对空间特征序列进行窗口分区后，再对每个窗口独立地计算自注意力，其独立进行自注意力计算的运算过程如式(2)所示，其中

将窗口自注意力结构的输出特征序列输入至移动窗口自注意力结构。其流程与窗口自注意力模块基本一致，但是自注意力计算结构由3D W-MSA结构替换为3D SW-MSA结构，原因是窗口自注意力模块为每个窗口独立地进行注意力的计算，其感受野被限制在了窗口之内；因此对窗口进行平移，使其感受野能够扩大至临近的窗口，可实现不同窗口之间的特征进行融合和交流，从而将局部感受野扩展为近似全局感受野。

第三步。回归头结构需要将第二步中抽取到的时空特征映射成视频段中每一帧图像为ED和ES的概率。回归头结构由两个输入通道为2048，输出通道为16的全连接层组成。回归头结构的输出为S2中所述的每个滑动窗口所得每个视频段中每帧被预测为ED或ES帧的概率，其计算过程如式(3)所示。其中，f

在计算出每一帧的为ED和ES的概率后，与先前所述的Ground Truth即ED和ES的概率曲线计算均方误差(Mean Squared Error,MSE)，如式所示，其中Toss表示计算得到的误差，n表示帧图像的总样本数，y

实施例3：

在计算误差并优化心脏相位识别模型的参数后，进行滑动窗口概率后处理。滑动窗口概率后处理方法主要包括：本发明创新性使用了基于滑动窗口的概率后处理结构，能够精确计算一段完整的、包含多个心动周期的超声视频中心脏ES和ED的帧索引。其流程如图5所示，在S2阶段对一完整的超声心动图视频进行滑动窗口采样，根据滑动窗口长度和采样步长的不同，部分帧会被多次采样，因此会得到多个预测概率值，因此对多个概率值取平均值作为最终预测的相位概率值，可使相位预测更加准确，可视化得到概率曲线图如图6所示，其极大值处的对应帧索引即为网络预测的关键心脏相位的帧索引。本发明提出的该概率后处理方法能够以较为简单的方式，在含有多个心动周期的超声心动图动态视频中分别找出每一个ED和ES帧索引。