基于深度学习网络的颈动脉超声图像血管及内膜定位方法

摘要

本发明涉及医学图像分析领域，具体涉及基于深度学习网络的颈动脉超声图像血管及内膜定位方法。方法步骤包括：S1，实时获取包含颈总动脉的超声原始图像；S2，将超声原始图像进行优化处理，得到超声后处理图像；S3，将超声原始图像和超声后处理图像进行加权处理，得到加权图像；S4，将加权图像裁剪为宽度和深度相同的裁剪图像；S5，将裁剪图像输入预先训练好的全自动分割网络中，输出内膜分割结果和血管分割结果，内膜分割结果和血管分割结果用于IMT测量以及用户导引。实现了血管以及血管内膜精确定位与分割，与传统的算法相比完全不需要人工干预，与二级结构相比更容易实现实时计算，满足了实时的需求。

说明书

技术领域

本发明涉及医学图像分析技术领域，具体而言，涉及基于深度学习网络的颈动脉超声图像血管及内膜定位方法。

背景技术

心脑血管疾病(CVD)的基础病理是动脉粥样硬化，颈动脉血管内膜厚度(cIMT)是衡量动脉粥样硬化程度的重要标志。临床上，通常采用无损的超声成像技术采集颈动脉的超声图像后，通常由超声医生在采集到的颈总动脉超声图像上手动标注血管腔-内膜边界(LII)和血管外膜-中膜边界(MAI),实现IMT的测量。

颈动脉血管超声图像中，近段血管壁用外环表示，管腔位于图像中间位置，远端血管位于近段血管壁和管腔之间，远端血管因具有比较清晰的层析结构被选为研究对象。图1为颈动脉血管壁径向示意图，血管壁又分为内膜，中膜和外膜三层，内膜因其自身阻抗大于中膜而小于外膜，因此声波反射强度大于中膜而小于外膜。图2为颈动脉血管壁侧向示意图，如图2所示，内中膜的两条边界，由内至外分别为LII和MAI,位于两条边界之间的，是颈动脉内中膜组织。LII和MAI在正常颈动脉中呈现两条近似平行的边界，两条边界之间的平均距离即为所要测量的cIMT。

人工分割LII和MAI的轮廓是非常费时的事情，且分割的准确度完全依赖医生的专业知识和熟练程度。

自动分割算法可使医务人员摆脱繁重的人工观察和诊断，提高测量结果的客观性，可靠性，为医学诊断提供坚实可靠的依据。现有的自动分割算法中，Wendelhag I提出采用动态规划来精确检测血管壁，利用该算法搜索到的边界是使代价函数极小的全局最优解，但是代价函数之间的权重参数不具有普遍适用性，扫描参数的变化最优参数需要重新训练。Petroudi S中提出利用Snake模型在利用水平集提取的初始轮廓基础得到了最终的轮廓线。以上这些颈动脉LII和MAI分割方法主要存在两个缺点：第一，未实现完全自动化，仍旧需要人工干预，需要医生手动标记，第二，动态规划和Snake的方法都依赖于初始轮廓获取的准确程度；因此最终的结果受初始标记的影响极大，稳定性较差。

近年来，深度学习广泛应用于医学图像处理中，对于血管壁各膜层边界线的提取，一般还是模仿传统算法采用两步处理，第一步提取感兴趣区域(ROI)并获取初始轮廓线，第二步获得精确轮廓线。Rosa-Maria提出两级不同参数的简单分类的极限学习网络(ELM)分别完成提取ROI和轮廓的算法。但是，该方法只能适用于颈动脉粥样硬化的早期诊断。Biswas提出两级基于多分辨率的CNN，第一级主要实现图像分割，第二级实现平滑边界并输出精确的LII和MAI。上述方法虽然能实现全自动分割，但是采用两级深度学习网络，所以算法实时性很难保证。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，一方面需要实现全自动精确测量，而不需要人工干预，另一方面，改变现有技术中的深度学习算法的二级结构，提高数据分析的实时性，因此，基于多分类的Unet结构的算法，提出了一种基于深度学习网络的颈动脉超声图像血管及内膜定位方法。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于深度学习网络的颈动脉超声图像血管及内膜定位方法，包括以下步骤：

S1，实时获取包含颈总动脉的超声原始图像；

S2，将超声原始图像进行优化处理，得到超声后处理图像；

S3，将超声原始图像和超声后处理图像进行加权处理，得到合成图像；

S4，将合成图像裁剪为宽度和深度相同的裁剪图像；

S5，将裁剪图像输入预先训练好的全自动分割网络中，输出内膜分割结果和血管分割结果，内膜分割结果和血管分割结果用于IMT测量以及用户导引。

作为本案的优选方案，步骤S3中，通过加权处理得到合成图像的处理步骤为：

第一步，将超声原始图像的数据乘以原始图像系数，得到第一修正图像，并且将超声后处理图像的数据乘以后处理图像系数，得到第二修正图像；

第二步，将第一修正图像和第二修正图像求和，得到合成图像。

作为本案的优选方案，步骤S2中优化处理包括边缘增强，斑点抑制。

作为本案的优选方案，步骤S4中，将合成图像裁剪为宽度和深度相同的裁剪图像时，具体包括以下步骤：

当合成图像深度小于或等于裁剪阈值时，将合成图像深度方向补0，直到图像深度与宽度相同；

当合成图像深度大于裁剪阈值时，将合成图像裁剪成宽度和深度相同。

作为本案的优选方案，全自动分割网络的训练步骤包括：

S21，获取训练数据集，训练数据集包括标准超声图像和标记图片，标准超声图像是对包含颈总动脉的超声原始图像依次进行优化、加权和裁剪处理后的图像，标记图片是与标准超声图像相对应的已经标记出颈总动脉和内膜区域的超声图像；

S22，将标记图片调整为独热图片；

S23，将独热图片及其对应的标准超声图像输入到Uet型结构深度学习网络中；输出超声图像的内膜分割结果和血管分割结果；

S24，将输出的超声图像的内膜分割结果和血管分割结果输入损失函数，并根据损失函数的计算值判断网络是否收敛，若没有收敛，返回步骤S21，继续循环执行步骤S21-S23，若收敛，则完成全自动分割网络的训练。

作为本案的优选方案，步骤S23中的Uet型结构深度学习网络的卷积层由图像输入层、下采样、上采样层、池化层以及激活层组成，每层卷积层后都连接一层池化层，激活层采用线性整流函数，激活层的激活函数采用softmax函数。

作为本案的优选方案，步骤S24中的损失函数为categorical_crossentropy函数，用于表征输出结果和原始标记的差异。

作为本案的优选方案，还包括根据内膜分割结果进行IMT测量，具体步骤包括：

S51，将内膜分割结果进行二值化处理，得到内膜二值化图像；

S52，在内膜二值化图像中选取最大连通区域，定位最佳内膜测量位置和ROI框，计算IMT值。

作为本案的优选方案，根据血管分割结果给出血管位置评级，用于用户导引，具体步骤包括：

S61，将血管分割结果进行二值化处理，得到血管二值化图像；

S62，统计血管面积占比，根据预先设定的阈值，给出血管位置评级；

S63，根据血管位置评级给出用户导引提示。

基于相同的构思，本发明还提出了一种基于深度学习网络的颈动脉超声图像血管及内膜定位的装置，其特征在于，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项的方法。

与现有技术相比，本发明的有益效果：

本发明的颈动脉超声图像血管及内膜定位方法，提出一种基于多分类的Unet结构的算法，实现了血管以及血管内膜精确定位与分割，与传统的算法相比完全不需要人工干预，与二级结构相比更容易实现实时计算。采用该方法可以直接根据颈动脉超声的图像，实时计算预测出血管区域和内膜位置，位置参数精度可以达到像素级别，预测每张切片大概花费20微秒，满足了实时的需求，对临床应用具有很大的价值和意义。并且，对于分割出的血管区域还进行评级，提示医生当前是否在测量cIMT的最佳剖面。

附图说明：

图1为本发明颈动脉血管壁径向示意图；

图2为颈动脉血管壁侧向示意图；

图3为本发明实施例1中由步骤S1～S4得到裁剪图像的示意流程图；

图4为本发明实施例1中颈动脉超声图像血管及内膜定位网络的训练过程图；

图5为本发明实施例1中包含颈总动脉的超声原始图像；

图6为本发明实施例1中包含颈总动脉的超声原始图像相应的超声后处理图像；

图7为本发明实施例1中包含颈总动脉的超声原始图像优化后的加权图像；

图8为本发明实施例1中加权图像深度小于4cm的效果图；

图9为本发明实施例1中补0后的加权图像；

图10为本发明实施例1中加权图像深度大于4cm的效果图；

图11为本发明实施例1中裁剪的加权图像；

图12为本发明实施例1中全自动分割网络训练流程图；

图13为本发明实施例1中一种具体的背景的独热图；

图14为本发明实施例1中拆分后的血管的热独图；

图15为本发明实施例1中拆分后的内膜的独热图；

图16为本发明实施例1中深度学习网络及其网络收敛准则

图17为本发明实施例1中利用颈动脉超声图像血管及内膜定位网络进行IMT测量以及用户导引的流程图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

一种基于深度学习网络的颈动脉超声图像血管及内膜定位方法的流程图如图3所示，主要包括以下步骤：

S1，实时获取包含颈总动脉的超声原始图像；

S2，将超声原始图像进行优化处理，得到超声后处理图像；

S3，将超声原始图像和所述超声后处理图像进行加权处理，得到加权图像；

S4，将加权图像裁剪为宽度和深度相同的裁剪图像；

S5，将裁剪图像输入预先训练好的全自动分割网络中，输出内膜分割结果和血管分割结果，内膜分割结果和血管分割结果用于IMT测量以及用户导引。

其中，由步骤S1～S4得到裁剪图像的示意流程图如图4所示，步骤S1获取的包含颈总动脉的超声原始图像如图5所示，原始图像往往颗粒较大，噪声多，内膜和血管边缘都不清晰，不利于后续的数据处理和判断，因此通过步骤S2，将包含颈总动脉的超声原始图像经过一系列传统算法进行后处理，例如边缘增强，斑点抑制等，得到医生偏好的超声后处理图像，超声后处理图像血管内较干净，肉眼较易辨识，内膜更清晰，图5相应的超声后处理图像如图6所示。

只采用超声原始图像或只采用超声后处理图像，都不利于后续基于全自动分割网络的深度机器学习，因此，步骤S3中，将超声原始图像和所述超声后处理图像进行加权处理，得到加权图像，加权处理是通过将超声原始图像和超声后处理图像加权求和来实现，加权图像保留了血管中的纹理，同时IMT也足够清晰，是用于颈动脉超声图像血管及内膜定位方法的最优图片形式。

步骤S3中，通过加权处理得到加权图像的处理步骤为：

第一步，将超声原始图像的数据乘以原始图像系数，得到第一修正图像，并且将超声后处理图像的数据乘以后处理图像系数，得到第二修正图像；

第二步，将所述第一修正图像和所述第二修正图像求和，得到所述加权图像。

目前，较为理想的加权图像生成方式为：加权图像＝0.4×超声后处理图像+0.6×超声原始图像，也即是说，在加权过程中，超声后处理图像的权重(后处理图像系数)为40％，超声原始图像的权重(原始图像系数)是60％。优化后的加权图像如图7所示。

步骤S4主要用于将加权图像裁剪为宽度和深度相同的裁剪图像，以利于后续的深度机器学习，将所述加权图像裁剪为宽度和深度相同的裁剪图像时，具体包括以下步骤：

当加权图像深度小于或等于裁剪阈值时，将加权图像深度方向补0，直到图像深度与宽度相同；当所述加权图像深度大于裁剪阈值时，将所述加权图像裁剪成宽度和深度相同。

作为优选方案，将裁剪阈值设置为4cm，当加权图像深度小于或等于4cm时。加权图像深度小于4cm的效果图如图8所示，将加权图像深度方向补0，直到图像深度与宽度相同，补0后的加权图像如图9所示。加权图像深度大于4cm的效果图如图10所示，将加权图像沿深度方向裁剪，直到图像深度与宽度相同，裁剪的加权图像如图11所示。

其中，需要特别说的是步骤S5中的全自动分割网络是预先训练得到的，训练流程图如图12所示，训练步骤包括：

S21，获取训练数据集，训练数据集包括标准超声图像和标记图片，标准超声图像是对包含颈总动脉的超声原始图像依次进行优化、加权和裁剪处理后的图像，对包含颈总动脉的超声原始图像依次进行优化、加权和裁剪处理后的图像的方法与前述步骤S2、S3、S4一样。标记图像是与标准超声图像相对应的已经标记出颈总动脉和内膜区域的超声图像，对标记图像同样要依次进行优化、加权和裁剪，方法与前述步骤S2、S3、S4一样。

S22，将标记图片调整为独热图片。调整为独热图片的步骤为：

S211，将原始标记图片的背景部分、血管部分和内膜部分分别提出来，得到标记背景图、标记血管图、标记内膜图；

S212，将标记背景图、标记血管图、标记内膜图分别调整为二进制图像，就得到了独热图片。图13给出了一种具体的背景的独热图，图14是拆分后的血管的热独图，图15是拆分后的内膜的独热图。

将原始标记图片调整为三幅二进制图像是为了方便后续计算多分类的WCE损失函数，WCE损失函数的计算公式如公式(1)和(2)所示。

其中，N为像素点个数，m为类别数(num_label)，将类预测y

S23，将独热图片及其对应的标准超声图像输入到Unet型结构深度学习网络(也即是全自动分割网络)中；输出标准超声图像的内膜分割结果和血管分割结果。

深度学习网络及其网络收敛准则见图16，网络结构依次由图像输入层、下采样和上采样层，池化层以及激活层组成。输入层输入的是256*256*3的彩色图像。每层卷积层后都紧跟一层池化层，激活层采用线性整流函数(Rectified Linear Unit,ReLU)。输出层的激活函数采用softmax函数。整个网络模型架构的目的是为了最小化损失函数并更新优化参数，选择具有动量的随机梯度下降(stochastic gradient descent with momentum,SGDM)作为优化器控制收敛，输出血管和内膜区域。

S24，将输出的内膜分割结果和血管分割结果输入损失函数，并根据所述损失函数的计算值判断网络是否收敛，若没有收敛，返回步骤S21，继续循环执行步骤S21-S23，若收敛，则完成全自动分割网络的训练。在网络训练的过程中，控制学习率，在初始训练阶段采取较大的学习率，之后用较小的学习率进行微调，并使用categorical_crossentropy损失函数来表征输出结果和原始标记的差异。作为优选方案，训练的准确率到99％，loss降低到0.1左右，就判断网络已经收敛。

本案中，主要利用Unet型结构深度学习网络的多分类提高内膜的定位准确率，网络的结构本身主要是降低滤波器数目以及提高上下采样率，简化网络达到实时的效果。Unet擅长的事情是分类，在同一张图片里处理分类就等同于完成分割任务。从概率的角度我们解释其合理性，假设血管为V，内膜用I表示，由于内膜一定在血管内，因此P(V|I)＝1：

P(I，V)＝P(I|V)P(V)＝P(VI)P(I)

P(I)＝P(I|V)P(V)

可以直接看出内膜出现的概率是与血管出现的概率成正比的，如果能定位出血管的位置，是可以辅助定位出内膜位置的。

作为优选方案，当颈动脉超声图像血管及内膜定位网络已经训练好之后，利用颈动脉超声图像血管及内膜定位网络进行IMT测量以及用户导引的流程图如图17所示，具体步骤包括：

A1，实时采集超声图像，超声图像中至少要包含颈总动脉。将采集到的超声图像进行预处理，预处理包括加权、裁剪等；

A2，将预处理后的超声图像输入颈动脉超声图像血管及内膜定位网络，输出颈总动脉分割图像和内膜区域分割图像；

A3，根据颈总动脉分割图像和内膜区域分割图像进行IMT值的计算，并且计算出当前内膜分级评分。

IMT值的计算过程包括：

A301，对内膜区域分割图像进行二值化处理，输出内膜二值化图像；

A302，在内膜二值化图像中，选取最大连通区域，定位最佳内膜测量位置和ROI框，计算IMT值。

内膜分级评分计算步骤包括：

B301，在深度延伸方向统计当前列的血管像素，计算平均深度；

B302，在深度延伸方向搜索最深的IMT像素并记录其深度；

B303，比较当前列的血管中线位置和最深IMT像素的位置，如果IMT位置比血管中线位置更深，内膜指数计数加1；

B304，在内膜区域分割图像中按列依次循环执行A301-A303，以获得最终内膜指数计数累加值；

B305，通过将内膜指数计数累加值除以图像中横向像素的总数，得到内膜分级评分。(将内膜分级评分与判定阈值作比较，判定阈值为0.25，当内膜分级评分大于0.25时，该值为有效值，当内膜分级评分小于0.25时，该值为无效值。

对同一原始超声图，可以通过颈动脉超声图像血管及内膜定位网络获取多个IMT值以及相应的内膜分级评分，选取内膜分级评分最大值对应的IMT值作为输出的结果。

作为优先方案，通过颈动脉超声图像血管及内膜定位网络输出颈总动脉分割图像和内膜区域分割图像后，还可以对颈总动脉位置进行评级。对颈总动脉位置进行评级的步骤包括：

C1，根据颈总动脉分割图像计算血管的总像素数，并计算血管面积占比；

C2，将血管面积占比与预先设定的阈值，给出血管位置评级。

统计血管面积占比分为三个等级：第一级，P≥d/probewidth*coe1；第二级P≥d/probewidth*coe1*coe2，第三级(也是无效的等级)，P＜d/probewidth*coe1*coe2。其中，P是血管面积占比，d是颈动脉半径(颈动脉半径均值为6.5cm，其中女性的颈动脉半径为5.5cm，男性的颈动脉半径为7.7cm)；coe1是第一系数，0.9≤coe1≤1.0，coe2是第二系数，coe2＝0.9或coe2＝1.0。

C3，当血管位置评级为第一级或第二级时，确定ROI的定位点和ROI的转向角。具体步骤包括：

C301，找到颈总动脉分割图像的最大连通区域，计算最大连通区域的重心，根据该重心确定ROI定位点；

C302，根据最大连通区域，找到最大连通区域的最小边界矩形；

C303，根据最小边界矩形的斜率角，确定ROI的转向角。

C4，根据颈总动脉分割图像，采用C2相同的方法给出颈总动脉位置等级评分。

C5，计算多普勒门的最佳尺寸和血流角。计算多普勒门的最佳尺寸和血流角的步骤包括：

C401，找到颈总动脉分割图像的最大连通区域；

C402，根据最大连通区域，找到最大连通区域的最小边界矩形；

C403，找到最小边界矩形的短边的长度，短边的长度即为颈总动脉高度，最小边界矩形的斜率角为PW流量角，PW流量角的取值范围是-70≤pw≤70。