一种颈动脉超声自动多普勒方法、超声设备及存储介质

摘要

本发明提供一种颈动脉超声自动多普勒方法，所述方法包括：获取颈动脉超声图像；将所述颈动脉超声图像输入卷积神经网络检测模型提取特征，得到输出特征图；在所述输出特征图上提取预设数量的图像块；并记录每个图像块在所述输出特征图上的位置信息；所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管角度；所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管位置；基于得到的血管位置计算得到血管宽度；基于得到的所述血管角度、血管位置和血管宽度，在所述颈动脉超声图像上自动生成取样门。本发明能够在颈动脉超声多普勒检查时简化医生的操作，提高医生的工作效率。

说明书

技术领域

本发明属于超声设备技术领域，尤其是一种颈动脉超声自动多普勒方法。

背景技术

脑血管病的发病率逐年上升，采用无创性检查方法，早期发现颅外动脉血管病变的存在并及时进行治疗，是预防和减少脑血管病发病的有效手段，具有重要临床意义。以上颅外动脉血管主要指颈动脉血管。颈动脉超声所检测的颈动脉血管包括颈总动脉、颈内动脉、颈外动脉，是诊断评估颈动脉病变的有效手段之一。颈动脉超声检查具有操作简便，可重复性强、经济实用，容易被患者接受等特点；所以它常被用于正常人群的筛查，脑血管病高危人群的病情检查，包括进行术前、术中、术后评价及随访。

颈动脉超声检查包括二维结构、多普勒频谱等综合分析。二维结构分析可以观察到血管的内径，用来判断管腔有无扩张、狭窄、扭曲、走行是否正常、内膜的厚度以及有无斑块。多普勒频谱分析取得血流频谱观察血流速度，判断血流速度是否增大、减小。血流速度往往和二维结构对应，比如血流速度增大往往是因为颈动脉管腔狭窄。多普勒频谱分析还被用来获取收缩期血流速度的峰值、舒张末期血流速度和颈内动脉与颈总动脉流速比值。

目前，医生用超声设备进行颈动脉超声多普勒检查时，第一步先调整探头位置，以使颈动脉超声图像最清晰；然后调整多普勒角度(也就是取样门的角度)，范围一般为正负30°之间；再调整平行四边形取样门的宽度，这个取样门的宽度一般取血管宽度的1/3；最后记录一帧颈动脉图像、一帧代表性多普勒频谱，同时测量收缩期峰值流速。医生进行上面几步操作，才能确保精确测量收缩期峰值流速。医生如果不进行上面的几步操作的话，将会导致血流取样不正确，将会人为造成峰值流速增加或减少，计算收缩期峰值流速比评价管腔狭窄时就会出现误差。此时如果存在临床意义的颈动脉狭窄，可导致错误判断。

然而，医生工作时待检测的病人往往很多，工作量大；如果能用自动化的算法简化颈动脉超声检查的流程的话，能直接提高医生的工作效率。

发明内容

本发明的目的是在于克服现有技术中存在的不足，提供一种颈动脉超声自动多普勒方法，以在颈动脉超声多普勒检查时简化医生的操作，提高医生的工作效率；本申请还提供了与上述方法相应的超声设备和存储介质。为实现以上技术目的，本发明实施例采用的技术方案是：

第一方面，本发明实施例提供了一种颈动脉超声自动多普勒方法，所述方法包括：

获取颈动脉超声图像；

将所述颈动脉超声图像输入卷积神经网络检测模型提取特征，得到输出特征图；

在所述输出特征图上提取预设数量的图像块；并记录每个图像块在所述输出特征图上的位置信息；

所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管角度；

所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管位置；

基于得到的血管位置计算得到血管宽度；

基于得到的所述血管角度、血管位置和血管宽度，在所述颈动脉超声图像上自动生成取样门。

进一步地，所述将所述颈动脉超声图像输入卷积神经网络检测模型提取特征，得到输出特征图，具体包括：

将所述颈动脉超声图像输入卷积神经网络检测模型，所述卷积神经网络检测模型通过多组包含卷积层、池化层、批归一化层和激活函数层的层组对其提取特征，在最后一个层组的激活函数层得到输出特征图。

进一步地，所述在所述输出特征图上提取预设数量的图像块，具体包括：

在输出特征图上进行滑动窗口操作，基于像素位置提取图像块；所述基于像素位置提取图像块包括：以像素位置为中心，遍历输出特征图上每一个像素提取图像块或在输出特征图上每隔数个像素提取图像块。

更进一步地，所述提取图像块包括提取多种不同大小、不同预设长宽比的图像块。

进一步地，所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管角度，具体包括：

通过所述卷积神经网络检测模型对每个所述图像块输出包含多个血管角度预测概率的第一预测输出向量；

确定所有第一预测输出向量中血管角度预测概率最高的图像块；

将所述血管角度预测概率最高的图像块的第一预测输出向量中血管角度预测概率最高的类别对应的血管角度作为所述颈动脉超声图像中的血管角度。

进一步地，所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管位置，具体包括：

通过所述卷积神经网络检测模型对每个所述图像块输出包含预测的血管位置的第二预测输出向量；

将所述血管角度预测概率最高的图像块在所述输出特征图上的位置还原到所述颈动脉超声图像上，并结合该图像块中预测的血管位置得到颈动脉超声图像中的血管位置。

进一步地，所述基于得到的血管位置计算得到血管宽度，具体包括：

基于所述血管的位置，经过所述血管宽度方向的中点，生成一条与所血管长度方向垂直的直线；

从血管中点往所述直线一个方向计算所述直线上每个像素点的梯度值；

在累计预设数量的像素点的梯度值大于预设阈值时，确定第一次满足时的所述预设数量的像素点中第一个像素点作为所述血管的一侧边缘点；获取所述血管中点到所述一侧边缘点的距离；

根据所述血管中点到所述一侧边缘点的距离计算得到血管宽度。

进一步地，所述基于得到的所述血管角度、血管位置和血管宽度，在所述颈动脉超声图像上自动生成取样门，包括：

将所述取样门的中心设置在所述颈动脉超声图像中血管位置的中心点；所述取样门的角度为得到的血管角度；所述取样门的宽度小于或等于得到的血管宽度。

进一步地，所述卷积神经网络检测模型通过如下方式训练得到：

获取样本颈动脉超声图像，所述样本颈动脉超声图像标记有血管角度信息、血管位置标记；

将所述样本颈动脉超声图像输入卷积神经网络检测模型提取特征，得到样本输出特征图；

在所述样本输出特征图上提取预设数量的样本图像块；并记录每个样本图像块在所述样本输出特征图上的位置信息；

将所述样本图像块根据预定规则划分为正样本图像块和负样本图像块；正样本图像块的血管角度取该正样本图像块所对应的样本颈动脉超声图像标记的血管角度；

根据所述正样本图像块和所述负样本图像块训练所述卷积神经网络检测模型。

更进一步地，所述在所述样本输出特征图上提取预设数量的样本图像块，包括：

在样本输出特征图上进行滑动窗口操作，基于像素位置提取样本图像块；所述基于像素位置提取样本图像块包括：以像素位置为中心，遍历样本输出特征图上每一个像素提取样本图像块或在样本输出特征图上每隔数个像素提取样本图像块。

更进一步地，所述将所述样本图像块根据预定规则划分为正样本图像块和负样本图像块，包括：

计算每个样本图像块与对应的样本颈动脉超声图像中血管位置标记的血管交并比，所述交并比为交集与并集的比值；

将所述交并比大于设定阈值的样本图像块作为正样本图像块，否则作为负样本图像块。

更进一步地，所述根据所述正样本图像块和所述负样本图像块训练所述卷积神经网络检测模型，包括：

将所述正样本图像块和所述负样本图像块输入所述卷积神经网络检测模型；

通过所述卷积神经网络检测模型对每个所述样本图像块输出包含多个血管角度预测概率的第一预测输出向量；计算用于血管角度预测的第一损失函数；

通过所述卷积神经网络检测模型对每个所述图像块输出包含预测的血管位置的第二预测输出向量；计算用于血管位置预测的第二损失函数；

将第一损失函数的函数值和第二损失函数的函数值反向传播回所述卷积神经网络检测模型进行更新迭代，得到训练好的卷积神经网络检测模型。

作为预选，第一损失函数如公式(1)所示，

Loss(prob

其中，prob

第二损失函数如公式(2)所示，

其中，out表示输出的第二预测输出向量，truth表示真实的血管位置。

作为优选，第一损失函数的每次输入为一对正样本图像块和和负样本图像块。

作为优选，所述卷积神经网络检测模型采用金字塔结构，包括三组包含卷积层、池化层、批归一化层和激活函数层的层组；

在所述金字塔结构的卷积神经网络检测模型中，第一个激活函数层输出的低层特征上采样后和第二个激活函数层输出的中层特征相加，得到一个融合低层和中层的特征，再将融合低层和中层的特征上采样后和第三个激活函数层输出的高层特征相加，得到一个融合了低层、中层和高层的特征。

第二方面，本发明实施例提供了一种超声设备，包括：

存储器，存储有计算机程序；

处理器，用于运行所述计算机程序，所述计算机程序运行时执行如上文所述的方法的步骤。

第三方面，本发明实施例提出了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被配置为运行时执行如上文所述的方法的步骤。

本发明实施例提供的技术方案带来的有益效果是：取样门的生成过程实现了全自动化，使用时仅需要提供颈动脉超声图像就自动在该图像上生成取样门，显著提高了医生的工作效率，大大节省了医生进行颈动脉超声多普勒检查的时间。

附图说明

图1为本发明实施例中的颈动脉超声图像示意图。

图2为本发明实施例中的生成的取样门示意图。

图3为本发明实施例中的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

第一方面，本发明的实施例提出一种血管信息获取及取样门自动生成方法，包括：

获取颈动脉超声图像；

将所述颈动脉超声图像输入卷积神经网络检测模型提取特征，得到输出特征图；

在所述输出特征图上提取预设数量的图像块；并记录每个图像块在所述输出特征图上的位置信息；

所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管角度；

所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管位置；

基于得到的血管位置计算得到血管宽度；

基于得到的所述血管角度、血管位置和血管宽度，在所述颈动脉超声图像上自动生成取样门。

本申请通过一个卷积神经网络检测模型就可以对输入的颈动脉超声图像进行血管角度和血管位置的预测，然后再基于血管位置就可以方便地计算得到血管宽度；最后自动生成取样门；以上自动化的处理过程能够在颈动脉超声多普勒检查时简化医生的操作，显著提高医生的工作效率；通过人工智能的方法，大大节省了医生进行颈动脉超声多普勒检查的时间；

具体地，所述将所述颈动脉超声图像输入卷积神经网络检测模型提取特征，得到输出特征图，包括：将所述颈动脉超声图像输入卷积神经网络检测模型，所述卷积神经网络检测模型通过多组包含卷积层、池化层、批归一化层和激活函数层的层组对其提取特征，在最后一个层组的激活函数层得到输出特征图；所述提取特征包括提取血管边缘特征、纹理特征和全局结构特征；因此能够对颈动脉超声图像提取更全面的特征；

具体地，所述在所述输出特征图上提取预设数量的图像块，包括：在输出特征图上进行滑动窗口操作，基于像素位置提取图像块；所述基于像素位置提取图像块包括：以像素位置为中心，遍历输出特征图上每一个像素提取图像块或在输出特征图上每隔数个像素提取图像块；上述图像块的提取过程可以确保至少一个图像块中存在血管的一段；具体可以提取多种不同大小、不同预设长宽比的图像块；

具体地，所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管角度，包括：通过所述卷积神经网络检测模型对每个所述图像块输出包含多个血管角度预测概率的第一预测输出向量；确定所有第一预测输出向量中血管角度预测概率最高的图像块；将所述血管角度预测概率最高的图像块的第一预测输出向量中血管角度预测概率最高的类别对应的血管角度作为所述颈动脉超声图像中的血管角度；

具体地，所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管位置，包括：通过所述卷积神经网络检测模型对每个所述图像块输出包含预测的血管位置的第二预测输出向量；将所述血管角度预测概率最高的图像块在所述输出特征图上的位置还原到所述颈动脉超声图像上，并结合该图像块中预测的血管位置得到颈动脉超声图像中的血管位置；

以上卷积神经网络检测模型的处理过程，能够获得更为准确的处理结果；

具体地，所述得到的颈动脉超声图像中的血管位置可以用一个血管预测矩形框表示；

具体地，所述基于得到的血管位置计算得到血管宽度，包括：基于所述血管的位置，经过所述血管宽度方向的中点，生成一条与所血管长度方向垂直的直线；从血管中点往所述直线一个方向用索贝尔算子计算所述直线上每个像素点的梯度值；在累计预设数量的像素点的梯度值大于预设阈值时，确定第一次满足时的所述预设数量的像素点中第一个像素点作为所述血管的一侧边缘点；获取所述血管中点到所述一侧边缘点的距离；根据所述血管中点到所述一侧边缘点的距离计算得到血管宽度，所述血管中点到所述一侧边缘点的距离的二倍即血管宽度；

其中，索贝尔算子计算的是血管垂直方向的梯度，索贝尔算子为：

一个像素点(x,y)处的梯度值的计算公式为：

梯度＝1*f(x-1,y-1)+2*f(x,y-1)+1*f(x+1,y-1)+0*f(x-1,y)+0*f(x,y)+0*f(x+1,y)+(-1)*f(x-1,y+1)+(-2)*f(x,y+1)+(-1)*f(x+1,y+1)f()表示取像素点的像素值；

在另一个实施例中，所述基于得到的血管位置计算得到血管宽度，包括：基于所述血管的位置，经过所述血管宽度方向的中点，生成一条与所血管长度方向垂直的直线；从血管中点往下遍历计算所述直线上相邻两个像素点像素值的欧式距离；在所述相邻两个像素点像素值的欧式距离大于设定阈值时，将相邻两个像素点的后一个像素点作为血管的候选后壁点；在所述血管中点与所述候选后壁点之间不存在连续设定个数的像素点中有任意预设个数的像素点的像素值大于固定值时，将所述候选后壁点确定为所述血管的边缘点；获取所述血管中点到所述边缘点的距离；根据所述血管中点到所述边缘点的距离确定所述血管的宽度；

具体地，所述基于得到的所述血管角度、血管位置和血管宽度，在所述颈动脉超声图像上自动生成取样门，包括：将所述取样门的中心设置在所述颈动脉超声图像中血管位置的中心点，以便取样门位于血管位置的中间区域，由此血流取样更准确；所述取样门的角度为得到的血管角度；所述取样门的宽度小于或等于得到的血管宽度，例如取样门的宽度为得到的血管宽度的1/3～1/2，可以使得血流取样在最佳的一个区域；

在一个具体实例中，首先获取颈动脉超声图像，颈动脉超声图像优选为颈动脉超声长轴图像，如图1所示；在该图像的中间偏上区域可见深黑色的颈动脉血管(大致呈横向走向)；将所述颈动脉超声图像输入卷积神经网络检测模型，所述卷积神经网络检测模型通过多组包含卷积层、池化层、批归一化层和激活函数层的层组对其提取特征，在最后一个层组的激活函数层得到输出特征图；在输出特征图上进行滑动窗口操作，基于像素位置提取图像块；所述基于像素位置提取图像块包括：以像素位置为中心，遍历输出特征图上每一个像素提取图像块或在输出特征图上每隔数个像素提取图像块；通过所述卷积神经网络检测模型对每个所述图像块输出包含多个血管角度预测概率的第一预测输出向量，例如[0.02,0.8,0.1,......,0,0.01]，该第一预测输出向量包括14个类别，负样本图像块作为第0个类别，-30°、-25°、-20°、-15°、-10°、-5°、0°、5°、10°、15°、20°、25°、30°这13个血管角度作为其余13个类别；在该第一预测输出向量中，负样本图像块预测概率为0.02，-30°血管角度预测概率为0.8，-25°血管角度预测概率为0.1......25°血管角度预测概率为0，30°血管角度预测概率为0.01，所有预测概率之和为1；假设其它一些第一预测输出向量中的最大预测概率都小于0.8，那么就可以确定第一预测输出向量为[0.02,0.8,0.1,......,0,0.01]的图像块；然后将该图像块的第一预测输出向量中血管角度预测概率为0.8的类别对应的-30°血管角度作为得到的颈动脉超声图像中的血管角度；通过所述卷积神经网络检测模型对每个所述图像块输出包含预测的血管位置的第二预测输出向量；将所述血管角度预测概率最高的图像块在所述输出特征图上的位置还原到所述颈动脉超声图像上，并结合该图像块中预测的血管位置得到颈动脉超声图像中的血管位置；得到的颈动脉超声图像中血管位置可以用一个血管预测矩形框(如图2中较大的那个矩形框)表示；图2中较大的那个矩形框表示血管预测矩形框，较小的那个矩形框表示取样门；第二预测输出向量采用4维向量来表示图像块中预测的血管位置；血管预测矩形框并非一定需要显示，也可以隐藏，只需要有四个位置数值进行表示即可；再根据得到的血管位置计算血管宽度，计算方法如前文所述；最后基于得到的所述血管角度、血管位置和血管宽度，在所述颈动脉超声图像上自动生成取样门；具体将取样门的中心设置在所述颈动脉超声图像中血管位置的中心点；所述取样门的角度为得到的血管角度；所述取样门的宽度为得到的血管宽度的1/2；

以下将介绍如何训练得到卷积神经网络检测模型；所述卷积神经网络检测模型通过如下方式训练得到：

首先获取样本颈动脉超声图像，应收集尽可能全面的样本颈动脉超声图像，比如不同图像深度，不同采集对象的样本颈动脉超声图像等；所述样本颈动脉超声图像标记有血管角度信息、血管位置标记；具体可通过图像标注人员对收集的样本颈动脉超声图像进行标记工作，首先对样本颈动脉超声图像标记血管角度信息，例如一共分13类，分为-30°、-25°、-20°、-15°、-10°、-5°、0°、5°、10°、15°、20°、25°、30°；再对样本颈动脉超声图像标记血管位置标记，即将样本颈动脉超声图像中一段完整的颈动脉血管用血管标记矩形框标出；

接着将所述样本颈动脉超声图像输入卷积神经网络检测模型提取特征，得到样本输出特征图；具体可通过多组包含卷积层、池化层、批归一化层和激活函数层的层组对所述样本颈动脉超声图像提取特征，在最后一个层组的激活函数层得到输出特征图；

然后在样本输出特征图上进行滑动窗口操作，基于像素位置提取样本图像块；所述基于像素位置提取样本图像块包括：以像素位置为中心，遍历样本输出特征图上每一个像素提取样本图像块或在样本输出特征图上每隔数个像素提取样本图像块；并记录每个样本图像块在所述样本输出特征图上的位置信息；

再将所述样本图像块根据预定规则划分为正样本图像块和负样本图像块，包括：计算每个样本图像块与对应的样本颈动脉超声图像中血管位置标记的血管交并比，所述交并比为交集与并集的比值；将所述交并比大于设定阈值0.8的样本图像块作为正样本图像块，否则作为负样本图像块；

根据所述正样本图像块和所述负样本图像块训练所述卷积神经网络检测模型，包括：将所述正样本图像块和所述负样本图像块输入所述卷积神经网络检测模型；通过所述卷积神经网络检测模型对每个所述样本图像块输出包含多个血管角度预测概率的第一预测输出向量；计算用于血管角度预测的第一损失函数；通过所述卷积神经网络检测模型对每个所述图像块输出包含预测的血管位置的第二预测输出向量；计算用于血管位置预测的第二损失函数；

第一损失函数如公式(1)所示，

Loss(prob

其中，prob

作为优选，第一损失函数的每次输入为一对正样本图像块和和负样本图像块；以获得更好的训练效果；

第二损失函数如公式(2)所示，

其中，out表示输出的第二预测输出向量，truth表示真实的血管位置(也就是样本颈动脉超声图像中标记的血管标记矩形框的位置信息)；

将第一损失函数的函数值和第二损失函数的函数值反向传播回所述卷积神经网络检测模型进行更新迭代，得到训练好的卷积神经网络检测模型；

本申请在一个卷积神经网络检测模型中采用两个不同的损失函数，能够提高预测精度；其中的第一损失函数是一种排序的损失函数，这种损失函数不受类别不均衡的影响；

作为优选，所述卷积神经网络检测模型采用金字塔结构，包括三组包含卷积层、池化层、批归一化层和激活函数层的层组；以便结合卷积神经网络检测模型中的中低层的细节信息和高层的抽象信息，得到更好的检测能力；在所述金字塔结构的卷积神经网络检测模型中，第一个激活函数层输出的低层特征上采样后和第二个激活函数层输出的中层特征相加，得到一个融合低层和中层的特征，再将融合低层和中层的特征上采样后和第三个激活函数层输出的高层特征相加，得到一个融合了低层、中层和高层的特征；

第二方面，本发明的实施例还提出一种超声设备，包括：处理器和存储器；所述处理器与存储器之间相互通信，所述存储器中存储有计算机程序；所述处理器用于运行所述计算机程序，所述计算机程序运行时执行如上文所述的方法的步骤；处理器可采用CPU，或者其它通用处理器，数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件等；存储器可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如快闪存储器，硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。

第三方面，本发明的实施例还提出一种存储介质，所述存储介质中存储有计算机程度，所述计算机程序被配置为运行时执行如前文所述的方法的步骤。存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。