用于可视化流动的使用机器学习的散斑对比度分析

摘要

实施例可以包括基于测试图像数据集来估计运动数据的方法和系统。该方法可以包括接收包括多个训练数据元素的训练数据集。每个元素可以包括图像数据集和运动数据集。该方法可以包括使用训练数据集训练机器学习模型，导致基于图像数据集和运动数据集之间的对应关系来标识机器学习模型中的函数的一个或多个参数。该方法还可以包括接收测试图像数据集。测试图像数据集可以包括深层组织图像中的像素的强度。该方法可以包括使用经训练的机器学习模型和测试图像数据集以为测试图像数据集生成输出数据。输出数据可以表征表示在测试图像数据集中的运动。

说明书

本申请是申请日为2018年8月13日、申请号为201880055861.6、发明名称为“用于可视化流动的使用机器学习的散斑对比度分析”的中国发明专利的分案申请。

相关申请的交叉引用

本申请要求2017年8月30日提交的题为“用于可视化流动的使用机器学习的散斑对比度分(Speckle Contrast Analysis Using Machine Learning for VisualizingFlow)”的美国申请第62/511,997号的权益，该申请通过引用整体并入本文。

技术领域

实施例涉及使用机器学习的图像分析领域。特别地，实施例涉及分析深层组织的体液的流动。

背景技术

能够可视化活体组织中的血流可以有助于医疗诊断或医疗程序，包括外科手术程序。成像技术可以足够灵敏以标识组织的表面附近的血流区域，而无需对图像数据进行大量处理。但是，血管并不总是靠近组织的表面，也不总是容易成像。在组织中更深处流动的血液可能更难以在图像中检测到。对于远在组织的表面下方的血管，来自血管的图像信号可能很弱。靠近表面的物质，包括皮肤和骨骼，可能会遮掩来自这些物质下面的血管的任何信号。结果，在未处理的图像中可能难以标识与血流有关的图像特征，例如模糊或对比度低。需要检测图像中的流动的改进的方法和系统。解决这些和其他需求。

发明内容

在一些实施例中，提供一种基于测试图像数据集来估计运动数据的方法。该方法包括：接收测试图像数据集，对于第一多个像素中的每个像素，测试图像数据集包括捕获的深层组织图像中的像素的强度，捕获的深层组织图像是在对生物组织的表面下方的一深度处的对象进行成像时收集的；通过在计算机系统处将测试图像数据集处理成机器学习模型来确定测试图像数据集中表示的预测运动，机器学习模型已经使用以下来训练：训练数据集，用以学习机器学习模型的一个或多个参数，训练数据集包括多个训练数据元素，多个训练数据元素中的每个训练数据元素包括：图像数据集，对于第二多个像素中的每个像素，图像数据集包括图像特征值，图像特征值至少基于像素的强度，和运动数据集，指示第二多个像素的表示运动的部分；以及为测试图像数据集从机器学习模型生成对应于预测运动的输出数据。

在一些实施例中，提供一种基于测试图像数据集来估计运动数据的系统。该系统包括一个或多个处理器和存储多个指令的计算机可读介质，当指令被执行时，指令使得一个或多个处理器：接收测试图像数据集，对于第一多个像素中的每个像素，测试图像数据集包括捕获的深层组织图像中的像素的强度，捕获的深层组织图像是在对生物组织的表面下方一深度处的对象进行成像时收集的；通过将测试图像数据集处理成机器学习模型来确定测试图像数据集中表示的预测运动，机器学习模型已经使用以下来训练：训练数据集，用以学习机器学习模型的一个或多个参数，训练数据集包括多个训练数据元素，多个训练数据元素中的每个训练数据元素包括：图像数据集，对于第二多个像素中的每个像素，图像数据集包括图像特征值，图像特征值至少基于像素的强度，和运动数据集，指示第二多个像素的表示运动的部分；以及为测试图像数据集从机器学习模型生成对应于预测运动的输出数据。

在一些实施例中，提供一种存储多个指令的非暂时性计算机可读介质，当由一个或多个处理器执行时，指令执行基于测试图像数据集来估计数据的方法。该方法包括：接收测试图像数据集，对于第一多个像素中的每个像素，测试图像数据集包括捕获的深层组织图像中的像素的强度，捕获的深层组织图像是在对生物组织的表面下方一深度处的对象进行成像时收集的，其中深度为至少1mm；通过将测试图像数据集处理成机器学习模型来确定测试图像数据集中表示的预测运动，机器学习模型已经使用以下来训练：训练数据集，用以学习机器学习模型的一个或多个参数，训练数据集包括多个训练数据元素，多个训练数据元素中的每个训练数据元素包括：图像数据集，对于第二多个像素中的每个像素，图像数据集包括图像特征值，图像特征值至少基于像素的强度，和运动数据集，指示第二多个像素的表示运动的部分；以及为测试图像数据集从机器学习模型生成对应于预测运动的输出数据。

在一些实施例中，使用基于机器学习的方法来处理图像，以便标识指示运动的图像特征。例如，可以在图像的不同部分中标识动态散射的视觉指示。经处理的图像可用于随后确定流速。

在一些实施例中，提供一种训练和使用机器学习模型以基于测试图像数据集来估计运动数据的方法。该方法可以包括由计算机系统接收包括多个训练数据元素的训练数据集。多个训练数据元素中的每个训练数据元素可以包括图像数据集和运动数据集。对于第一多个像素中的每个像素，图像数据集可以包括图像特征值，图像特征值至少基于像素的强度。运动数据集可以指示第一多个像素的表示运动的部分，该方法还可以包括使用训练数据集训练机器学习模型。训练可以导致基于图像数据集和运动数据集之间的对应关系来标识机器学习模型中的函数的一个或多个参数。该方法还可以包括由计算机系统接收测试图像数据集。测试图像数据集可以对于第二多个像素中的每个像素包括捕获的深层组织图像中的像素的强度。捕获的深层组织图像可以在对生物组织的表面下方的一定深度处的对象成像时已经被收集。第二多个像素可以与第一多个像素相同或不同。此外，该方法可以包括使用经训练的机器学习模型和测试图像数据集以为测试图像数据集生成输出数据。输出数据可以表征表示在测试图像数据集中的运动。

在一些实施例中，提供一种训练和使用机器学习模型以基于测试图像数据集估计运动数据的系统。该系统可以包括一个或多个处理器和存储多个指令的计算机可读介质。该多个指令在被执行时可以使得处理器执行本文所述的一个或多个方法的部分或全部。

在一些实施例中，提供一种存储多个指令的非暂时性计算机可读介质，当所述指令被一个或多个处理器执行时，进行训练和使用机器学习模型以基于测试图像数据集估计数据的方法。该方法可以包括本文所述的一个或多个方法中的每一个的部分或全部。

参考以下详细描述和附图，可以更好地理解本发明的实施例的本质和优点。

附图说明

专利或申请文件包含至少一张彩色附图。专利局将根据要求和缴纳必要费用的情况下提供带有(多个)彩色附图的本专利或专利申请公开的副本。

图1示出了根据本发明的一些实施例的使用常规散斑对比度成像的散斑场的图像分析。

图2示出了根据本发明的一些实施例的训练和使用机器学习模型以基于测试图像数据集估计运动数据的系统。

图3示出了根据本发明的一些实施例的神经网络的图示。

图4示出了根据本发明一些实施例的使用卷积神经网络来标识散斑图像中的流动的区域的训练算法。

图5示出了根据本发明的一些实施例的使用机器学习算法来输出图像的训练算法，该图像区分具有流动(或运动)的像素和没有流动(或运动)的像素。

图6示出了根据本发明一些实施例的可用于将示出流动的像素叠加到原始散斑图像上的方法。

图7示出了根据本发明一些实施例的可用于产生和处理激光散斑的方法。

图8示出了根据本发明的一些实施例的训练和使用机器学习模型以在测试数据集上估计运动数据的方法。

图9示出了根据本发明一些实施例的用于训练机器学习模型的地面真值标签和图像数据。

图10示出了根据本发明一些实施例的不同关注区域的图像和不同区域的强度直方图。

图11示出了根据本发明的一些实施例的原始图像和输出数据，该输出数据指示由逻辑回归机器学习模型生成的原始图像中的流动。

图12示出了根据本发明的一些实施例的输出数据，该输出数据指示由卷积神经网络机器学习模型生成的流动。

图13示出了根据本发明的一些实施例的用于确定捕获的深层组织图像中的血流的不同方法的结果的比较。

具体实施方式

一种使用静态图像检测运动的技术包括散斑对比度成像。散斑对比度成像可以涉及对被激光照射的对象进行成像。激光照射可能会产生随机的干涉效果，其视觉结果是带散斑的强度(intensity)图案。在对象的一部分正在运动的区域中，带散斑的强度图案可能会随时间变化。如果运动与图像传感器的曝光时间相比相对较快，则最终的散斑图像可能显得模糊。散斑对比度成像测量散斑图像中的局部模糊或对比度。但是，分析图像中的局部(空间)对比度(例如，预定数量的像素中的强度值的标准差与均值之比)存在局限性。

在生物成像中，静态和动态散射两者的组合可能会导致散斑场，这使得仅基于局部(空间)对比度的分析更容易出错。例如，对表面下血流进行成像可能包括来自皮肤或骨骼的静态散射和来自血液的动态散射。可能需要测量静态和动态散射之间的比率以进行校准，以进行精确的流速测量。另外，大多数散射可能发生在较浅的深度区域(例如，距表面小于1mm)。如果血液在组织内更深地流动，血液可能不会导致太多的动态散射，并且可能对散斑对比度产生有限的影响。

图1示出了使用常规散斑对比度成像的散斑的图像分析。原始散斑图像显示在左上方。通过计算散斑图像中关注的小区域上的像素强度的标准差和均值之间的比率，可以估计局部散斑对比度。显示静态对象的一部分的像素的对比度值接近1，而显示动态(例如，运动)对象的像素的对比度值较低。右上方的图像示出了常规散斑对比度图像，其中对于像素周围的每个关注区域，每个像素都具有基于对比度值的强度。较暗的像素指示较高的运动可能性。生成运动可能性大于50％的流动区域并显示在左下图像中。处理后的(阈值)散斑对比度图像叠加在原始散斑图像上，并显示在右下图像中。两个下方的图像示出了原始散斑图像的右下部分的某些运动。但是，由于指示流动的许多区域不连续，流动不清楚。基于图1中的分析，难以标识特定的流动路径或血管。例如，散斑图像的右下象限中有像素显示整个流动分散在其中，并且无法轻易地标识有血流的血管。

I.系统

图2示出了训练和使用机器学习模型以基于测试图像数据集估计运动数据的系统200。系统200可以包括训练数据系统202，其配置为收集训练数据集。训练数据集可以包括多个深层组织图像，且每个图像可以与其他数据相关联，所述数据指示在收集图像时在图像内发生运动(例如血流)的位置。例如，可以标识与运动相关联的像素的列表。作为另一个示例，每个深层组织图像可以与浅层组织图像相关联(例如，使用浅层组织图像可以相当可靠地检测到运动)。

训练数据系统202可以包括电子设备、图像传感器(例如，相机)和光源(例如，激光器)。电子设备可以临时地控制成像传感器和光源的操作。因此，光源可以照射对象的深处(例如，人造或真实的体内或体外组织，其中由于提供了荧光染料而使组织中的血液染色)，成像传感器可以收集图像数据。在某些情况下，范例配置为使得使它知道在对象内部发生流动的位置。在某些情况下，另一个成像传感器和另一个光源配置为从相反的一侧照射对象的同一部分，这可能会(在某些情况下)有浅成像的效应，从而使散斑和散斑运动的视觉指示容易地在浅图像中检测到，并且可以将这种运动的位置映射到深图像的位置。

训练数据集可以存储在图像数据数据库204和运动数据数据库206中。图像数据数据库204可以包括图像数据集。图像数据集可以表示多个深图像。对于每个图像，图像数据集可以对于多个第一像素中的每个像素包括图像特征值。第一多个像素的数量可以与训练数据系统202的图像传感器的分辨率相等。图像特征值可以至少基于像素的强度。在一些情况下，图像特征值包括RGB值。

运动数据数据库206可以包括运动数据集。运动数据集可以对于图像数据集中的多个深图像中的每一个包括对在图像内发生运动的位置的指示。例如，运动数据集可以标识第一多个像素的对应于运动的部分。运动数据集可以指示第一多个像素的不完整子集，其具有对应于生物组织内的流体的运动的图像特征值。训练数据可以视为地面真值，因为与图像数据相关联的运动数据是已知的或可测量的。图像数据数据库204和运动数据数据库206可以存在于设施208中，设施208可以在云中或者可以以其他方式通过网络访问。在某些情况下，使用多个训练数据系统202收集训练数据集。

成像系统210可以从测试图像数据数据库212获取测试图像数据。成像系统210可以包括成像传感器(例如，相机)、光源(例如，激光器)和电子设备。电子设备可以控制成像传感器和光源，以使对象(例如，体外或体内组织)被光源照射，并且成像传感器捕获图像。成像系统210可以类似于训练数据系统202操作。在某些情况下，成像系统210包括训练数据系统202的全部或部分。例如，可以使用相同的系统来收集训练和非训练数据。生物学样本可以是在组织深处的有血流的组织。捕获的图像可以是捕获的深层组织图像，其包括在生物组织中以至少0.5mm、至少1mm、至少2mm、至少5mm、至少1cm、至少2cm，或至少5cm的深度成像的对象。产生的测试图像数据集存储在测试图像数据数据库212中。在某些情况下，成像系统210和/或测试图像数据数据库212可位于设施214。设施214可以是实验室或医疗设施，包括医院、手术室或急诊室。在某些情况下，测试图像数据数据库212远离成像系统210(例如，并且在云中)。

评估系统216可以接收来自图像数据数据库204的图像数据、来自运动数据数据库206的运动数据和来自成像系统210的测试图像数据。评估系统216可以使用来自图像数据数据库204和运动数据数据库206的训练数据来训练机器学习模型。训练可以导致基于图像数据集和运动数据集之间的对应关系而标识机器学习模型中的函数的一个或多个参数。机器学习模型可以包括例如逻辑回归或支持向量机。在一些实施例中，机器学习模型可以包括人工神经网络、完全连接的神经网络或卷积神经网络。卷积滤波器的集合可取决于一个或多个参数。训练机器学习模型可以包括标识卷积滤波器的集合一个或多个参数。

评估系统216可以从成像系统210接收测试图像数据集。对于第二多个像素中的每个像素，测试图像数据集可以包括一个或多个值。第二多个像素中的每个像素可以在捕获的深层组织图像中具有强度。评估系统可以使用经训练的机器学习模型和测试图像数据集以为测试图像数据集生成输出数据。输出数据可以表征运动，该运动表示在测试图像数据集中。输出数据可以存储在输出数据数据库218中。

在某些情况下，输出数据标识被确定为与运动相关联的第二个多个像素中的一个或多个。在某些情况下，输出数据可包括输出图像，对于每个第二多个变量，该输出图像包括经处理的值，该值显示了第二个多个的不完整子集中的运动。例如，输出图像的第二多个像素中的每个像素可以具有图像特征值(例如，强度或颜色)，其可以取决于在与像素相关联的位置处运动的可能性。例如，像素的图像特征值可以是直接取决于运动可能性的函数。输出数据集与测试图像数据集不同，在没有基于该像素周围的像素的进一步的处理或分析(例如，对比度或模糊分析)的情况下，像素的值通常无法指示流动的可能性。输出数据数据库218因此可以包括存储的图像。

评估系统216也可以基于使用经训练的机器学习模型和测试图像数据集生成的输出数据，来确定与测试图像数据集相关联的一个或多个流量值。评估系统216可以输出一个或多个流量值。流量数据可以存储在流量数据数据库220中。

评估系统216也可以基于使用经训练的机器学习模型和测试图像数据集生成的输出数据，来确定与测试图像数据集相关联的一个或多个深度值。评估系统216可以输出一个或多个深度值。深度数据可以存储在深度数据数据库226中。

评估系统216可以与用户系统222通信。用户系统222可以允许用户224向评估系统216发送和接收信息。用户系统222可以选择要处理的图像，标识处理特征，请求接收处理图像的结果，可以显示输出数据和/或流量数据的指示。通过用户系统222，用户224可以指定处理的准确性级别(其可以包括所需的灵敏度和/或特异性)，可以指示可能的流动区域，可以指示图像的大致解剖位置，可以选择某些统计量或参数以供评估系统216用于训练，可以选择要使用的机器学习模型的类型，可以指示测试图像数据的要分析的部分，和/或可以选择评估的输出的形式。例如，用户系统222可以在图像上显示叠加，其示出已经检测到运动的位置(例如，图1的右下方图像)，和/或显示流量值。用户系统222可以包括联网的计算机、智能电话、平板电脑或其他合适的电子设备。

II.机器学习模型

图3示出了神经网络的图示。可以针对不同的输入(包括输入304)分析散斑图像302。输入可以包括图像中像素处的照射的强度或波长。输入可以转换为隐藏变量，包括隐藏变量306。隐藏变量306可以是基于输入304或多个输入的统计量。统计量可以包括中位数、众数、均值、最小值、最大值、百分数、方差、偏度或峰度。隐藏变量306还可以包括输入数据的直方图分布的形状或其他特征。在一些实施例中，可以预先确定或预先选择可能的隐藏变量，以供机器学习模型进行测试。在某些情况下，隐藏变量可以与输入相同。然后可以将隐藏变量绑定到表示像素中的流动的输出，包括输出308。输出的值可以是已知的。可以训练神经网络来确定隐藏变量和输出之间的权重。可以确定某些隐藏变量与输出具有明显的联系，而较大的权重则反映该联系。其他隐藏变量可能与输出几乎没有关系，权重可以接近零或为零。技术人员会认识到，此处描述的方法与特征工程和确定机器学习中使用的超参数有关。

在一些实施例中，隐藏变量可以由机器学习模型确定，而不是预先确定或预先选择。图4示出了使用卷积神经网络的训练算法，该算法可以标识隐藏变量。原始散斑图像402被划分为关注区域404。每个关注区域可以是围绕像素的固定大小。关注区域可以用作训练图像。对于每个训练图像，可以基于地面真值流图406来分配流量值和血管深度。可以获得地面真实值流图，因为在与原始散斑图像相关的样本中，流动是已知的或已测量的。可以将包括像素强度的训练数据馈送到神经网络。神经网络可以包括具有ReLu激活的多个卷积层，例如卷积层408。卷积层可以展平为展平层410。来自展平层的输出也可以ReLu激活馈送到完全连接的网络。最终层可包括具有Softmax激活的两个神经元412，用于将输入图像分类为流动或无流动。

在一些实施例中，机器学习模型可以将散斑图像作为输入，并输出包括强度或其他特征的像素的图像，该强度或其他特征取决于与该像素相关联的位置处的流动的可能性。图5示出了用于将原始散斑图像转换成输出图像的过程的表示，该图像指示运动发生的位置。整个原始散斑图像，例如散斑图像502，可以被当作训练图像。散斑图像502可以通过卷积滤波器的集合发送。卷积滤波器的尺寸可以较小(例如，3x3或5x5)且可以扩大以增加接收场的大小。输入卷积层的扩大率可以设定为等于1(无扩大)且后续层的扩大率可以逐渐增加。如图5所示，将第一卷积滤波器的扩大率设定为1，将第二卷积滤波器的扩大率设定为2，将第三卷积滤波器的扩大率设定为4，并且将第四卷积滤波器的扩大率设定为8。在图5中，前三个卷积滤波器具有ReLu激活。第四卷积滤波器具有sigmoid激活。卷积滤波器的输出被展平，并与地面真值图像504进行比较。地面真值图像可以基于人造结构、计算机模拟或活体组织，其流动是使用注入了荧光染料的血液测量的。可以测量、观察或计算地面真值图像中的流动区域。计算出误差(例如，均方误差或二进制交叉熵损失)。调整馈入卷积滤波器的参数，以最小化误差。可以对机器学习模型进行训练，以获取原始的散斑图像并生成图像，在该图像中，可以用肉眼区分出流动的区域和没有流动的区域。例如，在输出图像中，与流动相关联的像素可以具有与无流动相关联的像素不同的强度或颜色。强度或颜色上的差异可以大到足以用肉眼区分。

在一些实施例中，多个散斑图像可以用作训练图像。这些多个散斑图像可以包括通过不同照射或成像参数获得的视频或散斑图中的多个连续帧。例如，不同的照射波长可以编码样本的不同部分中的光谱变化吸收和散射特性。与具有单个曝光时间相比，具有不同曝光时间的图像可在更大的速度范围内对流速的信息进行编码。也可以使用彩色明场图像。

在训练模型后，可以实时或事后运行模型，以生成流动可视化，以用于诸如图像引导手术应用。在外科内窥镜应用中，可以显示或叠加图像或视频以帮助外科医生。

图6示出了可以用于将图5的输出叠加到到散斑图像上的方法600。方法600可以具有可见通道602，用于获得具有不相干的(白光)照射的常规彩色明场图像。方法600还可以具有IR通道604，其用于以不相干的照射来检测散斑图像，包括以830nm的波长。散斑通道可以使用任何波长，只要照射是相干的(例如，激光)即可。包括830nm的红外波长可以为对深层组织的成像提供可见光范围内无法获得的更多信息。例如，红外线可以比可见光具有更深的组织穿透力。穿透更深的光可以从组织的较深部分(包括可能存在主要血管的地方)提供更多的反向散射信号。波长可以是由图像传感器检测到的任何波长。互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)图像传感器的敏感度可达1,000nm至1,100nm。其他图像传感器(例如，基于InGaAs的红外相机)可用于更长波长的照射。

在可见通道之后，可见通道数据可以经过多个滤波操作，包括去马赛克操作606。去马赛克操作606可以从不完整的颜色样本(例如，从滤色器)重构全色图像。例如，去马赛克操作606可以从由图像传感器的红色、绿色和蓝色滤光器提供的马赛克状样本构造彩色图像。在去马赛克操作606之后，去噪操作608可以减少图像的噪声并且可以增加信噪比。去噪技术可以包括合适的滤波器、变换和统计方法，包括色度和亮度噪声分离、线性平滑滤波器、各向异性扩散、非局部均值、非线性滤波器和小波变换。在去噪操作608之后，平场校正610可以用于改善图像质量。平场校正可以从图像中消除可能由检测器或图像路径中的失真引起的伪影。

IR通道数据也可以经过滤波操作，包括灰度去马赛克612。灰度去马赛克612可以从不完整的样本构造灰度图像。如果使用拜耳滤波的图像传感器，则可以使用去马赛克。具有不同滤色器的像素可以具有不同的量子效率，这会在红外照射的情况下在原始图像中造成马赛克图案。在灰度去马赛克612之后，可以应用多个窗口大小614上的像素统计量计算(pixel statistics calculation)。像素统计量的计算可以是本文描述的隐藏变量或图像统计量的任何计算。

来自可见通道602和IR通道604的经滤波的数据可以被应用616正向模型。该模型可以是线性模型、神经网络模型或本文描述的任何模型。来自模型的输出数据可以表征运动。图像分割618可以分割出与运动或流动关联的像素。在图6中，使用绿色通道620以绿色叠加显示分割出的像素。在其他实施例中，可以使用任何其他颜色(包括使用红色和蓝色通道622)显示被分割出的像素。绿色叠加与从RGB通道624生成的图像合并，产生带有流图叠加626的彩色图像。带有流图叠加的彩色图像可用于实时显示的视频。在图6中，绿色叠加被用作颜色通道，但是任何颜色通道或多个颜色通道都可以用于叠加。

图7示出了可以用于形成和处理激光散斑图像的方法700。方法700可以包括可见图像702和红外散斑图像704。来自可见图像702和红外散斑图像704的数据可以被时间交织706以处理可见通道与红外通道之间的可能的失配。可见图像702可以经过去马赛克管线708，并且红外散斑图像704可以经过去马赛克管线710。去马赛克管道708包括处理来自红色、蓝色和绿色通道的数据。方法700示出了与绿色通道714分离的红色和蓝色通道712。在该图示中，叠加以绿色示出，因此绿色通道714被分离出来，但是任何通道或通道的组合可以彼此分离。

去马赛克管线710可以导致灰度图像716的红色、绿色和蓝色通道的线性组合。可以在图像的窗口大小上计算诸如平均值或标准差的图像统计量(框718)。可以将sigmoid函数720应用于图像统计量的计算。、框718和720可以指类似于由评估系统216执行的分析的分析。sigmoid函数的输出可以被输出到绿色通道。然后，将红色、绿色和蓝色通道组合以获得激光散斑图像722，产生激光散斑724。激光散斑724可以在绿色区域中显示为具有运动的可能性。

激光散斑724然后可以经历附加技术以改善激光散斑图像。这些技术可以包括获取激光散斑并转换为YCbCr颜色空间726。然后，可以应用小波降噪728，这之后是绿色通道模式降噪730。可以应用边缘增强732、UV饱和734和伽马校正736来产生指示运动或流动的增强激光散斑图像。

III.方法

图8示出了训练和使用机器学习模型以基于测试数据集估计运动数据的方法800。在一些实施例中，方法800可以包括用光(例如，激光)照射生物组织并检测从生物组织散射的光。方法800可以包括捕获从生物组织散射的光的强度以便生成图像数据集。

在框802处，方法800可以包括：由计算机系统接收包括多个训练数据元素的训练数据，每个训练数据元素包括图像数据集和运动数据集。多个训练数据元素中的每个训练数据元素可以包括图像数据集和运动数据集。对于第一多个像素中的每个像素，图像数据集可以包括图像特征值，图像特征值至少部分地基于像素的强度。例如，图像特征值可以是像素的强度。像素的强度可以是像素的白(或暗)的程度，或者可以与像素颜色的波长相关。在一些实施例中，图像特征值可以基于一个或多个其他强度。一个或多个其他强度可以是与像素的空间簇中的另一像素的强度。例如，图像特征值可以包括像素周围的像素强度的总和、均值、中位数、众数或其他统计量。在一些实施例中，图像特征值可以包括关注区域中的强度的直方图。在这些和其他实施例中，输入数据可以进行关注区域的傅立叶变换或具有关注区域的2D自相关图。

运动数据集可以指示第一多个像素的表示运动的部分，运动数据集可以基于已知或测量的流动。运动数据集可以称为地面真值流图。地面真值流图可以基于人造结构、计算机模拟或活体组织，其具有使用注入了荧光染料的血液测量的流动。运动数据集可以指示第一多个像素的不完整子集，其具有对应于生物组织内的流体的运动的图像特征值。运动数据集中的数据点可以包括流动的二进制指示、流动的概率或像素的流量。

在框804处，方法800还可以包括使用训练数据集来训练机器学习模型。训练可以导致基于图像数据集和运动数据集之间的对应关系来标识机器学习模型中的函数的一个或多个参数。一个或多个参数可以包括本文所述的任何隐藏变量。对应关系可以包括将图像数据集中的像素的图像特征值与运动数据集中的像素的运动的指示相关联。对于每个训练数据元素，训练可以基于图像数据集生成一个或多个图像统计量。

可以使用一个或多个图像统计量来训练机器学习模型。一个或多个参数可以包括基于像素的强度和空间簇中一个或多个像素的统计量。统计量可以包括中位数、众数、均值、最小值、最大值、百分数、方差、偏度或峰度。参数还可以包括输入数据的直方图分布的形状或其他特征。与图像特征值不同，一个或多个参数可以包括与一个或多个图像统计量的图像统计量相关联的权重。图像统计量可以是本文描述的任何图像统计量。

在框806处，方法800还可以包括由计算机系统接收测试图像数据集。对于第二多个像素中的每个像素，测试图像数据集可以包括捕获的深层组织图像中的像素的强度。所捕获的深层组织图像可以在生物组织中从表面到一定深度处(例如，至少1mm)对对象成像时而已经被收集。对象可以包括生物组织、血液、骨骼或皮肤。第二个多个像素可以与第一个多个像素相同或不同(例如，在像素数量和/或图像的表示尺寸方面)。在一些实施例中，方法800可以包括获得测试图像数据集。获得测试图像数据集可以包括用光照射生物组织并检测来自组织的散射。当获得测试图像数据集时，方法800可以不使用荧光染料。

在框808处，方法800可以包括使用经训练的机器学习模型和测试图像数据集以为测试图像数据集生成输出数据。机器学习模型可以是逻辑回归、支持向量机或人工神经网络。输出数据可以表征表示在测试图像数据集中的运动。输出数据可以是本文描述的任何输出数据，包括表格或适当格式的输出图像或流动数据。

在一些实施例中，当机器学习模型是卷积神经网络时，卷积滤波器的集合可以取决于一个或多个参数。训练机器学习模型可以包括标识卷积滤波器的集合一个或多个参数。参数可以包括卷积滤波器的权重、扩大或激活类型(例如ReLu，Sigmoid)。为测试图像数据集生成输出数据可以包括输出包括第二多个像素的图像。与图5中描述的过程类似，第二个多个像素中的每个像素可以具有图像特征值(例如强度或颜色)，该图像特征值可以取决于与像素相关联的位置处的流动的可能性。

在框810处，方法800可以包括基于使用经训练的机器学习和测试图像数据集生成的输出数据来确定与测试图像数据集相关联的一个或多个流量值和/或一个或多个深度值。流量值可以是流动的概率、流动的二进制表示或流动的度量(例如，以cm

在框812处，方法800可以包括输出一个或多个流量值和/或一个或多个深度值。流量值可以输出为数字，或者流量值可以由输出图像中的不同像素强度或其他图像特征值表示。

方法800还可以包括基于输出数据确定对患者的治疗。例如，治疗可以包括在没有血流的区域进行手术切口或其他手术，这可以改善患者的健康状况。

一些实施例中可以包括存储多个指令的非暂时性计算机可读介质，当所述指令被一个或多个处理器执行时，进行训练和使用机器学习模型以基于测试图像数据集来估计数据的方法。该方法可以是本文描述的任何方法。

示例

示例1

图9示出了用于训练机器学习模型的地面真值标签和图像数据。图9示出了图1中使用的相同样本的图像。该样本是活体组织中表面下血流的人工构建物。样本包括夹在两层猪肉之间的具有血流的塑料管。

在此示例中，原始数据图像显示在左上方。基于去除了顶层肉层的照片，右上方的图像显示了用叠加标记的原始数据图像，该叠加显示了流动的地面真值标签。标记的流动区域用作训练的运动数据集。运动数据集表示每个像素具有流动的概率，其中1表示流动，0表示静态(无流动)。用于训练的图像数据集是从原始数据图像中随机选择的像素的不完整子集，以及随机选择的像素中每个像素的强度。左下方的图像显示了与右上方图像的地面真值叠加相匹配的暗带，并突出显示了用于训练的像素(例如，图像数据集)。使用图像数据集和运动数据集对机器学习模型进行训练。为了验证经训练的机器学习模型，将未用于训练的原始数据图像的像素用作测试图像数据集以进行验证。右下方显示了用于验证模型的像素。

示例2

图10在上排显示了不同关注区域的图像，在下排显示了不同区域的强度直方图。根据地面真值流图，将不同关注区域标记为1(表示有流动)或0(表示没有流动)。直方图在x轴上显示强度，在y轴上显示具有强度的像素的数量。标记为流动的区域的强度的直方图分布与标记为没有流动的区域的直方图分布不同。例如，有流动的区域显示的直方图分布比没有流动的区域要窄。机器学习模型可以将直方图分布的形状或其他特征用作训练中的参数或隐藏变量。

示例3

图11示出了原始图像和输出数据，该输出数据指示由逻辑回归机器学习模型生成的原始图像中的流动。图11中的图像是使用图9的训练目标和验证目标进行训练所得的结果。红色像素显示了被机器学习模型标识为具有大于50％的流动概率的区域。考虑进行训练的关注区域的统计量是标准差除以平均值、中位数、偏度和最小值。训练和测试用于不同大小的区域。左上方的图像显示了7x7区域的结果。右上方的图像显示了11x11区域的结果。左下方的图像显示了15x15区域的结果。右下方的图像显示了19x19区域的结果。通过将许多孤立的像素标识为具有流动，7x7区域的结果显示了更多的噪声。11x11区域显示了较少的孤立像素具有流动。较大的关注区域在标识具有有流动的区域时可以允许较小的噪音。但是，图11中使用逻辑回归机器学习模型的所有图像都比如图1进行的使用常规散斑对比度成像技术显示更少的噪声。通过视觉检查，图11中的流动区域比图1中的流动区域更容易标识。

示例4

图12显示了使用卷积神经网络的结果，类似于图4中描述的过程。使用了不同的关注区域，包括12x12、14x14、16x16和18x18。每组中的左图均以灰度显示了来自卷积神经网络的输出数据，其中，具有较高流动概率的像素更白。每组中的右图仅将具有大于50％的具有流动概率的像素显示为白色。与图11中的逻辑回归结果相似，使用较大区域大小的结果显示的噪声较小。图12中的结果表明，可以使用卷积神经网络来标识深层组织中的血流区域。

示例5

图13示出了在捕获的深层组织图像中确定血流的不同方法的结果的比较。最左侧的图像以绿色叠加显示了由常规散斑对比度成像和使用基于机器学习方法的sigmoid激活所确定的流动。中间的图像以绿色叠加显示了在图12中使用18x18关注区域由卷积神经网络确定的流动。最右侧的图像显示了基于地面真值流图的流动的叠加。从图像中可以看出，与由散斑对比度成像和sigmoid激活生成的叠加相比，由卷积神经网络生成的叠加与地面真值流图更相似。卷积神经网络的叠加的噪声比散斑对比度成像的噪声小。散斑对比度成像将散斑图像右下的区域误标识具有流动。可以在由卷积神经网络生成的叠加中容易滴标识出两个特定的流动带。相反，来自散斑对比度成像的叠加无法清楚地显示出下面的带。该比较表明，由卷积神经网络生成的输出要优于由常规散斑对比度成像生成的输出。

在不脱离本发明实施例的精神和范围的情况下，可以以任何合适的方式组合特定实施例的具体细节。然而，本发明的其他实施例可以涉及与每个单独方面有关的特定实施例，或者这些单独方面的特定组合。

为了说明和描述的目的，已经给出了本发明的示例实施例的以上描述。并不意图将本发明穷举或限制为所描述的精确形式，并且根据以上教导，许多修改和变化是可能的。

在前面的描述中，出于解释的目的，已经阐述了许多细节以便提供对本技术的各种实施例的理解。然而，对于本领域的技术人员将显而易见的是，可以在没有这些细节中的一些或具有其他细节的情况下实践某些实施例。

已经描述了几个实施例，本领域技术人员将认识到，在不脱离本发明的精神的情况下，可以使用各种修改、替代构造和等同形式。另外，为了避免不必要地混淆本发明，没有描述许多公知的过程和元件。另外，任何特定实施例的细节可能并不总是存在于该实施例的变型中，或者可以被添加到其他实施例中。

在提供值的范围的情况下，应理解的是，除非上下文另外明确指出，否则每个中间值均达到下限的单位的十分之一，还特别公开了该范围的上限和下限之间。涵盖了规定范围内的任何规定值或中间值之间的每个较小范围以及该规定范围内的任何其他规定值或中间值。这些较小范围的上限和下限可以独立地包括在该范围中或排除在该范围之外，并且每个范围(任一个、没有任何一个或两个)都不包括在较小范围内的情况也包括在本发明之内，受规定范围内任何明确排除的限制。如果规定的范围包括一个或两个限制，则不包括一个或两个限制的范围也包括在内。

如本文和所附权利要求书中所使用的，单数形式“一个”、“一”和“该”包括复数指示物，除非上下文另外明确指出。因此，例如，对“一种方法”的引用包括多种这样的方法，而对“颗粒”的引用包括对本领域技术人员已知的一种或多种颗粒及其等同物的引用，等等。为了清楚和理解的目的，现在已经详细描述了本发明。但是，应当理解，在所附权利要求的范围内可以进行某些改变和修改。

本文引用的所有出版物、专利和专利申请出于所有目的通过引用整体并入本文。不承认任何为现有技术。