法律状态公告日
法律状态信息
法律状态
2022-06-07
公开
国际专利申请公布
对相关申请的交叉引用
本申请要求于2019年9月24日提交的美国临时专利申请第62/904,728号的优先权，其公开内容通过引用的方式整体并入本文。
背景技术
1.技术领域
本公开总体上涉及人工神经网络，并且在非限制性实施例中，涉及用于使用人工神经网络基于空间-时间数据来分析医学图像的系统、方法和计算机程序产品。
使用光学相干断层扫描(OCT)、超声、MRI或其他顺序捕获方法所捕获的医学图像可以包括通过患者身体的一部分获得的断层切片(或体积，例如全帧OCT)的序列。这些图像基于患者的各种不同类型的运动和/或取向(内部或外部)、所使用的器械(例如，超声探头)等等而在一个切片(或体积)到下一个切片(或体积)之间变化。此外，用于分析此类图像的现有神经网络将所述序列中的每个图像独立于所有其他图像来考虑，因此这些神经网络无法对运动建模、考虑所述序列中的先前图像、或以其他方式考虑患者和/或器械的变化的运动和/或取向。
内膜中层厚度(IMT)是用于量化临床应用(例如动脉粥样硬化斑块积聚)中的风险的参数。然而，特别地，IMT可用于跟踪手移植受者(或其他复合组织同种异体移植受者)的功能进展，其中，目前用于监测变化的最高标准是组织病理学。最近，超高频超声(UHFUS)已被证明可以通过在1cm的浅组织深度内以0.03mm的血管结构分辨率来定量测量IMT。然而，这种改进的分辨率还伴随着破坏血管边界的散斑噪声的增加，这与传统的超声和高频超声(HFUS)成像设备形成对比。此外，与身体中较深的血管(例如颈动脉)相比，较浅深度的血管会显著扭曲自身(由于换能器压力和运动的原因)。因此，希望具有这样一种系统，其涉及在UHFUS和HFUS序列中的快速运动和脉动的血管轮廓和其他实体的亚毫米定位，以比较IMT随时间的变化。
现有的用于超声序列的基于血管的分割方法分为两类。第一类，例如用于HFUS和UHFUS的现有技术的水平集方法，执行速度快，但由于参数的微调的原因而缺乏临床使用所需的稳健性。第二类，包括基于学习的方法，对扫描设置的改变和图像质量的变化具有弹性，但它是特定于任务的，没有充分利用帧间血管动力学，并因此不适用于各种不同的生物医学成像模态。
发明内容
根据非限制性实施例或方面，提供了一种用于使用人工神经网络来分析空间-时间医学图像的方法，包括：利用成像设备来捕获患者的一系列医学图像，所述一系列医学图像包括至少一个实体的视觉运动，所述至少一个实体包括所述患者和对象中的至少一个的至少一部分；利用计算设备，基于所述视觉运动来跟踪与所述至少一个实体关联的时变空间数据；利用计算设备，通过将所述时变空间数据与所述一系列医学图像关联，生成空间-时间数据；和利用计算设备，基于包括多个层的人工神经网络来分析所述一系列医学图像，所述多个层中的一个或多个层各自组合来自至少三个不同尺度的特征，其中所述人工神经网络的所述多个层中的至少一个层被配置为基于所述空间-时间数据来学习空间-时间关系。
在非限制性实施例或方面中，用于组合来自所述至少三个不同尺度的特征的所述一个或多个层包括不同尺度的空洞卷积。在非限制性实施例或方面中，用于组合来自所述至少三个不同尺度的特征的所述一个或多个层包括在所述多个层的至少一个层子集之间的密集和/或残差连接，所述至少一个层子集包括来自至少三个不同尺度的特征。在非限制性实施例或方面中，用于组合来自所述至少三个不同尺度的特征的所述一个或多个层包括至少两个不同尺度的卷积以及到包括来自至少所述两个不同尺度的特征的所述多个层的层子集的连接，以产生至少三个不同尺度的特征。在非限制性实施例或方面中，所述至少一个实体包括以下中的至少一个：器械、所述成像设备、物理伪影、表现伪影、或其任何组合。
在非限制性实施例或方面中，跟踪所述时变空间数据包括跟踪以下中的至少一个：所述至少一个实体的平移/旋转位置、所述至少一个实体的速度、所述至少一个实体的加速度、所述至少一个实体的惯性测量、或其任何组合。在非限制性实施例或方面中，跟踪所述时变空间数据基于以下中的至少一个：惯性测量单元、跟踪系统、位置传感器、机器人运动学、逆运动学、或其任何组合。在非限制性实施例或方面中，所述空间-时间数据包括以下中的至少一个：表示在患者身体内的内部运动的数据、表示患者身体的外部运动的数据、表示器械运动的数据、表示器械角度的数据、表示患者身体变形运动的数据、或其任何组合。在非限制性实施例或方面中，所述人工神经网络包括编码器和解码器，并且其中所述解码器和所述编码器中的至少一个被配置为利用所述空间-时间数据作为输入。在非限制性实施例或方面中，所述人工神经网络包括以下中的至少一个：长短期记忆(LSTM)单元、门控循环单元(GRU)、时间卷积网络、或其任何组合。
在非限制性实施例或方面中，所述空间数据包括所述患者和/或器械的位置和/或取向。在非限制性实施例或方面，分析所述一系列医学图像包括识别在所述一系列图像中的至少一个解剖结构，所述至少一个解剖结构包括以下中的至少一个：血管、动脉、静脉、韧带、神经、肌肉束、筋膜束或网状结构、脂肪团、移植脂肪团、淋巴结构、皮肤块、肌腱、骨头、软骨片、肺胸膜线、心脏瓣膜、心腔、心脏表面、气管、脑区、导管、小梁网、角膜层、视网膜层、眼晶状体、眼表面、软组织、角膜缘Vogt栅栏、器官、细胞外结构、细胞间结构、细胞、或其任何组合。在非限制性实施例或方面中，所述一系列医学图像包括以下中的至少一个：超声图像、光学相干断层扫描(OCT)图像、CT图像、MRI图像、PET图像、SPECT图像、荧光透视图像、X-射线图像、乳房放射摄影图像、断层合成图像、光声图像、声光图像、内窥镜图像、显微镜图像、眼底图像、扫描激光检眼镜(SLO)图像、智能电话图像、3D(深度)图像、焦点堆叠图像、光场图像、可见光图像、红外图像、紫外图像、热图像、多光谱图像、断层图像、投影图像、积分图像、重建图像、或其任何组合。在非限制性实施例或方面中，分析所述一系列医学图像包括分割在所述一系列医学图像中表示的一个或多个血管。
在非限制性实施例或方面中，所述人工神经网络的至少一部分包括空洞卷积。在非限制性实施例或方面中，所述人工神经网络的至少一部分包括残差连接和/或跳过连接。在非限制性实施例或方面中，所述人工神经网络的至少一部分包括空洞卷积。在非限制性实施例或方面中，所述人工神经网络的至少一部分包括残差连接和/或跳过连接。
根据非限制性实施例或方面，提供了一用于使用人工神经网络来分析空间-时间医学图像的系统，包括计算设备，所述计算设备被编程或被配置为：利用成像设备来捕获患者的一系列医学图像，所述一系列医学图像包括至少一个实体的视觉运动，所述至少一个实体包括所述患者和对象中的至少一个的至少一部分；基于所述视觉运动来跟踪与所述至少一个实体关联的时变空间数据；通过将所述时变空间数据与所述一系列医学图像相关，生成空间-时间数据；和基于包括多个层的人工神经网络来分析所述一系列医学图像，所述多个层中的一个或多个层各自组合来自至少三个不同尺度的特征，其中所述人工神经网络的所述多个层中的至少一个层被配置为基于所述空间-时间数据来学习空间-时间关系。
在非限制性实施例或方面中，用于组合来自所述至少三个不同尺度的特征的所述一个或多个层包括不同尺度的空洞卷积。在非限制性实施例或方面中，用于组合来自所述至少三个不同尺度的特征的所述一个或多个层包括在所述多个层的至少一个层子集之间的密集和/或残差连接，所述至少一个层子集包括来自至少三个不同尺度的特征。在非限制性实施例或方面中，用于组合来自所述至少三个不同尺度的特征的所述一个或多个层包括至少两个不同尺度的卷积以及到包括来自至少所述两个不同尺度的特征的所述多个层的层子集的连接，以产生至少三个不同尺度的特征。在非限制性实施例或方面中，所述至少一个实体包括以下中的至少一个：器械、所述成像设备、物理伪影、表现伪影、或其任何组合。
在非限制性实施例或方面中，跟踪所述时变空间数据包括跟踪以下中的至少一个：所述至少一个实体的平移/旋转位置、所述至少一个实体的速度、所述至少一个实体的加速度、所述至少一个实体的惯性测量、或其任何组合。在非限制性实施例或方面，其中跟踪所述时变空间数据基于以下中的至少一个：惯性测量单元、跟踪系统、位置传感器、机器人运动学、逆运动学、或其任何组合。在非限制性实施例或方面中，所述空间-时间数据包括以下中的至少一个：表示在患者身体内的内部运动的数据、表示患者身体的外部运动的数据、表示器械运动的数据、表示器械角度的数据、表示患者身体变形运动的数据、或其任何组合。在非限制性实施例或方面中，所述人工神经网络包括编码器和解码器，并且其中所述解码器和所述编码器中的至少一个被配置为利用所述空间-时间数据作为输入。在非限制性实施例或方面中，所述人工神经网络包括以下中的至少一个：长短期记忆(LSTM)单元、门控循环单元(GRU)、时间卷积网络、或其任何组合。
在非限制性实施例或方面中，所述空间数据包括所述患者和/或器械的位置和/或取向。在非限制性实施例或方面，分析所述一系列医学图像包括识别在所述一系列图像中的至少一个解剖结构，所述至少一个解剖结构包括以下中的至少一个：血管、动脉、静脉、韧带、神经、肌肉束、筋膜束或网状结构、脂肪团、移植脂肪团、淋巴结构、皮肤块、肌腱、骨头、软骨片、肺胸膜线、心脏瓣膜、心腔、心脏表面、气管、脑区、导管、小梁网、角膜层、视网膜层、眼晶状体、眼表面、软组织、角膜缘Vogt栅栏、器官、细胞外结构、细胞间结构、细胞、或其任何组合。在非限制性实施例或方面中，所述一系列医学图像包括以下中的至少一个：超声图像、光学相干断层扫描(OCT)图像、CT图像、MRI图像、PET图像、SPECT图像、荧光透视图像、X-射线图像、乳房放射摄影图像、断层合成图像、光声图像、声光图像、内窥镜图像、显微镜图像、眼底图像、扫描激光检眼镜(SLO)图像、智能电话图像、3D(深度)图像、焦点堆叠图像、光场图像、可见光图像、红外图像、紫外图像、热图像、多光谱图像、断层图像、投影图像、积分图像、重建图像、或其任何组合。在非限制性实施例或方面中，其中分析所述一系列医学图像包括分割在所述一系列医学图像中表示的一个或多个血管。
根据非限制性实施例或方面，提供了用于使用神经网络来分析医学图像的计算机程序产品，包括至少一个非暂时性计算机可读介质，所述至少一个非暂时性计算机可读介质包括指令，所述指令在由计算设备执行时使所述计算设备：利用成像设备了捕获患者的一系列医学图像，所述一系列医学图像包括至少一个实体的视觉运动，所述至少一个实体包括上述患者和对象中的至少一个的至少一部分；基于所述视觉运动来跟踪与所述至少一个实体关联的时变空间数据；通过将所述时变空间数据与所述一系列医学图像相关，生成空间-时间数据；和基于包括多个层的人工神经网络来分析所述一系列医学图像，所述多个层中的一个或多个层各自组合来自至少三个不同尺度的特征，其中所述人工神经网络的所述多个层中的至少一个层被配置为基于所述空间-时间数据来学习空间-时间关系。
根据非限制性实施例或方面，提供了一种用于使用人工神经网络来分析空间-时间医学图像的方法，包括：利用成像设备来捕获患者的一系列医学图像，所述一系列医学图像包括至少一个实体的视觉运动，所述至少一个实体包括所述患者和对象中的至少一个的至少一部分；利用计算设备，基于所述视觉运动来跟踪与所述至少一个实体关联的时变空间数据；利用计算设备，通过将所述时变空间数据与所述一系列医学图像相关，生成空间-时间数据；和利用计算设备，基于包括多个层的人工神经网络来分析所述一系列医学图像，所述人工神经网络包括空洞卷积和/或在不同尺度和分辨率的多个层之间的密集连接，组合来自至少三个不同的尺度的特征，所述多个层中的至少一个层被配置为基于所述空间-时间数据来学习空间-时间关系。根据非限制性实施例或方面，提供了一种用于使用人工神经网络来分析空间-时间医学图像的系统，包括计算设备，所述计算设备被编程或被配置为：利用成像设备来捕获患者的一系列医学图像，所述一系列医学图像包括至少一个实体的视觉运动，所述至少一个实体包括所述患者和对象中的至少一个的至少一部分；基于所述视觉运动来跟踪与所述至少一个实体关联的时变空间数据；通过将所述时变空间数据与所述一系列医学图像相关，生成空间-时间数据；和基于包括多个层的人工神经网络来分析所述一系列医学图像，所述人工神经网络包括空洞卷积和/或在不同尺度和分辨率的多个层之间的密集连接，组合来自至少三个不同尺度的特征，所述多个层中的至少一个层被配置为基于所述空间-时间数据来学习空间-时间关系。根据非限制性实施例或方面，提供了一种用于使用神经网络分析医学图像的计算机程序产品，包括至少一个非暂时性计算机可读介质，所述至少一个非暂时性计算机可读介质包括指令，所述指令在由计算设备执行时使所述计算设备：利用成像设备来捕获患者的一系列医学图像，所述一系列医学图像包括至少一个实体的视觉运动，所述至少一个实体包括所述患者和对象中的至少一个的至少一部分；基于所述视觉运动来跟踪与所述至少一个实体关联的时变空间数据；通过将所述时变空间数据与所述一系列医学图像相关，生成空间-时间数据；和基于包括多个层的人工神经网络来分析所述一系列医学图像，所述人工神经网络包括空洞卷积和/或在不同尺度和分辨率的多个层之间的密集连接，组合来自至少三个不同尺度的特征，所述多个层中的至少一个层被配置为基于所述空间-时间数据来学习空间-时间关系。
其他非限制性实施例或方面将在以下编号的条款中阐述：
条款1：一种用于使用人工神经网络来分析空间-时间医学图像的方法，包括：利用成像设备来捕获患者的一系列医学图像，所述一系列医学图像包括至少一个实体的视觉运动，所述至少一个实体包括所述患者和对象中的至少一个的至少一部分；利用计算设备，基于所述视觉运动来跟踪与所述至少一个实体关联的时变空间数据；利用计算设备，通过将所述时变空间数据与所述一系列医学图像关联，生成空间-时间数据；和利用计算设备，基于包括多个层的人工神经网络来分析所述一系列医学图像，所述多个层中的一个或多个层各自组合来自至少三个不同尺度的特征，其中所述人工神经网络的所述多个层中的至少一个层被配置为基于所述空间-时间数据来学习空间-时间关系。
条款2：根据条款1的方法，其中用于组合来自所述至少三个不同尺度的特征的所述一个或多个层包括不同尺度的空洞卷积。
条款3：根据条款1或2的方法，其中用于组合来自所述至少三个不同尺度的特征的所述一个或多个层包括在所述多个层的至少一个层子集之间的密集和/或残差连接，所述至少一个层子集包括来自至少三个不同尺度的特征。
条款4：根据条款1-3中任一项的方法，其中用于组合来自所述至少三个不同尺度的特征的所述一个或多个层包括至少两个不同尺度的卷积以及到包括来自至少所述两个不同尺度的特征的所述多个层的层子集的连接，以产生至少三个不同尺度的特征。
条款5：根据条款1-4中任一项的方法，其中所述至少一个实体包括以下中的至少一个：器械、所述成像设备、物理伪影、表现伪影、或其任何组合。
条款6：根据条款1-5中任一项的方法，其中跟踪所述时变空间数据包括跟踪以下中的至少一个：所述至少一个实体的平移/旋转位置、所述至少一个实体的速度、所述至少一个实体的加速度、所述至少一个实体的惯性测量、或其任何组合。
条款7：根据条款1-6中任一项的方法，其中跟踪所述时变空间数据基于以下中的至少一个：惯性测量单元、跟踪系统、位置传感器、机器人运动学、逆运动学、或其任何组合。
条款8：根据条款1-7中任一项的方法，其中所述空间-时间数据包括以下中的至少一个：表示在患者身体内的内部运动的数据、表示患者身体的外部运动的数据、表示器械运动的数据、表示器械角度的数据、表示患者身体变形运动的数据、或其任何组合。
条款9：根据条款1-8中任一项的方法，其中所述人工神经网络包括编码器和解码器，并且其中所述解码器和所述编码器中的至少一个被配置为利用所述空间-时间数据作为输入。
条款10：根据条款1-9中任一项的方法，其中所述人工神经网络包括以下中的至少一个：长短期记忆(LSTM)单元、门控循环单元(GRU)、时间卷积网络、或其任何组合。
条款11：根据条款1-10中任一项的方法，其中所述空间数据包括所述患者和/或器械的位置和/或取向。
条款12：根据条款1-11中任一项的方法，其中分析所述一系列医学图像包括识别在所述一系列图像中的至少一个解剖结构，所述至少一个解剖结构包括以下中的至少一个：血管、动脉、静脉、韧带、神经、肌肉束、筋膜束或网状结构、脂肪团、移植脂肪团、淋巴结构、皮肤块、肌腱、骨头、软骨片、肺胸膜线、心脏瓣膜、心腔、心脏表面、气管、脑区、导管、小梁网、角膜层、视网膜层、眼晶状体、眼表面、软组织、角膜缘Vogt栅栏、器官、细胞外结构、细胞间结构、细胞、或其任何组合。
条款13：根据条款1-12中任一项的方法，其中所述一系列医学图像包括以下中的至少一个：超声图像、光学相干断层扫描(OCT)图像、CT图像、MRI图像、PET图像、SPECT图像、荧光透视图像、X-射线图像、乳房放射摄影图像、断层合成图像、光声图像、声光图像、内窥镜图像、显微镜图像、眼底图像、扫描激光检眼镜(SLO)图像、智能电话图像、3D(深度)图像、焦点堆叠图像、光场图像、可见光图像、红外图像、紫外图像、热图像、多光谱图像、断层图像、投影图像、积分图像、重建图像、或其任何组合。
条款14：根据条款1-13中任一项的方法，其中分析所述一系列医学图像包括分割在所述一系列医学图像中表示的一个或多个血管。
条款15：一种用于使用人工神经网络来分析空间-时间医学图像的系统，包括计算设备，所述计算设备被编程或被配置为：利用成像设备来捕获患者的一系列医学图像，所述一系列医学图像包括至少一个实体的视觉运动，所述至少一个实体包括所述患者和对象中的至少一个的至少一部分；基于所述视觉运动来跟踪与所述至少一个实体关联的时变空间数据；通过将所述时变空间数据与所述一系列医学图像相关，生成空间-时间数据；和基于包括多个层的人工神经网络来分析所述一系列医学图像，所述多个层中的一个或多个层各自组合来自至少三个不同尺度的特征，其中所述人工神经网络的所述多个层中的至少一个层被配置为基于所述空间-时间数据来学习空间-时间关系。
条款16：根据条款15的系统，其中用于组合来自所述至少三个不同尺度的特征的所述一个或多个层包括不同尺度的空洞卷积。
条款17：根据条款15或16的系统，其中用于组合来自所述至少三个不同尺度的特征的所述一个或多个层包括在所述多个层的至少一个层子集之间的密集和/或残差连接，所述至少一个层子集包括来自至少三个不同尺度的特征。
条款18：根据条款15-17中任一项的系统，其中用于组合来自所述至少三个不同尺度的特征的所述一个或多个层包括至少两个不同尺度的卷积以及到包括来自至少所述两个不同尺度的特征的所述多个层的层子集的连接，以产生至少三个不同尺度的特征。
条款19：根据条款15-18中任一项的系统，所述至少一个实体包括以下中的至少一个：器械、所述成像设备、物理伪影、表现伪影、或其任何组合。
条款20：根据条款15-19中任一项的系统，其中跟踪所述时变空间数据包括跟踪以下中的至少一个：所述至少一个实体的平移/旋转位置、所述至少一个实体的速度、所述至少一个实体的加速度、所述至少一个实体的惯性测量、或其任何组合。
条款21：根据条款15-20中任一项的系统，其中跟踪所述时变空间数据基于以下中的至少一个：惯性测量单元、跟踪系统、位置传感器、机器人运动学、逆运动学、或其任何组合。
条款22：根据条款15-21中任一项的系统，其中所述空间-时间数据包括以下中的至少一个：表示在患者身体内的内部运动的数据、表示患者身体的外部运动的数据、表示器械运动的数据、表示器械角度的数据、表示患者身体变形运动的数据、或其任何组合。
条款23：根据条款15-22中任一项的系统，其中所述人工神经网络包括编码器和解码器，并且其中所述解码器和所述编码器中的至少一个被配置为利用所述空间-时间数据作为输入。
条款24：根据条款15-23中任一项的系统，其中所述人工神经网络包括以下中的至少一个：长短期记忆(LSTM)单元、门控循环单元(GRU)、时间卷积网络、或其任何组合。
条款25：根据条款15-24中任一项的系统，其中所述空间数据包括所述患者和/或器械的位置和/或取向。
条款26：根据条款15-25中任一项的系统，其中分析所述一系列医学图像包括识别在所述一系列图像中的至少一个解剖结构，所述至少一个解剖结构包括以下中的至少一个：血管、动脉、静脉、韧带、神经、肌肉束、筋膜束或网状结构、脂肪团、移植脂肪团、淋巴结构、皮肤块、肌腱、骨头、软骨片、肺胸膜线、心脏瓣膜、心腔、心脏表面、气管、脑区、导管、小梁网、角膜层、视网膜层、眼晶状体、眼表面、软组织、角膜缘Vogt栅栏、器官、细胞外结构、细胞间结构、细胞、或其任何组合。
条款27：根据条款15-26中任一项的系统，其中所述一系列医学图像包括以下中的至少一个：超声图像、光学相干断层扫描(OCT)图像、CT图像、MRI图像、PET图像、SPECT图像、荧光透视图像、X-射线图像、乳房放射摄影图像、断层合成图像、光声图像、声光图像、内窥镜图像、显微镜图像、眼底图像、扫描激光检眼镜(SLO)图像、智能电话图像、3D(深度)图像、焦点堆叠图像、光场图像、可见光图像、红外图像、紫外图像、热图像、多光谱图像、断层图像、投影图像、积分图像、重建图像、或其任何组合。
条款28：根据条款15-27中任一项的系统，其中分析所述一系列医学图像包括分割在所述一系列医学图像中表示的一个或多个血管。
条款29：一种用于使用神经网络来分析医学图像的计算机程序产品，包括至少一个非暂时性计算机可读介质，所述至少一个非暂时性计算机可读介质包括指令，所述指令在由计算设备执行时使所述计算设备：利用成像设备来捕获患者的一系列医学图像，所述一系列医学图像包括至少一个实体的视觉运动，所述至少一个实体包括所述患者和对象中的至少一个的至少一部分；基于所述视觉运动来跟踪与所述至少一个实体关联的时变空间数据；通过将所述时变空间数据与所述一系列医学图像相关，生成空间-时间数据；和基于包括多个层的人工神经网络来分析所述一系列医学图像，所述多个层中的一个或多个层各自组合来自至少三个不同尺度的特征，其中所述人工神经网络的所述多个层中的至少一个层被配置为基于所述空间-时间数据来学习空间-时间关系。
条款30：根据条款1-14中任一项的方法，其中所述人工神经网络的至少一部分包括空洞卷积。
条款31：根据条款1-14和30中任一项的方法，其中所述人工神经网络的至少一部分包括残差连接和/或跳过连接。
条款32：根据条款15-28中任一项的系统，其中所述人工神经网络的至少一部分包括空洞卷积。
条款33：根据条款15-28和32中任一项的系统，其中所述人工神经网络的至少一部分包括残差连接和/或跳过连接。
条款34：一种用于使用人工神经网络来分析空间-时间医学图像的方法，包括：利用成像设备来捕获患者的一系列医学图像，所述一系列医学图像包括至少一个实体的视觉运动，所述至少一个实体包括所述患者和对象中的至少一个的至少一部分；利用计算设备，基于所述视觉运动来跟踪与所述至少一个实体关联的时变空间数据；利用计算设备，通过将所述时变空间数据与所述一系列医学图像相关，生成空间-时间数据；和利用计算设备，基于包括多个层的人工神经网络来分析所述一系列医学图像，所述人工神经网络包括空洞卷积和/或在不同尺度和分辨率的多个层之间的密集连接，组合来自至少三个不同的尺度的特征，所述多个层中的至少一个层被配置为基于所述空间-时间数据来学习空间-时间关系。
条款35：一种用于使用人工神经网络来分析空间-时间医学图像的系统，包括计算设备，所述计算设备被编程或被配置为：利用成像设备来捕获患者的一系列医学图像，所述一系列医学图像包括至少一个实体的视觉运动，所述至少一个实体包括所述患者和对象中的至少一个的至少一部分；基于所述视觉运动来跟踪与所述至少一个实体关联的时变空间数据；通过将所述时变空间数据与所述一系列医学图像相关，生成空间-时间数据；和基于包括多个层的人工神经网络来分析所述一系列医学图像，所述人工神经网络包括空洞卷积和/或在不同尺度和分辨率的多个层之间的密集连接，组合来自至少三个不同尺度的特征，所述多个层中的至少一个层被配置为基于所述空间-时间数据来学习空间-时间关系。
条款36：一种用于使用神经网络来分析医学图像的计算机程序产品，包括至少一个非暂时性计算机可读介质，所述至少一个非暂时性计算机可读介质包括指令，所述指令在由计算设备执行时使所述计算设备：利用成像设备来捕获患者的一系列医学图像，所述一系列医学图像包括至少一个实体的视觉运动，所述至少一个实体包括所述患者和对象中的至少一个的至少一部分；基于所述视觉运动来跟踪与所述至少一个实体关联的时变空间数据；通过将所述时变空间数据与所述一系列医学图像相关，生成空间-时间数据；和基于包括多个层的人工神经网络来分析所述一系列医学图像，所述人工神经网络包括空洞卷积和/或在不同尺度和分辨率的多个层之间的密集连接，组合来自至少三个不同尺度的特征，所述多个层中的至少一个层被配置为基于所述空间-时间数据来学习空间-时间关系。
本公开的这些和其他特征和特征、以及结构的相关元件的操作方法和功能、以及部件的组合和制造经济性，在考虑以下描述和所附权利要求并参考附图的情况下，将变得更明显，所有附图形成本说明书的一部分，其中相似的附图标记表示各个图中的对应部分。然而，应明确理解，附图仅用于说明和描述的目的，并不旨在作为对本发明的限制的定义。
附图说明
下面参考附图中所示的非限制性示例性实施例更详细地解释附加优点和细节，其中：
图1示出了根据非限制性实施例的用于使用人工神经网络来分析空间-时间医学图像的系统的示意图；
图2示出了根据非限制性实施例的在用于使用人工神经网络来分析空间-时间医学图像的系统中使用的人工神经网络模型；
图3示出了根据非限制性实施例的在用于使用人工神经网络来分析空间-时间医学图像的系统中使用的输入结构和输出结构；
图4示出了根据非限制性实施例的在用于使用人工神经网络来分析空间-时间医学图像的系统中使用的编码块结构；
图5示出了根据非限制性实施例的在用于使用人工神经网络来分析空间-时间医学图像的系统中使用的解码块结构；
图6示出了根据非限制性实施例的用于使用人工神经网络来分析空间-时间医学图像的流程图；和
图7示出了结合非限制性实施例使用的计算设备的示例部件。
具体实施方式
应当理解，实施例可以采用各种替代变体和步骤顺序，除非有明确相反的表述。还应理解，以下说明书中描述的具体设备和过程仅仅是本公开的示例性实施例或方面。因此，与本文公开的实施例或方面相关的特定尺寸和其他物理特性不应被视为限制性的。本文所使用的任何方面、部件、元件、结构、动作、步骤、功能、指令等均不应被解释为关键或必要的，除非明确地这样描述。此外，如本文所用，冠词“一”和“一个”旨在包括一个或多个项目，并且可以与“一个或多个”和“至少一个”互换使用。并且，如本文所用，术语“有”、“具有”、“拥有”等旨在为开放式术语。此外，短语“基于”旨在表示“至少部分基于”，除非另有明确说明。
如本文所用，术语“计算设备”可以指代被配置为处理数据的一个或多个电子设备。在一些示例中，计算设备可以包括用于接收、处理和输出数据的必要部件，例如处理器、显示器、存储器、输入设备、网络接口等等。计算设备可以是移动设备。计算设备也可以是台式计算机或其他形式的非移动计算机。在非限制性实施例中，计算设备可以包括GPU。在非限制性实施例中，计算设备可以包括多个电路。
非限制性实施例提供了一种系统、方法和计算机程序产品，用于使用人工神经网络(例如，诸如卷积神经网络(CNN))和空间-时间数据来分析一系列医学图像(例如解剖、生理、功能和/或其他生物医学图像)。在一些非限制性实施例中，使用基于CNN的计算机视觉方法来自动识别和标记在截面断层图像序列(例如但不限于超声或光学相干断层扫描(OCT))中可见的解剖结构。非限制性实施例允许与跟踪实体(例如解剖结构)的变化同时地跟踪空间信息，例如运动和取向数据。这允许在空间和时间上跟踪解剖结构的参数，例如形状。举例来说，这样的形状变化可以包括例如血管压迫或分支点。
现在参考图1，根据非限制性实施例示出了用于分析一系列医学图像104的系统1000。系统1000包括成像设备102，其可以包括超声扫描仪、OCT扫描仪等等，其在一段时间内捕获患者P的一系列医学图像104。医学图像可以包括超声图像、OCT图像、CT图像、MRI图像、PET图像、SPECT图像、荧光透视图像、X射线图像、乳房放射摄影图像、断层合成图像、光声图像、声光图像、内窥镜图像、显微镜图像、眼底图像、扫描激光检眼镜(SLO)图像、智能电话图像、3D(深度)图像、焦点堆叠图像、光场图像、可见光图像、红外图像、紫外图像、热图像、多光谱图像、断层图像、投影图像、积分图像、重建图像等等。成像设备102可以与用于操作成像系统102的器械106通信，例如超声探头，尽管可以使用各种器械。成像设备102还与计算设备100通信，计算设备100与数据存储设备108通信。
继续参考图1，该一系列医学图像104可以包括患者身体的图像，其可能基于实体(例如所述患者和/或一个对象)的视觉运动而在一个切片(或体积)到下一个切片(或体积)之间是变化的。例如，这样的运动可以包括内部运动(例如，跳动的血管、运动的胎儿等)、外部运动(例如，患者身体运动、器械106或其他工具的运动、改变OCT扫描光束的角度等)和/或交互运动(例如，将超声换能器压入患者，从而使内部解剖结构变形)。运动的对象可以包括物理伪影，例如一个或多个解剖结构(例如，血管、动脉、静脉、韧带、神经、肌肉束、筋膜束或网状结构、脂肪团、移植脂肪团、淋巴结构、皮肤块、肌腱、骨头、软骨片、肺胸膜线、肺实变、心脏瓣膜、心腔、心脏表面、气管、脑区、导管、小梁网、角膜层、视网膜层、人工晶状体、眼表、软组织、角膜缘Vogt栅栏、器官、细胞外结构、细胞间结构、细胞等等)和/或表现伪影，例如由成像过程和/或其中使用的工具产生的视觉效果，它们实际上并不存在，但指示一种或多种生理特性。这样的视觉效果可以包括例如与针相关的超声伪影(例如，混响、旁瓣、尖刺伪影等等)和与肺相关的伪影和结构(例如，A-线、B-线、Z-线、彗尾(commit-tails)等等)。也可以跟踪各种其他伪影。
仍然参考图1，计算设备100被配置为基于实体在一系列图像104中的一个或多个图像中的视觉移动来跟踪该实体的时变空间数据。鉴于在连续捕获的图像之间可能发生的各种可能的变化，非限制性实施例跟踪所述实体的位置，因为这些值在一系列图像104中的多个图像(例如，图像系列104的至少一个子集)的图像之间变化。基于跨越在图像系列104中的图像的所跟踪的时变空间数据，计算设备100可以通过将时变空间数据与图像系列104中的图像相关来生成空间-时间数据。例如，空间数据中的值和/或值的变化可以通过链接到那些图像而与一个或多个特定图像关联。空间-时间数据可以表示形状、位置和/或取向随时间的变化。链接的数据可以在数据存储设备108的存储器中表示。
在非限制性实施例中，并且仍然参考图1，所生成的空间-时间数据可以存储在数据存储设备108中并被分析。例如，空间-时间数据可以输入到由计算设备100执行的人工神经网络中，例如但不限于卷积神经网络(CNN)。例如，使用空间-时间数据增强的CNN可用于分析在血管(例如，手部中的血管)的超声视频序列中的结构组织随时间的变化，例如用于测量内膜中层厚度。作为另一示例，增强的CNN可用于分析眼睛的眼前节的结构变化，例如重建每天的各个体积，然后量化在多天上在角膜缘中Vogt栅栏干细胞生态位中的变化。应当理解，各种其他用途和应用是可能的。
在非限制性实施例中，人工神经网络可以被配置在U-Net架构中，其包括在连续下采样层和上采样层之间的密集和/或残差连接，因此这样的层处理以各种尺度生成的输入。在此类实施例或其他非限制性U-Net实施例中(例如，其可以不包括密集或残差连接)，U-Net可包括具有在各种尺度上计算特征的空洞(以及规则)卷积的块或层。与先前的U-Net架构相比，这样的各个层或块可以被配置为通过一个或多个尺度的卷积以及与包括所述一个或多个尺度的其他层的连接的组合来计算在至少三(3)个尺度上的特征。下采样和/或上采样层中的一个或多个层可以被配置为学习空间-时间关系。可以以各种方式将空间-时间数据结合到人工神经网络中。例如，在一些非限制性实施例中，长短期记忆(LSTM)被结合到CNN架构的解码器部分中。通过使用基于LSTM的多尺度网络，智能地组合多尺度特征，以在视频时间步上保留相关特征，并且只在需要时更新特征。在一些非限制性实施例中，人工神经网络架构可以被修改以在网络的编码器和/或解码器部分中进一步结合LSTM和/或其他形式的记忆，例如门控循环单元(GRU)或其他架构元素，例如“时间”卷积网络。
在其他非限制性实施例中，可以增强其他网络架构，例如残差神经网络(ResNet)或粗到精上下文记忆(CFCM)网络，以计算多尺度特征和空间-时间特征和/或关系。在其他非限制性实施例中，诸如高分辨率网络(HRNet)的多尺度网络可以被配置为学习空间-时间特征和/或关系。
在非限制性实施例中，将空间-时间数据结合到人工神经网络中产生了可用于多种目的的增强的神经网络。例如，增强的神经网络可用于分析在血管(例如，手部中的血管)的超声视频序列中结构组织随时间的变化，例如用于测量内膜中层厚度。在另一示例中，增强的神经网络可用于分析眼睛的眼前节的结构变化，例如重建每天的各个体积，然后量化在多天上在角膜缘中Vogt栅栏干细胞生态位中的变化。应当理解，各种其他用途和应用是可能的。
在非限制性实施例中，一系列医学图像104是按空间-时间序列捕获的，使得当器械106(例如，超声换能器等)在患者P的身体上移动时，内部解剖结构的视图在超声视频中移动和变化。用户(例如，技术人员、医生或其他操作员或分析员)不需要知道器械106是如何实际移动的，因为网络的LSTM会推断器械106、患者P或在过程中使用的任何工具如何正在移动。在一些示例中，举例来说，例如通过跟踪平移/旋转位置、速度、加速度和/或来自惯性测量单元、跟踪系统(例如，用于任何数量维度的空间跟踪系统)、位置传感器、机器人运动学和/或逆运动学的其他输出，可以获得关于器械106、患者P和/或工具如何移动的附加信息(例如，运动信息)。例如，布置在器械106、患者P和/或工具上的一个或多个传感器可以提供要结合到LSTM中的运动信息，使得计算设备100可以更好地确定实体(例如移动的器械106、患者P和/或工具)相对于其他实体是如何运动的。
现在参考图2，示出了根据非限制性实施例的人工神经网络200。网络200包括下采样编码器(例如，网络200的包括编码块206的部分)和基于LSTM的解码器(例如，网络200的包括解码块208的部分)。编码块206以尺度序列从图像计算特征，其中，从块203下至网络200的编码器部分，特征图的分辨率随其各个内核从它们的较大比例的输入特征图(因此在原始输入图像中具有较大的感受野)计算特征而下降。类似地，解码块208以尺度序列从图像计算特征，其中，从块212上至网络200的解码器部分，特征图的分辨率随其各个内核从它们的较小比例的输入特征图计算特征而升高。每个块的重复214可以包括在网络200中(举例来说，例如，沿着一系列块的重复2、3、4、6、3)。例如，解码器可以是或包含卷积LSTM网络(ConvLSTM)。网络200模型与U-Net分割模型不同，U-Net分割模型独立处理在序列中的每一帧(例如图像)。图2中所示的基于LSTM的模型和架构实现了一种记忆机制(例如，在解码块208中使用LSTM单元)，该机制考虑在图像(例如，视频帧)之间的相互关系以保留实体(例如，举例来说血管)在多个尺度上的外观以进行密集的按像素的预测。通过将来自网络200的解码器部分(例如，解码块208)的LSTM单元与在网络200的编码器部分(例如，编码块206)中收集的空间上下文结合，经由将这样的信息通过通信路径210传送到LSTM单元，空间-时间实体相关特征被估计以用于改进分割。
参考图2-5，符号和字符表示如下：C(卷积函数)；D(空洞卷积函数)；BN(批量归一化函数)；ReLU(整流线性激活单元)；T(输出类：二元(2)，多(2,…))；N(特征图数量，例如，{32,64,128,56,512})；H
现在参考图2和3，人工神经网络200接收一系列图像作为输入202并开始使用块203对图像进行编码。网络200从块212解码并得到块205，并输出一系列具有一个或多个分割实体的图像作为输出204。ReLU在BN之后并保持整流单元(例如，激活函数)。
现在参考图2和4，网络200的编码器部分包括编码块206，其使用空洞卷积和残差连接在多个尺度上提取实体外观的有意义表示。在网络200的编码器部分的前几层处表征的特征图描绘了精细定义的特性(边缘、拐角、曲线等等)，这些特性被认为是由于其较小的感受野而受到限制的低级属性。在网络的更深层处，可以看到粗糙但复杂的属性，其属性定义不明确(例如，实体的轮廓)。在这个级别上，由于用于计算所述特征图的各个内核的感受野更大，因此可以在全局尺度上看到更多的图像。残差连接和空洞卷积收集附加的空间信息，尤其是与模糊可辨的边界相关的空间信息，并从一个块到下一个块灌输(例如，传递)该信息，以防止在最终分割中的间隙。空洞卷积收集有关更广的周围图像内容的上下文信息，以准确分割实体的边界(例如，对象或组织边界)。例如，在边界对比度较差的区域，空洞卷积可以“填补”间隙，从而比先前的方法表现得更好。这种分层表示可以不独立地对在一系列图像中的实体运动(例如血管运动)的动态进行建模，但可以用于改进实体分割。例如，通过将以不同尺度提取的特征图从编码器部分传送到在解码器部分中的LSTM单元，所述LSTM单元将相关的感兴趣特征保留在记忆中，因此可以被整合到网络模型中以产生更好质量和精度的分割。
现在参考图2和5，网络200的解码器部分包括解码块208。每个编码块206将其输出特征图传送到在网络200的解码器部分中的LSTM记忆单元(例如，经由通信路径210传送到对应的解码块608)。例如，每个解码块208中的LSTM单元可以被结合到网络200中，并被配置为将每个编码块206的输出视为单个时间步，并实施记忆机制以粗到细的方式整合在多个尺度上提取的特征图。在非限制性实施例中，可以利用在解码块208中的门控逻辑结构来执行这样的整合，该门控逻辑结构调节对单元状态的新信息的移除或添加。以这种方式，来自最深编码器层(例如，最低编码块206及其所有重复)的全局上下文信息首先由LSTM单元观察，并且随着感受野的减少，有关实体的更精细的细节被添加(例如，有关血管轮廓的进一步信息)。
继续参考图2和图5，每个解码块208包含LSTM单元，该单元利用三个特征集(输入状态、隐藏状态和单元状态)作为输入并使用三个逻辑门(遗忘门、输入门和输出门)输出信息。遗忘门被配置为从单元状态特征集中移除信息。输入门被配置为确定将被结合到单元状态特征集中的新信息。输出门被配置为调节相应LSTM单元的输出。每个解码块208中的LSTM单元利用卷积和ReLU来提高分割准确性，尽管用于LSTM单元的各种结构也是可能的。在网络200的最深层处的初始解码块(例如，块212)的初始隐藏状态和初始单元状态可以被初始化为零，使得每个其他LSTM单元(例如，解码块208的不包括212的部分)的隐藏状态和单元状态从在它下面的LSTM单元进行上采样。使用结构化的基于LSTM的解码块208，例如ConvLSTM块，有助于网络200保留实体的形状属性并在每个图像中分割所述实体。
现在参考图6，示出了根据非限制性实施例的用于分析一系列医学图像的方法的流程图。应当理解，图6中所示的步骤顺序仅用于说明目的，并且非限制性实施例可以涉及更多步骤、更少步骤、不同步骤、和/或不同步骤顺序。在步骤600，创建人工神经网络。在非限制性实施例中，人工神经网络被创建为具有在层之间的密集和/或残差连接。在这样的实施例和其他非限制性实施例中，人工网络可以包括多个层，其中，所述多个层中的一个或多个层各自组合来自至少三个不同尺度/分辨率的特征。在一些示例中，用于组合来自至少三个不同尺度的特征的层可以部分地包括不同尺度的空洞卷积、在包括来自三个不同尺度的特征的层的至少子集之间的密集连接、和/或在包括来自三个不同尺度的特征的层的至少子集之间的残差连接。
可以以各种方式训练网络，举例来说，例如通过监督和/或无监督方法。在非限制性示例中，静止图像可用于训练网络的非时间部分。一旦训练了网络的非时间部分，就可以使用视频来用空间-时间数据训练整个网络。在步骤602，利用诸如超声扫描仪、OCT扫描仪等的成像设备捕获一系列医学图像。该系列医学图像可以包括来自视频的帧，例如，显示诸如患者、对象和/或其一部分的实体的运动。在一些示例中，一个或多个实体可以在捕获的多个帧(例如，图像)中移动，并且在一些示例中，在所述帧之外的一个或多个实体(例如，诸如用于捕获图像的超声换能器)可以相对于在所述帧内的实体移动。
仍然参考图6，在步骤604，关于至少一个实体在帧中或在帧外的移动来跟踪空间数据。空间数据可以作为绝对或相对空间坐标进行跟踪，例如，在二维或三维空间中。作为示例，空间数据可以包括平移/旋转位置、速度、加速度、和/或来自惯性测量单元、跟踪系统(例如，用于任何数量维度的空间跟踪系统)、位置传感器、机器人运动学、和/或逆运动学的其他输出。在步骤606，通过将在步骤604跟踪的空间数据与在步骤602捕获的一系列医学图像相关，来生成空间-时间数据。空间-时间数据可以包括在一个或多个数据库中的关联(例如，链接)。在步骤608，通过使用在步骤600创建的人工神经网络来分析一系列医学图像。可以训练人工神经网络以基于结合LSTM单元来识别实体运动的空间-时间关系，如本文所解释的。步骤608的结果可以是一系列医学图像，其中，一个或多个实体被分割，使得可以观察和记录一个或多个实体通过一系列图像(例如，在视频中)的运动。
该系统使用来自以下两个扫描仪的视频序列进行测试：Visualsonics Vevo2100UHFUS机器(Fujifilm(富士胶片公司)，加拿大)和Diasus HFUS扫描仪(DynamicImaging(动态成像公司)，英国)。UHFUS扫描仪提供了50MHz的换能器，其物理分辨率为30μm，并且像素间距为11.6μm。使用了58个UHFUS序列，每个序列包含100个2D B-扫描，尺寸为832x 512像素。HFUS扫描仪具有10-22MHz的换能器，像素间距为92.5μm。使用了26个HFUS序列，每个序列包含可变数量(50-250)的2D B-扫描，尺寸为280x 534像素。所有序列都包含手部动脉(例如，掌浅弓)，具有宽范围的可调增益设置(40-70dB)。还捕获了广泛的探头运动，例如纵向扫描、跳动血管、平面外血管变形等等。专家分级员注释了所有84个UHFUS和HFUS序列。为了显示普遍适用性，该系统还在X射线数据集上进行了测试，该数据集包含138个注释的图像，其中58个异常病例和80个正常病例。
在用于测试的58个UHFUS序列中，选择20个用于训练，其余38个用于测试。类似地，从26个HFUS序列中，选择20个用于训练，其余6个用于测试。对血管分割任务进行了三重交叉验证。为了模拟临床应用，使用具有最低验证损失(来自单重)的两个最佳模型的系综进行测试。还在X射线数据集中对肺分割任务进行了三重交叉验证。对于血管分割任务，将误差与来自基于水平集的方法和两种基于LSTM的分割方法的误差进行比较。对于肺分割任务，将结果与现有技术模型进行比较。这些序列包含可变图像尺寸，并且使用全尺寸图像来训练ConvLSTM会受到GPU RAM的限制。因此，通过将每个B-扫描缩放到256x 256像素来训练人工神经网络。执行数据增强(弹性变形、模糊等等)以将训练集增加到120,000张图像。为了与其他方法进行比较，将每个基线结果与专家注释进行比较。计算了以下指标以量化误差：1)戴斯相似系数(DSC)[6]、2)以毫米为单位的豪斯多夫距离(HD)[6]、3)以毫米为单位的平均绝对偏差(MAD)、4)确定的假阳性和假阴性距离、5)精度(Prec.)和6)召回率(Rec.)。
表1显示了UHFUS(顶部USVS-Net值)和HFUS(底部USVS-Net值)图像序列与其他方法相比的分割误差比较：
基于这些测试，现有的水平集方法仅成功分割了38个序列中的33个中的血管，而基于LSTM的方法成功分割了所有序列中的血管。本文描述的系统和网络架构产生的输出匹配了专家注释，具有最高的准确度和最低的误差。该系统处理并输出在呈现出增加的散斑和大血管运动的UHFUS序列中的亚毫米血管定位。
现在参考图7，示出了根据非限制性实施例的用于实施和执行本文描述的系统和方法的计算设备900的示例部件的图。在一些非限制性实施例中，设备900可以包括与图7中所示的部件相比附加的部件、更少的部件、不同的部件、或不同布置的部件。设备900可以包括总线902、处理器904、存储器906、存储部件908、输入部件910、输出部件912和通信接口914。总线902可以包括用于允许在设备900的部件之间通信的部件。在一些非限制性实施例中，处理器904可以在硬件、固件、或硬件和软件的组合中实现。例如，处理器904可以包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)等)、微处理器、数字信号处理器(DSP)、和/或可以被编程以执行功能的任何处理部件(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)。存储器906可以包括随机存取存储器(RAM)、只读存储器(ROM)、和/或用于存储信息和/或指令以供处理器904使用的其他类型的动态或静态存储设备(例如，闪存、磁存储器、光存储器等)。
继续参考图7，存储部件908可以存储与设备900的操作和使用相关的信息和/或软件。例如，存储部件908可以包括硬盘(例如，磁盘、光磁盘、磁光盘、固态磁盘等)和/或其他类型的计算机可读介质。输入部件910可以包括允许设备900接收信息的部件，例如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风等)。附加地或替代地，输入部件910可以包括用于感测信息的传感器(例如，全球定位系统(GPS)部件、加速度计、陀螺仪、致动器等)。输出部件912可以包括从设备900提供输出信息的部件(例如，显示器、扬声器、一个或多个发光二极管(LED)等)。通信接口914可以包括使设备900能够与其他设备通信的类似收发器的部件(例如，收发器、分开的接收器和发射器等)，例如经由有线连接、无线连接或有线和无线连接的组合。通信接口914可以允许设备900从另一设备接收信息和/或向另一设备提供信息。例如，通信接口914可以包括以太网接口、光学接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、
设备900可以执行本文描述的一个或多个过程。设备900可以基于处理器904执行由诸如存储器906和/或存储部件908之类的计算机可读介质存储的软件指令来执行这些过程。计算机可读介质可以包括任何非暂时性存储器设备。存储器设备包括位于单个物理存储设备内部的存储器空间或分布在多个物理存储设备上的存储器空间。软件指令可以通过通信接口914从另一计算机可读介质或从另一设备读入存储器906和/或存储部件908。当被执行时，存储在存储器906和/或存储部件908中的软件指令可以使处理器904执行本文描述的一种或多种方法。附加地或替代地，硬连线电路可用于代替软件指令或与软件指令结合以执行本文所述的一个或多个过程。因此，本文描述的实施例不限于硬件电路和软件的任何特定组合。如本文所用，术语“被编程或被配置”是指软件、硬件电路、或其任何组合在一个或多个设备上的布置。
尽管出于说明的目的已经详细描述了实施例，但是应当理解，这样的细节仅用于该目的，并且本公开不限于所公开的实施例，相反，旨在包括在所附权利要求的精神和范围内的修改和等同布置。例如，要可以解的是，本公开考虑到，在可能的范围内，任何实施例的一个或多个特征可以与任何其他实施例的一个或多个特征组合。
