使用深度学习技术自动校正X射线数据的受金属影响的体素表示

摘要

描述了一种用于校正受金属影响的X射线数据的体素表示的计算机实现的方法，该受金属影响的X射线数据表示由X射线成像仪成像的组织的体积中的金属或含金属的对象引起的X射线数据中的伪影，其中，该方法包括：第一3D深度神经网络在其输入处接收受金属影响的X射线数据的初始体素表示并且在其输出处生成体素图，体素图识别初始体素表示的属于受金属影响的体素的区域的体素；以及第二3D深度神经网络在其输入处接收所述初始体素表示和由第一3D深度神经网络生成的体素图，并生成校正后的体素表示，所述校正后的体素表示包括针对由所述体素图识别为受金属影响的区域的部分的体素的体素估计，第一3D深度神经基于训练数据和参考数据被训练，训练数据和参考数据包括患者的预定身体部位的临床X射线数据的体素表示。

说明书

技术领域

本发明涉及使用深度学习技术自动校正X射线数据的受金属影响的体素表示，并且特别地但非排他地涉及使用深度学习技术校正X射线数据的受金属影响的体素表示的方法和系统、用于训练深度神经网络系统以校正受金属影响的X射线的体素表示的方法以及用于执行此类方法的计算机程序产品。

背景技术

在CT扫描期间，通过预定强度的X射线辐射束,组织的不同区域以不同的角度暴露，同时传感器阵列测量行进通过组织的X射线束的强度。基于传感器测量的衰减的辐射束，可以确定X射线辐射在组织中的不同区域处的吸收。在扫描期间获得的数据具有成组的具有不同幅度和相位的正弦波信号的形式，通常称为正弦图。重建算法可以使用正弦图来重建扫描的组织的2D或3D图像。这种重建算法通常称为反投影。

当组织包括具有明显偏离生物材料的吸收系数的高吸收系数的材料时，当试图基于使用反投影来重建图像时，可能出现问题。例如。在牙科领域，金属植入物和/或牙科填充物通常由吸收系数较高的相对较高密度的金属材料(例如，汞合金、金、银、钯、钛等)制成，其可能在构建的图像中引起不一致，例如看起来似乎缺失数据点或数据点不正确，它们不表示实际组织或所扫描的其他结构密度值。由高密度材料引起的这些不一致通常可以称为金属伪影或简称为伪影(请注意，在文献中经常使用“伪像(artifact)”而不是“伪影(artefact)”)。

伪影可能造成严重问题，因为它可能干扰诊断过程，例如：由医学专家或基于计算机的自动诊断系统执行的诊断过程。由于使用短波长电离辐射引起对潜在的健康危害的担忧的事实，因在CT检查中降低剂量的总体趋势，加剧了伪影问题。降低剂量的缺点是重建的CT图像中的噪声增加。此外，在诸如口腔外科、牙髓和正畸的医学领域中，越来越多地使用诸如锥束CT(CBCT)扫描仪等小型CT扫描仪。CBCT扫描仪是紧凑的低剂量扫描仪，其中，X射线束具有锥形的形状。尽管CBCT技术与常规CT扫描技术有许多相似之处，但也存在实质性差异。例如，由于CBCT使用传感器的2D阵列和锥形束成形的X射线束，因此锥形束重建算法与常规CT扫描仪的典型重建算法不同。此外，在CBCT扫描中，以亨氏(Hounsfield)单位(HU)测量的辐射密度是不一致的，因为扫描中的不同区域根据它们在被扫描器官中的相对位置而出现不同的灰度值。使用CBCT和医学级CT扫描仪从同一解剖区域测量的HUs不相同，因此对于确定特定于位置的放射成像识别的测量密度是不可靠的。由于这种差异，高密度材料的不利影响根据扫描仪的类型和反投影技术将在图像中以不同的方式出现。

一般“类型”的伪影的概述例如在以下文章中描述：Schultze等人，Artefacts inCBCT:a review(CBCT中的伪影：综述)，Dentomaxillofacial Radiology(颌面放射学)，2011年7月；40(5)：265-273页，其中列出了各种类型的伪影，包括：消失伪影(extinctionartefact)、束硬化伪影、指数边缘梯度效应(EEGE)、环形伪影、混叠伪影和运动伪影，其中前三个是尤其重要。消失伪影可被视为“缺失值”的伪影。当被扫描的对象包含高吸收性材料(例如，金皇冠)时，这种伪影会出现。在这种情况下，高密度金属“隐藏”直接在其后面的材料。辐射束无法正确地进入这些区域，从而导致高吸收材料旁边出现“黑色区域”。束硬化伪影主要是由高密度材料和/或高原子序数与X射线源的低波长光子之间的反比关系引起的。由于高密度材料对光子的吸收，因此在金属对象后面的路径中记录了相对更多的吸收，该误差被反投影到体积中，从而导致图像中的黑色条纹。此外，当两个相邻的结构在密度和/或原子序数上具有高对比度时，会出现指数边缘梯度效应(EEGE)。由于反投影算法对记录的光束上的测量强度进行平均，因此会在金属旁边的X射线投影的方向上引起条纹。

因此，多个来源可能促使在基于正弦图重建的CT图像中出现伪影。与高密度材料有关的方面(厚度、密度、原子序数等)，以及与扫描仪、扫描方法(例如，扫描仪类型、传感器类型、传感器几何形状、传感器质量、X射线源的波长等)和重建方法有关的方面可能影响这些伪影出现在重建图像中的严重程度和方式。这些因素使得从CT数据中去除伪影成为具有挑战性的问题。

已经提出了一系列方法来减少CT图像中的伪影，同时保留图像中的重要细节。这些方法称为金属伪影减少(MAR)方法。常见的MAR方法包括线性插值、束硬化校正方法和归一化金属伪影减少方法。如在以下文章中所解释的，常见的MAR方法在正弦图域中执行，即在将正弦图转换为基于像素或基于体素的图像之前执行：Meyer等人，Normalized metalartifact reduction NMAR)in computed tomography(计算机断层扫描中的归一化金属伪影减少(NMAR))，医学物理，第37卷，第10期，2010年10月，第5482-5493页。这些方法将受金属影响的投影数据的部分视为缺失数据。使用阈值方法确定图像中的一个或多个金属对象，并且仅金属图像的正向投影可以用于确定正弦图中受金属影响的信号。然后将插值和正向投影技术应用于正弦图，以用替代数据替换受影响的数据。此类MAR技术需要访问正弦图数据，并需要生成正弦图时使用的扫描和反投影方法的知识。此外，该技术使用多个前向和后向投影计算以及图像阈值，这需要大量计算资源。因此，尽管进行了改进，但是当前的MAR技术没有提供能够以有效且可靠的方式自动去除或至少减少X射线数据中的伪影的通用方案。

最近，在MAR过程中已经使用了神经网络。Zhang等人(2017)在他们的文章“Convolutional Neural Network based Metal Artifact Reduction in X-rayComputed Tomography(X射线计算机断层扫描中基于卷积神经网络的金属伪影减少)”中描述了借助于2D卷积神经网络(CNN)减少CT图像中的伪影，该2D卷积神经网络是根据基于常规MAR方法处理的图像进行训练的，以使CNN能够学习有用的信息以减少伪影。金属伪影以计算的方式进行仿真。CNN先生成图像，然后再在正弦图域中将其与原始未校正的数据和金属跟踪数据(metal trace data)一起处理，以形成校正后的正弦图。校正后的正弦图被转换为校正后的图像。实现了伪影的减少，但是剩余的伪影仍然相当多。在Gjetseby等人的研究“Deep learning methods for CT image-domain metal artefact reduction(用于减少CT图像域金属伪影的深度学习方法)”(SPIE，第10391卷，2017年9月25日)中，最先进的正弦图域NMAR技术和2D-CNN的组合被应用于专门减少2D图像上的金属条纹。首先通过NMAR技术重建图像，从而得到具有大量剩余金属条纹伪影的重建后的图像。然后将重建后的图像馈送到2D CNN CNN的输入，以确定金属条纹减少的重建后的CT图像。

在许多实际情况下，人们只能访问(例如，以DICOM格式的)CT数据的体素(或像素)表示，而对生成CT数据的系统的技术知识没有了解或了解很少。Zhang等人(2018)将称为U-Net的卷积神经网络类型应用于模拟的受污染(受数个图像失真影响)的图像和参考图像，以获得用于预测残差图像(即这些受污染图像和参考图像之间的差异)的算子(通过U-net训练)，因此旨在模仿参考图像。通过将虚幻金属(phantom metal)插入腹部的干净CT图像中，对数据进行数值模拟。它们在模拟的数据上的结果似乎很有希望，然而应用于现实世界图像由于用于创建其2D CT图像参考数据集的常规MAR方法而没有超出常规方法。

因此，从以上可见，本领域中需要用于自动重建受伪影影响的3D数据(例如，体素)的改进的方法和系统。特别地，期望由组织的体素表示中的高密度材料引起的伪影(基于(CB)CT扫描仪的传感器数据生成)由这种改进的方法和系统自动识别，并由提供在不存在伪影的情况下的体素值的准确估计的体素进行代替，同时完整保留高密度材料(例如，钛植入物或复合材料填充物)的体素。

发明内容

如本领域技术人员将理解的，本发明的各方面可以体现为系统、方法或计算机程序产品。因此，本发明的多方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或结合软件和硬件方面(本文中可以通常都称为“电路”、“模块”或“系统”)的实施例的形式。本公开中描述的功能可以被实现为由计算机的微处理器执行的算法。此外，本发明的多方面可以采取体现在具有体现在其上、例如存储在其上的计算机可读程序代码的一个或更多个计算机可读介质中的计算机程序产品的形式。

可以利用一个或更多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外、或半导体系统、设备或装置或前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下：具有一根或更多根线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁存储装置或前述的任何合适的组合。在本文的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储供指令执行系统、设备或装置使用或与其结合使用的程序。

计算机可读信号介质可以包括例如在基带中或作为载波的一部分的传播的数据信号，其具有体现在其中的计算机可读程序代码。这样的传播信号可以采取多种形式中的任何一种，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是不是计算机可读存储介质并且可以通信、传播或传输供指令执行系统、设备或装置使用或与其结合使用的程序的任何计算机可读介质。

体现在计算机可读介质上的程序代码可以使用任何适当的介质来传输，包括但不限于无线、有线、光纤、电缆、RF等，或者上述的任何合适的组合。可以以一种或更多种编程语言的任何组合来编写用于执行本发明的多方面的操作的计算机程序代码，所述编程语言包括诸如Java(TM)、Scala、C++、Python等的功能或面向对象的编程语言，以及诸如“C”编程语言或类似的编程语言的常规的程序编程语言。程序代码可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上并且部分在远程计算机上执行，或者完全在远程计算机、服务器或虚拟服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者可以与外部计算机连接(例如，使用因特网服务提供商通过因特网)。

下面参考根据本发明的实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图描述本发明的多方面。将理解的是，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器，特别是微处理器、或中央处理单元(CPU)或图形处理单元(GPU)以产生机器，使得指令经由计算机的处理器、其他可编程数据处理设备或其他装置执行而创建用于实现流程图和/或框图框或多个框中指定的功能/动作的部件。

这些计算机程序指令还可以存储在计算机可读介质中，所述计算机可读介质可以指导计算机、其他可编程数据处理设备或其他装置以特定方式运行，使得存储在计算机可读介质中的指令产生制造的产品，其包括实现流程图和/或框图框或多个框中指定的功能/动作的指令。

也可以将计算机程序指令加载到计算机、其他可编程数据处理设备或其他装置上，以引起一系列操作步骤在计算机、其他可编程设备或其他装置上执行以产生计算机实现的过程，使得在计算机或其他可编程设备上执行的指令提供用于实现流程图和/或框图框或多个框中指定的功能/动作的过程。

附图中的流程图和框图示出根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就这点而言，流程图或框图中的每个框可以表示代码的模块、节段或部分，其包括用于实现指定的逻辑功能的一个或更多个可执行指令。还应注意，在一些替代实施方式中，框中指出的功能可以不按图中指出的顺序发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个框，或者有时可以以相反的顺序执行这些框。还应注意，框图和/或流程图的每个框以及框图和/或流程图中的框的组合可以由执行指定功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现。

本公开中的实施例的目的是使用深度学习技术来自动校正X射线数据的受金属影响的体素表示。优选地，X射线数据被表示为形成3D图像的体素，并且使用诸如锥束CT(CBCT)扫描仪等低剂量CT扫描仪来生成。3D图像通常表示生物组织，例如，身体的颌面区域或其他区域，例如胸部区域。这里，受金属影响的X射线数据(例如，体素)可以表示由X射线成像仪成像的组织体积中的金属或金属对象引起的X射线数据中的伪影。

在一方面，本发明涉及一种用于校正受金属影响的X射线数据的体素表示的计算机实现的方法，包括：第一3D深度神经网络在其输入处接收受金属影响的X射线数据的初始体素表示并且在其输出处生成体素标识信息，该体素标识信息至少识别初始体素表示的属于受金属影响的体素的区域的体素；第二3D深度神经网络在其输入处接收初始体素表示和由第一3D深度神经网络生成的体素标识信息，并在其输出处生成校正后的体素表示，该校正后的体素表示包括对由体素图识别为是受金属影响的区域的部分的体素的体素估计，第一3D深度神经基于训练数据和参考数据被训练，该训练数据和参考数据包括患者预定身体部位的临床X射线数据的体素表示。在实施例中，X射线数据可以是3D(CB)CT数据。

因此，第一神经网络被训练为自动地区分与受金属影响的X射线数据相关联的体素表示的体素(伪影)和不属于伪影的体素，即，表示被扫描的身体部位的组织的体素。该信息可以以体素标识信息的形式在第一神经网络的输出处生成。该信息可以被第二神经网络使用，以便用由第二神经网络基于临床训练数据而估计的体素值来替换属于伪影的受金属影响的X射线数据的体素表示的体素值。这样，该方法可以提供从X射线图像、3D(CB)CT图像数据中去除伪影的有效方法，而无需对X射线成像仪(成像仪被认为是扫描仪的另一术语)或用于生成图像的反投影方法的特定知识。另外，该方法不需要在正弦图域中处理投影数据。

在实施例中，第一3D深度神经网络确定标识信息包括：第一3D深度神经网络生成体素图，该体素图的每个体素与受金属影响的X射线数据的初始体素表示的体素以及一个或多个概率量度相关联，其中，一个或多个概率量度中的第一概率量度表示体素是金属区域的部分的概率，第二概率量度表示体素是受金属影响的区域的部分的概率。在这方面，“体素图”可以被视为体素标识信息(的子集和/或一部分)。在这方面，在第一量度的情况下，区域应被认为是分别作为金属(或含金属的)的真实世界3D体积或多个真实世界3D体积的部分的体素的一个或多个集合，而在第二量度的情况下，区域应被认为是由于受到现实世界情况中存在的金属的影响而具有在初始体素表示中确定的不正确的值的体素的一个或多个集合。

在实施例中，该方法还可以包括：基于第一概率量度和第二概率量度并且基于一个或多个阈值，将初始体素表示中的体素分类成属于金属区域的体素和属于受金属影响的区域的体素。

在实施例中，该方法还可以包括：使用第一概率量度和一个或多个金属阈值来为每个体素确定从多个金属类别中选择的金属类别，优选地，多个金属类别包括与非金属材料相关联的第一金属类别和与金属或含金属的材料相关联的体素的第二类别。

在实施例中，第一3D深度神经网络和/或第二3D深度神经网络包括至少第一数据处理路径以及少平行于第一路径的至第二数据处理路径，该第一数据处理路径至少包括第一集合的3D卷积层，优选地包括第一集合的3D CNN特征层，第二路径包括第二集合的3D卷积层，优选地包括第二集合的3D CNN特征层，第二集合的3D卷积层被配置为确定与被馈送到第一集合的3D卷积层的输入的体素的块相关联的上下文信息。

在实施例中，训练数据可以包括在患者的身体部位的基于金属的治疗之前该身体部位的临床X射线数据的体素表示和在患者的身体部位的基于金属的治疗之后该身体部位的临床X射线数据的体素表示，并且其中，参考数据包括在基于金属的治疗之前的患者身体部位的临床X射线数据的体素表示，其中与身体部位的基于金属的治疗相关联的金属区域如此被识别。如上所述，可以利用这些参考数据(的子集和/或经处理的版本)以朝向准确生成来优化体素图，实际上是优化体素标识信息。

在实施例中，第二3D深度神经网络可以被训练为最小化与初始体素表示中受金属影响的X射线数据相关联的伪影，其中，在训练期间，3D深度神经网络通过第一权重和偏差(bias)被参数化，第一权重和偏差基于由训练数据的一个或多个特性和参考数据集的一个或多个特性得出的关系被选择以优化校正后的体素表示。

在实施例中，第一3D深度神经网络和/或第二3D深度神经网络可以包括和/或可以是3D卷积神经网络、3D生成式对抗神经网络或3D递归深度神经网络的部分。

在一方面，本发明可以涉及用于训练深度神经网络系统以校正受金属影响的X射线数据的体素表示的计算机实现的方法，该方法包括：计算机接收训练数据和参考数据，其中，该训练数据包括在基于金属的治疗之前的患者身体部位的临床X射线数据的体素表示和在基于金属的治疗之后的患者身体部位的临床X射线数据的体素表示，并且其中，该参考数据包括在基于金属的治疗之前的患者身体部位的临床X射线数据的体素表示，其中与基于金属的治疗相关联的金属区域如此被识别；计算机接收与基于金属的治疗之后的患者身体部位的临床X射线数据的体素表示相关联的体素图，体素图识别基于金属的治疗之后的患者身体部位的临床X射线数据的体素表示中受金属影响的体素；以及计算机使用训练数据和参考数据来训练3D深度神经网络，以生成对于通过体素图被分类为属于受金属影响的区域的体素的体素的体素预测，并且基于体素预测校正受金属影响的X射线数据的体素表示中受金属影响的体素。

在另一方面，本发明涉及使用训练数据集和参考数据集训练神经网络以处理受金属影响的X射线数据的体素表示以产生作为受金属影响的区域的部分的体素的体素估计的方法，该方法包括：生成训练数据的集合，该训练数据包括在基于金属的治疗之前的患者身体部位的X射线数据的体素表示、在基于金属的治疗之后的患者身体部位的基于金属的治疗之后的受金属影响的X射线数据的体素表示、以及识别受金属影响的X射线数据的体素表示中的体素是否属于金属区域和/或受金属影响的区域的体素图；生成参考数据集，该参考数据集包括在基于金属的治疗之前的患者身体部位的X射线数据的体素表示；训练生成器神经网络，优选地生成器3D深度神经网络，该生成器神经网络通过从训练数据的一个或多个特性和参考数据集的至少部分的一个或多个特性得到的第一权重和偏差被参数化，其中，生成器神经网络被训练为生成校正后的体素表示，该校正后的体素表示包括对于通过体素图被识别为受金属影响的区域的部分的体素的体素估计，其中，训练生成器3D深度神经网络包括基于从训练数据的一个或多个特性和参考数据集的一个或多个特性得到的关系修改第一权重和偏差中的一个或多个以优化校正后的体素表示；以及训练鉴别器神经网络，优选地，鉴别器3D深度神经网络，该鉴别器神经网络通过第二权重和偏差被参数化，第二权重和偏差从校正后的体素表示的一个或多个特性和参考数据集的至少部分的一个或多个特性而得到，该校正后的体素表示包括对于作为受金属影响的区域的体素的体素估计，其中，鉴别器3D深度神经网络被训练为从处理的体素表示中鉴别出受金属影响的X射线数据的体素表示。在生成器3D深度神经网络的优化期间可以利用从鉴别器3D深度神经网络得到的信息。

在又一方面，本发明涉及一种校正受金属影响的X射线数据(优选地，3D(CB)CT数据)的体素表示的方法，其包括：接收表示受金属影响的X射线数据的初始体素表示；通过使用生成器3D深度神经网络从初始体素表示生成校正后的体素表示，该生成器3D深度神经网络被训练为最小化与初始体素表示中受金属影响的X射线数据相关联的伪影，该生成器3D深度神经网络通过第一权重和偏差被参数化，第一权重和偏差基于从训练数据的一个或多个特性和参考数据集的一个或多个特性得到的关系被选择以优化校正后的体素表示，在所述优化和所述生成器3D深度神经网络的训练期间已经利用了从鉴别器3D深度神经网络产生的信息。

在实施例中，生成器3D深度神经网络和/或鉴别器3D深度神经网络可以被配置为3D卷积神经网络和/或3D深度递归神经网络。

在另一方面，本发明可以涉及一种计算机系统，该计算机系统适配为校正受金属影响的X射线数据(优选地，3D(CB)CT数据)的体素表示，该计算机系统包括：其上包含有计算机可读程序代码的计算机可读存储介质，该程序代码包括预处理算法和至少一个训练过的第一3D深度神经网络，计算机可读程序代码；以及耦合至计算机可读存储介质的处理器，优选为微处理器，其中响应于执行第一计算机可读程序代码，该处理器被配置为执行可执行的操作，包括：将受金属影响的X射线数据的第一体素表示提供给第一3D深度神经网络的输入，在第一3D深度神经网络的输出处接收体素标识信息，该体素标识信息至少识别第一体素表示的属于受金属影响的体素的区域的体素；提供第二3D深度神经网络，该第二3D深度神经网络在其输入处接收第一体素表示和由第一3D深度神经网络生成的体素标识信息，并在其输出处为由体素标识信息标识的第一体素表示的每个体素生成预测的体素值，该第二3D深度神经网络基于训练数据和参考数据来预测预测的体素值，该训练数据和参考数据包括患者的预定的身体部位的临床X射线数据的体素表示；以及确定校正后的第一体素表示，该校正后的第一体素表示包括由体素图标识的体素位置处的预测的体素值。

本发明还可以涉及一种包括软件代码部分的计算机程序产品，该软件代码部分被配置为当在计算机的存储器中运行时，执行根据上述任何处理步骤的方法步骤。

将参照附图进一步说明本发明，附图将示意性地示出根据本发明的实施例。将理解的是，本发明不以任何方式限于这些特定实施例。

附图说明

图1描绘了根据本发明的实施例的用于自动校正受金属影响的X射线数据的体素表示的系统的高级概况；

图2描绘了根据本发明的实施例的被配置为自动校正受金属影响的X射线数据的体素表示的系统；

图3描绘了根据本发明的实施例的用于确定体素表示中受金属影响的区域的系统；

图4描绘了根据本发明的实施例的训练3D深度神经网络以对受金属影响的X射线数据的体素表示进行分类的方法；

图5A和5B描绘了根据本发明的实施例的用于对受金属影响的X射线数据的体素表示进行分类的3D深度神经网络架构的示例；

图6描绘了根据本发明的实施例的用于校正受金属影响的X射线数据的体素表示的系统；

图7A和7B描绘了根据本发明的实施例的训练3D深度神经网络以校正受金属影响的X射线数据的体素表示的方法；

图8A和8B描绘了可以在本申请的实施例中使用的体素表示的示例；

图9A-9C描绘了可以由本公开中的实施例利用或生成的体素表示；

图10描绘了根据本发明的实施例的基于生成式对抗网络来校正受金属影响的X射线数据的体素表示的系统的示意图；

图11描绘了根据本发明的实施例的生成式对抗网络的鉴别器部分的示意图；

图12描绘了根据本发明的实施例的递归神经网络的示意图；

图13描绘了示出可以与本公开中描述的实施例一起使用的示例性数据处理系统的框图。

具体实施方式

图1描绘了根据本发明的实施例的被配置为自动校正受金属影响的X射线数据的体素表示的系统的高级概况。如图1所示，该系统包括3D深度神经网络系统102，该3D深度神经网络系统102包括用于接收包括一个或多个伪影的X射线数据的体素表示104的输入。X射线数据的体素表示可以由不同的X射线成像仪(例如，CT成像仪或CBCT成像仪)生成。伪影是由金属或含金属的对象引起的，例如牙科领域中，由在由X射线成像仪成像的组织体积中存在的植入物或牙科填充物引起。当基于反投影过程生成X射线数据的体素表示时，某些体素的体素值将受到金属或含金属的对象的影响。受金属影响的体素值可以表示X射线数据的体素表示中的伪影，这可能会严重劣化图像的质量。3D深度神经网络系统102被配置为自动检测伪影并生成X射线数据的校正后的体素表示106，其中伪影被去除或至少显著地减少。特别地，3D深度神经网络系统104被配置为将金属伪影的存在减少到使得该伪影不会干扰用户清楚地感知不同组织和对应的形状的能力的程度，同时完整保留有关金属对象(例如，钛植入物或复合填充物)的关键信息。

图2描绘了根据本发明的实施例的被配置为自动校正受金属影响的X射线数据的体素表示的系统。如该图所示，系统202可以包括第一系统组件208，该第一系统组件208包括第一3D深度神经网络212，其用于识别X射线数据的体素表示204中受金属影响的体素。受金属影响的体素可以形成体素表示中受金属影响的区域-伪影。第一系统组件208可以用作包括第二3D深度神经网络的第二系统组件210的预处理器。第一3D深度神经网络可以处理输入数据，即，受金属影响的X射线数据的体素表示，并生成输出数据，该输出数据被输入到包括第二3D深度神经网络的第二系统组件，该第二3D深度神经网络被配置为校正作为受金属影响的区域的部分的体素值。第一3D深度神经网络被训练为生成标识信息，用于识别第一体素表示的体素的体素值的至少部分是否是受金属影响的区域(伪影)和/或金属或含金属的区域(例如，植入物或牙齿填充物)的部分。

在实施例中，标识信息可以包括3D体素图，其可以具有体素表示的形式，该体素表示的尺寸与在第一3D深度神经网络的输入处呈现的受金属影响的X射线数据的体素表示相匹配。这样，体素图中的每个体素在X射线数据的体素表示中可具有对应的体素。体素图的每个体素可以与一个或多个概率量度相关联，概率量度可以用于确定第一体素表示中对应的体素的体素值是否是受金属影响的区域或者金属区域的一部分。如果一个或多个概率量度高于某个阈值或在某个范围内，则系统可以确定体素属于金属区域或者受金属影响的区域。如果体素属于受金属影响的区域，则系统可以确定体素值应该被校正。

因此，第一3D深度神经网络被配置为例如以3D图对象的形式生成标识信息，该3D图对象定位属于受金属影响的区域或金属区域的X射线数据的体素表示中感兴趣的体积。此外，第一3D深度神经网络可以被训练为识别体素表示中包含金属或含金属的材料的体积，并为其分配“材料类别”，例如，钛、金、汞合金、复合材料等,。如图2所示，第二3D深度神经网络在其输入处接收标识信息和受金属影响的X射线数据的体素表示，并生成其中去除或至少显著减少了伪影的X射线数据的校正后的体素表示。

图3描绘了根据本发明的实施例的用于确定体素表示中的受金属影响的区域的系统。该系统可以被实现为计算机系统302，该计算机系统302被配置为接收受金属影响的X射线数据的体素表示304，并使用训练过的3D深度神经网络来确定该体素表示中受金属影响的区域，该训练过的3D深度神经网络被配置为确定体素表示中的金属区域和/或受金属影响的区域。受金属影响的X射线数据的体素表示304可以包括牙颌面结构(dento-maxillofacial structure)的3D图像数据栈，该牙颌面结构包括身体部位的组织结构，例如，牙颌面结构结构中的颌结构、牙齿结构和神经结构，并且包括存在于身体部位的结构中的金属或含金属的结构(例如，牙科填充物和/或牙科植入物(的部分))。X射线数据的体素表示可以包括体素，即与(至少)表示辐射强度或放射密度值的体素值(例如，灰度值或颜色值)相关联的3D空间元素。这样的放射密度值可以以亨氏单位(HU)进行测量。体素表示可以限定体素空间，即具有一定尺寸的体素的体积。体素表示可以包括3D图像数据栈，该3D图像数据栈表示预定格式(例如，DICOM格式或其派生形式)的(CB)CT X射线数据。在扫描期间，生物组织中金属的存在将影响X射线数据以及X射线成像仪的传感器对X射线数据的感测。因此，从X射线数据得出的体素值可能会受到金属结构的影响。因此，受金属影响的X射线数据的体素表示304包括形成一个或多个伪影的受金属影响的体素，这可能会严重劣化图像数据的质量。这在X射线成像中，特别是在诸如CBCT X射线扫描等低剂量X射线成像中是实质性的问题。

图3的系统可以被实现为参照图2描述的系统中的系统组件(并且可以被视为预处理器)。该系统具有训练模式和推断模式。在训练模式中，可以根据预定的训练方案来训练3D深度神经网络316，使得训练后的神经网络能够将受金属影响的X射线数据的体素表示的体素准确地分类为不同类别的体素(例如，与不同金属、受金属影响的区域相关联的体素等)。深度神经网络被训练为生成体素图318作为输出，该体素图318包括分类的金属和/或受金属影响的区域的体素。受金属影响的X射线数据的体素表示可以用于确定训练集。在推断模式下，受金属影响的X射线数据的新体素表示可以被提供给受过训练的3D深度神经网络的输入，并且作为响应，神经网络将生成识别输入数据中金属区域和受金属影响的区域的体素的体素图。

3D训练数据可以包括标记的受金属影响的X射线数据的体素表示。另外，受金属影响的X射线数据的体素表示可以被分割312为金属区域的体素表示和受金属影响的区域的体素表示314。这些数据可以基于手动分割过程或基于自动分割过程使用例如训练过的神经网络而生成。一种用于对X射线数据的体素表示进行分割的自动分割系统在同一申请人的相关欧洲专利申请17179185.8(题为“classification and 3D modelling of 3Ddento-maxillofacial structures using deep learning networks(使用深度学习网络对3D牙颌面结构进行分类和3D建模)”)中进行了描述，其在此通过引用并入本申请。

在CBCT扫描中，以Hounsfield单位(HU)测量的放射密度是不准确的，因为扫描中的不同区域根据它们在被扫描器官中的相对位置而出现不同的灰度值。通过CBCT和医学级CT扫描仪两者从同一解剖区域测量的HU并不相同，因此对于确定特定于位置的放射成像识别的骨密度不可靠。此外，CBCT系统没有采用标准化的系统来缩放表示重建的密度值的灰度级。这样，这些值是任意的，因此无法评估骨骼质量。在没有这种标准化的情况下，很难解释灰度级，甚至无法比较不同机器所产生的值。例如，在牙颌面结构的CBCT体素表示中，牙齿和颌骨结构具有相似的密度，因此计算机很难区分属于牙齿的体素和属于颌的体素。另外，CBCT系统对被称为光束硬化的伪影非常敏感，这些伪影会在两个高衰减对象(例如，金属或骨骼)之间产生深色条纹，而周围是明亮条纹。

为了使3D深度神经网络对例如当前CBCT型体素表示中存在的可变性具有鲁棒性，在实施例中，3D训练数据还可以包括可能出现在受金属影响的X射线数据的体素表示304中的金属对象或非金属对象的(高分辨率)3D模型。3D模型可以包括金属对象的3D表面网格和/或非金属对象(例如，X射线数据中的身体部位(骨骼组织或牙齿))的3D表面网格。这样的3D表面网格可以通过例如公知的光学(激光)扫描仪或用于生成牙齿的3D网格的口内光学扫描仪生成。在某些情况下，需要对3D表面网格进行分割以分离相关结构。分割模块324可以将3D表面网格(例如，牙齿的口内扫描)分割成各个分割后的对象，例如，多个3D表面网格，其中每个表面网格表示一个牙齿。将3D表面网格划分为单独的3D表面网格是本领域中公知的技术。在另一步骤(未示出)中，分割后的表面网格可以与分割后的体素表示对准。然后，(对准后的)分割的表面网格可以被转换326为体素表示，例如，二进制体素表示，其中表示对象(例如，牙齿)的表面的体素以及位于对象内的体素的体素值被设置为第一值，例如1，而对象外部的体素被设置为第二值，例如0。这样获得的3D模型的体素表示328可以用作附加训练数据，以便训练深度神经网络以准确确定在受金属影响的X射线数据的体素表示中的金属区域和受金属影响的区域。

图4描绘了根据本发明的实施例的训练3D深度神经网络以对受金属影响的X射线数据的体素表示进行分类的方法。特别地，图4描绘了3D深度神经网络的训练以对牙颌面复合体的受金属影响的(CB)CT数据的体素表示402进行分类。如该图所示，第一3D深度神经网络可以基于以下来训练：标记的受金属影响的体素表示，例如受金属影响的(CB)CT数据的体素表示402，以及从表示金属对象404(例如，植入物和填充物)和受金属影响的区域(伪影)406的受金属影响的体素表示得出(分割)的标记的体素表示。另外，在一些实施例中，3D深度神经网络还可以基于被标记为非金属对象的非金属对象408(牙齿和骨骼结构)来训练。

这些体素表示的体素关于该体素所属的材料类别被标记。在实施例中，材料的类别可以包括：金属、非金属、受金属影响(伪影)和非金属(非伪影)。此外，所有这些体素表示的体素空间与第一3D深度神经网络的输入的体素空间相同。目标训练数据表示3D体素图的集合，受金属影响的(CB)CT数据的每个体素表示有一个体素图。3D体素图具有与馈送到神经网络的输入的体素表示相同尺寸的体素空间，因此3D体素图的每个体素与提供给3D深度神经网络的输入的体素表示的体素相对应。3D体素图中的每个体素都与体素信息相关联，该体素信息指示在第一3D深度神经网络的输入处的体素表示的对应的体素是否是金属对象和/或受金属影响的对象的一部分。

在实施例中，可以使用附加的3D数据来训练第一3D深度神经网络。如已经参考图3所描述的，可以使3D深度神经网络对例如当前的CBCT型体素表示中存在的可变性具有鲁棒性。这可以通过从金属对象或非金属对象的(高分辨率)3D模型得出的3D训练数据来实现。在实施例中，可以使用例如3D光学扫描仪生成在牙颌面复合体(例如，牙冠和/或植入物)的(CB)CT数据中的金属对象的高分辨率3D表面网格412，随后将其转换为金属对象的体素表示418。体素表示的体素可以被标记，以识别表示某种类别的金属的体素。类似地，可以基于3D表面网格414生成在牙颌面复合体(例如，牙齿和/或颌骨)的(CB)CT数据中的非金属对象的标记的体素表示420。

在一些实施例中，金属或非金属对象的一些3D表面网格可以是在牙颌面复合体的受金属影响的(CB)CT数据的体素表示402中描绘的相同对象。在这种情况下，分割的3D表面网格(例如，预定的牙齿)可以对准(叠加)416到牙颌面复合体的受金属影响的(CB)CT数据的体素表示中同一牙齿的分割的体素表示408。从3D表面网格得出的金属和非金属对象的标记的体素表示可以用作训练数据，以训练用于分类受金属影响的区域和/或金属区域的第一3D深度神经网络。这样的对准可以通过单独的3D深度神经网络来执行。

这样，3D深度神经网络被训练为对金属区域和受金属影响的区域中的体素表示的体素进行分类，并生成指示体素表示中每个体素的分类的3D体素图。对于每个体素，3D深度神经网络可以生成体素信息。在实施例中，体素信息可以包括向量，该向量包括一个或多个概率量度。概率量度提供有关体素属于某个类别(例如，金属类)的可能性的信息。金属材料类别可以限定许多不同的金属，例如钛、金、汞合金等。在训练过程中，深度神经网络可以学习到表示可以在颌/骨骼/牙齿中发现的含金属的对象的体素应被分类为金属。这些含金属的对象是原始图像(堆栈)的一部分，因此应保持完整。另外，神经网络将学习到被分类为金属并且位于表示金属或含金属的对象的体素“外部”(即，在金属对象的边界之外)的体素应被分类为受金属影响的体素(即，作为伪影的部分的体素)。

例如，可能存在由成像仪确定的体素值是将与金属有关的值的情况。但是，体素可能位于从可用信息中已知被被正确地分类为金属的体素的体积的外部。在这种情况下，受过训练的3D深度神经网络可以确定体素值(例如，以亨氏单位(HU)测量的放射密度)是受位于体素附近的金属或含金属的对象影响的值。在这种情况下，第一3D深度神经网络可以确定该体素应被分类为受金属影响的体素，其需要通过第二3D深度神经网络(如图2所示)来校正。

图5A和5B描绘了根据本发明的实施例的用于对受金属影响的X射线数据的体素表示进行分类的3D深度神经网络架构的示例。如图5A所示，该网络可以使用3D卷积神经网络(3D CNN)来实现。卷积层可以使用激活函数。可以使用多个3D卷积层，其中，可以在实施中使用层数及其限定参数的微小变化(例如，不同的激活函数、核数量和大小)以及附加功能层(例如，丢弃层(dropout layer))，而不会丢失3D深度神经网络设计的本质。

如图5A所示，网络可以包括多个卷积路径。例如，在实施例中，网络可以至少包括与3D卷积层的第一集合504相关联的第一卷积路径、与3D卷积层的第二集合506相关联的第二卷积路径以及与3D卷积层的第三集合508相关联的第三卷积路径。卷积路径的输出可以被合并，结果可以由全连接层510处理，该全连接层510被配置为输出每个体素每个类别的概率。受金属影响的X射线数据、3D CT图像数据的体素表示502可以被馈送到第一、第二和第三卷积路径的输入。

在图5B中更详细地示出了每个不同的卷积路径的功能。如该图所示，表示3D图像数据的体素被馈送到神经网络的输入。这些体素可以限定预定的体积，其可以被称为图像体积521。图像体积可以被划分在第一块520

如图5B所示，第二路径522

第一路径522

尽管图5B描绘了包括三个卷积路径522

多个3D CNN特征层可以被训练(通过其可学习的参数)为导出并传递可以从其特定输入确定的最佳有用信息，全连接层532可以对参数进行编码，这些参数将确定应该组合来自三个先前路径的信息以提供分类的体素534的最佳概率的方式。此后，可以在输出的图像空间538中呈现概率536，该输出的图像空间可以具有输入的图像空间的尺寸。因此，3D深度神经网络的输出是与输入处的体素的图像空间相对应的图像空间中的每个体素的分类概率。

通过使损失函数最小化，其中所述损失函数表示3D深度神经网络的输出与表示对于预定输入(即，训练集)的期望输出的目标数据(即，分类的体素数据)之间的偏差，可以使用优化方法来学习3D深度神经网络的网络参数的最优值。当损失函数的最小化收敛到某个值时，可以认为训练过程适合于应用。各个层的激活函数可能不同，并且可以例如设置为线性、S形、正切和/或ReLu。

图6描绘了根据本发明的实施例的用于校正受金属影响的X射线数据的体素表示的系统。特别地，该图描绘了计算机系统602，该计算机系统602用于使用3D深度神经网络612来校正受金属影响的X射线数据的体素表示，该3D深度神经网络被训练用于校正体素表示中受金属影响的区域。该系统具有训练模式和推断模式。在训练模式中，可以根据预定的训练方案来训练3D深度神经网络612，使得训练后的神经网络能够准确地预测受金属影响的体素表示中的体素的体素值。深度神经网络被训练为生成其中受金属影响的区域被校正的X射线数据的体素表示638。在推断模式下，受金属影响的X射线数据的新体素表示可以被提供给受过训练的3D深度神经网络的输入，并且作为响应，该神经网络将生成除了受金属影响的体素被校正之外与输入处的体素表示类似的体素表示。因此，对3D深度神经网络进行训练，以使输出提供没有金属引起的伪影的原始3D图像的准确近似。

3D训练数据可以包括在治疗之前和之后的患者的标记的体素表示，特别是例如在牙科领域，基于金属的治疗(例如，植入物放置、牙齿修复、正畸矫治器、牙桥放置、牙根管填充、牙根桩、接骨板和螺钉)之前和之后的患者的标记的体素表示。换句话说，它包括在治疗之前(即，在将金属对象植入患者的身体部位之前)患者的部位的第一标记的体素表示603和治疗之后(即，在将金属对象植入患者身体部位后)同一患者的同一部位的第二标记的体素表示604。此外，在实施例中，训练数据还可以包括X射线数据的体素表示604的体素图614，该X射线数据包括由第一深度神经网络生成的金属区域和受金属影响区域。体素图用于训练第二3D深度神经网络612，以识别哪些体素与需要校正的受金属影响的区域(伪影)有关。

在实施例中，在训练数据被馈送到3D深度神经网络的输入之前，对准过程611可以应用于训练数据,即标记的体素表示603、604以及在适用时的体素图614。在该对准过程中，体素表示中的结构可以相对于彼此对准。这可以手动或自动执行。在图像配准领域，考虑到自动对准的各种方法是已知的，例如基于关键点检测的方法、基于强度的方法等。

训练数据还可以包括目标数据，该目标数据包括患者的部位的X射线数据的目标体素表示，其中，该体素表示包括金属对象(由于基于金属的治疗)，但是其中没有受金属影响的区域。这种目标体素表示可以基于治疗前后的X射线数据的体素表示以及识别金属区域和受金属影响的区域的体素图来构建。特别地，体素图可用于识别治疗后的体素表示中的金属区域的体素。这些体素可以被适当地表示(插入)在治疗前的体素表示中，从而基于临床数据生成真实的基本事实(realistic ground truth)。参照图7A更详细地描述生成这种目标数据的示例。

针对每位患者，生成包括上述输入数据和目标数据的训练数据的集合。然后，训练数据用于训练3D深度神经网络，以校正体素图所标识的受金属影响的区域。下面参考图7-10更详细地描述训练3D深度神经网络的示例。

在训练期间，3D深度神经网络将基于临床训练数据进行学习，以生成受金属影响的体素表示中体素的真实体素预测。3D深度神经网络将进一步学习生成受金属影响的X射线数据的体素表示，其中，受金属影响的体素被体素预测替换。这样，生成了受金属影响的X射线数据的体素表示，其中与受金属影响的区域关联的体素基于3D深度神经网络生成的体素预测而被校正。

图7A和7B描绘了根据本发明实施例的训练3D深度神经网络以校正受金属影响的X射线数据的体素表示的方法。特别地，图7A描绘了训练3D深度神经网络以对牙颌面复合体的受金属影响的(CB)CT数据的体素表示进行分类的示意图。如该图所示，第一3D深度神经网络可以基于从患者的牙颌面复合体702得到的训练数据(即，患者的治疗之前706和治疗之后704的X射线图像)进行训练，该训练数据包括表示包括金属区域和受金属影响的区域的牙颌面结构的X射线数据的标记的体素表示712、表示没有金属区域和受金属影响的区域的牙颌面结构的X射线数据的体素表示714和识别体素表示712中的金属和/或受金属影响的区域的体素的体素图715。在一些实施例中，3D深度神经网络还可以基于在患者的治疗期间使用的含金属的对象的体素表示710来训练。这种含金属的对象的3D表面网格708可以使用3D光学扫描仪生成，并从每个3D网格中得出体素表示，其中该体素表示具有与用作训练数据的其他体素表示相同的尺寸。

适用时，可以再次对准3D数据的各种表示,例如体素表示和/或表面网格，以在同一体素空间中适当地重合。这可以手动完成或自动完成711

另外，可以基于治疗前和治疗后的X射线数据的图像(堆栈)和体素图来生成准确且真实的目标数据。在图7B中更详细地描绘了该过程。如该图所示，目标体素表示可以从患者治疗之前和之后的对准的721

基于临床训练数据训练3D深度神经网络将得到训练过的3D深度神经网络，其能够为受金属影响的体素表示中的体素生成真实的体素预测。

图8A和8B描绘了可以在本申请的实施例中使用的体素表示的示例。特别地，图8A描绘了牙颌面结构(在这种情况下为牙齿的集合)的3D网格802和3D网格的部分的经金属治疗的牙齿的部分的体素表示804(DICOM3D数据集)的概况，其中部分体素与受金属影响的X射线数据相关联。出于此图的目的，体素表示位于3D网格内，以使其与其所属的3D网格的部分重合。图8B示出了同一体素表示808及其所属的牙齿806的3D网格的放大部分。该图清楚地示出了描述可用于训练本公开中描述的神经网络的样本大小(在该特定示例的情况下，宽、长和高为64个体素)的体素表示的尺寸。

图9A-9C描绘了可以由本公开中的实施例利用或生成的体素表示。体素表示可以涉及如图8A和8B所描绘的牙颌面结构的相同部分。特别地，图9A描绘了包括金属区域和受金属影响区域的体素表示，其可以用作系统的输入数据，该系统用于自动校正受金属影响的X射线数据的体素表示。在该图中，去除了一个体素块，以便可以看到体素表示的“内部”。在图9A中，白色区域906

图9B描绘了再次具有已被省略的体素块的体素表示808。对于该体素块，如参考图3所述，已经通过3D深度神经网络生成了体素图。该体素图在图9B中描绘，并且包括分类的金属区域910

在本公开的实施例中可以使用不同的神经网络架构。图10描绘了根据本发明的实施例的基于生成式对抗神经网络来校正受金属影响的X射线数据的体素表示的系统的示意图。如该图所示，需要被训练以校正受金属影响的区域的体素的3D深度神经网络1006被称为生成器网络。在训练期间，生成器网络接收受金属影响的X射线数据的体素表示1002和相关联的体素图(可能由3D深度神经网络1004生成，该3D深度神经网络被配置为确定体素表示中的金属区域和/或受金属影响的区域)。另外，生成器网络可以从鉴别器网络1012接收反馈1010，鉴别器网络1012或者接收表示包括金属区域的牙颌面结构的X射线数据的目标训练体素表示，即符合“现实生活”情况的图像(堆栈)，其随后可被视为与“目标体素表示”732、1014相同。将其作为目标训练数据馈送到第二3D深度神经网络，或者其接收由生成器网络1008生成的体素表示，即其中校正了受金属影响的区域的体素表示。鉴别器网络的主要任务是区分它作为输入接收的体素表示是生成器网络的校正的输出体素表示还是目标体素表示732、1014。如果其已经给出的输出是正确的，即，如果正如鉴别器所指示的，体素表示确实是“校正的”或者“真实的”，则作为回应，鉴别器接收反馈。此信息帮助生成器网络有效地学习用那些区域的真实体素预测替换受金属影响的体素，因为生成器和鉴别器均从给定的反馈中学习。

图11更详细地描绘了鉴别器网络。在此，鉴别器网络1100被配置为在目标体素表示和受金属影响的区域的体素被校正的体素表示之间进行区分。因此，在训练期间，可以(随机地)为鉴别器网络呈现目标体素表示或生成者网络1008的输出体素表示。作为响应，鉴别器网络生成鉴别器的输入处的体素表示是“真实的”目标体素表示还是由生成器网络创建的校正后的体素表示的指示。然后，鉴别器网络将生成“分数”，指示呈现的体素表示是真实的还是校正的。例如，在实施例中，鉴别器可以具有二进制输出1106，其中，“1”可以指示体素表示是目标表示1102，而“0”可以指示体素表示是校正的体素表示1104。如果在训练期间生成器网络生成校正后的体素表示，鉴别器可以将其与目标体素表示区分开，则这将是对于系统的信号，表明这样的校正后的体素表示不够“真实”。因此，以这种方式，将激励生成器网络产生校正的体素表示，该校正的体素类似于训练集(例如，如参考图7A和7B所述的临床训练数据)的目标体素表示。

生成器网络生成的体素预测越真实，鉴别器将两者区别开来就越具有挑战性。因此，鉴别器区别两者的能力是对由生成器生成的体素校正的质量的量度。该信息可以通过反向传播1108被反馈给鉴别器1100以及生成器网络1110。这样，生成器被训练为生成受金属影响的区域的体素的准确体素预测。表示GAN的生成器网络的深度神经网络1102可以是任何类型的3D深度神经网络，包括(深度)卷积神经网络或递归神经网络。

图12A和12B描绘了根据本发明的实施例的3D深度递归神经网络的示意图。递归神经网络是特别适合基于图像中的像素之间或(视频或3D数据堆栈的)图像序列之间的长期依赖性来预测像素值的一类网络。对于3D情况也是如此，其中，体素表示中的体素之间的长期依赖性可以用于预测体素。

图12A示出了深度递归神经网络，其包括体素输入1202、3D深度神经网络(例如，3D卷积神经网络)、包括由权重和偏差参数化的一个或多个内部隐藏的状态和输出1206，其中，添加了层，该层考虑了权重和偏差以及一个或多个先前状态的输出(的一部分)。考虑先前状态的数量及其对应的权重和偏差以计算后续状态的输出，先前状态的数量及其对应的权重和偏差可以指示关于层数方面的递归神经网络的深度，例如，图12B所示的深度递归神经网络由三层组成。在图12B中更详细地示出了深度递归神经网络方案。如图12B所示，输入x

图13是示出可在如本公开中描述的实施例中使用的示范性数据处理系统的框图。数据处理系统1300可以包括通过系统总线1306耦接到存储器元件1304的至少一个处理器1302。这样，数据处理系统可以将程序代码存储在存储器元件1304内。此外，处理器1302可以执行经由系统总线1306从存储器元件1304访问的程序代码。在一方面，数据处理系统可以被实现为适合于用于存储和/或执行程序代码的计算机。然而，应当理解，数据处理系统1300可以以包括能够执行本说明书内描述的功能的处理器和存储器的任何系统的形式来实现。

存储器元件1304可以包括一个或多个物理存储器装置，诸如例如本地存储器1308和一个或更多个大容量存储装置1310。本地存储器可以是指随机存取存储器或在程序代码的实际执行期间通常使用的其他非持久性存储器装置。大容量存储装置可以被实现为硬盘驱动器或其他持久性数据存储装置。处理系统1300还可以包括一个或更多个高速缓冲存储器(未示出)，其提供至少一些程序代码的临时存储，以便减少在执行期间必须从大容量存储装置1310中取回程序代码的次数。

描绘为输入装置1313和输出装置1314的输入/输出(I/O)装置可以可选地耦接到数据处理系统。输入装置的示例可以包括但不限于例如键盘、诸如鼠标的定点装置等。输出装置的示例可以包括但不限于例如监视器或显示器、扬声器等。输入装置和/或输出装置可以直接或通过中间I/O控制器耦接到数据处理系统。网络适配器1316也可以耦接到数据处理系统，以使其能够通过中间专用或公共网络耦接到其他系统、计算机系统、远程网络装置和/或远程存储装置。网络适配器可以包括：数据接收器，用于接收由所述系统、装置和/或网络传输到所述数据的数据；以及数据发送器，用于将数据传输到所述系统、装置和/或网络。调制解调器、电缆调制解调器和以太网卡是可以与数据处理系统1350一起使用的不同类型的网络适配器的示例。

如图13所示，存储器元件1304可以存储应用程序1318。应当理解，数据处理系统1300还可以执行可以促进应用程序的执行的操作系统(未示出)。以可执行程序代码的形式实现的应用程序可以由数据处理系统1300执行，例如由处理器1302执行。响应于执行应用程序，数据处理系统可以被配置为执行本文将进一步详细描述的一个或更多个操作。

在一方面，例如，数据处理系统1300可以表示客户端数据处理系统。在这种情况下，应用程序1318可以表示客户端应用程序，所述客户端应用程序在被执行时配置数据处理系统1300以执行本文中参照“客户端”描述的各种功能。客户端的示例可以包括但不限于个人计算机、便携式计算机、移动电话等。

在另一方面，数据处理系统可以表示服务器。例如，数据处理系统可以表示(HTTP)服务器，在这种情况下，应用程序1318在被执行时可以配置数据处理系统以执行(HTTP)服务器操作。在另一方面，数据处理系统可以表示本说明书中所指的模块、单元或功能。

本文所使用的术语仅出于描述特定实施例的目的，而不意图限制本发明。如本文所使用的，单数形式“一”、“一个(种)”和“该(所述)”也意图包括复数形式，除非上下文另外明确指出。将进一步理解的是，当在本说明书中使用术语“包括”和/或“包含”时，指明存在所述特征、整体、步骤、操作、元件和/或组件，但并不排除存在或附加一个或更多个其他特征、整体、步骤、操作、元件、组件和/或其组。

以下权利要求中的所有部件或步骤加上功能元件的对应结构、材料、作用和等同物旨在包括用于与具体要求保护的其他要求保护的元件组合地执行功能的任何结构、材料或作用。已经出于说明和描述的目的给出了本发明的描述，但并不意图是穷举的或将本发明限制为所公开的形式。在不脱离本发明的范围和精神的情况下，许多修改和变化对于本领域普通技术人员而言将是明显的。选择并描述实施例是为了最好地解释本发明的原理和实际应用，并使本领域的其他普通技术人员能够理解本发明的各种实施例以及适合于预期的特定用途的各种修改。