基于神经网络模型对病灶区进行评估的设备和相关产品

摘要

本发明涉及一种基于神经网络模型对病灶区进行评估的设备和相关产品。所述设备包括一个或多个处理器、第一神经网络模块、第二神经网络模块以及一个或多个计算机可读存储介质，其中第一神经网络模块接收并处理与肺部病灶区图像相关的图像数据，以获得目标向量数据。第二神经网络模块接收并且处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果。利用本发明的方案，可以提取出肺部病灶区域的高阶几何特征并且对包括新冠肺炎的肺炎进行有效评估和预测。

说明书

技术领域

本发明总体上涉及图像处理领域。更具体地，本发明涉及一种基于神经网络模型对肺部病灶区进行评估的设备和计算机可读存储介质。

背景技术

随着图像处理技术的不断演进，当前对包括肺部病灶区域的病灶区图像的研究快速发展。众所周知，病灶区域图像中通常包含有助于临床诊断的丰富信息，因此对病灶区域的图像特征进行有效的提取和分析显得尤为重要。目前传统的处理方式是提取病灶区域的影像学特征，并将影像学特征用于后续的分析和研究，以期对病灶区域做出评价。然而，如何有效地提取病灶区域的特征并且基于该特征对病灶区域进行有效的评估和预测成为亟需解决的问题，特别是当该肺部病灶区域包括新冠状病毒所感染的区域。

发明内容

为了至少解决上面的技术问题，本发明提供一种基于神经网络模型对肺部病灶区进行评估的设备。具体来说，本发明使用了基于神经网络的技术来接收并处理图像数据以输出用于评估肺部病灶区域的评估结果。利用该评估结果，本发明的方案可以对肺部病灶区随时间的发展情况进行预测。为此，本发明在如下的多个方面提供相应的解决方案。

在第一方面中，本发明提供一种基于神经网络模型对肺部病灶区进行评估的设备，包括：一个或多个处理器；第一神经网络模块；第二神经网络模块；以及一个或多个计算机可读存储介质，其存储有实现所述第一神经网络模块和第二神经网络模块的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得：第一神经网络模块接收并处理与肺部病灶区图像相关的图像数据，以获得目标向量数据，其中所述图像数据包含与肺部病灶区图像相关的原始数据和/或与肺部病灶区图像的几何特征相关的二维数据；以及第二神经网络模块接收并且处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果。

在一个实施例中，与所述肺部病灶区图像相关的图像数据包括在多个不同时刻获取的、与肺部病灶区相关的多组图像子数据。

在一个实施例中，所述一个或多个计算机可读存储介质还存储有获得所述二维数据的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得：基于所述原始数据来生成二维网格；以及利用所述二维网格来确定几何特征，并且将所述几何特征表示为图片，以作为所述二维数据。

在一个实施例中，所述几何特征包括基于所述肺部病灶区图像所获得的高斯曲率、平均曲率或者共形因子。

在一个实施例中，所述肺部病灶区图像是感染有新冠状病毒的肺部区域图像，并且所述第一神经网络模块包括多个编码器和特征提取器，其中：所述多个编码器中的每个编码器包括多个卷积层，其配置用于对所述图像数据进行多层卷积处理，以从所述图像数据获得针对于不同几何特征的多个特征向量；以及所述特征提取器，其配置用于对所述多个特征向量执行特征融合操作，以获得所述目标向量数据。

在一个实施例中，所述多个卷积层串行连接，并且串行连接的最后一个卷积层的输出端连接至所述特征提取器的输入端。

在一个实施例中，所述特征融合操作包括对所述多个特征向量执行数据拼接操作，以便输出所述目标向量数据。

在一个实施例中，所述第二神经网络模块包括长短期记忆神经网络，其配置成接收和处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果。

在一个实施例中，所述评估结果包括肺部病灶区的病灶质量信息，该病灶质量信息至少用于预测或判断感染所述新冠状病毒的患者的病情严重程度和/或病情发展趋势。

在第二方面中，本发明提供一种计算机可读存储介质，其包括用于基于神经网络模型对肺部病灶区图像进行评估的计算机程序，当所述计算机程序由上述的设备执行时，使得所述设备输出用于评估所述肺部病灶区图像的评估结果。

通过上述在多个方面对本发明方案的描述，本领域技术人员可以理解本发明的方案能够高效地利用神经网络技术来对图像数据进行分析和评估，从而对包括在图像中的肺部病灶区的发展做出合理的评估和预测。在一个应用场景中，当肺部病灶区包括感染有新冠状病毒的病灶区时，通过利用本发明的设备对其进行评估，可以预测新冠肺炎的严重程度及进展可能，从而能够为患者提供有效的医学干预。进一步，本发明的二维数据包括提取自肺部病灶区的几何特征的数据，使得到的评估结果对于患者的病情更具有解释性，从而令评估结果更为准确和更具参考性。另外，本发明的神经网络模块利用特征融合操作来对数据进行融合，从而能够有效地提取和处理图像数据中的特征，由此提高了预测和评估的准确性。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：

图1是示出根据本发明实施例的基于神经网络模型对肺部病灶区进行评估的评估系统的架构图；

图2是示出根据本发明实施例的肺部病灶区的几何特征的提取方法的流程图；

图3是示出可以用于本发明的病灶区域的原始图像数据；

图4a是示出根据本发明实施例的沿闭合曲线切开后获得的第一拓扑圆盘；

图4b是示出根据本发明实施例的沿闭合曲线切开后获得的第二拓扑圆盘；

图5是示出根据本发明实施例的获取闭合曲线方法的流程图；

图6是示出根据本发明实施例的示例性三角形网格；

图7是示出根据本发明实施例的拓扑圆盘内部映射到单位矩形内形成调和映射的调和像点的方法的流程图；

图8是示出根据本发明实施例的拓扑圆盘内部映射到单位矩形内形成调和映射的调和像点的方法的详细流程图；

图9是示出根据本发明实施例的形成病灶区域的几何特征图片的操作的简化流程图；

图10a是示出根据本发明实施例的原始未切分封闭网格的示例性示意图；

图10b是示出根据本发明实施例的确定像素值的示例性示意图；

图11a是示出根据本发明实施例的基于高斯曲率形成的图片；

图11b是示出根据本发明实施例的基于平均曲率形成的图片；

图11c是示出根据本发明实施例的基于共形因子形成的图片；

图12是示出根据本发明实施例的第一神经网络模块的操作框图；

图13示出根据本发明实施例的编码器的操作框图；

图14是示出根据本发明实施例的第一神经网络模块和第二神经网络模块的操作框图；

图15是示出根据本发明实施例的第二神经网络模块的操作原理图；以及

图16是示出根据本发明实施例的用于对肺部病灶区进行评估的设备的方框图。

具体实施方式

下面将结合附图对本发明实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本发明为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本发明的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是示出根据本发明实施例的基于神经网络模型对肺部病灶区进行评估的评估系统100的架构图。

如图中所示，本发明的系统100包括计算机X线断层摄影机(ComputedTomography，即“CT”机)102，其用于对患者的患病部位或疑似患病部位的层面进行扫描，以得到三维立体图像数据。在本发明的上下文，这里的患病部位可以是肺部，特别是可能感染或已经感染有新冠状病毒的肺部区域。由此，通过CT机的扫描，可以得到本发明的三维图像数据。

在获得上述的三维图像数据后，本发明的评估系统利用其数据库104 对该三维图像数据进行保存。尽管图中未示出，在一些场景中，还可以对该保存前的三维图像数据进行一些预处理，例如包括将该三维图像数据进行三角网格化，以得到例如二维网络。

进一步如图1中所示出的，本发明的评估系统100还包括设备106，其在图中示例性地示为计算机。可以理解的是本发明的设备不限于图中所示计算机这一种形式，而是还可以实现为移动计算设备或其他形式的计算设备。尽管未示出，本发明的设备106可以包括一个或多个处理器，该一个或多个处理器可以包括通用处理器(“CPU”)或专用图形处理器(“GPU”)。进一步，本发明的设备还包括第一神经网络模块108和第二神经网络模块 110。

作为示例，本发明的上述第一神经网络模块和第二神经网络模块可以实现为存储于设备106的计算机可读存储介质上的程序指令。根据不同的应用场景，此处的计算机可读存储介质可以是一个或者多个，并且可以是能够存储程序指令的各类存储介质。在执行本发明的评估任务期间，处理器可以执行计算机可读存储介质上存储的程序指令，从而该程序指令的运行实现了本发明的第一神经网络模块和第二神经网络模块执行的操作。

具体地，当处理器执行前述一个或者多个程序指令时，本发明的第一神经网络模块可以配置成接收并处理与肺部病灶区图像相关的图像数据 (例如图中左侧所示的图像数据104)，以获得目标向量数据。在一个实施例中，所述图像数据包含与肺部病灶区图像相关的原始数据和/或与肺部病灶区图像的几何特征相关的二维数据。相应地，本发明的第二神经网络模块可以配置成接收并且处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果(例如以质量或体积比的形式来反映)。

在一个应用场景中，上述图像数据可以是包含与目标图像区域相关的原始数据和/或与目标图像区域的几何特征相关的二维数据。在一个实施例中，目标图像区域可以例如是与患者的肺部病灶区域相关的图像区域，其原始数据可以通过例如电子计算机断层扫描技术或设备所获得的CT图像数据。在一个实现场景中，与所述肺部病灶区图像相关的图像数据包括在多个不同时刻获取的、与肺部病灶区相关的多组图像子数据。

基于上述描述，上述计算机可读存储介质还存储有获得所述二维数据的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得根据获得的原始数据来生成二维网格，并且通过该二维网格来确定目标图像区域的几何特征。进一步地，通过本发明的设备，可以将几何特征(例如基于所述肺部病灶区图像所获得的高斯曲率、平均曲率或者共形因子)表示为图片的形式，以作为目标图像区域的几何特征相关的二维数据。

在一个实施例中，本发明设备中的第一神经网络模块可以包括多个编码器和特征提取器(例如图12中所示出的)。在一个实现场景中，前述的多个编码器中的每个编码器可以包括多个卷积层，其配置用于对图像数据进行多层卷积处理，以从所述图像数据获得针对于不同几何特征的多个特征向量。在一个实施例中，每个编码器中的多个卷积层可以串行连接，并且串行连接的最后一个卷积层的输出端可以连接至所述特征提取器的输入端。在一个实现场景中，特征提取器可以配置用于对前述多个特征向量执行特征融合操作，以获得目标向量数据。作为示例，特征融合操作可以包括对多个特征向量执行数据拼接操作，以便输出所述目标向量数据。

在一个实施例中，本发明设备的第二神经网络模块包括长短期记忆神经网络(“Long Short-Term Memory”，简写为“LSTM”)，其配置成接收和处理上述的目标向量数据，以输出用于评估所述肺部病灶区的评估结果。在一个应用场景中，所述评估结果可以包括肺部病灶区的病灶质量信息，该病灶质量信息至少用于预测或判断感染所述新冠状病毒的患者的病情严重程度和/或病情发展趋势。

上文结合图1对本发明的评估系统以及其中的设备进行了描述。下面将结合图2-图11对本发明如何进行前述的几何特征的提取进行详细地描述。

图2是示出根据本发明实施例的用于提取病灶区图像的几何特征的方法200的流程图。可以理解的是本发明的方法100可以通过包括例如计算机在内的各类计算设备来实施。

首先，在步骤S202处，方法200获取肺部病灶区域的三维图像数据。在一个实施例中，前述的三维图像数据可以是通过例如CT技术或设备所获得的三维图像数据。在另一个实施例中，这里的肺部病灶区域可以是或者包括有感染有新冠状病毒的肺部区域。

接着，在步骤S204处，方法200根据病灶区域的三维图像数据生成由多个顶点连接而成的二维网格。在一个实施例中，本领域技术人员可以理解二维网格的生成，其实质是对于布尔型变量(bool)数据外表面的网格生成。在该实施例中，可以利用bool标记前述病灶区域的三维图像区域，并令其为f(Ω)，其中f为光滑函数，Ω为三维图像存在的区域。基于前述定义，可以通过f

在生成上述的二维网格后，接着方法流程前进到步骤S206。在该步骤 S206处，方法100利用所述多个顶点中的部分顶点形成的闭合曲线将所述二维网格切分成两个拓扑圆盘(如图4a所示的第一拓扑圆盘和图4b所示的第二拓扑圆盘)。在一个实施例中，可以根据二维网格信息来计算每个顶点的函数值，并且从所有顶点中选择具有全局最小的函数值的顶点作为前述闭合曲线的起点以及具有局部最小的函数值的顶点作为中间点。接着，可以从所述起点出发、依次经过N个中间顶点后返回到所述起点以获得所述闭合曲线，并且沿该闭合曲线将二维网格切分成两个拓扑圆盘。进一步地，在步骤S208处，方法200将所述两个拓扑圆盘分别映射到两个单位矩形上。根据本发明的方案，这里的映射可以是调和映射。

在映射到上述的单位矩形后，接着方法流程前进到步骤S210。在该步骤S210处，方法200利用上述多个顶点的几何特征值来确定所述单位矩形上对应点的像素值。根据不同的实施例，本发明的几何特征值可以是高斯曲率、平均曲率或者共形因子中的一个。最后，在步骤S212处，方法 200基于前述像素值来形成包含所述肺部病灶区域的几何特征的图片。作为示例，该图片可以是图11a中由高斯曲率所获得的图片，图11b中由平均曲率所获得的图片或者是图11c由共形因子所获得的图片。如前所述，当上述的病灶区域包括感染有新冠状病毒的肺部区域时，则此时生成的图片是包括新冠肺炎区域的几何特征的图片。

在一个实施例中，在执行将拓扑圆盘映射到单位矩形的操作中，方法 200可以包括将拓扑圆盘边界映射到单位矩形边界，以及将拓扑圆盘内部调和映射到单位矩形内，以形成调和映射的调和像点。

图3示出可以用于本发明的病灶区域的原始三维数据。结合上述图2 的描述，图3中所示网格可以是基于图2所示方法200在步骤S204处生成的二维网格。进一步，图2中箭头所指示的黑色曲线可以是通过图2所示方法200在步骤S206处所获取的闭合曲线。在一个实现场景中，本领域技术人员可以根据所述闭合曲线将二维网格切分成两个拓扑圆盘，也即图4a和图4b所分别示出的。

图5是示出根据本发明实施例的获取闭合曲线方法500的流程图。这里需要理解的是方法500是图2所示方法200中形成闭合曲线的一种具体实现方式，因此关于方法200所做的描述也同样适用于方法500。

结合图1所提到的，本发明利用所述多个顶点中的部分顶点形成的闭合曲线将通过方法200所生成的二维网格切分成两个拓扑圆盘。基于此，如图5所示，在步骤S502处，方法500可以根据二维网格的拓扑及网格边的边长来确定(例如通过计算)基于网格的拉普拉斯贝尔特拉米矩阵。这里网格的拓扑可以理解为网格的连接关系，具体为三角形网格上各顶点之间的连接关系。当顶点的总数为M为时，则可以形成一个M阶拉普拉斯贝尔特拉米矩阵。为了便于讨论，下面首先结合图6来描述该拉普拉斯贝尔特拉米矩阵。

图6是示出根据本发明实施例的示例性三角形网格。从图6中可以看出，这里示出两个三角形网格，其包括四个顶点v

其中：

上述的内边表示该条边为两个三角形网格所共用，“cot”表示余切值，而边界边表示该条边并非为两个三角网格所共用，而是仅被一个三角形网格所包含。

返回到图5，在上述根据二维网格的拓扑及网格边的边长来计算基于所述网格的拉普拉斯贝尔特拉米矩阵后，方法500流程前进到步骤S504。在该步骤S504处，方法500可以对前述矩阵进行计算以获得该矩阵的绝对值最小的非零特征值，从而确定该绝对值最小的非零特征值所对应的特征函数。接着，在步骤S506处，方法500可以根据前述特征函数来确定上述二维网格上每个网格顶点处的函数值，并根据函数值获取闭合曲线的起点以及中间点。

在获取所述闭合曲线的起点和中间点后，接着方法500在步骤S508 处从所有顶点中选择具有全局最小的函数值的顶点作为所述闭合曲线的起点。然后，在步骤S510处，方法500从与前述起点相邻的多个顶点中选择具有局部最小的函数值的顶点作为第1中间顶点。接着，在步骤S512 处，方法500针对于第2～第N中间顶点的每个中间顶点，执行以下选择操作，直到返回到所述起点(也即闭合曲线的终点)：从与所述第N-1中间顶点相邻的多个顶点中选择具有局部最小的函数值的顶点作为第N中间顶点，这里N可以是大于或等于2的正整数。当完成上述的操作后，方法500就获得了从起点出发、依次经过N个中间节点后返回到起点的闭合曲线，例如图3所示的病灶区域三维图像中黑线曲线所代表的闭合曲线。

图4a和图4b是分别示出根据本发明实施例的沿图3中的闭合曲线切开后获得的第一拓扑圆盘和第二拓扑圆盘。如前所述，通过对本发明的方法500所获取的闭合曲线进行切分，就可以获得如图4a和如图4b所示的第一拓扑圆盘和第二拓扑圆盘。

图7是示出根据本发明实施例的拓扑圆盘内部映射到单位矩阵内形成调和映射的调和像点的方法700的流程图。这里需要理解的是方法700是图2所示方法208中形成调和映射的调和像点的一种具体实现方式，因此关于方法200所做的描述也同样适用于方法700。

如图7所示，在步骤S702处，将拓扑圆盘的内部点初始映射到单位矩形内，以形成初始映射后的像点(简称“初始像点”)。在一个实施例中，可以假设f∈C

其中，

由上述公式(3)和(4)可以计算初始化的调和能量E，并令E

如图7进一步所示，在步骤S706处，可以根据调和能量和预设能量梯度阈值来调整像点的坐标，以获得调和映射的调和像点。例如，在一个实施场景中，可以预设能量梯度阈值为δE，并且按照如下公式(5)调整所述初始像点的坐标，即

并计算调整后的调和能量E。然后，可以将上述计算结果与所述预设能量梯度阈值δE做比较，以获得调和映射的调和像点。

图8是示出根据本发明实施例的拓扑圆盘内部映射到单位矩阵内形成调和映射的调和像点的方法800的详细流程图。这里需要理解的是方法 800是图7所示方法700的一种具体实现方式，因此关于方法700所做的描述也同样适用于方法800。

具体来说，在步骤S802处，调整初始映射的初始像点的坐标。接着，在步骤S804处，根据调整后的初始像点的坐标来更新前述的调和能量。在步骤S806，可以对调和能量与预设能量梯度阈值进行比较。在一个实施例中，可以利用上述公式(3)计算所述调和能量E，并预设能量梯度阈值为δE。当调和能量(或者是调和能量差)大于预设能量梯度阈值时，即 |E-E

当在步骤S806处判断调和能量小于(或等于)所述预设能量梯度阈值时，则将停止调整时的像点作为所述调和映射的调和像点。例如，当上述调和能量小于或等于所述预设能量梯度阈值时，例如|E-E

图9是示出根据本发明实施例的形成病灶区域的几何特征图片的操作 800的简化流程图。根据不同的实施场景，本发明的几何特征可以是高斯曲率、平均曲率或共形因子中的一个。在一个实施例中，可以根据网格信息来计算所述网格顶点的高斯曲率、平均曲率或共形因子。在一个实施场景中，所述高斯曲率等于2π减去原始未切开的封闭网格顶点处与其相邻网格对应的角度。为了便于理解这里所提到的高斯曲率，首先结合图10a来进行简单的描述。图10a是示出根据本发明实施例的原始未切分封闭网格的示例性示意图，其中将该网格中的一个顶点记为P，与顶点P相邻的网格对应的角度分别记为θ

关于上述提到的几何特征涉及的平均曲率，在一个实施场景中，首先在未切开的原始网格上计算每个网格面的法向量，并将其相邻面的法向量分别记为

关于上述提到的几何特征还涉及的共形因子，在另一个实施场景中，首先计算未切分的原始网格面的总面积以及每个顶点的面积，其中每个顶点的面积可以例如为所述顶点周围的面积的三分之一。接着，计算调和映射后网格的总面积，其中调和映射后的顶点的面积为调和映射后网格的总面积的三分之一，则面积比为原总面积/调和映射总面积。由此，每个顶点的共形因子为面积比*调和映射后的顶点的面积/网格总面积。

基于上述的示例性操作，可以获得网格面上每个顶点的高斯曲率、平均曲率或共形因子，并将其计算结果取整后作为单位矩形上对应调和像点的像素值，并且根据所述像素值来形成表示所述病灶区域的几何特征的图片。具体地，如图9所示，在步骤S902处，在所述单位矩形上均匀布置像素点。在一个示例性场景中，可以均匀布置例如256*256个像素点。接着，可以针对于所述每个像素点来执行以下步骤(即步骤S904和S906)以获取像素值。

首先，在步骤S904处，将判断上述像素点在单位矩形上的位置，例如像素点可以是在单位矩形的四个顶点上、可以是在单位矩形的四条边上，又或者可以是在单位矩形的内部。在一个实施例中，可以根据前述的调和像点的坐标来确定像素点在单位矩形内的位置。接着，在步骤S906处，将根据所述位置来确定所述像素点的高斯曲率、平均曲率或共形因子的值，从而最终确定所述像素点的像素值。在一个实施例中，当所述像素点位于所述单位矩形的四个顶点时，将所述单位矩形的四个顶点的高斯曲率、平均曲率或共形因子作为所述像素点的像素值。在另一实施例中，当所述像素点位于所述单位矩形的四条边上时，利用线性插值来计算高斯曲率、平均曲率或共形因子，以作为对应的像素点的像素值。在又一实施例中，当所述像素点位于所述单位矩形的内部时，利用重心坐标插值来计算高斯曲率、平均曲率或共形因子，以作为对应的所像素点的像素值。下面将结合图10b描述不同位置处的像素点的像素值确定过程。

图10b是示出根据本发明实施例的确定像素值的示例性示意图。如图 10b中左侧所示的水平线和竖直线交织成矩形网格，所述网格大小可以是 256*256，并且网格布置有256*256个像素点，例如像素点P1、像素点P2 以及像素点P3(其余像素点图中未示出)。图中左侧所示多个三角形网格为单位矩形上调和映射的部分调和像点连接而成。在一个示例性场景中，可以设三角形网格的顶点分别v1、v2、v3、v4以及v5，并且将v1、v2、 v3、v4以及v5各点处的函数值分别记为

结合上述图10b的描述，在一个实施场景中，当所述像素点位于所述单位矩形的四个顶点时，例如图10b中所示的像素点P1。在该场景下，像素点P1的像素值即为网格顶点v1处的函数值

在另一个实施场景中，当所述像素点位于所述单位矩形的边界时，例如图10b中所示的像素点P2。在该场景下，像素点P2处的像素值由v1和v2 处的函数值确定。具体地，假设v1到像素点P2的边长为l

在又一实施场景中，当所述像素点位于所述单位矩形的内部时，例如图 10b中示出的像素点P3。在该场景下，像素点P3处的像素值由v3、v4和v5 构成的三角形的面积之比并且通过重心坐标插值确定。此处面积比可以理解成v3、v4和v5处的权重。具体地，如图10b右侧图所示，假设v3对应的面积记为S3，v4对应的面积记为S4以及v5对应的面积记为S5，并假设整个三角形面积为S，则

P

P

W

其中，W

由上述公式获得v3对应的面积S3，v4对应的面积S4以及v5对应的面积记S5，最终获得像素点P3处的像素值。

基于前述描述确定256*256个像素点的像素值，本发明的方案最终可以形成例如图11a所示的基于高斯曲率形成的图片，例如图11b所示的基于平均曲率形成的图片；或者例如图11c所示的基于共形因子形成的图片。通过对形成表示前述三种几何特征的图片进行例如人工智能领域内的深度学习，从而可以获得病灶发展预测模型并进行相应的预测。

在基于结合上述图2-图11所描述的提取方式来获取包括所述几何特征的图像数据后(例如二维数据)或者是通过CT技术采集到的原始数据后，由于该图像数据通常采用0到255范围内的灰度值表示，因此通常需要对获取到的图像数据进行预处理。在一个实施例中，本发明提出利用最大-最小(max-min)准则将图像数据的灰度值归一化至0到1之间的浮点数。接着，本发明的第一神经网络模块接收该预处理后的图像数据，并对其进行处理以获取目标向量数据。在应用本发明的几何特征提取方案的实施场景中，前述图像数据还可以是与目标图像区域的几何特征相关的一维数据和/或三维数据。

图12是示出根据本发明实施例的第一神经网络模块108的操作框图。需要理解的是，图12所示第一神经网络模块是图1所示评估系统100中的第一神经网络模块的一种具体实施方式。由此，关于图1描述的评估系统100的相关细节和特征也适用于图12的描述。

如图所示，图中左侧虚线框中表示不同类型的图像数据，从上到下依次表示原始数据1201、三维数据1202、二维数据1203以及一维数据1204。在一个实施例中，一维数据可以存储为TXT格式，其大小可以是1*400 (即一行400个数据位)；二维数据可以存储为图片(例如png)格式，其像素大小例如可以是256*256。该图片示例性地可以是图11a、图11b 或图11c中所示包含几何特征的图片；三维数据可以存储为nii格式，其尺寸大小可以是512位*512位*512位。如前所述，本发明的方案提出使用max-min准则对上述的图像数据进行归一化处理，从而保持处理后的数据格式和尺寸大小不变。

在接收到上述的图像数据(例如经归一化预处理的图像数据)后，本发明的第一神经网络模块108首先将图像数据通过不同的编码器来提取不同类型的图像数据对应的特征向量。

具体来说，编码器1对原始数据1201进行处理以输出特征向量1201-1。类似地，三维数据1202、二维数据1203以及一维数据1204可以分别通过编码器2、编码器3以及编码器4提取出相对应的特征向量1202-1、特征向量1203-1以及特征向量1204-1。需要理解的是，图12中所示的图像数据维度的维度数和编码器的个数仅仅是示例性而非限制性的，本领域技术人员可以根据需求选择其他的图像数据格式或类型。例如，在一些应用场景中，可以采用原始数据、一维到三维数据中的任意一种数据来用于评估。在另一些应用场景中，可以将前述的原始数据以及一维到三维数据中的任意两种或多种进行组合以用于评估。因此，本发明在数据格式和数据使用方式等方面并不作任何的限制。类似地，本发明也对与前述数据格式相对应的编码器的数目和类型不做任何的限制。

在一个实施例中，本发明的上述编码器可以通过神经网络中的卷积层 (或者说卷积算子)来实现。在一个实现场景中，可以通过如图13中所示出的包括两个卷积层和一个自适应卷积层的层结构来实现对数据的编码操作，以获得如上所述的特征向量数据，具体描述如下。

图13示出根据本发明实施例的编码器1300的操作框图。可以理解的是该编码器1300可以是图12中的编码器1-编码器4中任意之一。如图中所示，该编码器1300可以包括卷积层1301、卷积层1302以及一个自适应卷积层1303。假设该图中左侧数据是上述图中的二维数据1203(例如提取的高斯曲率、平均曲率或者共形因子表示成的图片)，该编码器1300设定为上述图12中的编码器3。由此，二维数据1203经过编码器1300 中的卷积层1301进行第一次卷积。接着，经过卷积层1302进行第二次卷积，并可选地经过自适应卷积1303进行第三次卷积获得特征向量1203-1。类似的，通过如上所述的编码器处理，可以获得如图12中的特征向量 1202-1、特征向量1203-1以及特征向量1204-1。

根据实际的应用场景，本发明的上述编码器中的前两个卷积层可以分别采用128和64个卷积核来执行卷积操作。在该情形下，输入可以分别是256*256和128*128大小的特征图，而输出可以分别是128*128和64*64 大小的特征图。对于第三个卷积层来说，其可以是使用32个卷积核的自适应卷积层，并且其输出是大小为32*32的特征图。这里，增加自适应卷积层的目的仅仅是为了固定编码器的输出大小，即使得本披露的编码器总出输出固定大小的特征图，例如前述的32*32的特征图。基于此，本领域技术人员可以理解本发明的自适应卷积层是可选的设置，并且在其他的一些应用场景中，可以不使用或由另一卷积层来代替。进一步，本发明的神经网络中的卷积核大小均可以是3*3的阵列，并可以采用均匀分布来初始化。

结合图12和图13所示内容，本领域技术人员可以理解本发明的第一神经网络模块中的多个编码器中的多个卷积层串行连接，并且串行连接的最后一个卷积层的输出端连接至第一神经网络模块的特征提取器(即图12 中的特征提取器1205)的输入端。就图13所示的卷积层结构来说，编码器中的自适应卷积层1303的输出端连接至特征提取器的输入端，以便由特征提取器对多个向量数据执行数据拼接操作来获取目标向量数据。

参考图12所示出的特征提取器1205，其对例如上述的四种特征向量执行特征融合操作(也即图中中间虚线框中的操作)。具体地，首先对特征向量1201-1、特征向量1202-1、特征向量1203-1以及特征向量1204-1 分别进行一次卷积获得各自的卷积结果，再将每个特征向量的卷积结果进行融合(例如拼接)来获取目标向量数据1206。例如将特征向量1202-1、特征向量1203-1以及特征向量1204-1各自的卷积结果与特征向量1201-1 的卷积结果进行拼接获得特征向量1201-2。类似地，将特征向量1201-1、特征向量1203-1以及特征向量1204-1各自的卷积结果与特征向量1202-1 的卷积结果进行拼接获得特征向量1202-2。由此，还可以获得特征向量 1203-2、特征向量1204-2。接着，对于特征向量1201-2、特征向量1202-2、特征向量1203-2以及特征向量1204-2再执行多次(例如两次)前述操作可以获得特征向量1201-10、特征向量1202-10、特征向量1203-10以及特征向量1204-10，并且将其拼接形成目标向量数据1206。

在一个实施场景中，上述卷积采用的卷积核的大小可以是3*3、1*1 (与其本身卷积时)，卷积次数可以是三次，本发明对此不作限制。此外，目标向量数据的维数也可以根据需求设定，本发明也不作限制。例如，本发明中获得的目标向量数据是1024维，并且该目标向量数据涉及病人一次CT所获得的图像数据。在应用于病灶区图像分析的场景中，通常可以分别采集病人不同时期的多个CT图像，并且基于上述第一神经网络模块描述的操作，从而获得不同时期下的多个目标向量数据，以作为第二神经网络模块的输入端，例如图14所示。

图14是示出根据本发明实施例的第一神经网络模块和第二神经网络模块的操作框图。图中最左侧表示采集到病人在Tn个时期下的图像数据 (例如CT1图像数据、CT2图像数据以及CTn图像数据)，第一神经网络模块108分别接收前述图像数据并对其进行处理，从而分别获取到T1 时刻的目标向量数据1401、T2时刻的目标向量数据1402以及T刻时期的目标向量数据1410。接着，第二神经网络模块108接收获取到多个目标向量数据，并对其处理最终获得病灶区域的评估结果。在一个实施例中，第二神经网络模块可以是长短期记忆神经网络(Long Short-Term Memory，“LSTM”)，例如图15中所示出的。

图15是示出根据本发明实施例的第二神经网络模块110的操作原理图。如上所述，本发明的第二神经网络模块在一个实施场景中可以实现为LSTM神经网络，并且该LSTM神经网络中可以包括输入层、一个或多个隐藏层以及输出层。

如图15中所示，代表患者CT

例如，通过本发明前述从包含新冠肺炎区域的病灶区所提取的高阶几何特征，本发明设备的用户(例如医护专业人员)可以通过分析评估结果所反映的肺部感染区域的质量或者体积比来确定当前用户的病情严重程度。进一步，由于本发明的神经网络模块对数据在时间维度上进行处理，用户基于评估结果也可以评估患者的病情发展状况。例如，当质量或体积比呈逐渐减小或下降的趋势，则可以判断患者有望在一定时间内康复。相对而言，当质量或体积比呈增大或上升的趋势，则可以判断患者的病情在一定程度上有可能进一步恶化。在该情形中，医护人员可以对患者及时进行必要的救治，以便控制病情的发展并防止病情的进一步恶化。

尽管上文没有提及本发明的神经网络模块的训练过程，但基于本发明公开的内容，本领域技术人员可以理解本发明的神经网络模块可以通过训练数据来进行训练，从而获得具有高精度的神经网络模块。例如，在神经网络训练的前向传播过程中，本发明可以利用通过结合图2-图11所获得的包括几何特征的图像数据来对本发明的神经网络模块进行训练，并且将训练结果与预期的结果(或称真实值)进行比较以获得相应的损失函数。进一步，在神经网络训练的反向传播过程中，本发明利用获得的损失函数并基于例如梯度下降算法来对权重(例如图15中的权重U、V以及W) 进行更新，以减小输出Ot与真实值的误差。

结合上述描述，利用本发明实施例的图像评估系统，可以通过第一神经网络模块对图像数据进行特征融合来获取目标向量数据，第二神经网络模块对目标向量数据处理获得图像的评估结果。例如，可以将病人的CT 图像输入本发明图像评估系统，由此直接获得病人的病灶区域的评估结果 (例如质量和体积比)。通过对该质量或者体积比对病人的病情以及病灶区域的发展趋势进行预测，以便人工干预。

图16是示出根据本发明实施例的用于基于神经网络模型对肺部病灶区进行评估的设备1600的框图。如图16所示，设备1600可以包括中央处理单元(“CPU”)1611，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备1600还可以包括大容量存储器1612和只读存储器(“ROM”)1613，其中大容量存储器1612 可以配置用于存储各类数据，例如包括各种与病灶区域相关的图像数据、算法数据、中间结果和运行设备1600所需要的各种程序。只读存储器 (“ROM”)1613可以配置成存储对于设备1600的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据。

可选地，设备1600还可以包括其他的硬件平台或组件，例如示出的张量处理单元(“TPU”)1614、图形处理单元(“GPU”)1615、现场可编程门阵列(“FPGA”)1616和机器学习单元(“MLU”)1617。可以理解的是，尽管在本发明的设备1600中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备1600可以仅包括CPU来实现本发明的肺部病灶区的评估操作。

在一些实施例中，为了便于数据与外部网络的传递和交互，本发明的设备1600还包括通信接口1618，从而可以通过该通信接口1618连接到局域网/无线局域网(“LAN/WLAN”)1605，进而可以通过LAN/WLAN 连接到本地服务器1606或连接到因特网(“Internet”)1607。替代地或附加地，本发明的设备1600还可以通过通信接口1618基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代(“3G”)、第4代(“4G”) 或第5代(“5G”)的无线通信技术。在一些应用场景中，本发明的设备 1600还可以根据需要访问外部网络的服务器1608和数据库1609，以便获得各种已知的图像模型、数据和模块，并且可以远程地存储各种数据，例如用于呈现或评估病灶区域图像的各类数据。

本发明的设备1600的外围设备可以包括显示装置1602、输入装置 1603和数据传输接口1604。在一个实施例中，显示装置1602可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本发明的显示病灶区域图像的运算过程或者最终结果进行语音提示和/或图像视频显示。输入装置1603可以包括例如键盘、鼠标、麦克风、姿势捕捉相机，或其他输入按钮或控件，其配置用于接收病灶区域图像数据的输入和/或用户指令。数据传输接口1604可以包括例如串行接口、并行接口或通用串行总线接口(“USB”)、小型计算机系统接口(“SCSI”)、串行ATA、火线(“FireWire”)、PCI Express和高清多媒体接口(“HDMI”)等，其配置用于与其他设备或系统的数据传输和交互。根据本发明的方案，该数据传输接口1604可以接收来自于CT设备(如图1中所示CT设备102) 的病灶区域图像或病灶区域图像数据，并且向设备1600传送包括病灶区域的图像数据或各种其他类型的数据或结果。

本发明的设备1600的上述CPU 1611、大容量存储器1612、只读存储器ROM 1613、TPU 1614、GPU 1615、FPGA 1616、MLU 1617和通信接口1618可以通过总线1619相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线1619，CPU 1611可以控制设备1600 中的其他硬件组件及其外围设备。

以上结合图16描述了可以用于执行本发明的基于神经网络模型对肺部病灶区进行评估的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本发明的实现方式和实现实体并不受其限制，而是可以在不偏离本发明的精神下做出改变。

还应当理解，本发明示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的，例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。

应当理解，本发明的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本发明的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本发明。如在本发明说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

虽然本发明的实施方式如上，但所述内容只是为便于理解本发明而采用的实施例，并非用以限定本发明的范围和应用场景。任何本发明所述技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。