一种两阶段疾病诊断系统及其方法

摘要

揭示一种利用神经网络的两阶段疾病诊断系统及其方法。所述两阶段疾病诊断系统，在包括处理器和存储神经网络的存储装置的系统中实现，并使用生物体图像即切片和所述神经网络，所述系统包图像块神经网络,所述图像块神经网络接收所述切片被分割为预定大小的预定图像块作为输入层并输出所述图像块是否存在疾病的图像块级别诊断结果；以及切片诊断引擎，所述切片诊断引擎根据所述切片中包括的多个图像块的每个图像块级别诊断结果，标记被判断为癌症的图像块，并且基于标记结果，输出所述切片是否存在疾病的切片级别诊断结果，所述图像块神经网络接收对于所述图像块的包括原始颜色信息3通道和灰色通道的4通道信息作为输入层。

说明书

技术领域

本发明涉及一种利用神经网络的疾病诊断系统及其方法。更详细的是，通过使神经网络进行学习，利用经过学习的神经网络，当输入生物体组织的图像时，可以诊断出预定疾病(例如前列腺癌)的系统及其方法。

背景技术

病理学或病理科执行的主要任务之一是读取患者的生物体图像并执行诊断以确定特定疾病的状况或症状。这种诊断是一种取决于医务人员的长期熟练的经验的方法。

近年来，由于机器学习的发展，正在积极尝试通过使用计算机系统将诸如图像识别或分类等任务自动化。特别地，正在尝试使用机器学习的一种即神经网络(例如，使用卷积神经网络(Convolution neurla network，CNN)的深度学习方法)来把以往通过熟练的医务人员执行的诊断自动化。

特别地，通过使用神经网络(例如，CNN)的深度学习进行诊断并不是简单地使熟练的医务人员的经验和知识自动化，而是可以通过自学发现特征元素以得出所需的答案，因此，在某些情况下，反而在图像中发现了经验丰富的医务人员不了解的疾病因素的特征。

通常，使用生物体图像通过神经网络来诊断疾病，会使用一个生物体图像的块，即图像块(patch)(也称为图像片(tile))。即，对于相关图像块，经验丰富的医务人员将特定疾病的状态(例如，是否表达了癌症)进行注解(annotation)或标记(labeling)，并使用注解的多个图像块作为训练数据来使神经网络进行学习。此时，所述神经网络可以是卷积神经网络。

但是，在这种方式下，经过学习的神经网络仅根据相关图像块的图像特征来判断相关图像块的疾病状态，而实际上，在对特定疾病判断特定生物体组织的状态时，不仅要考虑所述特定生物体组织本身，还要考虑所述特定生物体组织的周围组织的状态(例如，形状、特定模式是否存在等)。但是，传统的方式存在不适用于这种情况的问题。

另一方面，在传统的学习中，将生物体图像或图像块的颜色本身作为输入数据进行输入。也就是说，通常定义为RGB的三个通道值的输入数据将被直接利用。

但是，在这种情况下，根据与生物体图像相对应的生物体组织染色所用的染色试剂的特性，染色组织的颜色可能会各不相同，这将直接影响到接受学习的神经网络。

因此，可能有必要以更强劲的方式来让神经网络学习，以应对不是根源性的组织的图像特征的、由于染色而引起的非根源的颜色特征。

此外，根据图像块单元的诊断结果，基于每个图像块判断疾病是否表达时，特定图像块可能会输出疾病表达的诊断结果，但在更广泛的范围内，也当然会存在判断疾病没有表达的可能性。

因此，基于每个图像块的诊断结果，可能需要对包括相关图像块的整个切片是否表达疾病单独进行判断。

现有技术文献

专利文献

韩国公开专利10-2016-0034814“具有神经网络的客户端设备和包括该客户端设备的系统”

发明内容

技术课题

本发明要实现的技术课题是提供一种利用神经网络的诊断系统及其方法，为了确定特定图像块的疾病状态(例如，疾病是否表达，或者显示疾病状态的指标等)，学习中不仅利用所述特定图像块，而且利用周围的图像块以进一步提高准确率。

另外，本发明提供一种利用神经网络的诊断系统及其方法，所述系统及其方法对于并不是对诊断疾病的表达与否的根源性的图像特征即颜色具有强劲的特性。

另外，提供一种诊断系统及其方法，不是利用每个图像块诊断结果本身，而是利用所述图像块诊断结果，对于包括所述图像块的较大范围的生物体组织的疾病表达与否进行有效和高准确度的诊断。

技术解决方法

用于实现所述技术课题的两阶段疾病诊断系统，其特征在于，在包括处理器和存储神经网络的存储装置的系统中实现，并使用生物体图像即切片和所述神经网络，所述系统包括图像块神经网络,所述图像块神经网络接收所述切片被分割为预定大小的预定图像块作为输入层并输出所述图像块是否存在疾病的图像块级别诊断结果；以及切片诊断引擎，所述切片诊断引擎，根据所述切片中包括的多个图像块的每个图像块级别诊断结果，标记被判断为癌症的图像块，并且基于标记结果，输出所述切片是否存在疾病的切片级别诊断结果，所述图像块神经网络接收对于所述图像块的包括原始颜色信息3通道和灰色通道的4通道信息作为输入层。

所述切片诊断引擎，其特征在于，以预定方式对判断为癌症的图像块进行群集处理，形成多个群集，对每个形成的群集接收多个群集特征作为输入值，输出包含所述群集的所述切片的所述切片级别诊断结果。

所述图像块神经网络，其特征在于，包括输出与图像块表达疾病的概率相对应的特征值的层，所述特征值等于或高于预定的门槛值时，输出将所述图像块判断为癌症的图像块级别诊断结果，对于一个图像块，可以根据多个门槛值的每一个，输出多个图像块级别诊断结果。

所述切片诊断引擎以N(N是2或大于2的自然数)个门槛值和所述N个门槛值的每一个为基准，以预定的方式对表达疾病的图像块进行群集处理，形成M(M是2或大于2的自然数)个群集，为每个形成的群集生成P(P是2或大于2的自然数)个群集特征，接收至少M×N×P个群集特征作为值，输出包括所述群集的所述切片的所述切片级别诊断结果。

所述群集特征可以包括图像块的数量、各图像块被判定为疾病的概率值的平均值、各图像块被判定为疾病的概率值的最大值以及各图像块被判定为疾病的概率值的最小值。

所述群集特征可以进一步包含群集各自的主轴(major axis)、次轴(minoraxis)、面积(area)和密度(density)。

所述疾病，其特征在于可以是前列腺癌。

根据另一个实施例，两阶段疾病诊断系统在包含处理器和存储神经网络的存储装置的系统中实现，利用生物体图像即切片和所述神经网络，所述诊断系统包括图像块神经网络,所述图像块神经网络接收所述切片被分割为预定大小的预定图像块作为输入层并输出所述图像块是否存在疾病的图像块级别诊断结果；以及切片诊断引擎，所述切片诊断引擎根据所述切片中包括的多个图像块的每个图像块级别诊断结果，标记被判断为癌症的图像块，基于标记结果，输出所述切片是否存在疾病的切片级别诊断结果，所述切片诊断引擎，以预定方式对判断为癌症的图像块进行群集处理，形成多个群集，对每个形成的群集接收多个群集特征作为输入值，输出包含所述群集的所述切片的所述切片级别诊断结果。

根据本发明的另一方面，作为在包含处理器和存储神经网络的存储装置的系统中实现并利用生物体图像即切片和所述神经网络的疾病诊断方法，其特征在于，包括所述系统接收将所述切片分割成预定大小的预定图像块作为输入层，输出所述图像块中是否存在疾病的图像块级别诊断结果的步骤；以及所述系统对所述切片中包含的多个图像块的每个图像块级别诊断结果，将判断为癌症的图像块进行标记，并根据标记结果，输出所述切片中是否存在疾病的切片级别诊断结果的步骤，输出所述图像块级别诊断结果的步骤，作为输入层接收对所述图像块的包括原始颜色信息的3通道和进一步包括灰色通道的4通道信息。

输出所述切片级别诊断结果的步骤可以包括:所述系统以预定方式对判断为癌症的图像块进行群集处理，从而形成多个群集的步骤；对每个形成的群集接收多个群集特征作为输入值，输出包含所述群集的所述切片的所述切片级别诊断结果的步骤。

输出所述图像块级别诊断结果的步骤，特征在于，包括输出与图像块中存在癌症的概率相对应的特征值的层，所述特征值等于或高于预定的门槛值时，对于所述图像块输出判断为癌症的图像块级别诊断结果的步骤，对于一个图像块，可以根据多个门槛值的每一个基准，输出多个图像块级别诊断结果。

输出所述切片级别诊断结果的步骤，其特征在于，包括以N(N是2或大于2的自然数)个门槛值和所述N个门槛值的每一个为基准，以预定的方式对表达疾病的图像块进行群集处理，形成M(M是2或大于2的自然数)个群集的步骤；为每个形成的群集生成P(P是2或大于2的自然数)个群集特征，接收至少M×N×P个群集特征作为值，输出包括所述群集的所述切片的所述切片级别诊断结果的步骤。

根据另一个实施例，在包含处理器和存储神经网络的存储装置的系统中实现，利用生物体图像即切片和所述神经网络的疾病诊断系统包括：所述系统接收将所述切片被分割为预定大小的预定图像块作为输入层并输出所述图像块是否存在疾病的图像块级别诊断结果的步骤；以及所述系统对所述切片中包含的多个图像块的每个图像块级别诊断结果，将判断为癌症的图像块进行标记，并根据标记结果，输出所述切片中是否存在疾病的切片级别诊断结果的步骤，输出所述切片级别诊断结果的步骤可以包括:以预定方式对判断为癌症的图像块进行群集处理，从而形成多个群集，对每个形成的群集接收多个群集特征作为输入值，输出包含所述群集的所述切片的所述切片级别诊断结果的步骤。

所述方法可以由安装在数据处理装置上的计算机程序来实现。

发明的效果

根据本发明的技术思想，在对特定图像块执行诊断时提供一种神经网络，所述神经网络通过考虑包括所述特定图像块，甚至还包括周围图像块的宏观图像块，以判断所述特定图像块的疾病状态，从而具有更高的诊断准确度的效果。

此外，根据本发明的技术思想，提供一种利用神经网络的诊断系统及其方法，所述系统及其方法作为输入的输入数据不仅利用图像块的原始颜色值(例如，RGB 3通道值)，还进一步将灰色通道作为输入数据使用，从而防止忽略单纯使用灰色通道时可能出现的与颜色差异所代表的疾病相关的图像特性，同时，对于作为在疾病表达与否的诊断中不是根源性图像特性的颜色的多种因素而产生的变化(variaton)具有强劲的特性。

此外，根据本发明的技术思想，为了解决仅根据图像块诊断结果本身就确定包含所述图像块的切片已表达疾病时存在的问题，在包含所述图像块的切片中，利用群集和群集的特征(features)重新判断疾病的表达情况，因此具有执行有效、高准确度诊断的效果。

附图说明

提供每个附图的简要描述以便更充分地理解在本发明的详细描述中引用的附图。

图1是表示根据本发明的技术思想，利用神经网络的疾病诊断系统的示意性系统构成的图。

图2是用于说明根据本发明的实施例，利用神经网络的疾病诊断系统的逻辑性构成的图。

图3是用于说明根据本发明的实施例，利用神经网络的疾病诊断系统的硬件构成的图。

图4是用于说明根据本发明的实施例的神经网络的示例性构成的图。

图5是用于说明根据本发明的另一实施例的神经网络的示例性构成的图。

图6是用于说明根据本发明的实施例的两阶段疾病诊断方法的概念的图。

图7是示出根据本发明的实施例的图像块级别诊断方法的实验结果的图。

图8是示出根据本发明的实施例的图像块级别诊断结果的标记结果的图。

图9是示出根据本发明的实施例的切片级别诊的方法的实验结果的图。

具体实施方式

本发明可以进行各种变形，可以具有各种实施方式，而在附图中示出了具体的实施方式，并在详细的说明中进行了详细说明。但是，这并不是要将本发明限于这些实施方式，而应理解为包括本发明的精神和技术范围内的所有转换、等同或替代。在描述本发明时，如果确定相关的已知技术的详细描述可能使本发明的主题不清楚，则将省略其详细描述。

诸如第1和第2的术语可以用于描述各种组件，但是这些组件不应受到这些术语的限制。这些术语仅用于将一个组件与另一个组件区分开的目的。

在本申请中使用的术语仅用于描述特定的实施例，而无意于限制本发明。除非上下文另外明确指出，否则单数表达包括复数表达。

在本说明书中，诸如“包括”或“具有”等的术语旨在表示说明书中所描述的特征、数字、步骤、动作、构成要素、部件或其组合的存在，但应当理解并不预先排除其他一个或多个特征、数字、步骤、动作、构成要素、部件或其组合的存在或增加的可能性。

另外，在本说明书中，当一个组件将数据“传输”到另一组件时，意味着该组件可以直接将所述数据传输到所述另一组件，或者通过至少一个其他组件将所述数据传输到所述另一组件。相反，当一个组件将数据“直接传输”到另一组件时，这意味着所述数据是从该组件没有通过其他组件而被传输到所述另一组件。

在下文中，将参考附图围绕本发明的实施例来详细描述本发明。各图中相同的附图代码表示相同的构件。

图1是表示根据本发明的技术思想，利用神经网络的疾病诊断系统的示意性系统构成的图。

参考图1，根据本发明的技术思想，利用神经网络的疾病诊断系统(以下简称诊断系统，100)可以安装在预定的服务器10上，以实现本发明的技术思想。所述服务器10是指具有用于实现本发明的技术思想的计算能力的数据处理设备，本领域普通技术人员将容易推断出服务器通常不仅可以被定义为客户端可通过网络访问的数据处理设备，还可以是诸如个人计算机和便携式终端等可执行特定服务的任何设备。

如图3所示，所述服务器10可以包括处理器11和存储装置12。所述处理器11可以指能够驱动实现本发明技术思想的程序12-1的运算装置，所述处理器11利用所述程序12-1和本发明技术思想定义的神经网络(Nerual Network，12-2)执行诊断。所述神经网络12-2，如随后将描述，还可以包括执行图像块级别诊断的图像块神经网络。根据实施例，所述神经网络12-2还可以包括执行切片级诊断的神经网络。根据实施例，执行所述切片级别诊断的配置不仅可以通过神经网络实现，还可以通过多种机器学习技术实现。根据本发明的技术思想，执行所述切片级诊断的诊断引擎使用了已知的极端梯度提升(XGBoost)，但可以根据多种方式的机器学习技术来实现诊断引擎，并且这些诊断引擎可以存储在所述存储装置12中。

所述存储装置12可以是指能够存储所述程序12-1、神经网络12-2、和/或执行切片级别诊断的诊断引擎的数据存储手段，并且可以根据实施例以多种存储手段来实现。另外，所述存储装置12不仅可以指所述服务器10中包括的主存储装置，还可以指所述处理器11中可以包括的临时存储装置或存储器等。

尽管所述诊断系统100在图1或图3中被示为以某一个物理设备来实现，但是本发明技术领域的普通专家能够容易地推断出根据需要本发明的技术思想的诊断系统100可以通过有机地组合多个物理设备来实现。

在本说明书中，所述诊断系统100执行诊断可以指接收表现生物体组织的生物体图像即接收切片的全部或作为所述切片的一部分的图像块，并输出在本说明书中定义的输出数据的一系列处理。

根据一个示例，所述诊断系统100可以执行两阶段(two phase)诊断。第1阶段可以是执行图像块级别诊断的过程，在此过程中，所述诊断系统100可以按切片上的图像块接收输入，并在输出在相关图像块上的疾病表达与否。显然，神经网络可以进行学习从而实现所述过程。

第2阶段可以通过第1阶段的诊断结果输出在切片上的疾病表达与否。这样的过程可以使用神经网络或预定的机器学习技术。

也就是说，根据图像块的诊断结果，即使部分图像块被判定为表达了疾病，但在包含该图像块的整个切片上，也有可能不被判定为表达了疾病。例如，被判定为表达疾病的图像块在切片中分散开来，或数量少的情况，或者密集度等被判定为表达疾病的图像块的其他物理特性(例如位置、大小、密集度等)，在实际对应的切片上对判断疾病是否表达可能具有重要意义。因此，第2阶段可以根据图像块诊断结果和基于这些诊断结果判断的图像块(即被诊断为表达疾病的图像块)的特性，来判断切片上疾病表达与否，从而可以执行有效切且高准确度的诊断。

另一方面，执行图像块级别诊断的神经网络，根据本发明的技术思想，不是仅利用对应图像块执行诊断，而是还可以进一步考虑该图像块的周围图像块来执行诊断。这些技术思想曾在本申请人申请的韩国专利申请(申请编号10-2016-0168176，利用神经网络的疾病诊系统及其方法，以下简称“先前的申请”)中详细揭示。因此，与仅考虑非常分支的区域即与图像块相对应的领域执行诊断相比，同时考虑其周围区域进行诊断时，可以提高诊断的准确率。而且，根据本发明的技术思想，不仅在特定图像块的周围图像块上，而且在整个切片上，通过进一步考虑图像块的位置、密集度和群集的大小等物理特性，因此可以具有更准确地判断切片上是否存在疾病的效果。先前的申请作为本发明的参考资料包括在内，其内容可视为在本说明书中记载。

显然，根据本发明的其他实施例，可以使用单向(one-way)神经网络，而不是像先前的申请一样使用微观网络和宏观网络，即双向(two-way)方式的神经网络。例如，根据本发明的实施例的神经网络可以如图5所示。

在任何情况下，所述神经网络只要被定义为接收图像块后，输出被输入的图像块上是否表达疾病就足够了。此时，所述神经网络的特点是，学习除了原始输入值(例如，RGB3通道)外，还接收灰色通道作为输入值并进行诊断。

另一方面，执行图像块级别诊断的神经网络输出的状态信息可以是显示所述图像块对应组织是否表达了特定疾病(例如，特定种类的癌症)的概率的信息。出现特定标准值(门槛值)以上的概率时，所述神经网络可以将所述图像块判断为疾病(例如前列腺癌)表达的图像块。

当然，如先前的申请所揭示，所述神经网络不仅可以指是否表达特定疾病的信息，而且还可以指特定疾病的进展程度的信息(或与所述进展程度相对应的概率)。例如，当将本发明的技术思想用于前列腺癌的诊断时，表示前列腺癌进展程度的指标的格里森模式(Gleason Pattern)或格里森评分(Gleason Score)可以包含在所述神经网络输出的状态信息中。例如，格里森模式的值为2到5，数值越大表示前列腺癌的表达程度越严重。因此，所述状态信息是与作为诊断对象的图像块相对应的生物体组织对应于格里森评分的特定值(例如3、4或5)的概率。

所述状态信息可以有多个。例如，第1状态信息可以是格里森评分为3的概率，第2状态信息可以是格里森评分为4的概率，第3状态信息可以是格里森评分为5的概率，与这些第1状态信息、第2状态信息和第3状态信息相对应的状态通道都可以在所述输出层定义。根据实施例，可能会定义为表示格利森评分具有一定范围(例如，3至5、4至5等)的概率的状态信息。也就是说，一个状态信息可以对应于表达疾病进展情况的多个指标。

在这种情况下，如果格利森评分为3以上的状态信息超过预定的门槛值，所述神经网络则可以判断所述图像块是疾病图像块，即疾病表达的图像块。

另一方面，所述神经网络利用的门槛值可以以多种方式设置。根据实施例，可以使用多个门槛值。当然，根据不同的门槛值，特定的图像块可以被判定为疾病表达的图像块即疾病图像块，也可以被判定为正常图像块。

根据本发明的技术思想，所述神经网络利用的门槛值可能是多个，在这种情况下，根据多个门槛值中的每个值，诊断出的疾病图像块可能会有所不同。因此，根据门槛值的不同，疾病图像块在切片上的配置特性也会有所不同。因此，在使用某些门槛值时，切片上的诊断结果的准确度也会有所不同。

因此，如随后所述，本发明的技术思想可实现为，根据多个门槛值中的每个值，对诊断出的疾病图像块在切片上的物理特性进行多重考虑，从而使切片诊断引擎执行切片的诊断。这些技术思想将在后面描述。

当所述诊断系统100被包括在预定服务器10中并被实现时，所述诊断系统100可以与可访问所述服务器10的至少一个客户端(例如20、20-1)进行通信。在这种情况下，所述客户端(例如20、20-1)可以将生物体图像发送到所述诊断系统100，并且所述诊断系统100可以根据本发明的技术思想对所发送的生物体图像执行诊断。并且也可以将诊断结果发送给所述客户端(例如20、20-1)。

所述诊断系统100可以利用根据本发明技术思想的神经网络执行图像块级别诊断。当然，为了执行这种诊断，可以先执行所述神经网络的学习过程。另外，如前所述，切片级别诊断也同样，可以利用所述神经网络。

因此，所述诊断系统100可以是一种系统，所述系统可以是从外部源接收根据本发明的技术思想而学习的神经网络和利用所述神经网络来进行诊断的程序来执行诊断的系统，并且也可以是执行所述神经网络的学习过程的系统。另外，所述诊断系统100可以不是通用的数据处理装置而可以是为了实现本发明的技术思想而制作的专用装置，在这种情况下，还可以设置用于扫描生物体图像的装置。

如先前的申请中所揭示，所述神经网络所具有的特征是，为了执行特定图像块的诊断，不是仅仅考虑所述特定图像块的图像，还考虑与所述特定图像块相邻的至少一个图像块的图像，以此来执行所述特定图像块的诊断。通过这样的技术思想所具有的效果是，实际上为了诊断特定图像块相对应的生物体组织，疾病诊断不仅考考虑生物体组织本身，还要考虑所述生物体组织的周围组织，从而具有使其准确度提高到有意义的水平的效果。另外，当把生物体组织分割成多个图像块时，对于根据图像块的分割方式或分割的区域是生物体组织的什么位置而对诊断结果产生的影响，具有强劲的效果。

当然，如上所述，所述神经网络可能不具有先前的申请中所揭示的特征，在任何情况下，所述神经网络都可以是学习以每个图像块进行诊断的神经网络。

这时，所述神经网络与以往不同，对于图像块中包含的每个像素，可以接受额外的通道作为输入值。所述额外的频道可能是每个像素的灰度值。因此，所述神经网络可以按图像块接收输入，接收所述图像块中包含的像素的原始值(例如，RGB)3通道，以及额外的通道即灰色通道作为输入值。

在这种情况下，当生物体图像的颜色因与疾病相关的图像特性无关的因素(例如，诊断机构的特性、染色试剂等)而发生变化时，本发明具有强劲的效果。当然，也可以解决当单纯使用灰色通道而不利用原始值时可能发生的问题，即与疾病相关的图像特性以颜色反映出来时，这些重要信息无法被反映到学习中的问题。

为了实现这种技术思想，所述诊断系统100逻辑上可以具有与图2相同的构成。

图2是用于说明根据本发明的实施例，利用神经网络的疾病系统的逻辑性构成的图。

参照图2，所述诊断系统100包括控制模块110和存储所述神经网络和/或切片诊断引擎的诊断模块120。另外，所述诊断系统100还可以包括预处理模块130。

所述诊断系统100可以指包括实现本发明的技术思想所必需的硬件资源(resource)和/或软件的逻辑性构成，并不是必然指一个物理组件或一个装置。也就是说，所述诊断系统100可以是为实现本发明的技术思想而配置的硬件和/或软件的逻辑组合，并且如果有必要，可以通过将其安装在彼此分离的设备中以执行每个功能，将其实现为用于实现本发明的技术思想的逻辑构成的组合。另外，所述诊断系统100可以指用于实现本发明的技术思想的、分别实现每个功能或角色的构成的集合。例如，所述控制模块110，所述诊断模块120和/或所述预处理模块130中的每一个可以位于不同的物理设备中或在相同的物理设备中。另外，根据实施例，分别构成所述控制模块110，所述诊断模块120和/或所述预处理模块130的软件和/或硬件的组合也可以位于不同的物理设备中，位于不同物理设备中的组件可以彼此有机组合以实现所述每个模块。

另外，在本说明书中，术语“模块”可以表示用于执行本发明的技术思想的硬件和用于驱动所述硬件的软件的功能和结构组合。例如，所述模块可以表示预定代码和用于执行预定代码的硬件资源(resource)的逻辑单元，并且本发明的技术领域的普通专家可以容易地推断它不一定表示物理连接的代码或单一类型的硬件。

所述控制模块110可以控制包含在所述诊断系统100中的其他配置(例如，所述诊断模块120和/或所述预处理模块130等)，以实现本发明的技术思想。

另外，所述控制模块110可以利用存储在所述诊断模块120中的神经网络和/或切片诊断引擎，执行根据本发明的技术思想的诊断。

所述诊断模块120可以包括执行图像块级别诊断的图像块诊断引擎和执行切片级别诊断的切片诊断引擎。

如上所述，所述图像块级别诊断引擎可以通过根据本发明技术思想的基于深度学习的神经网络来实现。所述切片诊断引擎可以使用基于深度学习的神经网络，也可以使用预定的机器学习(例如XGBoost)引擎，而不是神经网络。

所述神经网络可以表示信息的集合，这些信息表达定义神经网络的一系列设计项目。在本说明书中，所述神经网络可以是卷积神经网络。

所述卷积神经网络众所周知，可以包含输入层、多个隐藏层和输出层。多个隐藏层中的每一个都可以包含卷积层和池化层(或子采样层)。

卷积神经网络可以由定义这些层的函数、过滤器、步长(stride)、重量因子等来定义。此外，输出层可以被定义为全连接(fully connected)的前馈层(FeedForward layer)。

构成卷积神经网络的各个层的设计项目已众所周知。例如，对于多个层中需包含的层数、对用于定义所述多个层的卷积函数、池函数、激活函数中的每个函数可以利用已知的函数，也可以使用为实现本发明的技术思想而单独定义的函数。

根据本发明的实施例，执行图像块级别诊断的神经网络利用了已知的稠密连接网络(densenet)，此时，如先前的申请中所公开的，可以设计为不仅考虑作为诊断对象的特定图像块，还可以考虑周围的图像块。此外，各种神经网络也可以被利用，在任何情况下，所述神经网络都可以定义为接收特定图像块作为输入，并输出与该特定图像块的疾病表达概率相对应的特征值。

所述控制模块110可以使存储在所述诊断模块120中的神经网络即经过学习的神经网络中的接收输入数据，即按图像块接收输入。这时，如上所述，接收值可以是原始值加上灰色通道的值。当然，灰色通道值可以通过将像素值转换为灰度值来获得。并且可以执行神经网络定义的运算，从而输出数据，即与图像块相关的疾病表达概率相对应的特征值。此外，根据实施例，为了进行后述的切片级别诊断，根据所述特征值是否达到预定的门槛值，还可以输出相关图像块是否表达了疾病。

另外，所述诊断模块120可以包括切片诊断引擎，所述切片诊断引擎也可以通过所述控制模块110学习而实现。

所述切片诊断引擎可以根据所述神经网络的输出结果标记疾病图像块。标记可以指在切片内区分疾病图像块。根据一个示例，所述切片诊断引擎可以将疾病图像块与其他图像块区分开来标示，从而生成热图。而且，在生成的热图的基础上，可以将疾病图像块群集成多个。根据一个实施例，所述切片诊断引擎可以将疾病图像块群集到至少两个。而且，其中最大的2个群集可以用于切片诊断。但是，显然，也可以使用2个以上的群集进行切片诊断。

所述切片诊断引擎可以得出每个群集的预定的特征值。而且，学习将计算出的特征值作为输入数据，输出与输入数据相对应的切片是否表达疾病。

另外，所述切片诊断引擎可以考虑多个门槛值进行学习。这样可以输出对于门槛值的设置较为强劲的切片诊断结果。对此，将在后面进行描述。

所述预处理模块130可以在利用神经网络进行诊断前进行所需的生物体图像的预处理。例如，所述生物体图像的预处理可以包括将所述生物体图像拼接成预定义大小的图像块而进行图像块化的过程，还可以如上所述计算出各图像块像素的灰度值。另外，本发明技术领域的普通专家可以容易地推断出根据需要也可以用适合所述神经网络的方式进行适当的图像处理。

图4是用于说明根据本发明的实施例的神经网络的构成的图。

参考图4，根据本发明的技术思想的神经网络200包括微观神经网络和宏观神经网络。

首先，参考图4a，正如先前的申请中所公开的，微观神经网络包括多个层210和输出层230。多个层210包括输入层211和多个隐藏层212。

宏观神经网络包括多个层220和所述输出层230。所述多个层220包括输入层221和多个隐藏层222。

所述微观神经网络被定义为接收特定图像块30，输出特定图像块的诊断结果，即输出层230中定义的输出数据。

另外，所述宏观神经网络被定义为接收包括所述特定图像块30并且包括至少一个与所述特定图像块30相邻的图像块的宏观图像块40，并输出所述特定图像块的诊断结果。

也就是说，根据本发明的技术思想，神经网络200为了输出特定图像块30的诊断结果，不仅可以考虑特定图像块30的图像特性，还可以考虑所述特定图像块30的相邻图像块的图像特性，来输出诊断结果。

所述宏观图像块40在图4中显示为围绕图像块使用3×3图像块的示例，但当然可以有多种实施例。

所述输出层230，接收所述微观神经网络中包含的就在所述输出层230之前的前一层即第1前层212-1和宏观神经网络中包含的就在所述输出层230之前的前一层即第2前层222-1的每一个输出数据，从而输出所述输出层230所定义的输出数据。所述第1前层212-1、所述第2前层222-1和所述输出层230可以是全连接(fully connected)。

定义所述输出层230的前馈(Feedforward)函数可以使用各种函数的任何一个，其中所述函数将作为输入层接收的输入数据通过神经网络200将结果即输出数据输出到输出层230。

最终，所述神经网络200为了对特定图像块30执行诊断，同时考虑到所述特定图像块30的图像特性和包含所述特定图像块30的宏观图像块40的图像特性，学习输出与大量训练数据的注解值相对应的输出层230的输出数据。

也就是说，为了使所述神经网络200进行学习，将使用多个训练数据，多个训练数据可以包括一对特定的图像块30和宏观图像块40。而且，宏观图像块40也可以利用所述特定图像块30的注解信息进行学习。

这样，所述神经网络200可以同时考虑所述特定图像块30和所述宏观图像块40的图像特性，并能够学习输出与所述特定图像块30的注解信息相对应的输出数据。

而且，所经过学习的神经网络200如果将作为诊断对象的目标图像块和与所述目标图像块相对应的宏观图像块分别作为微观神经网络和宏观神经网络的输入层的输入数据将其接收，则可以输出所述目标图像块的诊断结果，即输出层230的输出数据。

所述输出层230可以输出输出数据即作为诊断对象的特定图像块30的诊断结果，如图4a所示。诊断结果至少可以包含所述特定图像块30的疾病状态的信息。关于疾病状态的信息可能仅仅是指特定疾病是否在特定图像块30中表达(或概率值)的信息。但是，根据疾病的种类，关于疾病状态的信息可能包括更具体地表示疾病发展程度的信息。

如上所述，输出层不仅可以像先前的申请中所公开的那样单纯地输出疾病的表达与否，还可以设计为输出多种额外的信息。例如，可以包括显示疾病进行程度的信息和/或显示与所述状态通道的值相关联的关联因子的表达程度的关联因子信息。对此，先前的申请中已详细公开，所以在此省略详细的说明。

如果使用图4a中示出的神经网络200，尽管在图4a中没有示出，显然还可以存在接收所述输出层230的输出数据，从而最终输出与输入的图像块的疾病的表达概率相对应的特征值的层。

或者，如图4b所示，所述神经网络可以设计为具有层240，该层代替如图4a所示的输出多个状态通道和相关因子通道的层，输出与输入的图像块的疾病的表达概率相对应的特征值。

根据本发明的其他实施例，用于诊断图像块级别的神经网络可以设计为具有单向路径，而不是如图4所示的具有双向路径(微观网络和宏观网络各自的路径)的方式。这些示例可以与图5所示相同。

图5是用于说明根据本发明的其他实施例的神经网络的示例性构成的图。

参考图5，如上所述，神经网络可以被定义为以图像块为单位接收输入，并判断输入的图像块是否存在疾病。这时，如图所示，所述神经网络可以接收4通道(例如，RGB和灰色通道)的数据的输入。

输入的数据可以被定义为通过卷积层、最大池层等多个层后输出数据即输入的图像块是否是疾病图像块。这种神经网络可以是利用已知的稠密连接网络(densenet)模型的神经网络。而且，此时，根据本发明的技术思想，所述神经网络与以往的稠密连接网络(densenet)模型相比增加了1×1卷积，从而具有确认内部特征图的效果。另外，S型(Sigmoid,原文为Signoid)函数被用作激活函数，但也可以使用各种激活函数。

本发明技术领域的普通专家可以容易地推断出可以以其他多种方式定义执行图像块级别诊断的神经网络。

根据本发明的一个实施例，使用了所述图5中所示的神经网络，此时所述神经网络的图像块级别诊断结果可以与图7中所示的相同。

图7是表示根据本发明的一个实施例的图像块级别诊断方法的实验结果的图。

参考图7，所述神经网络作为训练(train)数据集利用标记为癌症的图像块62358个、标记为一般(正常)的图像块108300进行了所述神经网络的学习，作为验证(Validation)集利用标记为癌症的图像块8963个、正常图像块15499个。而且，作为测试集，使用了14898个癌症图像块和19089个正常图像块。

当时的实验结果的准确率(accuracy)、精确率(precision)、灵敏度(sensitivity)、特异性(specificity)分别如图6所示，表现出非常高的性能。而且，与特征值仅使用原始像素值3个通道相比，确认了其性能的提高。

参考图5，对利用这种图像块级别诊断结果进行两阶段诊断的概念进行说明。

图6是用于说明根据本发明的实施例的两阶段疾病诊断方法的概念的图。

如图6所示，与生物体组织相对应的生物形象，即从切片中取样的图像块，可以用于神经网络200的学习。所述图像块可以是对标记为癌症的图像块和标记为正常的图像块进行采样，使其具有预定的比例。

而且如上所述，所述神经网络200通过接收进一步包含灰色通道的每个图像块的输入数据来学习，作为结果，所述神经网络200学习输出每个图像块是否为癌症(或概率值)。

这样，所述神经网络200如图6的下方所示，如果输入了切片，则可以对每个切片中包含的每个图像块执行图像块级别的诊断。

而且，所述切片诊断引擎可以根据图像块级别诊断结果标记疾病图像块。例如，如图6所示，可以生成热图。

另外，图8是显示根据本发明的一个实施例的图像块级别诊断结果的标记结果的图，图8a表示由熟练的专家标记的活体组织的图像，图8b表示由经过学习的所述神经网络200生成的热图。从图8可以看出，本发明可以进行非常准确的诊断。

另一方面，根据生成的热图，所述切片诊断引擎可以生成群集。所述切片诊断引擎可以利用预定的聚类算法对疾病图像块进行群集。根据本发明的实施例，所述切片诊断引擎通过已知的密度的聚类(DBSCAN)算法进行群集，但当然可以使用多种群集技术。

所述切片诊断引擎可以按群集结果生成的群集提取群集特征。

所述群集特征可以是特征性的值，表示与疾病的表达相关的特征。

根据一个示例，所述群集特征可以包括群集中包含的疾病图像块的数量、各图像块被判定为疾病的概率值的平均值、各图像块被判定为疾病的概率值的最大值，以及各图像块被判定为疾病的概率值的最小值。可以确认，如果包括这些群集特征，切片诊断引擎的诊断结果的性能会相对提高。

此外，根据实施例，所述群集特征可以进一步包括群集各自的主轴(major axis)、次轴(minor axis)、面积(area)和密度(density)。这与群集的物理特征密切相关，如果将这些群集特征一起使用于诊断，可以进一步提高诊断性能。

另一方面，所述群集根据每个图像块是否被判定为疾病图像块，其位置、大小和所述群集特征可能会有所不同。而且，这依赖于图像块级别诊断中使用的门槛值。

根据本发明的技术思想，多个门槛值可以一起用于切片级别诊断。

根据一个示例，本发明的实施例使用了5个不同的门槛值，但可以有多种实施例。

而且，根据每个门槛值，特定图像块被诊断为疾病图像块的结果可能会有所不同，群集结果也可能会有所不同。

根据本发明的实施例，所述切片诊断引擎以例如N(例如，5)个门槛值以及基于所述N个门槛值中的每一个，以预定的方式对疾病表达的图像块进行群集，形成了M(例如，2)个群集。

并且对形成的每个群集产生了P(例如所述8个群集特征)个群集特征。而且，在这种情况下，对于一个切片，可以提取M×N×P(例如，80)个群集特征。

而且，切片诊断引擎可以学习接收这些特征值作为输入值，并作为输出数据输出所述切片是否存在疾病。

通过这些实施例的实验结果见图8。

图9是表示根据本发明的一个实施例的切片级诊断方法的实验结果的图。

图9所示的实验结果为，所述8个群集特征均已被使用，使用的门槛值为5个，使用了2个群集的情况下的实验结果。在这些实施例中，作为训练数据集使用了478个表达癌症的切片和218个正常切片。另外，作为验证集使用了117个表达癌症的切片、57个正常切片、作为测试集使用了1302个表达癌症的切片、1658个正常切片。

而且，当时的实验结果中准确率(accuracy)、精确率(precision)、灵敏度(sensitivity)、特异性(specificity)每一项都表现出了很高的性能，如图9所示。

此外，本说明书主要说明了本发明技术思想适用于前列腺癌的示例，但本发明技术领域的平均专家可以容易地推断出，同样对于其他疾病，即不仅需要考虑特定组织，而且还需要考虑到该组织的周围组织的状态来执行所述特定组织的诊断的其他疾病，应用本发明的技术思想时，可以进行准确的诊断。

根据本发明的实施例的两阶段疾病诊断方法可以以计算机可读记录介质上的计算机可读代码来实现。所述计算机可读记录介质包括存储可由计算机系统读取的数据的所有类型的记录设备。计算机可读记录介质的示例包括只读存储器(ROM)、随机存储器(RAM)、只读光盘(CD-ROM)、磁带、硬盘、软盘和光学数据存储装置等。另外，计算机可读记录介质还可以分散在联网的计算机系统上，使得计算机可读代码可以以分散方式存储和执行。另外，用于实现本发明的功能(functional)程序、代码和代码段可以由本发明所属技术领域的程序员容易地推断。

已经参考附图中所示的实施例描述了本发明，但是这仅是示例性的，并且本领域普通技术人员将理解，由此可以进行各种修改和其他等效实施例。因此，本发明的真实技术保护范围应由所附的注册权利要求的技术思想来确定。

本发明可用于“两阶段疾病诊断系统及其方法”。