一种支持双重类别的疾病诊断系统及其方法

摘要

揭示一种在包括处理器和用于存储神经网络的存储装置的系统中实现并利用生物体图像和所述神经网络的疾病诊断系统。所述诊断系统的所述处理器，通过存储在所述存储装置中的所述神经网络，利用预定的损失函数和学习数据即对所述生物体图像中包含的预定的单位单元将其标记为所述单位单元在多个状态中具有至少一种状态，学习输出在所述多个状态中具有其中至少一个状态的概率所相对应的判断值，所述神经网络包括一个特定的层，所述层输出多个特征值，对应于将所述单位单元确定为多个状态中的每个状态的概率，所述损失函数，对于多个单位单元中标记为所述多个状态‑所述多个状态包括确定为具有较高概率状态的第1状态和确定为具有比第1状态低的状态的第2状态‑的双重标记的单位单元，被定义为把在所述特定层的特征值中与第1状态相对应的第1特征值和与所述第2状态相对应的第2特征值均进行反映来计算损失。

说明书

技术领域

本发明涉及一种使用神经网络的疾病诊断系统及其方法。更详细地，涉及一种系统及其方法，在通过使神经网络学习来诊断疾病的同时，允许对特定单位单元(例如，对应于活体组织的图像的像素)进行双重标记，并且利用其构建具有更高的准确性的神经网络。

背景技术

病理学或病理科执行的主要任务之一是读取患者的生物体图像并执行诊断以确定特定疾病的状况或症状。这种诊断是一种取决于医务人员的长期熟练的经验的方法。

近年来，由于机器学习的发展，正在积极尝试通过使用计算机系统将诸如图像识别或分类等任务自动化。特别地，正在尝试使用机器学习的一种即神经网络(例如，使用卷积神经网络(Convolution neural network，CNN)的深度学习方法)来把以往通过熟练的医务人员执行的诊断自动化。

特别地，通过使用神经网络(例如，CNN)的深度学习进行诊断并不是简单地使熟练的的医务人员的经验和知识自动化，而是可以通过自学发现特征元素以得出所需的答案，因此，在某些情况下，反而在图像中发现了经验丰富的医务人员不了解的疾病因素的特征。

通常，使用生物体图像通过神经网络来诊断疾病，会使用一个生物体图像的块，即图像块(patch)(也称为切片(tile))。即，对于相关图像块，经验丰富的医务人员将特定疾病的状态进行注解(annotaion)(例如，是否表达了癌症)，并使用注解的多个图像块作为训练数据来使神经网络进行学习。此时，所述神经网络可以是卷积神经网络。

然而，在该方法中，使神经网络学会确定每个图像块(例如512×512像素)是否发生疾病，因此存在无法知道图像块的哪一部分是疾病的问题。

而且，以往每个神经网络的输入单位即单位单元(例如图像块)仅学会判断一种疾病状态(例如是否有疾病，或者如果有疾病则处于什么状态(例如，前列腺癌时的格里森评分值))，而即使由经验丰富的医务人员判断，也存在该单位单元可能处于第1状态也有可能处于第2状态的情况，即可能存在的情况是，没有明确显示出处于多个状态中的某一个的可能性，而是处于第1状态的可能性较高，但也存在处于第2状态的可能性。

在这种情况下，以往的情况是，虽然特定单位单元有可能处于多个状态之中的任意状态，但是将其忽略并假定为处于某一特定状态，并对其进行标记以生成学习数据，而使用这种学习数据进行学习的神经网络同样将可能具有多个状态的单位单元明确地视为具有所述特定状态的单位单元。

但是，在这种情况下，如果将对于特定单位单元可能具有多个状态的信息本身也作为有意义的信息反映在学习中，则此类信息本身可以成为有意义的信息，并且可以帮助提高神经网络的准确性。

现有技术文献

专利文献

韩国公开专利10-2016-0034814“具有神经网络的客户端设备和包括该客户端设备的系统”

发明内容

技术课题

本发明所要实现的技术课题是提供一种系统及其方法，对于输入数据(单位单元)无法明确分类为第1状态或第2状态等由神经网络输出的类别中的某一个，对单位单元进行分类的类别判断模糊而存在多个状态的可能性时，对于所述存在多个状态的可能性的单位单元，通过允许在学习中使用其特征来改善性能。

另外，将提供一种支持深度学习模型的系统和方法，所述模型能够通过

技术解决方法

在包括用于实现技术课题的处理器和用于存储神经网络的存储装置的系统中实现，并利用生物体图像和所述神经网络的疾病诊断系统，其特征在于，所述处理器通过存储在所述存储装置中的所述神经网络，使用预定的损失函数和学习数据即对所述生物体图像中包含的预定的单位单元将其标记为所述单位单元在多个状态中具有至少一个状态，学习输出在所述多个状态中具有其中至少一个状态的概率所对应的判断值，所述神经网络包括一个特定的层，所述层输出多个特征值，对应于将所述单位单元确定为多个状态中的每个状态的概率，所述损失函数，对于多个单位单元中标记为所述多个状态-所述多个状态包括确定为具有较高概率状态的第1状态和确定为具有比第1状态低的状态的第2状态-的双重标记的单位单元，被定义为把在所述特定层的特征值中与第1状态相对应的第1特征值和与所述第2状态相对应的第2特征值均进行反映来计算损失。

所述损失函数，其特征在于可以被定义为所述第2特征值具有比所述第1特征值更多的损失。

所述损失函数，其特征在于，可以通过以下的等式1来定义。

[等式1]

其中，

所述单位单元可以是所述生物体图像的像素单元。

当基于所述像素单元的判断值，每个像素具有预定的判断值时，所述处理器确定所述像素是与疾病相对应的疾病像素，并且基于判断结果，在生物体图像中将疾病像素与其他像素区分标示。

所述疾病可以是前列腺癌。

所述多个状态可以包括正常、格里森评分3、格里森评分4和格里森评分5。

在包括用于解决所述技术课题的处理器和存储装置的系统中实现并使用生物体图像和神经网络的疾病诊断系统所执行的方法，包括：存储在所述存储装置的所述神经网络接收预定损失函数和学习数据的步骤，所述学习数据是对于所述生物体图像中包含的预定单位单元将所述单位单元标记为具有多个状态中的至少一个，利用接收的学习数据学习对于每个单位单元输出具有所述多个状态中的至少一个状态的概率相对应的判断值的步骤，所述神经网络包括一个特定的层，所述层输出多个特征值，对应于将所述单位单元确定为多个状态中的每个状态的概率，所述损失函数，对于多个单位单元中标记为所述多个状态-所述多个状态包括确定为具有较高概率状态的第1状态和确定为具有比第1状态低的状态的第2状态-的双重标记的单位单元，被定义为把在所述特定层的特征值中与第1状态相对应的第1特征值和与所述第2状态相对应的第2特征值均进行反映来计算损失。

所述方法可以进一步包括，当基于所述像素单元的判断值，每个像素具有预定判断值时，确定相关像素是与疾病相对应的疾病像素的步骤以及根据判断结果在所述生物体图像中将疾病像素与其他像素区分标示的步骤。

所述方法可以通过安装在数据处理设备中的计算机程序和能够执行所述计算机程序的数据处理设备的硬件来实现。

发明的效果

根据本发明的技术思想，是提供一种系统及其方法，对于输入数据(单位单元)无法明确分类为多个状态中的某一个，对其标记时类别判断模糊而存在多个状态的可能性时，对于所述存在多个状态的可能性的单位单元，通过允许在学习中使用其特征，从而具有改善性能的效果。

另外具有的效果是，能够通过对每个像素而不是每个图像块进行诊断来详细分割(segmentation)表达疾病的部分和没有表达疾病的部分。

附图说明

提供每个附图的简要描述以便更充分地理解在本发明的详细描述中引用的附图。

图1是示出根据本发明的技术思想的使用神经网络的疾病诊断系统的示意性系统构成的图。

图2是示出根据本发明的实施例的使用神经网络的疾病诊断系统的逻辑性构成的图。

图3是示出根据本发明的实施例的使用神经网络的疾病诊断系统的硬件构成的图。

图4是用于概念性地解释根据本发明的另一实施例的神经网络的构成的图。

图5是示例性地示出根据本发明实施例的分割结果的图。

具体实施方式

本发明可以进行各种变形，可以具有各种实施方式，而在附图中示出了具体的实施方式，并在详细的说明中进行了详细说明，但是，这并不是要将本发明限于这些实施方式，而应理解为包括本发明的精神和技术范围内的所有转换、等同或替代。在描述本发明时，如果确定相关的已知技术的详细描述可能使本发明的主题不清楚，则将省略其详细描述。

诸如第1和第2的术语可以用于描述各种组件，但是这些组件不应受到这些术语的限制。这些术语仅用于将一个组件与另一个组件区分开的目的。

在本申请中使用的术语仅用于描述特定的实施例，而无意于限制本发明。除非上下文另外明确指出，否则单数表达包括复数表达。

在本说明书中，诸如“包括”或“具有”等的术语旨在表示说明书中所描述的特征、数字、步骤、动作、构成要素、部件或其组合的存在，但应当理解并不预先排除其他一个或多个特征、数字、步骤、动作、构成要素、部件或其组合的存在或增加的可能性。

另外，在本说明书中，当一个组件将数据“传输”到另一组件时，意味着该组件可以直接将所述数据传输到所述另一组件，或者通过至少一个其他组件将所述数据传输到所述另一组件。相反，当一个组件将数据“直接传输”到另一组件时，这意味着所述数据是从该组件没有通过其他组件而被传输到所述另一组件。

在下文中，将参考附图围绕本发明的实施例来详细描述本发明。各图中相同的附图代码表示相同的构件。

图1是示出根据本发明的技术思想的使用神经网络的疾病诊断系统的示意性系统构成的图。

参照图1，根据本发明的技术思想的使用神经网络的疾病诊断系统(以下称为诊断系统100)被安装在预定的服务器10中以实现本发明的技术思想。所述服务器10是指具有用于实现本发明的技术思想的计算能力的数据处理设备，本领域普通技术人员将容易推断出服务器通常不仅可以被定义为客户端可通过网络访问的数据处理设备，还可以是诸如个人计算机和便携式终端等可执行特定服务的任何设备。

所述服务器10可以包括如图3所示的处理器11和存储装置12。所述处理器11可以指能够驱动用于实现本发明的技术思想的程序12-1的运算装置，并且所述处理器11可通过所述程序12-1和本发明技术思想所定义的神经网络Neural Network12-2进行诊断。

所述程序12-1可以指为实现本发明的技术思想而定义的软件。

所述存储装置12可以指能够存储程序12-1和神经网络12-2的数据存储装置，并且根据实施例可以以多个存储装置来实现。另外，所述存储装置12不仅可以指所述服务器10中包括的主存储装置，还可以指所述处理器11中可以包括的临时存储装置或存储器等。

尽管所述诊断系统100在图1或图3中被示为以某一个物理设备来实现，但是本发明技术领域的普通专家能够容易地推断出根据需要本发明的技术思想的诊断系统100可以通过有机地组合多个物理设备来实现。

在本说明书中，所述诊断系统100执行预定功能可以指所述处理器11使用程序12-1执行预定功能。

在本说明书的下文中，所述诊断系统100执行诊断可以指分别接收表现生物体组织的生物体图像的各预定的单位单元，并输出在本说明书中定义的输出数据的一系列处理。

所述单位单元可以表示需执行诊断的单元。根据一个示例，所述单位单元可以是生物体图像的像素单元。当然，根据实施例，所述单位单元可以是生物体图像的图像块单元或切片单元。

在本说明书中，作为示例，使用了当所述单位单元为像素单元时，由所述诊断系统100针对各像素诊断的结果是表达疾病的像素还是没有表达疾病的像素的情况进行了说明。而本发明的技术领域的普通专家将能够容易地推断出所述单位单元可以根据示例而变化。

所述输出数据可以指由所述诊断系统100所使用的神经网络的输出层输出的信息，并且所述输出数据可包括显示与所述生物体图像中包括的单位单元相对应的生物体组织对于特定疾病处于何种状态的状态信息。

例如，状态信息可以是与特定疾病(例如，特定类型的癌症)是否已经在与所述单位单元相对应的组织中表达的概率相对应的信息。或者，如稍后将描述的，不仅可以指是否已经表达特定疾病的简单的信息，而且还可以指特定疾病的进展程度(或与所述进展程度相对应的概率)的信息。例如，如稍后将描述的，当将本发明的技术思想用于前列腺癌的诊断时，所述状态信息中可以包括格里森模式(Gleason Pattern)或格里森评分(GleasonScore)(表示前列腺癌进展程度的指标)。例如，格里森模式的值为2到5，数值越大表示前列腺癌的表达程度越高。因此，所述状态信息是与诊断对象的单位单元相对应的生物体组织对应于格里森模式的特定值(例如3、4或5)的概率相对应的信息或对应于正常(即没有发生疾病)的概率相对应的信息。

所述状态信息可以有多个。例如，根据本发明的技术思想，所述状态可以用四个通道来实现。例如，第1状态可以是对应的单位单元为正常的状态，第2状态可以是格里森模式为3的状态，第3状态可以是格里森模式为4的状态，第4状态可以是格里森模式为5的状态。

与每个状态通道相对应的特征值可以是与每个状态的概率相对应的值，并且所述神经网络可以习得随着该值的增加属于该状态的可能性也随之增加。

输出与这种多个状态相对应的特征值的层可以是所述神经网络的最后一层，也可以是就在最后一层之前的前一层。在后一种情况下，输出与所述多个状态相对应的特征值的前一层将输出与多个状态(例如上述四个状态)相对应的特征值，最后一层可将前一层的特征值中具有最高值的状态(例如，正常和格里森模式3、4和5中的任何一个)作为输出值输出。

或者，最后一层可以是输出所述多个状态的层。显然，根据设计神经网络的实施例，这可以容易地改变。

根据本发明的技术思想，所述神经网络的学习数据，可以不用标记为所述多个状态中的一个，而可以标记为多个状态。

即，从经验丰富的医务人员或可以通过目视检查单位单元来注释(标记)单位单元处于什么状态的专家的观点来看，可能存在所述单位单元无法明确被区分为多个状态中的任何一个状态即存在可以被区分为第1状态或者第2状态的可能性。

也就是说，可能存在用作学习数据的生物体图像的单位单元无法被清楚地分类为某一个状态(类别)，而具有多个状态的可能性的情况，即模棱两可的情况。

在这种情况下，以往即使具有模糊性，也通过选择多个状态中的某一个来将对应的单位单元标记为所选择的状态，并且根据标记结果让神经网络进行学习。

但是，根据本发明的技术思想，具有模糊性的图像特征本身可能具有有用的信息，并且将该图像特征按照具有模糊性本身来标记时，与将其标记为预测的某一可能性较高的类别(状态)相比，可以使神经网络通过学习具有比常规方法更高的准确性。

例如，根据执行标记的专家的判断，某个特定单位单元被分类为第1状态(例如，正常)的可能性较大，被确定为第2状态(例如，格里森得分3)的可能性也有但较小。

这种情况下，与可以清楚地被分类为第1状态(例如，正常)的单位单元相比，即使可能只是任何细微差异，在图像特性上也会存在差异。但是，如果以传统方式简单地用看起来概率较高的某一个状态(例如正常)进行标记，则可能导致忽略所述细微差异的结果。

但是，根据本发明的技术思想，具有这种模糊性的单位单元，以其本身(即，被判断为具有较高概率的第1状态及具有比第1状态低的概率但存在可能性的第2状态的状态)被标记，从而与被标记为第1状态或第2状态的标记相比被区别标记。并且根据该方法，即，根据标记多个状态的方法(在本说明书中，示例性地描述了标记为两个状态的情况，因此，被称为“双重类别标记”)，特定单位单元被标记为双重类别，这本身可以反映在学习中以提高神经网络的性能。

在这种双重类别标记方法的情况下，显然必须定义可以反映双重类别标记的特性的损失函数(Loss function)。

例如，特定单位单元可以被标记为初级(primary)状态即被确定为具有较高概率的状态和次级(secondary)状态。即，可以允许以这种方式将具有模糊性(令人混淆)的图像特性的单位单元标记为双重类别。

在这种情况下，定义神经网络的损失函数可以被定义为既反映初级状态和也反映次级状态。例如，当神经网络以高概率输出初级状态时，它被定义为具有高补偿(低损失)，而当神经网络以高概率输出次级状态时，则被定义为具有低补偿(高损失)。当然，可以定义损失函数，使得与初级状态或次级状态以外的状态相比，次级状态仍以较高的概率输出特征值时，损失才减少。

由于神经网络通过学习以使损失尽可能小，因此，可以学会对于带有双重标记的单位单元以较高的概率输出初级状态，而对于次级状态，学会虽然与其他初级状态相比具有更低的概率，但与其他状态相比具有更高的概率相对应的特征值。

根据该技术思想，在单位单元具有令人混淆的图像特性的情况下，通过在学习中反映令人混淆的状态本身，从而不是忽略令人混淆的图像特性，而是将令人混淆的图像特性也反映到诊断结果上，因此具有的效果是，可以构建具有更高准确性的基于深度学习的诊断系统。

另一方面，当所述诊断系统100被包括在预定服务器10中并被实现时，所述诊断系统100可以与可访问所述服务器10的至少一个客户端(例如20、20-1)进行通信。在这种情况下，所述客户端(例如20、20-1)可以将生物体图像发送到所述诊断系统100，并且所述诊断系统100可以根据本发明的技术思想对所发送的生物体图像执行诊断。并且也可以将诊断结果发送给所述客户端(例如20、20-1)。

所述诊断系统100可以根据本发明的技术思想使用神经网络执行诊断。当然，为了执行这种诊断，可以首先通过标记为多个状态通道任何一个或标记为双重类别的学习数据，使得神经网络执行学习过程。

因此，所述诊断系统100可以是一种系统，所述系统可以是从外部源接收根据本发明的技术思想而学习的神经网络和利用所述神经网络来进行诊断的程序来执行诊断的系统，甚至也可以是执行所述神经网络的学习过程的系统。另外，所述诊断系统100可以不是通用的数据处理装置而可以是为了实现本发明的技术思想而制作的专用装置，在这种情况下，还可以设置用于扫描生物体图像的装置。

所述神经网络可以是一种网络，所述网络接收预定的单位单元(例如，像素或图像块)信息(例如，RGB 3通道信息)并分别以特征值输出相关单位单元所具有的预定疾病(例如，前列腺癌)的多个状态信息中的每一个，或者输出多个状态信息中概率最高的某一状态。

根据一个示例，所述神经网络可以是使用已知的残差神经网络(Resnet)和使用深度实验室(deeplab)模型的方式。

根据另一个实施例，所述神经网络可以是本申请人提交的韩国专利申请(申请号10-2016-0168176，使用神经网络的疾病诊断系统及其方法，在下文中称为“先前的申请”)中所公开的同时使用微观网络和宏观网络的神经网络。

在这种情况下，微网络可以接收单位单元，并且宏网络可以接收包括单位单元的周围单位单元，并输出与所述单位单元有关的状态信息。例如，当单位单元是像素单元时，微网络可以被定义为接收特定像素，而宏网络可以被定义为还接收包括所述特定像素的周围像素的预定的输入数据并输出所述特定像素的状态。在这种情况下，不仅某一个单位单元，而且其周围的单位单元都可能影响所述单位单元是否被判断为表达疾病，从而可以进行更精确的学习。另外，根据不同疾病，实际为了诊断与特定单位单元相对应的生物体组织，对于不仅必须要考虑所述生物体组织而且要考虑到所述生物体组织的周围组织的状态的疾病而言，可以将准确性提高到非常有意义的水平。另外，当将生物体图像被划分为多个单元时，图像块的划分方式或所分割的区域在生物体组织中的位置可能对诊断结果的效果产生强烈影响。

所述先前的申请中公开的内容，可作为本发明的参考包括在内，并且在此将省略在先前的申请中公开的内容的详细描述。

用于实现该技术思想的所述诊断系统100可以在逻辑上具有如图2所示的构成。

图2是示出根据本发明的实施例的使用神经网络的疾病诊断系统的逻辑性构成的图。

参照图2，所述诊断系统100包括控制模块110和存储神经网络的神经网络模块120。另外，所述诊断系统100还可以包括预处理模块130。

所述诊断系统100可以指包括实现本发明的技术思想所必需的硬件资源(resource)和/或软件的逻辑性构成，并不是必然指一个物理组件或一个装置。也就是说，所述诊断系统100可以是为实现本发明的技术思想而配置的硬件和/或软件的逻辑组合，并且如果有必要，可以通过将其安装在彼此分离的设备中以执行每个功能，将其实现为用于实现本发明的技术思想的逻辑构成的组合。另外，所述诊断系统100可以指用于实现本发明的技术思想的、分别实现每个功能或角色的构成的集合。例如，所述控制模块110，所述神经网络模块120和/或所述预处理模块130中的每一个可以位于不同的物理设备中或在相同的物理设备中。另外，根据实施例，分别构成所述控制模块110，所述神经网络模块120和/或所述预处理模块130的软件和/或硬件的组合也可以位于不同的物理设备中，位于不同物理设备中的组件可以彼此有机组合以实现所述每个模块。

另外，在本说明书中，术语“模块”可以表示用于执行本发明的技术思想的硬件和用于驱动所述硬件的软件的功能和结构组合。例如，所述模块可以表示预定代码和用于执行预定代码的硬件资源(resource)的逻辑单元，并且本发明的技术领域的普通专家可以容易地推论出它不一定表示物理连接的代码或单一类型的硬件。

所述控制模块110可以控制所述诊断系统100中包括的其他组件(例如，所述神经网络模块120和/或所述预处理模块130)以实现本发明的技术思想。

另外，所述控制模块110可以通过使用存储在所述神经网络模块120中的神经网络来执行根据本发明的技术思想的诊断。执行诊断如上所述可以指输出在输出层中定义的至少一个通道的通道值(特征值)。每个特征值可以对应于待诊断的单位单元对应于由对应通道定义的信息的概率。

所述神经网络模块120可以存储神经网络。所述神经网络可以表示信息的集合，这些信息表达定义神经网络的一系列设计项目。在本说明书中，所述神经网络可以是卷积神经网络。另外，如上所述，可以使用已知的深度实验室(Deeplab)神经网络，或者可以使用先前的申请中公开的神经网络。

在任何情况下，所述神经网络可以定义损失函数，使其可以使用双重类别标记的学习数据进行学习。

众所周知，可以使所述神经网络进行学习，使得由损失函数(Loss function)定义的损失最小化。

在这种情况下，根据本发明的技术思想，当可以将单位单元标记为双重类别时，即可以将其标记为多个状态并且此时多个状态被标记为包括判断具有较高的概率状态的第1状态和判断具有比第1状态更低的概率状态的第2状态时，所述损失函数被定义为，将与多个状态相对应的特征值之中与第1状态相对应的第1特征值和与所述第2状态相对应的第2特征值都反映在损失中。

当然，可以定义所述神经网络，使得与相应的单位单元相对应的第1特征值具有比第2特征值更大的影响。

例如，即使定义为第1特征值越高总损失越低，第2特征值越高总损失越低，但也可以定义为第1特征值的影响比第2特征值更大。另外，可以定义与剩余状态相对应的特征值，使得该值越高，损失越大。

例如，根据本发明的实施例，可以通过改善传统的交叉熵(Cross Entropy)定义损失函数，即，将第2特征值也反映到损失上。

根据本发明的实施例的损失函数可以如下面的等式1所示。

[等式1]

其中，

并且p的值可以在0到1之间。

例如，当输入特定单位单元时，所述神经网络可以包括输出多个预定状态通道中的每一个的特征值(例如，正常、格里森评分3、格里森评分4、格里森评分5)的预定层。所述层可以被设计为最后一层或就在最后一层之前的前一层。

并且特定单位单元可以是标记为初级状态和次级状态即标记为双重类别的单位单元。

在这种情况下，如果初级状态的特征值较大，即从神经网络输出的特征值当中与初级状态相对应的特征值越大，则

当然，随着与其他状态相对应的特征值增加，仅

因此，如上所述，所述神经网络通过损失函数优选学习初级状态具有较大的值，次级状态也具有较大的值(尽管比初级状态的值要小)，其余状态具有较小的值。其结果可以反映由真正的专家标记的双重类别标记的结果。

同时，如上所述，在允许双重类别标记的情况下，用于确定所述神经网络的准确性的标准可以如下。

以往为了计算精度，使用混淆矩阵来计算精度。混淆矩阵是一个矩阵，其中在(A，B)的位置显示正确答案为‘A’的预测值为‘B’的数目。像素单元精度和交并比(IoU(intersection over union))等分割性能的测量均基于此混淆矩阵。在常规情况下，由于只有一个正确答案，所以只有正确或不正确的结果，但是根据本发明的技术思想，有两个答案，即初级的和次级的答案。因此，我们需要以稍微不同的方式来计算混淆矩阵。

如果用初级答案回答或用除初级和次级答案以外的其他答案回答，它将像以前一样反映在混淆矩阵中。但是，用次级答案回答时，可以说初级答案是错误的，但次级答案是正确的。因此，可以通过为(初级，次级)赋予p，(次级，次级)赋予1-p来进行计算。此处，p可以是介于0和1之间的值。

同时，对于如上所述的技术思想，所述控制模块110可以将输入数据输入到存储在所述神经网络模块120中的神经网络，即，已学习的神经网络。然后，可以通过执行神经网络定义的计算并输出输出数据。

所述预处理模块130可以在使用神经网络执行诊断之前执行必要的生物体图像的预处理。例如，生物体图像的预处理可以包括将生物体图像划分成预定大小的单位单元的过程。根据需要，如果单位单元是像素单元，则预处理模块130可能不是必需的，并且本发明技术领域的普通专家将能够容易地推断出除了划分成这种单位单元之外根据需要还可以由各种预处理模块130执行操作，以进行神经网络学习。

如上所述，所述神经网络包括对于输入单位单元根据相应单位单元可能具有预定疾病的预定状态(例如，正常、格里森评分3、格里森评分4和格里森评分5)分别以特征值输出的层。

概念上说明这种神经网络的示例可以如图4所示。

图4是用于概念性地解释根据本发明的实施例的神经网络的构成的图。

参照图4，根据本发明的实施例的所述神经网络300如图4所示可以接收预定单位单元(例如，像素、图像块等)。图4示出了输入生物体图像被划分为的预定尺寸(例如512×512)的图像块，显然，每个图像块单元的像素值(例如RGB 3通道值)可以作为输入数据被输入。

当所述单位单元是像素时，预定的经验丰富的专家可以使用预定工具从生物体图像标出特定区域并标记所标出的区域。然后，包括在标记区域中的像素可以在该区域中具有标记值。

显然，当单位单元是图像块时，可以对每个图像块进行标记。

如上所述，所述神经网络300可以是已知的深度实验室(deeplab)模型或在先前的申请中公开的神经网络。或者它可能是另一种神经网络。

在任何情况下，所述神经网络300中可以包括预定层(例如310)。所述层(例如310)可以是输出对应于单位单元的多个状态的特征值的层。例如，所述层可以分别输出对应于四个通道的特征值，并且每个特征值是多个预定状态(例如，正常、格里森得分3、格里森得分4和格里森得分5)相对应的概率相对应的值。

所述层(例如310)可以是最后一层，或者就在所述层(例如310)之后还存在最后一层320。显然，在这种情况下，最后一层(例如320)可以是输出在所述层(例如310)的特征值中具有最大值的状态的层。

在任何情况下，从所述层(例如310)输出的输出值可以是通过所述神经网络300中定义的损失函数使损失最小化的学习结果。

如上所述，对于标记为双重类别的特定单位单元，所述损失函数可以被定义为：初级状态的特征值越大，并且次级状态的特征值虽然比初级状态的特征值小，但同样次级状态的特征值越大，并且剩余状态的特征值越小，总损失越小。

这样的示例可以是如上所述的等式1，但是本发明不限于此，显然其他损失函数的实施例也是可能的。

由此，实际上混淆的单位单元可以通过将混淆状态本身反映到学习中来改善整体性能。

作为一个示例，描述了所述诊断系统100诊断疾病的种类为前列腺癌的情况，但是本发明的技术领域的普通专家容易推断本发明的技术思想不用仅限适用于前列腺癌。

同时，所述诊断系统100，当所述单位单元是像素时，基于所述像素单元的判断值每个像素具有预定判断值(例如，格里森评分3至5)时，可以将相应像素确定为与疾病相对应的疾病像素。并且基于确定结果，可以将所述生物体图像中的患病像素与其他像素进行区分标示。

也就是说，根据本发明的技术思想，可以以像素为单位进行诊断，并且在这种情况下，在生物体图像中仅对表达疾病的部分进行分割(segmentation)。

该示例可以如图5所示。

图5是示例性地示出根据本发明实施例的分割结果的图。

图5的左侧部分可以表示由经验丰富的专家标记的生物体图像，并且每个标记的区域可以表示表达疾病的区域。

在图5的右侧部分，根据本发明的技术思想以像素单元确定患有疾病的像素与其他区域的表示方式有所不同(例如黄色)，以显示用像素单元进行分割的结果。

通过该分割，与以往的执行图像块单位的诊断和分割的结果相比，具有执行更精确的分割的效果。

另外，尽管本说明书主要描述了将本发明的技术思想应用于前列腺癌的示例，但本发明技术领域的普通专家可以容易地推断出，对于疾病的状态可以被分类为多个状态的其他疾病，适用本发明的技术思想时，同样可以进行准确的诊断。

根据本发明实施例的支持双重类别的疾病诊断方法可以以计算机可读记录介质上的计算机可读代码来实现。所述计算机可读记录介质包括存储可由计算机系统读取的数据的所有类型的记录设备。计算机可读记录介质的示例包括只读存储器(ROM)、随机存储器(RAM)、只读光盘(CD-ROM)、磁带、硬盘、软盘和光学数据存储装置等。另外，计算机可读记录介质还可以分散在联网的计算机系统上，使得计算机可读代码可以以分散方式存储和执行。另外，用于实现本发明的功能(functional)程序、代码和代码段可以由本发明所属技术领域的程序员容易地推断。

已经参考附图中所示的实施例描述了本发明，但是这仅是示例性的，并且本领域普通技术人员将理解，由此可以进行各种修改和其他等效实施例。因此，本发明的真实技术保护范围应由所附的注册权利要求的技术思想确定。

本发明可用于“支持双重类别的疾病诊断系统和方法”。