检测医学图像中的异常发现并生成报告的方法

摘要

根据本公开的一个实施例，公开了一种图像分析方法。该方法可以包括以下步骤：接收身体医学图像；使用病变检测模型从接收到的身体医学图像中检测一个或多个病变；使用解剖分析模型从接收到的身体医学图像中提取具有解剖学意义的身体区域；通过将提取出的身体区域与所述一个或多个病变的检测结果进行匹配来生成一个或多个病变的解剖位置信息；以及基于所述一个或多个病变的解剖位置信息生成针对接收到的身体医学图像的诊断结果。

说明书

技术领域

本公开涉及一种医学图像处理方法，并且更具体地涉及一种通过使用神经网络模型从身体医学图像中检测病变并生成读出的方法。

背景技术

医学成像技术是一种允许人们了解人体各器官的物理状态的技术。相关技术中的医学成像技术包括数字放射图像(X射线)、计算机断层扫描(CT)、磁共振成像(MRI)等。

在相关技术中通过使用医学成像技术检测患者的异常发现的方法中，阅读者直接读取患者的身体图像或身体成像并检测病变。这样做的问题是，阅读者主要观看的图像区域可能不同，并且读取结果因阅读者的视角而略有偏差，从而造成了以下问题：一致和专业的阅读是不可能的。

为了解决该问题，本领域中可能需要一种能够更专业和一致地阅读医学图像的阅读技术或能够辅助提供一致阅读的阅读辅助技术。

韩国专利No.10-1941209公开了一种基于人工智能自动诊断疾病的系统和方法。

发明内容

技术问题

本公开是响应于背景技术而构想的，并且已经致力于提供一种检测身体医学图像中的异常发现并提供读出的方法。

技术方案

根据用于实现前述目的的示例性实施例，公开了一种在计算机设备的一个或多个处理器中执行的方法。该方法可以包括：接收身体医学图像；使用病变检测模型从接收到的身体医学图像中检测一个或多个病变；基于接收到的身体医学图像和一个或多个病变的检测结果，使用解剖分析模型生成一个或多个病变的解剖位置信息；以及基于一个或多个病变的解剖位置信息生成针对接收到的身体医学图像的诊断结果。

根据用于实现前述目的的示例性实施例，公开了一种在计算机设备的一个或多个处理器中执行的方法。该方法可以包括：接收身体医学图像；使用病变检测模型从接收到的身体医学图像中检测一个或多个病变；使用解剖分析模型从接收到的身体医学图像中提取具有解剖学意义的身体区域；通过将一个或多个病变的检测结果与提取出的身体区域进行匹配，生成一个或多个病变的解剖位置信息；以及基于一个或多个病变的解剖位置信息生成针对接收到的身体医学图像的诊断结果。

在替代示例性实施例中，提取出的身体区域可以被划分为多个子区域，并且生成一个或多个病变的解剖位置信息可以包括：通过将一个或多个病变的检测结果与针对提取出的身体区域的多个子区域进行匹配来确定一个或多个病变在划分的子区域中存在的位置；以及生成指示一个或多个病变存在于所确定的位置的解剖位置信息。

在替代示例性实施例中，使用病变检测模型从接收到的身体医学图像中检测一个或多个病变可以包括：确定接收到的身体医学图像中包括的一个或多个病变的类型信息；确定与一个或多个病变的确定的类型信息对应的置信度分数；以及生成检测到的一个或多个病变的轮廓信息。

在替代示例性实施例中，基于一个或多个病变的解剖位置信息生成针对接收到的身体医学图像的诊断结果可以包括：在一个或多个病变与解剖位置信息相关的情况下生成指示临床意义的临床信息；以及基于生成的临床信息，使用读出生成模型生成读出。

在替代示例性实施例中，基于一个或多个病变的解剖位置信息生成针对接收到的身体医学图像的诊断结果还可以包括：通过反映用户的修改输入来修改生成的读出；以及基于修改后的读出生成针对接收到的身体医学图像的诊断结果。

在替代示例性实施例中，临床信息可以包括：对于从具有解剖学意义的身体区域划分的每个区域的病变发生频率；以及对于每个划分的区域的病变风险程度。

在替代示例性实施例中，在一个或多个病变与解剖位置信息相关的情况下生成指示临床意义的临床信息可以包括：基于从临床统计信息获得的每个划分的区域的病变发生频率，改变在检测一个或多个病变的步骤中确定的置信度分数；以及基于改变的置信度分数并基于从临床统计信息获得的每个划分的区域的病变风险程度来生成临床信息。

在替代示例性实施例中，该方法还可以包括生成包括关于诊断结果的信息的用户界面，其中用户界面可以包括：用于在接收到的身体医学图像上显示检测到的一个或多个病变的第一区域；用于显示关于检测到的一个或多个病变的概要信息的第二区域；以及用于显示与诊断结果对应的读出的第三区域。

在替代示例性实施例中，用户界面还可以包括用于根据病变风险程度提供附加信息的通知区域，其中可以基于一个或多个病变的解剖位置信息和用于一个或多个病变的置信度分数中的至少一个来确定是否显示通知区域。

根据本公开的示例性实施例，公开了一种计算机程序，包括存储在计算机可读存储介质中并使计算机执行以下操作的命令。所述操作可以包括：接收身体医学图像；使用病变检测模型从接收到的身体医学图像中检测一个或多个病变；使用解剖分析模型从接收到的身体医学图像中提取具有解剖学意义的身体区域；通过将一个或多个病变的检测结果与提取出的身体区域进行匹配来生成一个或多个病变的解剖位置信息；以及基于一个或多个病变的解剖位置信息生成针对接收到的身体医学图像的诊断结果。

根据本公开的示例性实施例，公开了一种服务器。该服务器可以包括：处理器，包括一个或多个核心；网络单元，接收身体医学图像；以及存储器。处理器可以使用病变检测模型从接收到的身体医学图像中检测一个或多个病变，使用解剖分析模型从接收到的身体医学图像中提取具有解剖学意义的身体区域，通过将一个或多个病变的检测结果与提取出的身体区域进行匹配来生成一个或多个病变的解剖位置信息，以及基于一个或多个病变的解剖位置信息生成针对接收到的身体医学图像的诊断结果。

根据本公开的示例性实施例，公开了一种在终端中执行的方法。该方法可以包括：从服务器接收包括根据从身体医学图像中检测到的一个或多个病变与从身体医学图像中提取出的具有解剖学意义的身体区域的匹配而生成的解剖位置信息的诊断结果；提供包括接收到的诊断结果的用户界面(UI)；以及响应于与用户界面交互的用户输入而校正在用户界面上输出的诊断结果。

在替代示例性实施例中，终端中的用户界面可以包括：用于在接收到的身体医学图像上显示检测到的一个或多个病变的第一区域；用于显示关于检测到的一个或多个病变的概要信息的第二区域；以及用于显示与诊断结果对应的读出的第三区域。

根据本公开的示例性实施例，公开了一种终端。该终端可以包括：处理器，包括一个或多个核心；存储器；网络单元，其从服务器接收包括根据从身体医学图像中检测到的一个或多个病变与从身体医学图像中提取出的具有解剖学意义的身体区域的匹配而生成的解剖位置信息的诊断结果；以及输出单元，其提供包括接收到的诊断结果的用户界面(UI)，并响应与用户界面交互的用户输入的检测，并显示响应于用户界面上的用户输入而校正的诊断结果。

有利效果

本公开可以检测身体医学图像中的异常发现并提供诊断结果。

附图说明

图1是图示根据本公开的示例性实施例的计算设备的框图。

图2是图示根据本公开的示例性实施例的计算设备100的操作流程的框图。

图3是图示根据本公开的示例性实施例的身体医学图像中关于病变的解剖位置信息的图。

图4是图示根据本公开的示例性实施例的网络功能的示意图。

图5是图示根据本公开的示例性实施例的用户界面的图。

图6是图示根据本公开的示例性实施例的生成针对身体医学图像的诊断结果的方法的流程图。

图7是图示根据本公开的示例性实施例的生成针对身体医学图像的诊断结果的方法的流程图。

图8是图示根据本公开的示例性实施例的计算设备的框图。

具体实施方式

参考附图描述各种示例性实施例。在本说明书中，呈现各种描述以理解本公开。但是，显然即使没有特定描述也可以执行示例性实施例。

本说明书中使用的术语“组件”、“模块”、“系统”等指示与计算机相关的实体、硬件、固件、软件、软件和硬件的组合、或软件的执行。例如，组件可以是在处理器中执行的过程、处理器、对象、执行线程、程序和/或计算机，但不限于此。例如，在计算设备中执行的应用和计算设备都可以是组件。一个或多个组件可以驻留在处理器和/或执行线程内。一个组件可以位于一个计算机内。一个组件可以分布在两个或更多个计算机之间。另外，组件可以由其中存储有各种数据结构的各种计算机可读介质执行。例如，组件可以根据具有一个或多个数据包的信号通过本地和/或远程处理进行通信(例如，通过网络(诸如互联网)传输到另一个系统的数据，通过在本地系统和分布式系统中来自与另一组件交互的一个组件的数据和/或信号)。

术语“或”旨在意指综合的“或”而非排他性的“或”。即，除非另有指定或上下文中不明确时，“X使用A或B”意指自然综合替换之一。即，当X使用A，X使用B或者X同时使用A和B时，“X使用A或B”可以适用于这些情况当中的任何一种。另外，本说明书中使用的术语“和/或”应理解为指定并包括所列相关项当中的一项或多项的所有可能组合。

应当理解的是，术语“包括”和/或“包含”意指存在对应的特点和/或组成元素。另外，术语“包括”和/或“包含”意指存在对应的特点和/或组成元素，但应理解为不排除一个或多个其他特点、组成元素和/或其组的存在或添加。另外，除非另有指定或当在上下文中指示单一形式在上下文中不清楚时，在本说明书和权利要求中，单数应被解释为一般意指“一个或多个”。

术语“A和B中的至少一个”应当被解释为意指“仅包括A的情况”、“仅包括B的情况”和“A和B组合的情况”。

本领域的技术人员应认识到的是，关于本文附加地公开的示例性实施例所描述的各种说明性逻辑块、配置、模块、电路、部件、逻辑和算法操作可以通过电子硬件、计算机软件或在电子硬件和计算机软件的组合来实现。为了清楚地例示硬件和软件的可互换性，各种说明性组件、块、配置、部件、逻辑、模块、电路和操作已经在其功能方面在上面进行了一般性描述。功能是作为硬件还是软件来实现取决于特定的应用或对一般系统的设计限制。本领域的技术人员可以针对每个特定的应用来实现通过各种方法描述的功能。但是，不应理解为实施方式的确定偏离了本公开内容的范围。

提供关于所呈现的示例性实施例的描述以便于本领域技术人员使用或执行本公开。示例性实施例的各种修改对于本领域技术人员来说将是显而易见的。在不脱离本公开的范围的情况下，本文定义的一般原理可以应用于其他示例性实施例。因此，本公开不限于本文呈现的示例性实施例。本公开应在与本文提出的原则和新特点一致的最广泛含义范围内解释。

在本说明书中，神经网络、人工神经网络和网络功能常常可以互换使用。

在本公开的详细描述和权利要求中使用的术语“图像”或“图像数据”是指由离散图像元素(例如，二维图像中的像素)组成的多维数据，并且换句话说，是指眼睛可见的目标(显示在视频屏幕上)或目标的数字表示(例如，与CT或MRI检测器的像素输出对应的文件)。

例如，“图像”或“成像”可以是通过计算机断层扫描(CT)、磁共振成像(MRI)、眼底图像、超声射线或本公开的领域中众所周知的其他预定医学成像系统收集的被摄体的医学图像。图像不一定在医学上下文中提供，但也可以在非医学上下文中提供，诸如用于安全性筛查的X射线成像。

贯穿本公开的详细描述和权利要求书，“医学数字成像和通信(DICOM)”标准是统指医疗设备中数字成像表达和通信中使用的各种标准的术语，并且DICOM标准由美国放射学会(ACR)和美国国家电气制造商协会(NEMA)组成的联合委员会公布。

贯穿本公开的详细描述和权利要求书，“图片存档和通信系统(PACS)”是指根据DICOM标准存储、处理和传输图像的系统，并且通过使用诸如X射线、CT和MRI之类的数字医学成像装备获得的医学图像可以以DICOM格式存储并通过网络传输至医院内部和外部的终端，并且可以向医学图像添加读取结果和病历。

根据本公开的示例性实施例，计算设备100可以包括处理器120、网络单元110、存储器130、输出单元140和输入单元150。

图1中所示的计算设备100的配置仅仅是个简化的示例。在本公开的示例性实施例中，计算设备100可以包括用于执行计算设备100的计算环境的其他配置，并且所公开的配置中仅一些也可以配置计算设备100。

在本公开中，计算设备100可以意指预定类型的用户终端或预定类型的服务器。计算设备100的前述组件是说明性的，并且可以排除一些或者可以包括附加组件。例如，当计算设备100意指服务器时，可以排除计算设备100的输出单元140和输入单元150。当计算设备100包括终端时，输出单元140和输入单元150可以包括在终端的范围内。

处理器120可以由一个或多个核心形成，并且可以包括计算设备的处理器，诸如中央处理单元(CPU)、通用图形处理单元(GPGPU)和张量处理单元(TPU)，用于执行数据分析和深度学习。根据本公开的示例性实施例，处理器120可以读取存储在存储器中的计算机程序并执行用于机器学习的数据处理。根据本公开的示例性实施例，处理器120可以执行用于训练神经网络的计算。处理器120可以执行计算，诸如深度学习(DL)中用于训练的输入数据的处理、从输入数据中提取特征、误差计算以及通过使用反向传播更新神经网络的权重，以用于训练神经网络。处理器120的CPU、GPGPU和TPU中的至少一个可以处理网络功能的训练。例如，CPU和GPGPU可以通过一起使用网络功能来处理网络功能的训练和数据分类。另外，在本公开的示例性实施例中，网络功能的训练和通过使用网络功能的数据分类可以通过一起使用多个计算设备的处理器来处理。另外，在根据本公开示例性实施例的计算设备中执行的计算机程序可以是CPU、GPGPU或TPU可执行程序。

根据本公开的示例性实施例，存储器130可以存储由处理器120生成或确定的预定类型的信息以及由网络单元接收的预定类型的信息。

根据本公开的示例性实施例，存储器130可以包括闪存类型、硬盘类型、多媒体卡微型类型、卡类型存储器(例如，SD或XD存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘和光盘当中的至少一种类型的存储介质。计算设备100还可以关于在互联网上执行存储器130的存储功能的web存储来操作。前述存储器的描述仅仅是说明性的，并且本公开不限于此。

本公开中的网络单元的配置可以不考虑其通信模式，诸如有线模式和无线模式，并且可以由各种通信网络配置，诸如个域网(PAN)和广域网(WAN)。另外，该网络可以是众所周知的万维网(WWW)，并且也可以使用PAN中使用的无线传输技术，诸如红外数据协会(IrDA)或蓝牙。

根据本公开的示例性实施例，服务器可以通过网络单元110将包括解剖位置信息的诊断结果传输到终端，该解剖位置信息是根据从身体医学图像中检测到的一个或多个病变与从身体医学图像中提取出的具有解剖学意义的身体区域的匹配而生成的。

根据本公开的示例性实施例，终端可以通过网络单元110从服务器接收包括解剖位置信息的诊断结果，该解剖位置信息是根据从身体医学图像中检测到的一个或多个病变与从身体医学图像中提取出的具有解剖学意义的身体区域的匹配而生成的。

本说明书中描述的技术可以用在其他网络，以及前述网络中。

根据本公开的示例性实施例，输出单元140可以显示用于提供针对身体医学图像的诊断结果的用户界面(UI)。输出单元140可以显示图5中所示终端的用户界面。附图中所示和上面描述的用户界面仅仅是说明性的，并且本公开不限于此。

根据本公开的示例性实施例，输出单元140可以输出由处理器120生成或确定的预定形式的信息以及由网络单元110接收的预定形式的信息。

在本公开的示例性实施例中，输出单元140可以包括液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT LCD)、有机发光二极管(OLED)、柔性显示器和3D显示器中的至少一种。其中，一些显示模块可以被配置为透明型或透光型，从而可以通过显示模块看到外界。这可以被称为透明显示模块，并且透明显示模块的代表性示例包括透明OLED(TOLED)。

根据本公开的示例性实施例，终端的输出单元140可以在用户界面上输出从服务器接收的诊断结果。另外，终端的输出单元140还可以响应于检测到与用户界面交互的用户输入而校正并显示在用户界面上输出的诊断结果。

根据本公开的示例性实施例，可以通过输入单元150接收用户输入。

根据本公开的示例性实施例，输入单元150可以在用于接收用户输入的用户界面上设置有键和/或按钮，或者物理键和/或按钮。可以根据通过输入单元150的用户输入来执行根据本公开的示例性实施例的用于控制显示器的计算机程序。

根据本公开的示例性实施例，输入单元150可以通过检测按钮操纵或用户的触摸输入来接收信号，或者通过相机或麦克风接收语音或用户的操作等，并将接收到的信号、语音或操作转换为输入信号。为此，可以使用语音识别技术或运动识别技术。

根据本公开的示例性实施例，输入单元150还可以被实现为与计算设备100连接的外部输入装备。例如，输入装备可以是用于接收用户输入的触摸板、触摸笔、键盘和鼠标中的至少一种，但这仅仅是示例，并且本公开不限于此。

根据本公开的示例性实施例，输入单元150可以识别用户的触摸输入。根据本公开的示例性实施例，输入单元150可以具有与输出单元140相同的配置。输入单元150可以由实现为接收用户的选择输入的触摸屏形成。在触摸屏中，可以使用接触型电容方法、红外光感测方法、表面超声波(SAW)方法、压电方法和电阻膜方法中的任何一种。根据本公开的示例性实施例，前述触摸屏的详细描述仅是说明性的，各种触摸屏面板可以应用于计算设备100。由触摸屏形成的输入单元150可以包括触摸传感器。触摸传感器可以被配置为将施加到输入单元150的特定区域的压力的改变或在输入单元150的特定区域中生成的静电容量转换成电输入信号。触摸传感器可以被配置为检测触摸的压力以及触摸的位置和面积。当对触摸传感器进行触摸输入时，与触摸输入对应的(一个或多个)信号被传输到触摸控制器。触摸控制器处理(一个或多个)信号，然后将与(一个或多个)信号对应的数据传输到处理器120。因而，处理器120可以识别输入单元150的触摸区域等。

根据本公开的示例性实施例，执行提供用于向用户终端提供针对身体医学图像的诊断结果的用户界面的操作的服务器可以包括网络单元、处理器和存储器。

根据本公开的示例性实施例，服务器可以生成用户界面。服务器可以是通过网络向客户端(例如，用户终端)提供信息的计算系统。服务器可以将生成的用户界面传输到用户终端。在这种情况下，用户终端可以是能够访问服务器的预定形式的计算设备。服务器的处理器可以通过网络单元将用户界面传输到用户终端。根据本公开的示例性实施例，服务器可以是例如云服务器。服务器可以是处理服务的web服务器或云服务器。前述服务器的种类仅仅是示例，并且本公开不限于此。

根据本公开的示例性实施例，服务器中包括的网络单元、处理器和存储器中的每一个可以执行与计算设备100中包括的网络单元110、处理器120和存储器130相同的角色或者与计算设备100中包括的网络单元110、处理器120和存储器130相同地配置。

用户终端可以提供或显示用于提供来自服务器的针对身体医学图像的诊断结果的用户界面。用户终端可以包括网络单元、处理器、存储器、输出单元和输入单元。用户终端的网络单元、处理器、存储器和输出单元中的每一个可以执行与计算设备100中包括的网络单元110、处理器120、存储器130、输出单元140和输入单元150中的每一个相同或相似的操作。例如，可以通过用户终端的输出单元显示用户界面。例如，用户界面可以如图5中所示显示。

图2是图示根据本公开的示例性实施例的计算设备100的操作流程的框图。

图2中所示的计算设备100的操作流程图的配置仅仅是简化的示例。在本公开的示例性实施例中，操作流程图可以包括用于执行计算设备100的计算环境的其他配置，并且所公开的配置中的一些也可以配置操作流程图。

根据本公开的处理器120可以通过执行存储在计算机可读存储介质中的计算机程序来生成被确定为与身体医学图像对应的诊断结果和与来自身体医学图像的诊断结果对应的读出。为此，处理器120可以接收身体医学图像，并从通过发现检测单元210的病变检测模型211接收到的身体医学图像中检测一个或多个病变。另外，处理器120可以通过使用解剖分析模型212从接收到的身体医学图像中提取具有解剖学意义的身体区域。处理器120可以通过诊断结果生成单元220的匹配单元221将一个或多个病变的检测结果与提取出的身体区域进行匹配来生成用于一个或多个病变的解剖位置信息。另外，处理器120可以通过使用诊断结果生成单元220的读出生成模型222基于用于一个或多个检测到的病变的解剖位置信息来生成针对接收到的身体医学图像的诊断结果。

在本公开的附加示例性实施例中，处理器120还可以基于接收到的身体医学图像和一个或多个病变的检测结果通过使用解剖分析模型来生成一个或多个病变的解剖位置信息。

在本公开中，身体医学图像可以是预定身体区域的图像，用于生成关于病变的类型和病变的解剖位置的信息，以便生成病变的发现。身体区域广义上可以意指身体的系统，并且可以意指每个身体器官。身体区域的示例仅仅是说明性的，并且本公开不限于此。

根据本公开的处理器120可以通过使用发现检测单元210的病变检测模型211从接收到的身体医学图像中检测一个或多个病变。处理器120可以通过使用发现检测单元210的病变检测模型211来确定包括在接收到的身体医学图像中的一个或多个病变的类型信息。特别地，处理器120可以通过针对每个病变的不同建模方法来确定用于一个或多个病变的病变类型。例如，病变的类型可以包括胸腔积液、气胸、实变、间质混浊和结节，并且可以基于病变的个体特点来确定病变的类型。另外，可以确定类型已确定的每个病变的病变的尺寸。尺寸是直径或面积，并且可以被数字化和定量表达。

处理器120可以确定与关于所确定的一种或多种病变类型的信息对应的置信度分数。例如，处理器120可以通过病变检测模型211从胸部X射线图像中检测两个病变，并分别确定病变的胸腔积液和间质混浊。在这种情况下，在确定每个病变时，有可能计算对每个病变的确定的置信度分数，并且可以将病变的置信度分数分别计算为80％和40％。因而，作为由处理器120确定的病变的胸腔积液和间质混浊的概率可以分别被估计为80％和40％。病变的置信度分数的示例仅仅是说明性的，并且置信度分数的表达方法可以包括定量表达方法(例如，数字化的值)或定性表达方法(例如，置信度分数的观点或描述)。

在附加的示例性实施例中，处理器120可以生成一个或多个确定的病变的轮廓信息。

图3是图示根据本公开的示例性实施例的身体医学图像中关于病变的解剖位置信息的图。

根据本公开的处理器120可以通过使用发现检测单元210的解剖分析模型212从接收到的身体医学图像中提取具有解剖学意义的身体区域。处理器120可以通过使用作为解剖分析模型212的子集的身体区域检测模型从接收到的身体医学图像中提取具有解剖学意义的身体区域。在本文中，解剖学意义可以是可能是一种或多种病变的发生点的身体器官，或者可以是一种或多种病变的检测目标的身体器官。例如，处理器120可以提取胸部X射线图像中可能发生间质混浊的肺部区域310(例如，肺部的整个区域)。从身体医学图像中提取身体部分的示例仅是说明性的，并且本公开不限于此。

处理器120可以通过使用解剖分析模型212将提取出的身体区域划分为多个子区域。在本文中，将身体区域划分为多个子区域的参考可以包括从提取出的身体区域导出的面积信息或身体区域的固有特点信息。例如，处理器120可以通过解剖分析模型基于从胸部X射线图像提取的肺部区域310的面积将左肺划分为上下两个肺叶以及将右肺划分为上中下三个肺叶来通过解剖分析模型212生成肺部区域320，或者从CT图像中提取心脏区域并生成通过基于心脏区域的固有特点信息将心脏区域划分为左心室、左心房、右心室和右心房而获得的心脏子区域。划分身体区域的示例仅仅是说明性的，并且本公开不限于此。

处理器120可以通过将一个或多个病变的检测结果与提取出的身体区域进行匹配来生成一个或多个病变的解剖位置信息。在附加的示例性实施例中，处理器120还可以基于接收到的身体医学图像和通过使用解剖分析模型对一个或多个检测到的病变的检测结果来生成用于一个或多个检测到的病变的解剖位置信息。

特别地，处理器120可以确定划分的子区域中存在一个或多个病变的位置。处理器120可以生成解剖位置信息，该信息是关于在划分的子区域中存在一个或多个检测到的病变的点的信息。例如，处理器120可以从胸部X射线图像中提取肺部区域310，基于肺部区域310的面积生成划分的肺部区域320，并将从胸部X射线图像检测到的一个病变与划分的肺部区域320匹配以生成解剖位置信息。生成解剖位置信息的示例仅仅是说明性的，并且本公开不限于此。

在本公开的示例性实施例中，解剖分析模型212可以通过使用预定的图像处理方法来匹配检测到的病变与身体区域的子区域。例如，可以通过将关于检测到的病变的位置信息(例如，坐标值)与用于身体区域的子区域的位置信息(例如，坐标值)进行匹配的方法来匹配检测到的病变与身体区域的子区域。在另一个示例性实施例中，解剖分析模型212可以通过使用深度神经网络来匹配检测到的病变与身体区域的子区域。下面将描述深度神经网络。

作为本公开的示例性实施例，关于一个或多个检测到的病变的解剖位置信息可以由计算设备100的诊断结果生成单元220的匹配单元221生成。特别地，处理器120可以接收身体医学图像。处理器120可以通过使用病变检测模型211从接收到的身体医学图像中检测一个或多个病变。另外，处理器120可以通过使用解剖分析模型212从接收到的身体医学图像中提取具有解剖学意义的身体区域。通过解剖分析模型可以将身体区域划分为多个子区域。然后，处理器120可以通过诊断结果生成单元220的匹配单元221生成用于一个或多个检测到的病变的解剖位置信息。特别地，处理器120可以通过将针对一个或多个检测到的病变的检测结果与针对提取出的身体区域的多个子区域进行匹配来确定一个或多个病变在划分的子区域中存在的位置。另外，处理器120可以生成指示一个或多个病变存在于通过诊断结果生成单元220的匹配单元221确定的位置处的解剖位置信息。

在本公开的示例性实施例中，匹配单元221可以通过使用预定的图像处理方法来匹配检测到的病变与身体区域的子区域。在本公开的另一个示例性实施例中，匹配单元221可以通过使用深度神经网络来匹配检测到的病变与身体区域的子区域。下面将描述深度神经网络。

图4是图示根据本公开的示例性实施例的网络功能的示意图。

贯穿本说明书，计算模型、神经网络、网络功能和神经网络可以被用作相同的含义。神经网络一般可以由彼此相互连接的计算单元的聚合构成，这些计算单元可以被称为节点。节点也可以被称为神经元。神经网络被配置为包括一个或多个节点。构成神经网络的节点(可替代地，神经元)可以通过一个或多个链路彼此连接。

在神经网络中，通过链路连接的一个或多个节点可以相对地形成输入节点和输出节点之间的关系。输入节点和输出节点的概念是相对的，并且相对于一个节点具有输出节点关系的预定的(或选定的)节点可以在与另一个节点的关系中具有输入节点关系，反之亦然。如上所述，可以基于链路生成输入节点到输出节点的关系。一个或多个输出节点可以通过链路连接到一个输入节点，反之亦然。

在通过一个链路连接的输入节点和输出节点的关系中，输出节点的值可以基于输入节点中输入的数据来确定。在此，将输入节点和输出节点彼此连接的节点可以具有权重。权重可以是可变的并且权重可由用户或算法改变以便神经网络执行期望的功能。例如，当一个或多个输入节点通过相应链路相互连接到一个输出节点时，输出节点可以基于在与输出节点连接的输入节点中输入的值以及在与相应输入节点对应的链路中设置的权重来确定输出节点值。

如上所述，在神经网络中，一个或多个节点通过一个或多个链路彼此连接以形成神经网络中输入节点和输出节点的关系。神经网络的特点可以根据节点的数量、链路的数量、节点与链路之间的相关性以及赋予神经网络中的相应链路的权重的值来确定。例如，当存在相同数量的节点和链路并且存在链路的权重值彼此不同的两个神经网络时，可以识别出两个神经网络彼此不同。

神经网络可以被配置为包括一个或多个节点。构成神经网络的节点中的一些可以基于与初始输入节点的距离构成一层。例如，与初始输入节点的距离为n的节点的集合可以构成n层。与初始输入节点的距离可以由为从初始输入节点到达对应节点而应当经过的最小链路数来定义。但是，层的定义是预定的(或选定的)用于描述并且神经网络中的层的次序可以通过与上述方法不同的方法来定义。例如，节点的层可以由与最终输出节点的距离来定义。

初始输入节点可以意指其中直接输入数据而不经过与神经网络中节点当中其他节点有关系中的链路的一个或多个节点。可替代地，在神经网络中，在基于链路的节点之间的关系中，初始输入节点可以意指没有通过链路连接的其他输入节点的节点。与之类似，最终输出节点可以意指这样的一个或多个节点：所述节点不具有与神经网络中的节点当中其他节点有关系的输出节点。另外，隐藏节点可以不是意指初始输入节点和最终输出节点，而是构成神经网络的节点。

在根据本公开的实施例的神经网络中，输入层的节点数可以与输出层的节点数相同，并且神经网络可以是一种类型的神经网络，其中从输入层到隐藏层，节点数减少，然后再次增加。另外，在根据本公开的另一个实施例的神经网络中，输入层的节点数可以小于输出层的节点数，并且神经网络可以是其中节点数从输入层到隐藏层减少的一种类型的神经网络。另外，在根据本发明又一个实施例的神经网络中，输入层的节点数可以大于输出层的节点数，并且神经网络可以是其中节点数从输入层到隐藏层增加的一种类型的神经网络。根据本公开再一个实施例的神经网络可以是神经网络被组合的一种类型的神经网络。

深度神经网络(DNN)可以指除了输入和输出层之外还包括多个隐藏层的神经网络。当使用深度神经网络时，可以确定数据的潜在结构。即，可以确定照片、文本、视频、语音和音乐的潜在结构(例如，图片中有什么物体，文本的内容和感受是什么，语音的内容和感受是什么)。深度神经网络可以包括卷积神经网络(CNN)、递归神经网络(RNN)、自动编码器、生成对抗网络(GAN)、受限玻尔兹曼机(RBM)、深度信念网络(DBN)、Q网络、U网络、Siam网络、生成式对抗网络(GAN)等。上述对深度神经网络的描述仅仅是示例，并且本公开不限于此。

在本公开的实施例中，网络功能可以包括自动编码器。自动编码器可以是一种用于输出类似于输入数据的输出数据的人工神经网络。自动编码器可以包括至少一个隐藏层并且奇数个隐藏层可以部署在输入层和输出层之间。每层中的节点数可以从输入层中的节点数到称为瓶颈层(编码)的中间层减少，然后在瓶颈层中与到输出层的减少对称地(与输入层对称地)扩展。在这种情况下，在图2的示例中，图示了降维层和维度重构层是对称的，但本公开不限于此，并且降维层和维度重构层的节点可以对称或不对称。自动编码器可以执行非线性降维。输入层和输出层的数量可以与在预处理输入数据之后剩余的传感器的数量对应。自动编码器结构可以具有这样的结构，其中包括在编码器中的隐藏层中的节点的数量随着离输入层的距离增加而减少。当瓶颈层(定位在编码器和解码器之间的节点数最少的层)中的节点数太少时，可能无法递送足够量的信息，因此，瓶颈层中的节点数可以维持在特定数量或更多(例如，输入层的一半或更多)。

可以以监督式学习、无监督式学习、半监督式学习或强化学习中的至少一种方案来学习神经网络。神经网络的学习可以是其中神经网络将用于执行特定操作的知识应用于神经网络的处理。

可以在使输出的误差最小化的方向上学习神经网络。神经网络的学习是将学习数据反复输入神经网络并计算神经网络对学习数据和目标误差的输出，并在减少误差的方向上朝着输入层从神经网络的输出层反向传播神经网络的误差以更新神经网络的每个节点的权重的处理。在监督式学习的情况下，标记有正确答案的学习数据被用于每个学习数据(即，标记后的学习数据)，而在非监督式学习的情况下，每个学习数据中可能未标记正确答案。即，例如，在与数据分类相关的监督式学习的情况下的学习数据可以是在每个学习数据中标记了类别的数据。标记后的学习数据被输入到神经网络中，并且可以通过将神经网络的输出(类别)与学习数据的标签进行比较来计算误差。作为另一个示例，在与数据分类相关的非监督式学习的情况下，将作为输入的学习数据与神经网络的输出进行比较，以计算误差。将计算出的误差在神经网络中在相反的方向(即，从输出层朝着输入层的方向)上反向传播，并且可以根据反向传播更新神经网络的每一层的相应节点的连接权重。每个节点的更新后的连接权重的变化量可以根据学习速率来确定。神经网络对输入数据的计算和误差的反向传播可以构成学习周期(时期)。可以根据神经网络的学习周期的重复次数来不同地应用学习速率。例如，在神经网络的学习的初始阶段，神经网络通过使用高学习速率来快速确保一定的性能水平，从而提高效率，并且在学习的后期阶段使用低学习速率，从而提高准确性。

在神经网络的学习中，学习数据一般可以是实际数据(即，使用学习后的神经网络要处理的数据)的子集，因此可以存在学习数据的误差减少但实际数据的误差增加的学习周期。过度拟合是由于对学习数据的过度学习导致实际数据的误差增加的现象。例如，通过示出黄色猫来学习猫的神经网络看到了黄色猫以外的猫而没有将对应的猫识别为猫的现象可以是一种过度拟合。过度拟合可能充当增加机器学习算法的误差的原因。可以使用各种优化方法以防便止过度拟合。为了防止过度拟合，可以应用诸如增加学习数据、正则化、丢失(dropout)在学习过程中省略网络的一部分节点、利用批归一化层等方法。

根据本公开的示例性实施例，公开了一种存储数据结构的计算机可读介质。

数据结构可以指使得能够高效访问和修改数据的数据的组织、管理和存储。数据结构可以指为解决特定问题(例如，在最短时间内进行数据搜索、数据存储和数据修改)而组织的数据。数据结构也可以被定义为具有被设计为支持特定数据处理功能的数据元素之间的物理或逻辑关系。数据元素之间的逻辑关系可以包括用户定义的数据元素之间的连接关系。数据元素之间的物理关系可以包括物理存储在计算机可读存储介质(例如，永久存储设备)中的数据元素之间的实际关系。特别地，数据结构可以包括数据的集合、数据之间的关系以及适用于数据的函数或命令。通过有效设计的数据结构，计算设备可以在最小限度地使用计算设备的资源的情况下执行计算。特别地，计算设备可以通过有效设计的数据结构提高计算、读取、插入、删除、比较、交换和搜索的效率。

数据结构根据数据结构的形式可以被划分为线性数据结构和非线性数据结构。线性数据结构可以是一个数据之后只连接一个数据的结构。线性数据结构可以包括列表、堆栈、队列和双端队列。列表可以意指内部存在次序的一系列数据集。列表可以包括链表。链表可以具有包括数据连接的数据结构，其中每个数据具有指针并且在单行中被链接。在链表中，指针可以包括关于与下一个或前一个数据的连接的信息。链表根据形式可以被表达为单链表、双链表和循环链表。堆栈可以具有对数据的访问受限的数据列表结构。堆栈可以具有线性数据结构，其可以仅在数据结构的一端处理(例如，插入或删除)数据。堆栈中存储的数据可以具有其中数据越晚进入，数据越早出来的数据结构(后进先出，LIFO)。队列是对数据的访问受限的数据列表结构，与堆栈不同的是，队列可以具有数据存储越晚，数据越晚出来的数据结构(先进先出，FIFO)。双端队列可以具有可以在数据结构的两端处理数据的数据结构。

非线性数据结构可以是多条数据在一个数据之后连接的结构。非线性数据结构可以包括图数据结构。图数据结构可以用顶点和边来定义，并且边可以包括连接两个不同顶点的线。图数据结构可以包括树数据结构。树数据结构可以是其中连接包括在树中的多个顶点当中的两个不同顶点的路径是一条的数据结构。即，树数据结构可以是在图数据结构中没有形成循环的数据结构。

贯穿本说明书，计算模型、神经网络、网络功能和神经网络可以以相同的含义使用。在下文中，将计算模型、神经网络、网络功能和神经网络这些术语统一并用神经网络描述。数据结构可以包括神经网络。另外，包括神经网络的数据结构可以存储在计算机可读介质中。包括神经网络的数据结构还可以包括由神经网络处理的经预处理的数据、输入到神经网络的数据、神经网络的权重、神经网络的超参数、从神经网络获得的数据、与神经网络的每个节点或层相关联的活动函数、以及用于神经网络的训练的损失函数。包括神经网络的数据结构可以包括所公开的配置当中的预定配置元素。即，包括神经网络的数据结构可以包括由神经网络处理的经预处理的数据、输入到神经网络的数据、神经网络的权重、神经网络的超参数、从神经网络获得的数据、与神经网络的每个节点或层相关联的活动函数、以及用于训练神经网络的损失函数的全部或预定组合。除了前述配置之外，包括神经网络的数据结构还可以包括确定神经网络的特点的其他预定信息。另外，数据结构可以包括在神经网络的计算处理中使用或生成的所有类型的数据，并且不限于前述情况。计算机可读介质可以包括计算机可读记录介质和/或计算机可读传输介质。神经网络可以由互连的计算单元的集合形成，这些计算单元一般被称为“节点”。“节点”也可以被称为“神经元”。神经网络由一个或多个节点组成。

数据结构可以包括输入到神经网络的数据。包括输入到神经网络的数据的数据结构可以存储在计算机可读介质中。输入到神经网络的数据可以包括神经网络的训练处理中输入的训练数据和/或输入到训练完成的神经网络的输入数据。输入到神经网络的数据可以包括经过预处理的数据和/或待预处理的数据。预处理可以包括用于将数据输入到神经网络的数据处理过程。因而，数据结构可以包括要被预处理的数据和由预处理生成的数据。前述数据结构仅仅是示例，并且本公开不限于此。

数据结构可以包括神经网络的权重。(在本说明书中，权重和参数可以以相同的含义使用。)另外，包括神经网络的权重的数据结构可以存储在计算机可读介质中。神经网络可以包括多个权重。权重是可变的，并且为了使神经网络执行期望的功能，权重可以由用户或算法改变。例如，当一个或多个输入节点分别通过链路连接到一个输出节点时，输出节点可以基于输入到连接到输出节点的输入节点的值和在与每个输入节点对应的链路中设置的权重来确定从输出节点输出的数据值。前述数据结构仅仅是示例，并且本公开不限于此。

对于非限制性示例，权重可以包括神经网络训练处理中变化的权重和/或神经网络的训练完成时的权重。神经网络训练处理中变化的权重可以包括训练周期开始时的权重和/或在训练周期期间变化的权重。神经网络的训练完成时的权重可以包括神经网络完成训练周期的权重。因而，包含神经网络的权重的数据结构可以包括包含神经网络训练处理中变化的权重和/或神经网络的训练完成时的权重的数据结构。因而，假设权重和/或相应权重的组合被包括在包括神经网络的权重的数据结构中。前述数据结构仅仅是示例，并且本公开不限于此。

包括神经网络的权重的数据结构可以在经过序列化处理之后存储在计算机可读取存储介质(例如，存储器和硬盘)中。序列化可以是将数据结构存储在相同或不同的计算设备中并将数据结构转换成以后可以被重构和使用的形式的处理。计算设备可以序列化数据结构并通过网络收发数据。通过反序列化，可以在相同或不同的计算设备中重构包括神经网络的权重的序列化的数据结构。包括神经网络的权重在内的数据结构不限于序列化。另外，包括神经网络的权重的数据结构可以包括数据结构(例如，在非线性数据结构中，B-树、字典树(Trie)、m路搜索树、AVL树、红-黑树)用于提高计算的效率，同时最低限度地使用计算设备的资源。前述事项仅仅是示例，并且本公开不限于此。

数据结构可以包括神经网络的超参数。包括神经网络的超参数的数据结构可以存储在计算机可读介质中。超参数可以是用户改变的变量。超参数例如可以包括学习速率、成本函数、训练周期的重复次数、权重初始化(例如，要被权重初始化的权重值的范围的设置)，以及隐藏单元的数量(例如，隐藏层的数量和隐藏层的节点的数量)。前述数据结构仅仅是示例，并且本公开不限于此。

根据本公开的示例性实施例，存在多个解剖分析模型212，并且解剖分析模型212可以是配置有不同算法的经训练的神经网络模型，或者可以配置有一个或多个子集模型。经训练的神经网络模型可以是卷积神经网络(CNN)，并且CNN是一种深度神经网络并且包括具有卷积层的神经网络。CNN是一种专门用于图像处理的多层感知器。CNN可以由一个或多个卷积层和与卷积层组合的人工神经网络层组成。CNN可以附加地使用权重和池化层。由于该结构，CNN可以充分使用二维结构的输入数据。卷积神经网络可以被用于识别图像中的对象。卷积神经网络可以用具有维度的矩阵来表示和处理图像数据。例如，在以红-绿-蓝(RGB)编码的图像数据的情况下，每个R、G和B颜色可以被表示为二维(例如，在二维图像的情况下)矩阵。即，图像数据的每个像素的颜色值可以是矩阵的分量，并且矩阵的尺寸可以与图像的尺寸相同。因而，图像数据可以用三个二维矩阵(三维数据阵列)表示。

卷积处理(卷积层的输入/输出)可以通过在卷积神经网络中移动卷积滤波器的同时将卷积滤波器与图像的每个位置中的矩阵的分量相乘来执行。卷积滤波器可以由n×n矩阵形成。卷积滤波器一般可以由固定类型的滤波器形成，其像素数一般小于图像的像素的总数。即，在m×m图像输入到卷积层(例如，其中卷积滤波器尺寸为n×n的卷积层)的情况下，表示n×n像素的矩阵(包括图像的每个像素)可以是卷积滤波器和分量的乘积(即，矩阵的每个分量的乘积)。通过卷积滤波器与分量相乘，可以从图像中提取出与卷积滤波器匹配的分量。例如，用于从图像中提取上下线性分量的3×3卷积滤波器可以被配置为[[0,1,0],[0,1,0],[0,1,0]]。当用于从图像中提取上下线性分量的3×3卷积滤波器被应用于输入图像时，从图像中提取与卷积滤波器匹配的上下线性分量并将其输出。卷积层可以将卷积滤波器应用于针对表示图像的每个通道的每个矩阵(即，在R、G、B编码图像的情况下，R、G和B颜色)。卷积层可以通过将卷积滤波器应用于输入图像来从输入图像中提取与卷积滤波器匹配的特征。卷积滤波器的滤波器值(即，矩阵的每个分量的值)在卷积神经网络的训练处理中可以通过反向传播进行更新。

子采样层连接到卷积层的输出以简化卷积层的输出，并减少存储器的使用量和计算量。例如，当卷积层的输出被输入到具有2×2最大池化滤波器的池化层时，对于图像的每个像素中每个2×2图块，可以通过输出每个图块中包括的最大值来压缩图像。前述池化也可以是输出图块中的最小值或者输出图块的平均值的方案，并且本公开中可以包括预定的池化方案。

卷积神经网络可以包括一个或多个卷积层和子采样层。卷积神经网络可以通过反复执行卷积处理和子采样处理(例如，前述的最大池化等)从图像中提取特征。通过反复的卷积处理和子采样处理，神经网络可以从图像中提取全局特征。

卷积层或子采样层的输出可以被输入到全连接层。全连接层是其中一层中的所有神经元都连接到相邻层中的所有神经元的层。全连接层可以意指神经网络中每一层的所有节点都连接到另一层的所有节点的结构。

在本公开的示例性实施例中，为了从身体医学图像中提取具有解剖学意义的身体区域，可以使用解剖分析模型212。

解剖分析模型212也可以是与前述预训练的神经网络模型相同的模型，或者可以是与前述预训练的神经网络模型不同的模型。

在本公开的示例性实施例中，处理器120可以基于关于一个或多个检测到的病变的解剖位置信息生成针对接收到的身体医学图像的诊断结果。特别地，处理器120可以在一个或多个检测到的病变与解剖位置信息相关的情况下生成表示临床意义的临床信息。临床信息可以包括从身体区域划分的每个区域的病变发生频率，这是从接收到的身体医学图像中提取的并且具有解剖学意义和每个划分的区域的病变风险程度。特别地，可以存在难以定位在特定区域的病变，反之，可以存在在特定区域发生的概率高的病变。另外，特定区域中特定病变的存在可能是危险的。例如，当特定病变发生在从颈部X射线图像提取的气道区域时，与其他区域相比，气道区域的风险程度可以更高。病变风险程度的示例是说明性的，并且本公开不限于此。

在本公开的示例性实施例中，处理器120可以基于从临床统计信息获得的每个划分的区域的病变的发生频率来改变在检测一个或多个检测到的病变的操作中确定的置信度分数。特别地，当在对应的特定区域中检测到难以定位在特定区域中的病变时，处理器120可以进行校正以降低检测到的病变的置信度分数。否则，当在对应的特定区域中检测到具有发生在特定区域中的高概率的病变时，处理器120可以进行校正以增加检测到的病变的置信度分数。例如，当在左肺的上叶中检测到结节并且置信度分数被计算为40％时，处理器120可以将对应结节的置信度分数从40％改变为60％。置信度分数的改变的示例仅仅是说明性的，并且本公开不限于此。

处理器120可以基于每个划分的区域的病变的风险程度和从临床统计信息获得的改变的置信度分数来生成关于一个或多个检测到的病变的临床信息。特别地，当检测到的病变存在于检测到对应病变的特定区域中并且是危险的时，处理器120可以显示针对对应病变的通知并生成诊断结果。例如，在颈部X射线图像的气道区域检测到结节的情况下，当处理器120生成包括针对对应结节的通知的诊断结果时，处理器120可以生成以下形式的通知：感叹号(！)、“危险”或高亮颜色，并显示诊断结果。通知的示例仅仅是说明性的，并且本公开不限于此。

在本公开的示例性实施例中，用户界面可以包括用于根据检测到的病变的风险程度提供附加信息的通知区域，并且是否显示通知区域可以基于一个或多个病变的解剖位置信息、临床信息和置信度分数中的至少一个来确定。

根据本公开的示例性实施例，处理器120可以提供其中根据用户的设置或置信度分数来调整通知的敏感度的用户界面。例如，当检测到肺部左上部中存在难以定位的病变时，用户界面可以仅在置信度分数高于第一阈值时才向用户显示通知。对于另一个示例，当存在于特定位置的病变具有高临床意义(例如，阻塞气道的病变比另一位置处的病变严重程度更高)时，用户界面可以向用户显示通知，尽管置信度分数低于第一阈值。

在本公开的示例性实施例中，处理器120可以基于生成的临床信息通过读出生成模型222生成读出。特别地，处理器120可以将临床信息输入到诊断结果生成单元220的读出生成模型222并且生成句子形式的读出作为输出值。例如，通过使用读出生成模型222，处理器120可以基于临床信息(对于肺部区域检测到多个结节，置信度分数为80％，并且结节在左肺的中叶内扩散，并且危险程度是高的)生成读出，诸如“肺部区域的左肺中叶有结节扩散，并且结节扩散到上叶和下叶的可能性高，这是危险的”。否则，通过使用读出生成模型222，处理器120可以基于临床信息(诸如在气道区域的支气管中检测到结节的事实、置信度分数为50％的事实、结节的尺寸(直径大约7mm)，以及风险程度非常高的事实)生成读出，诸如“怀疑结节存在于气道区域的支气管中。结节的尺寸高于平均值，因此支气管可能变窄，并且有可能出现呼吸问题，这是非常危险的”。读出的示例仅仅是说明性的，并且本公开不限于此。另外，根据本公开的示例性实施例的读出生成模型是执行预定的自然语言处理的模型，并且可以通过预定的词素分析算法执行或者可以是基于深度学习的模型。

在本公开的示例性实施例中，处理器120可以通过反映用户的校正输入来校正生成的读出。可以在用户界面上显示包括经校正的读数的经校正的诊断结果。在该示例性实施例中，基于深度学习技术生成用于身体医学图像的读出，并且用户审查生成的读数，从而可以生成反映校正内容的最终诊断结果。

在本公开的示例性实施例中，服务器可以将通过前述方法生成的读出或诊断结果传输给终端。在这种情况下，终端可以在通过用户界面与用户交互的同时输出生成的读出或诊断结果。

在本公开的另一个示例性实施例中，可以在终端中生成通过前述方法生成的读出或诊断结果，并将其通过终端的用户界面输出。

在本公开的另一个示例性实施例中，生成读出或诊断结果的操作中的一些步骤由服务器执行，并且其余步骤由终端执行，使得终端也可以最终生成读出或诊断结果。图5是图示根据本公开的示例性实施例的用户界面的图。

在本公开的示例性实施例中，处理器120可以生成显示关于诊断结果的信息的用户界面(UI)。用户界面可以由服务器或终端生成，并由终端提供给用户。

特别地，处理器120可以通过诊断结果生成单元220生成诊断结果。处理器120可以生成用于显示关于生成的诊断结果的信息的用户界面，并且在本文中，用户界面可以包括用于显示从接收到的身体医学图像中检测到的一个或多个病变的第一区域510、用于显示关于一个或多个检测到的病变的概要信息的第二区域520、以及用于显示与诊断结果对应的读出的第三区域530。

在示例性实施例中，第一区域510、第二区域520和第三区域530可以在一层中形成独立的区域。在另一个示例性实施例中，第一区域510、第二区域520和第三区域530中的每一个可以形成一层，并且根据用户的输入彼此重叠。在另一个示例性实施例中，第一区域510、第二区域520和第三区域530中的至少两个可以彼此组合并显示为一个组合区域。

特别地，用于显示包括关于一个或多个检测到的病变的信息的身体医学图像的第一区域可以是用于显示检测到的病变在身体医学图像中的位置并且基于病变的分布显示分布区域的区域。另外，用于显示关于一个或多个检测到的病变的概要信息的第二区域可以是直观地总结并显示发现(例如，病变的类型和尺寸)或检测到的病变的位置、或病变存在的置信度分数的屏幕。另外，用于显示读出的第三区域可以显示基于关于一个或多个检测到的病变的概要信息以句子的形式生成的读出。例如，可以显示读出，诸如“怀疑气道区域中的支气管中存在结节。结节的尺寸高于平均值，因此支气管可能变窄，并且有可能出现呼吸问题，这是非常危险的。”

在本公开的示例性实施例中，用户界面还可以包括用于根据检测到的病变的风险程度提供附加信息的通知区域，并且是否显示通知区域是基于一个或多个病变的解剖位置信息、临床信息和置信度分数中的至少一个来确定的。例如，通过解剖位置信息或临床信息，在特定位置(危险位置)存在病变的情况下，即使置信度分数低，也可以激活通知区域，反之，在病变存在于特定位置(非危险位置)的情况下，只有当置信度分数高时，才可以激活通知区域。

根据本公开的示例性实施例，用户界面可以响应于检测到与用户界面交互的用户输入而显示经校正的诊断结果。

图6是图示根据本公开的示例性实施例的生成针对身体医学图像的诊断结果的方法的流程图。

计算设备100可以接收身体医学图像。计算设备100可以通过使用病变检测模型从接收到的身体医学图像中检测一个或多个病变(610)。计算设备100可以确定包括在接收到的身体医学图像中的一个或多个病变的类型信息。计算设备100可以确定与一个或多个病变的确定的类型信息对应的置信度分数。另外，计算装置100可以生成一个或多个确定的病变的轮廓信息。

计算设备100可以基于接收到的身体医学图像和一个或多个病变的检测结果通过使用解剖分析模型来生成一个或多个病变的解剖位置信息(620)。计算设备100可以生成指示一个或多个病变存在于所确定的位置处的解剖位置信息。

计算设备100可以基于关于一个或多个病变的解剖位置信息生成针对接收到的身体医学图像的诊断结果(630)。在一个或多个检测到的病变与解剖位置信息相关的情况下，计算设备100可以生成表示临床意义的临床信息。计算设备100可以基于生成的临床信息通过使用读出生成模型来生成读出。临床信息可以包括从身体区域划分的每个区域的病变发生频率，该身体区域是从接收到的身体医学图像中提取的并且具有解剖学意义和每个划分的区域的病变风险程度。另外，计算设备100可以基于从临床统计信息获得的每个划分的区域的病变发生频率来改变在检测一个或多个检测到的病变的操作中确定的置信度分数。计算设备100可以基于在每个划分的区域中存在病变的情况下的危险程度和从临床统计信息获得的改变的置信度分数来生成临床信息。

计算设备100可以基于生成的临床信息通过使用读出生成模型来生成读出。计算设备100可以基于生成的读出生成针对接收到的身体医学图像的诊断结果。

计算设备100可以生成显示关于诊断结果的信息的用户界面(UI)。用户界面可以包括用于显示从接收到的身体医学图像中检测到的一个或多个病变的第一区域、用于显示关于一个或多个检测到的病变的概要信息的第二区域、以及用于显示与诊断结果对应的读出的第三区域。

图7是图示根据本公开的示例性实施例的生成用于身体医学图像的诊断结果的方法的流程图。

计算设备100可以接收身体医学图像。计算设备100可以通过使用病变检测模型从接收到的身体医学图像中检测一个或多个病变(710)。计算设备100可以确定包括在接收到的身体医学图像中的一个或多个病变的类型信息。另外，计算设备100可以确定与一个或多个病变的确定的类型信息对应的置信度分数。计算设备100可以生成一个或多个确定的病变的轮廓信息。

计算设备100可以通过使用解剖分析模型从接收到的身体医学图像中提取具有解剖学意义的身体区域(720)。

计算设备100可以通过将针对一个或多个检测到的病变的检测结果与提取出的身体区域进行匹配来生成一个或多个病变的解剖位置信息(730)。提取出的身体区域可以被划分为多个子区域。计算设备100可以通过将针对一个或多个检测到的病变的检测结果与针对提取出的身体区域的多个子区域进行匹配来确定一个或多个病变存在于划分的子区域中的位置。另外，计算设备100可以生成指示一个或多个病变存在于所确定的位置处的解剖位置信息。

计算设备100可以基于关于一个或多个病变的解剖位置信息生成针对接收到的身体医学图像的诊断结果(740)。在一个或多个检测到的病变与解剖位置信息相关的情况下，计算设备100可以生成表示临床意义的临床信息。计算设备100可以基于生成的临床信息通过使用读出生成模型来生成读出。临床信息可以包括从身体区域划分的每个区域的病变发生频率，该身体区域是从接收到的身体医学图像中提取的并且具有解剖学意义和每个划分的区域的病变风险程度。另外，计算设备100可以基于从临床统计信息获得的每个划分的区域的病变发生频率来改变在检测一个或多个病变的操作中确定的置信度分数。计算设备100可以基于在每个划分的区域中存在病变的情况下的危险程度和从临床统计信息获得的改变的置信度分数来生成临床信息。

计算设备100可以基于生成的临床信息通过使用读出生成模型来生成读出。计算设备100可以根据用户的校正输入来校正读出。计算设备100可以基于生成的或经校正的读出生成针对接收到的身体医学图像的诊断结果。

在本公开的示例性实施例中，计算设备100可以将生成的读出或诊断结果传输到终端。在这种情况下，终端可以通过在用户界面上输出生成的读出或诊断结果来与用户交互。

在本公开的另一个示例性实施例中，计算设备100可以生成所生成的读出或诊断结果并通过用户界面输出所生成的读出或诊断结果。

在本公开的另一个示例性实施例中，生成读数或诊断结果的操作中的一些步骤可以由服务器执行，并且其余步骤可以由终端执行。

计算设备100可以生成显示关于诊断结果的信息的用户界面(UI)。用户界面可以包括用于显示从接收到的身体医学图像中检测到的一个或多个病变的第一区域、用于显示关于一个或多个检测到的病变的概要信息的第二区域、以及用于显示与诊断结果对应的读出的第三区域。

图8是图示根据本公开的示例性实施例的计算设备的框图。

图8是其中可以实现本公开的实施例的计算环境的简单且正常的示意图。

上面描述了本公开一般可以由计算设备实现，但是本领域的技术人员将熟知本公开可以结合计算机可执行命令来实现，该计算机可执行命令可以在一个或多个计算机上和/或与其他程序模块结合和/或作为硬件和软件的组合执行。

一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构等。另外，本领域技术人员将很好地理解，本公开的方法可以由其他计算机系统配置实现，其他计算机系统配置包括个人计算机、手持式计算设备、基于微处理器或可编程的家用电器等，相应设备可以与一个或多个相关联的设备以及单处理器或多处理器计算机系统、小型计算机和大型计算机结合操作。

本公开中描述的实施例还可以在分布式计算环境中实现，在分布式计算环境中预定的(或选定的)任务由通过通信网络连接的远程处理设备执行。在分布式计算环境中，程序模块可以定位在本地和远程存储器存储设备中。

计算机一般包括各种计算机可读介质。计算机可访问的介质可以是计算机可读介质，而不管其类型如何，并且计算机可读介质包括易失性和非易失性介质、暂态和非暂态介质以及移动和非移动介质。作为非限制性示例，计算机可读介质可以包括计算机可读存储介质和计算机可读传输介质。计算机可读存储介质包括由用于存储信息(诸如计算机可读指令、数据结构、程序模块、或其他数据)的预定的(或选定的)方法或技术实现的易失性和非易失性介质、临时和非临时介质以及可移动和不移动介质。计算机可读存储介质包括RAM、ROM、EEPROM、闪存或其他存储器技术，CD-ROM、数字视频光盘(DVD)或其他光盘存储设备，磁带盒、磁带、磁盘存储设备或其他磁存储设备，或者可以由计算机访问或可以用于存储期望信息的预定的(或选定的)的其他介质，但是不限于此。

计算机可读传输介质一般在载波或调制数据信号(诸如其他传输机制)中实现计算机可读命令、数据结构、程序模块或其他数据，并且包括所有信息传输介质。术语“调制数据信号”意指通过配置或改变信号的至少一个特点以便对信号中的信息进行编码而获取的信号。作为非限制性示例，计算机可读传输介质包括有线介质(诸如有线网络或直接有线连接)以及无线介质(诸如声学、RF、红外和其他无线介质)。上面提到的介质中的任何介质的组合也包括在一系列计算机可读传输介质中。

示出了实现本公开的各个方面的包括计算机1102的环境1100，并且计算机1102包括处理设备1104、系统存储器1106和系统总线1108。系统总线1108将包括系统存储器1106(不限于此)的系统组件连接到处理设备1104。处理设备1104可以是各种商业处理器当中的预定的(或选定的)处理器。双处理器和其他多处理器体系架构也可以用作处理设备1104。

系统总线1108可以是几种类型的总线结构中的任何一种，其可以使用存储器总线、外围设备总线和各种商业总线体系架构中的任何一种附加地互连到本地总线。系统存储器1106包括只读存储器(ROM)1110和随机存取存储器(RAM)1112。基本输入/输出系统(BIOS)存储在包括ROM、EPROM、EEPROM等的非易失性存储器1110中，并且BIOS包括辅助在计算机1102中的组件之间在诸如起动之类的时间传输信息的基本例程。RAM 1112还可以包括高速RAM，包括用于高速缓存数据的静态RAM等。

计算机1102还包括内部硬盘驱动器(HDD)1114(例如，EIDE和SATA)，其中内部硬盘驱动器1114也可以出于外部目的配置在适当的机箱(未图示)、磁性软盘驱动器(FDD)1116(例如，用于读取或写入移动盘1118)、以及光盘驱动器1120(例如，用于读取CD-ROM盘1122或从诸如DVD之类的其他高容量光学介质读取或写入等)中。硬盘驱动器1114、磁盘驱动器1116和光盘驱动器1120可以分别通过硬盘驱动器接口1124、磁盘驱动器接口1126和光学驱动器接口1128连接到系统总线1108。用于实现外部驱动器的接口1124包括通用串行总线(USB)和IEEE 1394接口技术中的至少一种或它们两者。

驱动器和与其相关联的计算机可读介质提供数据、数据结构、计算机可执行指令等的非易失性存储。在计算机1102的情况下，驱动器和介质与以适当的数字格式存储预定的(或选定的)数据对应。在对计算机可读介质的描述中，提到了诸如HDD、移动磁盘和CD或DVD之类的移动光学介质，但是本领域技术人员将很好地理解的是，可由计算机读取的其他类型的介质(诸如zip驱动器、磁带盒、闪存卡、盒式磁带等)也可以在操作环境中使用并且进一步地，预定的(或选定的)介质可以包括用于执行本公开的方法的计算机可执行命令。

包括操作系统1130、一个或多个应用程序1132、其他程序模块1134和程序数据1136的多个程序模块可以存储在驱动器和RAM 1112中。操作系统、应用、模块和/或数据的全部或部分也可以高速缓存在RAM 1112中。将很好地理解的是，本公开可以在商业上可使用的操作系统或操作系统的组合中实现。

用户可以通过一个或多个有线/无线输入设备(例如，诸如键盘1138和鼠标1140之类的指点设备)在计算机1102中输入指令和信息。其他输入设备(未图示)可以包括麦克风、IR遥控器、操纵杆、游戏手柄、手写笔、触摸屏等。这些和其他输入设备常常通过连接到系统总线1108的输入设备接口1142连接到处理设备1104，但也可以通过其他接口连接，其他接口包括并行端口、IEEE 1394串行端口、游戏端口、USB端口、IR接口等。

监视器1144或其他类型的显示设备也通过诸如视频适配器1146等接口连接到系统总线1108。除了监视器1144之外，计算机一般包括其他外围输出设备(未图示)，诸如扬声器、打印机等。

计算机1102可以通过使用通过有线和/或无线通信与包括(一个或多个)远程计算机1148的一个或多个远程计算机的逻辑连接在联网环境中操作。(一个或多个)远程计算机1148可以是工作站、计算设备计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐装置、对等设备或其他一般网络节点并且一般包括关于计算机1102描述的多个组件或所有组件，但是为了简要描述，仅图示了存储器存储设备1150。图示的逻辑连接包括到局域网(LAN)1152和/或更大网络(例如，广域网(WAN)1154)的有线/无线连接。LAN和WAN联网环境是办公室和公司中的一般环境，并促进企业范围的计算机网络(诸如内联网)，并且它们全部都可以连接到全球范围的计算机网络(例如，互联网)。

当计算机1102用在LAN联网环境中时，计算机1102通过有线和/或无线通信网络接口或适配器1156连接到本地网络1152。适配器1156可以促进到LAN 1152的有线或无线通信，并且LAN 1152还包括安装在其中的无线接入点以便与无线适配器1156通信。当在WAN联网环境中使用计算机1102时，计算机1102可以包括调制解调器1158或具有配置通过WAN1154的通信的其他部件，诸如到WAN 1154上的通信计算设备的连接或通过互联网的连接。可以是内部或外部的调制解调器1158以及有线或无线设备通过串行端口接口1142连接到系统总线1108。在联网环境中，关于计算机1102或其一些描述的程序模块可以存储在远程存储器/存储设备1150中。众所周知，所示的网络连接是示例性的并且可以使用配置计算机之间的通信链路的其他手段。

计算机1102执行与通过无线通信部署和操作的预定的(或选定的)无线设备或实体通信的操作，预定的(或选定的)无线设备或实体例如为打印机、扫描仪、台式机和/或便携式计算机、便携式数据助理(PDA)、通信卫星、预定的(或选定的)装备或与无线可检测标签相关联的地方、以及电话。这至少包括无线保真(Wi-Fi)和蓝牙无线技术。因而，通信可以是像相关技术中的网络那样的预定义结构，或者只是至少两个设备之间的自组织通信。

无线保真(Wi-Fi)无需有线电缆即可连接到互联网等。Wi-Fi是一种无线技术，诸如设备(例如，蜂窝电话)，其使得计算机能够在室内或室外(即，在基站的通信范围内的任何地方)传输和接收数据。Wi-Fi网络使用称为IEEE 802.11(a、b、g等)的无线技术，以便提供安全、可靠和高速的无线连接。Wi-Fi可以被用于将计算机彼此连接或连接到互联网和有线网络(使用IEEE 802.3或以太网)。例如，Wi-Fi网络可以在未经许可的2.4和5GHz无线频带中以11Mbps(802.11a)或54Mbps(802.11b)的数据速率操作，或者在包括两个频带的乘积中操作(双频)。

本领域的技术人员将理解的是，信息和信号可以通过使用各种不同的预定的(或选定的)技术和工艺来表示。例如，以上描述中可以提到的数据、指令、命令、信息、信号、位、码元(symbol)和码片(chip)可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其预定的(或选定的)组合来表示。

本领域技术人员可以理解的是，结合本文公开的实施例描述的各种逻辑块、模块、处理器、部件、电路和算法步骤可以通过电子硬件、各种类型的程序或设计代码(为了易于描述，在本文中指定为软件)、或它们全部的组合实现。为了清楚地描述硬件和软件的相容性，上面已经结合其功能一般地描述了各种组件、块、模块、电路和步骤。功能是作为硬件还是软件来实现依赖于对具体应用和整个系统给出的设计限制。本公开所属领域的技术人员可以针对每个具体应用实现由各种方法描述的功能，但不应当解释为实施方式确定背离本公开的范围。

本文呈现的各种实施例可以使用方法、装置或标准的编程和/或工程技术来实现为制造品。术语“制造品”包括可由预定的(或选定的)计算机可读存储设备访问的计算机程序、载体或介质。例如，计算机可读存储介质包括磁存储设备(例如，硬盘、软盘、磁条等)、光盘(例如，CD、DVD等)、智能卡以及闪存设备(例如，EEPROM、卡、棒、键驱动器等)，但是不限于此。另外，本文呈现的各种存储介质包括一个或多个设备和/或用于存储信息的其他机器可读介质。

将理解的是，所呈现的处理中的步骤的具体次序或分层结构是访问的一个示例。将理解的是，可以基于设计优先级来重新排列在本公开的范围内的处理中的步骤的具体次序或分层结构。附加方法权利要求以样本次序提供各种步骤的元素，但是方法权利要求不限于所呈现的具体次序或分层结构。

提供所呈现的实施例的描述是为了使得本公开的领域的技术人员使用或实现本公开。实施例的各种修改对于本领域技术人员而言将是显而易见的，并且在不背离本公开的范围的情况下，可将本文定义的一般原理应用于其他实施例。因此，本公开不限于本文呈现的实施例，而是应当在与本文呈现的原理和新特征一致的最宽范围内进行解释。

发明的模式

如上所述，已经以用于执行本发明的最佳模式描述了相关内容。

工业适用性

本公开可以用在用于检测身体医学图像中的异常发现并生成读出的计算设备中。