注释支持装置、注释支持方法及注释支持程序

摘要

注释支持装置根据各医用图像所具有的属性并由层级结构来管理医用图像，所述层级结构将一个医用图像作为一个节点，并包括医用图像的节点所属的医用图像层级、医用图像层级的上位及下位的层级即上位层级及下位层级中的至少一个层级。注释支持装置具备：图像获取部，获取医用图像；显示部，显示医用图像；注释输入接受部，接受对医用图像的节点及在层级结构中与医用图像的节点建立对应关联的节点的任一节点的指定，并且接受与所指定的节点有关的信息即注释信息的输入；及注释储存部，将注释信息与所指定的节点建立对应关联地进行存储。

说明书

技术领域

本发明涉及一种注释支持装置、注释支持方法及注释支持程序。

背景技术

近年来，正在进行与对使用机器学习的医用图像的自动诊断支持有关的研究。为了实现高性能模型，通常需要用于监督式训练的大量的训练数据，但是为此需要准备以与医用图像配对的方式定义的注释。在此，注释是指医用图像中的病变的部位和区域的信息、与其性状和诊断有关的分类的信息。例如，下述专利文献1中公开了按照对所显示的医用图像的来自用户的指示操作而获取和存储注释的技术。

以往技术文献

专利文献

专利文献1：日本专利公开2013-132514号公报

发明内容

发明要解决的技术课题

在医生的医用图像读影中，在特定病变存在于医用图像中的情况下，除了病变存在的部位及区域和病变性状以外，还一并参考与该病变有关的其他检查结果及该患者的背景等信息。为了生成以诊断支持为目的的高质量的模型，期望提供以尽可能反映注释信息的层级性及关联性的方式适当地构建的训练数据，以再现这种医生对信息的参考过程。并且，在多数情况下，通过用户的指示操作而获取注释。然而，由于该手动过程中所耗费的劳力大，因此需要通过适当地组合模型而节省劳力。

因此，本发明的目的在于提供一种可以对医用图像赋予具有层级性及关联性的注释信息的注释支持装置、注释支持方法及注释支持程序。

用于解决技术课题的手段

本发明的一方式所涉及的注释支持装置，其支持生成与医用图像有关的注释信息，所述注释支持装置支持生成与医用图像有关的注释信息，所述注释支持装置根据各医用图像所具有的属性并由层级结构来管理医用图像，所述层级结构将一个医用图像作为一个节点，并包括医用图像的节点所属的医用图像层级、医用图像层级的上位的层级即上位层级及医用图像层级的下位的层级即下位层级中的至少一个层级，注释支持装置具备：图像获取部，获取医用图像；显示部，显示医用图像；注释输入接受部，接受对医用图像的节点及在层级结构中与医用图像的节点建立对应关联的节点中的任一节点的指定，并且接受与所指定的节点有关的信息即注释信息的输入；及注释储存部，将注释信息与所指定的节点建立对应关联地进行存储。

本发明的一方式所涉及的注释支持方法，其为支持生成与医用图像有关的注释信息的注释支持装置中的注释支持方法，其根据各医用图像所具有的属性并根据由层级结构来管理医用图像，所述层级结构将一个医用图像作为一个节点，并包括医用图像的节点所属的医用图像层级、医用图像层级的上位的层级即上位层级及医用图像层级的下位的层级即下位层级中的至少一个层级，注释支持方法具有：图像获取步骤，获取医用图像；显示步骤，显示医用图像；注释输入接受步骤，接受对医用图像的节点及在层级结构中与医用图像的节点建立对应关联的节点中的任一节点的指定，并且接受与所指定的节点有关的信息即注释信息的输入；及注释储存步骤，将注释信息与所指定的节点建立对应关联地进行存储。

本发明的一方式所涉及的注释支持程序，其用于使计算机作为支持生成与医用图像有关的注释信息的注释支持装置发挥功能，所述注释支持程序根据各医用图像所具有的属性并由层级结构来管理医用图像，所述层级结构将一个医用图像作为一个节点，并包括医用图像的节点所属的医用图像层级、医用图像层级的上位的层级即上位层级及医用图像层级的下位的层级即下位层级中的至少一个层级，注释支持程序使计算机实现如下功能：图像获取功能，获取医用图像；显示功能，显示医用图像；注释输入接受功能，接受对医用图像的节点及在层级结构中与医用图像的节点建立对应关联的节点中的任一节点的指定，并且接受与所指定的节点有关的信息即注释信息的输入；及注释储存功能，与所指定的节点建立对应关联地存储注释信息。

根据上述方式，由层级结构来管理医用图像，所述层级结构包括医用图像的节点所属的医用图像层级、医用图像层级的上位的上位层级及下位的下位层级中的至少一个层级。然后，接受对所显示的医用图像的节点及与该节点建立对应关联的任一节点的指定和注释信息，所接受的注释信息与所指定的节点建立对应关联地被存储。由此，得到注释信息适当地与医用图像的节点及与该节点建立对应关联的节点建立对应关联的层级结构的数据组。通过从该数据组提取训练用数据，可以生成反映出医生对各种信息的参考过程的可以实现自动诊断的模型。

在另一方式所涉及的注释支持装置中，层级结构可以包括医用图像层级和上位层级及下位层级中的至少一个层级。

根据上述方式，可以将患者信息等上位层级的信息及所见信息等下位层级的信息适当地与对医用图像的信息建立对应关联。

另一方式所涉及的注释支持装置，还可以具备：区域指定接受部，所述区域指定接受部接受由显示部显示的医用图像的一部分且附加所见的区域即所见区域的指定，层级结构包括医用图像层级及所述下位层级，注释输入接受部接受对所见区域的注释信息的输入，注释储存部存储表示所见区域的所见信息来作为与下位层级中的医用图像建立对应关联的节点，并且将所输入的注释信息与该节点建立对应关联地进行存储。

根据上述方式，接受对指定为医用图像的一部分的所见区域的注释信息的输入，作为医用图像的下位层级的节点而存储所见信息及注释信息。由此，以适当的层级关系管理医用图像、所见信息及对所见的注释信息。

在另一方式所涉及的注释支持装置中，区域指定接受部可以接受医用图像中的任意形状的区域的指定来作为所见区域的指定。

根据上述方式，根据任意形状来接受所见区域的指定。所见区域的指定并不限定于基于特定标记等的指定，因此能够得到适当地指定了病变区域的所见信息。

在另一方式所涉及的注释支持装置中，注释输入接受部可以根据表示注释信息的对象相对于由显示部显示的医用图像中的所见区域的拖放操作的接受，作为对所见区域的注释信息的输入而接受。

根据上述方式，能够容易实施注释信息与所见区域建立对应关联。

在另一方式所涉及的注释支持装置中，层级结构可以包括识别患者的患者信息来作为上位层级的节点，注释输入接受部接受对表示与医用图像建立对应关联的患者的患者信息的注释信息的输入，注释储存部将所输入的注释信息与患者信息的节点建立对应关联地进行存储。

根据上述方式，对医用图像的目标患者进行识别的患者信息来作为医用图像的上位层级的节点由层级结构来管理，与该患者有关的注释信息与患者信息建立对应关联地被存储。由此，以适当的层级关系管理医用图像、患者信息及与患者有关的注释信息。

在另一方式所涉及的注释支持装置中，注释信息可以包括关联性信息，该关联性信息表示与除了与该注释信息建立对应关联的节点以外的其他节点的关系。

根据上述方式，各节点例如能够包括医用图像之间、所见信息之间的建立对应关联来作为注释信息。由此，在与某一节点建立对应关联的信息和与另一节点建立对应关联的信息具有关联性的情况下，包括关联性信息的信息组被提供于用于自动诊断的模型的训练，由此可以进行反映出关联性的自动诊断。

另一方式所涉及的注释支持装置，还具备：训练用数据获取部，在由层级结构来管理的信息中，获取至少包括一个医用图像和与所述一个医用图像的节点建立对应关联的注释信息的数据集来作为训练用数据集；模型生成部，使用由训练用数据获取部获取的训练用数据集，并通过机器学习而生成将医用图像作为输入且将与该医用图像有关的注释信息作为输出的注释引导模型；及注释引导部，将通过将由图像获取部获取的医用图像且注释赋予对象的医用图像输入到注释引导模型中而得到的输出，与注释赋予对象的医用图像建立对应关联地进行显示。

根据上述方式，通过使用从由层级结构来管理的信息组提取的训练用数据集的机器学习而生成注释引导模型，并将医用图像输入到所生成的注释引导模型中，由此输出应该与医用图像建立对应关联的候选注释信息。然后，使候选注释信息与医用图像建立对应关联地显示并呈现给用户，由此可以促进用户的注释作业。

在另一方式所涉及的注释支持装置中，训练用数据获取部在由层级结构来管理的信息中获取数据集来作为训练用数据集，所述数据集至少包括一个医用图像和注释信息，所述注释信息与一个医用图像的节点及与一个医用图像的节点建立对应关联的其他节点中的至少一个节点建立对应关联。

根据上述方式，在管理医用图像的层级结构由多个层级组成的情况下，根据设定模型生成中的训练课题，能够获取适当地包括必要信息的训练用数据集。

本发明的一方式所涉及的注释支持装置，其支持生成与医用图像有关的注释信息，所述注释支持装置具备：训练用数据获取部，可以预先获取与注释信息建立对应关联的医用图像，并且获取包括医用图像和与该医用图像建立对应关联的注释信息的数据集来作为训练用数据集；模型生成部，使用由训练用数据获取部获取的训练用数据集，并通过机器学习而生成将医用图像作为输入且将与该医用图像有关的注释信息作为输出的注释引导模型；图像获取部，获取注释信息的赋予对象的医用图像；显示部，显示由图像获取部获取的医用图像；注释引导部，将通过将由图像获取部获取的医用图像输入到注释引导模型中而得到的输出，与由显示部显示的注释赋予对象的医用图像建立对应关联地进行显示；注释输入接受部，接受与注释赋予对象的医用图像有关的注释信息的输入；及注释储存部，将由输入接受部接受的注释信息与注释赋予对象的医用图像建立对应关联地进行存储。

发明效果

根据本发明的一方面，可以对医用图像赋予具有层级性及关联性的注释信息。

附图说明

图1是表示实施方式所涉及的注释支持装置的功能结构的框图。

图2是表示注释支持装置的硬件结构的图。

图3是表示管理医用图像的层级结构，并且表示在医用图像的上位层级中包括患者信息且在医用图像的下位层级中包括所见信息的层级结构的图。

图4是表示在显示装置中显示的医用图像的示例的图。

图5是表示在显示装置中显示有多个医用图像的示例的图。

图6是表示对患者信息的注释信息的输入的示例的图。

图7是表示对医用图像的注释信息的输入的示例的图。

图8是表示医用图像中的所见所涉及的区域的指定及对所见信息的注释信息的输入的示例的图。

图9是表示与由层级结构来管理的各层级的每个信息建立对应关联的注释信息的示例的图。

图10是表示应该与医用图像建立对应关联的候选注释信息的显示例的图。

图11是表示在注释支持装置中实施的注释支持方法的处理内容的流程图。

图12是表示注释支持程序的结构的图。

具体实施方式

以下，参考附图，对本发明的实施方式例进行详细说明。另外，在附图说明中，对相同或等同的要件标注相同的符号，并省略重复说明。

图1是表示本实施方式所涉及的注释支持装置的功能结构的图。注释支持装置1是支持生成与医用图像有关的注释信息的装置。

如图1所示，注释支持装置1具备图像获取部11、显示部12、区域指定接受部13、注释输入接受部14、注释储存部15、训练用数据获取部16、模型生成部17及注释引导部18。本实施方式的注释支持装置1中所包括的各功能部可以分散于多个装置中而构成。并且，注释支持装置1中所包括的各功能部通过硬件及软件中的任一个或任意组合而实现。

如图1所示，注释支持装置1能够访问医用图像存储部20及模型存储部30等存储机构。这些存储机构20、30构成为可以从注释支持装置1经由网络或规定的通信机构进行访问。并且，存储机构20、30也可以设置于注释支持装置1。

在对注释支持装置1的各功能部进行说明之前，对存储机构20、30进行说明。医用图像存储部20是存储在对患者实施的各种检查中获取的医用图像的存储机构。

医用图像例如是医用图像中的标准格式之一的DICOM图像，医用图像可以包括表示X射线检查、CT检查、MRI检查、PET检查、超声波检查及内窥镜检查等各种检查的结果的图像。并且，除了这些图像以外，作为在诊疗过程中被记录的照片及动画等，医用图像还可以包括JPEG图像、BMP图像、PNG图像、MP4动画等信息。并且，如后面进行详述，根据各个医用图像所具有的属性，医用图像存储部20由层级结构来管理医用图像。

模型存储部30是存储后面详述的注释引导模型的存储机构。注释引导模型是通过将医用图像作为输入且将与该医用图像有关的注释信息作为输出的机器学习而生成的模型。

图2是注释支持装置1的硬件结构图。如图2所示，注释支持装置1在物理上构成为计算机系统，其包括由CPU101、RAM及ROM等内存构成的主存储装置102、由硬盘及内存等构成的辅助存储装置103、通信控制装置104等。注释支持装置1还可以包括作为输入器件的键盘、触摸面板、鼠标等输入装置105、以及显示器等输出装置106。另外，注释支持装置1可以构成为包括GPU。

图1中所示的各功能如下实现，即，在图2所示的CPU101、主存储装置102等硬件上读取规定的计算机软件，由此使通信控制装置104等在CPU101的控制下运行，并且读取并写入主存储装置102和辅助存储装置103中的数据。处理中所需数据和数据库被储存在主存储装置102和辅助存储装置103内。

再次，参考图1对注释支持装置1的功能部进行说明。图像获取部11获取医用图像。具体而言，图像获取部11获取存储在医用图像存储部20中的医用图像。

如上所述，医用图像是在对患者实施的各种检查中获取的图像。医用图像能够具有识别患者的患者信息、检查类型及其他信息来作为属性信息。例如，在一次检查中获取了多个图像的情况下，可以包括用于将这些多个图像进行分组的信息来作为属性信息。

根据各医用图像所具有的属性，在医用图像存储部20中由层级结构来管理医用图像。具体而言，与医用图像有关的层级结构将医用图像作为一个节点，并包括医用图像的节点所属的医用图像层级、医用图像层级的上位的层级即上位层级及医用图像层级的下位的层级即下位层级中的至少一个层级。上位层级例如能够包括患者信息来作为节点。下位层级例如能够包括对医用图像赋予的所见信息来作为节点。

并且，管理医用图像的层级结构可以包括医用图像层级和上位层级及下位层级中的至少一个层级。通过由这种层级结构进行管理，可以将患者信息等上位层级信息及所见信息等下位层级信息适当地与医用图像信息建立对应关联。

图3是示意性地表示管理医用图像的层级结构HS的示例的图。在图3所示例中，层级结构HS包括医用图像层级、医用图像层级的上位的层级即上位层级及医用图像层级的下位的层级即下位层级。如图3所示，层级结构HS包括根层级hr、第1层级h1、第2层级h2及第3层级h3。

图3所示的层级结构HS以标记为项目(Project)的项目nr为根，在下位层级中管理各种信息。另外，在图3所示例中，对具有项目nr来作为根节点的情况进行说明，但是也可以不具有作为根节点的项目而构成层级结构。

标记为图像系列(ImageSeries)的医用图像n2构成属于第2层级h2的节点。医用图像具有作为针对可以对某一患者实施的各种检查中的每一种检查而获取的检查单位的检查信息的方面。

医用图像n2的节点的上位层级即第1层级h1具有标记为患者信息(Pati ent)的患者信息n1来作为节点。患者信息n1根据各医用图像n2具有的作为属性信息的患者信息，将与同一患者有关的多个医用图像进行分组。

医用图像n2的节点的下位层即第3层级h3具有标记为疾病类别(Diseas e Class)的所见信息n3来作为节点。所见信息n3是对医用图像的一部分保持区域性而定义的信息。如图3所示，对一个医用图像能够定义多个所见信息。

再次参考图1，显示部12显示医用图像。具体而言，显示部12使由图像获取部11获取的医用图像显示于显示器。图4是表示由显示部12显示于显示器上的医用图像的示例的图。如图4所示，在显示画面D1上显示有作为检查结果之一的医用图像mil。

并且，显示画面D1包括浏览列表IB及读影报告显示部IR。浏览列表IB是用于选择显示于显示画面D1上的医用图像的、显示医用图像列表的部分。若获取对显示于浏览列表IB中的多个医用图像的用户的选择输入，则显示部12使所选择的医用图像显示于显示画面D1。另外，显示于浏览列表IB中的列表反映了参考图3说明的层级结构HS的结构。读影报告显示部IR是将与显示于显示画面D1上的医用图像建立对应关联地被储存的读影报告的数据，作为当用户输入注释时的参考信息呈现给用户的部分。另外，在读影报告显示部IR中，可以使诊疗记录等以文本形式保存的任意的临床信息与所显示的医用图像建立对应关联地显示。

图5是表示由显示部在显示器上显示有多个医用图像的示例的图。如图5所示，在显示画面D2上显示有多个医用图像mi21、mi22、mi23。医用图像mi21是通过CT检查而得到的医用图像。医用图像mi22是通过PET检查而得到的医用图像。医用图像mi23是通过X射线检查而得到的医用图像。如图5所示，在本实施方式的注释支持装置1中，能够并排显示作为相关的多个检查结果的医用图像。

再次参考图1，区域指定接受部13接受对由显示部12显示的医用图像的所见区域的指定。所见区域是医用图像的一部分且附加所见的区域。能够通过各种方式而接受所见区域的指定。

区域指定接受部13例如能够通过对所显示的医用图像的部分的用户的指定操作输入而接受所见区域的指定。具体而言，例如通过执行将指针重叠在医用图像中的任意位置上进行点击等操作，区域指定接受部13接受该位置来作为所见区域。

并且，区域指定接受部13可以接受医用图像中的任意区域的指定来作为所见区域的指定。具体而言，例如若通过各种指示器件的操作等而输入包围医用图像中的任意区域的形状的图形，则区域指定接受部13能够接受该任意形状的区域来作为所见区域的指定。由此，所见区域的指定并不限定于基于特定标记等的指定，因此能够得到适当地指定了病变区域的所见信息。

注释输入接受部14接受对医用图像的节点及在层级结构中与医用图像的节点建立对应关联的节点中的任一节点的指定，并且接受与所指定的节点有关的信息即注释信息的输入。在本实施方式中，注释输入接受部14接受对参考图3说明的层级结构HS中的任一节点的指定。然后，注释输入接受部14接受应该与所指定的节点建立对应关联的信息的输入来作为注释信息的输入。

注释储存部15将由注释输入接受部14接受的注释信息与所指定的节点建立对应关联地进行存储。具体而言，注释储存部15与参考图3说明的层级结构HS中被管理的节点中的所指定的节点建立对应关联地存储所输入的注释信息。

以下，参考图6～图8，对接受注释信息的具体示例进行说明。图6是表示对患者信息的注释信息的输入的示例的图。如图6所示，由显示部12将多个医用图像mi21、mi22、mi23显示于显示画面D3。

医用图像mi21、mi22、mi23是表示由“患者信息1”的标记来识别的患者的检查结果的医用图像。医用图像mi21、mi22、mi23分别构成属于层级结构H S的第2层级h2的各个节点，这些节点与第1层级h1中的患者信息“患者信息1”的节点建立对应关联。

例如，若实施指定显示画面D3中的标签at1的输入，则注释输入接受部14将其作为对患者信息“患者信息1”的节点的指定而接受。

此外，若对注释信息输入栏ai1输入注释信息，则注释输入接受部14接受该输入来作为应该与患者信息“患者信息1”的节点建立对应关联的注释信息。作为应该以患者单位进行管理的注释信息的示例，例如可以举出该患者的主要疾病的类型及性别等，在图6所示例中，作为应该与患者“患者信息1”建立对应关联的注释信息，输入有“疾病：肺癌(Diseases：Lung cancer)”的信息。

注释储存部15将所输入的注释信息“疾病：肺癌(Diseases：Lung cancer)”与患者信息“患者信息1”的节点建立对应关联地进行存储。

根据参考图6说明的示例，对医用图像的目标患者进行识别的患者信息作为医用图像的上位层级的节点由层级结构来管理，与该患者有关的注释信息与患者信息建立对应关联地被存储。由此，以适当的层级关系管理医用图像、患者信息及与患者有关的注释信息。

图7是表示对医用图像的注释信息的输入的示例的图。如图7所示，由显示部12将多个医用图像mi21、mi22、mi23显示于显示画面D4。

医用图像mi21、mi22、mi23是表示由“患者信息1”的标记来识别的患者的检查结果的医用图像。医用图像mi21、mi22、mi23分别构成属于层级结构HS的第2层级h2的各个节点，这些节点与第1层级h1中的患者信息“患者信息1”的节点建立对应关联。

例如，若实施在显示画面D4中指定标签at2的输入，则注释输入接受部14接受该指定输入来作为对医用图像“图像系列1-2”的节点的指定。

此外，若对注释信息输入栏ai2输入注释信息，则注释输入接受部14接受该输入来作为应该与医用图像“图像系列1-2”的节点建立对应关联的注释信息。

以医用图像单进应该行管理的注释信息是以该获取图像所涉及的检查单位应该进行管理的信息，例如可以举出“术前”、“术后”等临床状况、以及根据整体图像的信息应该定义的所见信息(例如，肿瘤的分期等)等。并且，能够将医用图像彼此之间的关联性定义为医用图像的注释信息。关于一个医用图像中的与其他医用图像的关联性，作为一个医用图像的注释信息，可以明确地指定其他医用图像以定义其关联性的内容。并且，也可以与同一患者信息的节点建立对应关联地默认定义关联性。

注释储存部15将输入到注释信息输入栏ai2中的注释信息与医用图像“图像系列1-2”的节点建立对应关联地进行存储。

图8是表示医用图像中的所见所涉及的区域的指定及对所见信息的注释信息的输入的示例的图。如图8所示，由显示部12将医用图像mi21显示于显示画面D5。

医用图像mi21是表示由“患者信息1”的标记来识别的患者的检查结果的医用图像。医用图像mi21构成属于层级结构HS的第2层级h2的节点，该节点与第1层级h1中的患者信息“患者信息1”的节点建立对应关联。

例如，通过指定显示画面D5中的标签，在选择了医用图像“图像系列1-2”的状态下，根据用户对区域的指定输入，区域指定接受部13接受所见区域or3的指定。所见区域是医用图像的一部分，例如用于定义病变等区域。

如图8所示，区域指定接受部13能够接受医用图像中的任意形状的区域的指定来作为所见区域的指定。如此，所见区域的指定并不限定于基于特定标记等的指定，因此能够得到适当地指定了病变区域的所见信息。

此外，在指定了与所见区域or3建立对应关联的标签at3的状态下，若对注释信息输入栏ai3输入注释信息，则注释输入接受部14接受该输入来作为应该与所见区域or3建立对应关联的注释信息。所见单位的注释信息是能够对图像中的一定区域保持区域性而定义的信息，例如是如临床医生通过语言来表现的表示图像特征的信息。在本实施方式中，对所见区域将所见区域所示的定性信息进行贴标，由此实现注释信息的输入。

注释储存部15存储表示所见区域的所见信息来作为与医用图像的层级的下位层级中的医用图像建立对应关联的节点，并且将所输入的注释信息与该节点建立对应关联地进行存储。具体而言，注释储存部15将表示所见区域or3的所见信息作为与第2层级h2的下位层级即第3层级h3中的医用图像“图像系列1-2”建立对应关联的节点而存储于层级结构HS中。此外，注释储存部15将对注释信息输入栏ai3输入的注释信息与表示所见区域or3的所见信息的节点建立对应关联地进行存储。

例如，在一个医用图像中存在多处病变等情况下，区域指定接受部13能够接受一个医用图像中的多个所见区域的指定。例如，接受在显示画面上基于多种不同颜色和线型的贴标，由此可以接受多个所见区域的指定。在该情况下，注释输入接受部14接受对各所见区域的注释信息的输入。然后，注释储存部15将相当于各所见区域的节点作为一个医用图像的节点的下位层级的节点而生成，并将所输入的注释信息与各节点建立对应关联地进行存储。

另外，能够以各种方式来实现注释信息的输入。例如，根据使表示对注释信息输入栏ai3输入的注释信息的对象显示于例如注释信息输入栏ai3中，并接受该对象相对于所见区域的拖放操作，注释储存部15可以实施所输入的注释信息与所见区域的节点建立对应关联。由此，能够容易实施注释信息与所见区域建立对应关联。

并且，能够将图像中的所见彼此之间的关联性定义为所见信息的注释信息。关于一个所见信息中的与其他所见信息的关联性，作为一个所见信息的注释信息，可以明确地指定为其他所见信息，从而定义其关联性的内容。并且，可以与同一个医用图像的节点的下位建立对应关联，从而默认定义关联性。

图9是表示与由层级结构来管理的各层级的每个信息建立对应关联的注释信息的示例的图。如上所述，注释储存部15将所输入的注释信息与当输入注释信息时被指定的节点建立对应关联地进行存储。

在图9中，注释信息A1是患者单位的注释信息，其与属于第1层级h1的节点且标记为“患者信息”的患者信息的节点建立对应关联。注释信息A1例如能够包括有无疾病、年龄、性别、初诊日期、初诊时间的分期、第一次治疗的内容、复发日期及最终转移等信息。

注释信息A2是医用图像单位(检查单位)的注释信息，其与属于第2层级h2的节点且标记为“图像系列”的医用图像的节点建立对应关联。注释信息A2能够包括检查的临床情况(术前、术后、复发时间等)及从整体图像得到的信息(肿瘤分期等信息)。并且，与医用图像建立对应关联的注释信息能够包括表示是否将该医用图像(检查)包括在后述机器学习的训练用数据集中的任意设定的设定信息(Add to Dataset＝True/False(添加到数据集＝真/假))。该设定信息根据机器学习及所生成的模型的目的，并根据用户的输入能够任意设定，在输入为“True(真)”的情况下，该医用图像包括在训练用数据集中。并且，并不限定于如此明确地确定规定的设定信息，而可以根据是否具有特定的注释信息来确定是否将该医用图像包括在训练用数据集中。

并且，医用图像的节点能够具有应该以医用图像单位建立对应关联的信息来作为该注释信息，但是除此以外，能够将在医用图像的节点的下位层级中与该节点建立对应关联的所见信息视为医用图像的注释信息。即，所见信息能够兼具有作为医用图像的下位层级的节点的方面和作为医用图像的注释信息的方面。

注释信息A3是所见单位的注释信息，其与属于第3层级h3的节点即“疾病类别”的所见信息的节点建立对应关联。注释信息A3能够包括表示所见区域的信息及所见的定性信息。表示所见区域的信息通过包括与医用图像的格式(例如，DICOM形式)对应的坐标信息而能够定义病变区域。所见的定性信息能够对各个所见区域包括定性标签信息(图像的特征、位置、分类等)。另外，所见信息的节点对应于图8及后面参考的图10中的“结构”等标记。

再次参考图1，训练用数据获取部16在由层级结构管理的信息中获取至少包括一个医用图像和与该一个医用图像的节点建立对应关联的注释信息的数据集来作为训练用数据集。并且，在管理医用图像的层级结构由多个层级组成的情况下，训练用数据获取部16可以获取数据集来作为训练用数据集，所述数据集在由层级结构管理的信息中至少包括一个医用图像和注释信息，该注释信息与该一个医用图像的节点及与该一个医用图像的节点建立对应关联的其他节点中的至少一个节点建立对应关联。数据集的内容根据如后所述的模型生成中的训练课题而确定。

模型生成部17使用由训练用数据获取部16获取的训练用数据集，并通过机器学习而生成将医用图像作为输入且将与该医用图像有关的注释信息作为输出的注释引导模型。模型生成部17将所生成的注释引导模型存储于模型存储部30。

在本实施方式中，通过实施所谓的监督式训练而生成注释引导模型，所述监督训练使用了包括作为训练对象的医用图像和作为与训练结果建立对应关联的正解数据的注释信息的训练用数据集。训练用数据集中所包括的医用图像例如如上所述能够在医用图像的注释信息中被指定。并且，作为训练课题的内容，可以进行医用图像的分类、医用图像中所包括的病变等特定所见的检测、特定所见的分割(区域的提取)，但是也能够根据设计而设为其他训练课题。

训练用数据集中所包括的数据并不限定于一个医用图像的注释信息，根据对模型的目的及课题的设定，能够包括与一个医用图像相关联的其他节点的信息、与该其他节点建立对应关联的注释信息、表示相同层级或不同层级的节点之间的关联性的信息(关联性信息)等。

注释引导模型构成为包括神经网络。神经网络例如可以由CNN(Convoluti onalNeural Network：卷积神经网络)构成。包括已训练的神经网络的模型即注释引导模型由计算机读取或参考，能够视为使计算机执行规定的处理、以及使计算机实现规定的功能的程序。

即，本实施方式的注释引导模型在具备CPU(和/或GPU)及内存的计算机中使用。具体而言，计算机的CPU(和/或GPU)按照来自存储在内存中的注释引导模型的指令，对输入到神经网络的输入层中的输入数据进行基于与各层对应的已训练的加权系数和响应函数等的运算，以从输出层输出结果的方式运行。

注释引导部18将通过将由图像获取部11获取的医用图像且注释赋予对象的医用图像输入到注释引导模型而得到的输出，与注释赋予对象的医用图像建立对应关联地进行显示。

在本实施方式中，例如模型生成部17将医用图像及作为对显示在该医用图像中的病变部分的注释信息而被输入的所见信息作为训练用数据集而实施机器学习，由此能够生成将医用图像作为输入且将应该与该医用图像建立对应关联的病变部分的所见信息作为输出的注释引导模型。在此，从提供于训练的所见信息及从模型输出的所见信息包括表示所见区域的信息、与该所见区域有关的特征及病变的类型等信息。

图10是表示应该与医用图像建立对应关联的候选注释信息的显示例的图。如图10所示，由显示部12将注释赋予对象的医用图像mi3显示于显示画面D6。

注释引导部18将医用图像mi3输入到注释引导模型中，从而获取从模型输出的作为应该与医用图像mi3建立对应关联的注释信息的候选所见信息。而言，如图10所示，注释引导部18获取候选所见区域ar1及候选所见区域ar2来作为应该与医用图像mi3建立对应关联的注释信息即候选所见信息，并使其重叠显示于医用图像mi3。此外，注释引导部18获取应该与候选所见区域ar1建立对应关联的候选所见信息ac1及应该与候选所见区域ar2建立对应关联的候选所见信息ac2，并使其显示于注释候选显示部gw。

若与医用图像建立对应关联的注释信息被累积为可以实施将它们作为训练用数据集的机器学习的量以上，则模型生成部17能够根据所累积的医用图像及注释信息来生成注释引导模型。然后，注释引导部18根据所生成的注释引导模型，能够获取和输出应该与注释赋予对象的医用图像建立对应关联的候选注释信息。通过将如此输出的候选注释信息与医用图像建立对应关联地显示并呈现给用户，能够辅助用户的注释作业，并且可以促进注释作业。另外，根据医用图像及注释信息的累积，能够依次实施注释引导模型的生成，因此能够提高呈现给用户的候选注释信息的有效性。

接着，参考图11，对本实施方式的注释支持装置1的动作进行说明。图11是表示在注释支持装置1中实施的注释支持方法的处理内容的流程图。

在步骤S1中，图像获取部11获取存储在医用图像存储部20中的医用图像。在步骤S2中，显示部12使由图像获取部11获取的医用图像显示于显示装置。另外，当在步骤S2中显示有医用图像时，注释引导部18可以使应该与所显示的医用图像建立对应关联的候选注释信息与所显示的医用图像建立对应关联地显示。

在步骤S3中，注释输入接受部14接受对医用图像的节点及在层级结构中与医用图像的节点建立对应关联的节点中的任一节点的指定。此外，在步骤S4中，注释输入接受部14接受应该与所指定的节点建立对应关联的注释信息的输入。

在步骤S5中，注释储存部15将由注释输入接受部14接受的注释信息与所指定的节点建立对应关联地进行存储。具体而言，注释储存部15与在层级结构HS中被管理的节点中的所指定的节点建立对应关联地存储所输入的注释信息。

接着，参考图12，对用于使计算机作为注释支持装置发挥功能的注释支持程序进行说明。图12所示的注释支持程序P1包括主模块m10、图像获取模块m11、显示模块m12、区域指定接受模块m13、注释输入接受模块m14、注释储存模块m15、训练用数据提取模块m16、模型生成模块m17及注释引导模块m18。

主模块m10是集中控制注释支持处理的部分。通过执行图像获取模块m11、显示模块m12、区域指定接受模块m13、注释输入接受模块m14、注释储存模块m15、训练用数据提取模块m16、模型生成模块m17及注释引导模块m18，实现用于图1所示的注释支持装置1的图像获取部11、显示部12、区域指定接受部13、注释输入接受部14、注释储存部15、训练用数据获取部16、模型生成部17及注释引导部18的各功能。

注释支持程序Pl例如可以通过磁盘、光盘或半导体内存等存储介质M1来提供。并且，注释支持程序P1作为与传送波重叠的计算机数据信号，可以经由通信网络来提供。

在以上说明的本实施方式的注释支持装置1、注释支持方法及注释支持程序P1中，医用图像由层级结构来管理，所述层级结构包括医用图像的节点所属的医用图像层级、医用图像层级的上位的上位层级及下位的下位层级中的至少一个层级。然后，接受对所显示的医用图像的节点及与该节点建立对应关联的任一节点的指定和注释信息，所接受的注释信息与所指定的节点建立对应关联地被存储。由此，得到注释信息适当地与医用图像的节点及与该节点建立对应关联的节点建立对应关联的层级结构的数据组。通过从该数据组提取训练用数据，可以生成反映出医生对各种信息的参考过程的可以实现自动诊断的模型。

以上，根据实施方式对本发明进行了详细说明。然而，本发明并不限定于上述实施方式。本发明在不脱离其主旨的范围内，可以进行各种变形。

符号说明

1-注释支持装置、11-图像获取部、12-显示部、13-区域指定接受部、14-注释输入接受部、15-注释储存部、16-训练用数据获取部、17-模型生成部、18-注释引导部、20-医用图像存储部、30-模型存储部、M1-存储介质、m10-主模块，m11-图像获取模块、m12-显示模块、m13-区域指定接受模块、m14-注释输入接受模块、m15-注释储存模块、m16-训练用数据提取模块、m17-模型生成模块、m18-注释引导模块、P1-注释支持程序。