首页> 中国专利> 诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、痴呆症诊断辅助方法、以及学习完毕痴呆症诊断意见导出模型

诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、痴呆症诊断辅助方法、以及学习完毕痴呆症诊断意见导出模型

摘要

本发明提供一种诊断辅助装置,其具备:处理器;及存储器,连接或内置于处理器,处理器进行如下:获取医用图像,从医用图像提取器官的多个解剖区域,将多个解剖区域的图像输入到按多个解剖区域的每一个准备的多个特征量导出模型,并从特征量导出模型输出多个解剖区域的每一个的多个特征量,将按多个解剖区域的每一个输出的多个特征量输入到疾病诊断意见导出模型,并从疾病诊断意见导出模型输出疾病的诊断意见,提示诊断意见。

著录项

  • 公开/公告号CN116490132A

    专利类型发明专利

  • 公开/公告日2023-07-25

    原文格式PDF

  • 申请/专利权人 富士胶片株式会社;

    申请/专利号CN202180067505.8

  • 发明设计人 李元中;王彩华;

    申请日2021-09-24

  • 分类号A61B10/00(2006.01);

  • 代理机构永新专利商标代理有限公司 72002;

  • 代理人徐殿军

  • 地址 日本东京

  • 入库时间 2024-01-17 01:17:49

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2023-08-11

    实质审查的生效 IPC(主分类):A61B10/00 专利申请号:2021800675058 申请日:20210924

    实质审查的生效

  • 2023-07-25

    公开

    国际专利申请公布

说明书

技术领域

本发明的技术涉及一种诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、痴呆症诊断辅助方法、以及学习完毕痴呆症诊断意见导出模型。

背景技术

在疾病、例如以阿尔茨海默病为代表的痴呆症的诊断中,医师参考头部MR I(磁共振成像,Magnetic Resonance Imaging)图像等医用图像。医师例如观察海马体、海马旁回、扁桃体等的萎缩程度、白质血管障碍程度、有无额叶、颞叶、枕叶的血流代谢降低等,获得痴呆症的诊断意见。

在日本专利第6483890号中记载了一种诊断辅助装置,其通过机器学习模型导出对头部MRI图像的痴呆症的诊断意见并提供给医师。日本专利第6483890号中所记载的诊断辅助装置从头部MRI图像提取与布罗德曼的脑地图等相应的多个解剖区域,计算表示各解剖区域的萎缩程度的Z值。然后,将所计算出的各解剖区域的Z值输入到机器学习模型,并从机器学习模型输出痴呆症的诊断意见。

发明内容

发明要解决的技术课题

如前所述,为了获得痴呆症等疾病的诊断意见,需要在各种视点无遗漏地细查脑等器官的各解剖区域。然而,在日本专利第6483890号中,仅使用在统计上获得的仅1个称为Z值的指标值。因此,仅通过这样的限定性信息获得的疾病的诊断意见的预测精度是有限的。

本发明的技术所涉及的一种实施方式提供一种能够获得更准确的疾病的诊断意见的诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、痴呆症诊断辅助方法、以及学习完毕痴呆症诊断意见导出模型。

用于解决技术课题的手段

本发明的诊断辅助装置具备:处理器;及存储器,连接或内置于处理器,处理器进行如下:获取医用图像,从医用图像提取器官的多个解剖区域,将多个解剖区域的图像输入到按多个解剖区域的每一个准备的多个特征量导出模型,并从特征量导出模型输出多个解剖区域的每一个的多个特征量,将按多个解剖区域的每一个输出的多个特征量输入到疾病诊断意见导出模型,并从疾病诊断意见导出模型输出疾病的诊断意见,提示诊断意见。

优选,特征量导出模型包括自动编码器、单任务的类别判别用卷积神经网络及多任务的类别判别用卷积神经网络中的至少任一个。

优选,处理器将1个解剖区域的图像输入到不同的多个特征量导出模型,并从多个特征量导出模型分别输出特征量。

优选,处理器除了多个特征量以外,还将与疾病有关的疾病相关信息输入到疾病诊断意见导出模型。

优选,疾病诊断意见导出模型通过神经网络、支持向量机及提升方法中的任一方法构建。

优选,处理器在提取解剖区域之前,进行使所获取的医用图像与标准医用图像匹配的标准化处理。

优选,器官为脑,疾病为痴呆症。此时优选,多个解剖区域包括海马体及前颞叶中的至少任一个。并且优选,疾病相关信息包括解剖区域的体积、痴呆症测试的分数、基因检查的检查结果、脑脊髓液检查的检查结果及血液检查的检查结果中的至少任一个。

本发明的诊断辅助装置的工作方法包括如下步骤:获取医用图像;从医用图像提取器官的多个解剖区域;将多个解剖区域的图像输入到按多个解剖区域的每一个准备的多个特征量导出模型,并从特征量导出模型输出多个解剖区域的每一个的多个特征量;将按多个解剖区域的每一个输出的多个特征量输入到疾病诊断意见导出模型,并从疾病诊断意见导出模型输出疾病的诊断意见;及提示诊断意见。

本发明的诊断辅助装置的工作程序用于使计算机执行包括如下步骤的处理:获取医用图像;从医用图像提取器官的多个解剖区域;将多个解剖区域的图像输入到按多个解剖区域的每一个准备的多个特征量导出模型,并从特征量导出模型输出多个解剖区域的每一个的多个特征量;将按多个解剖区域的每一个输出的多个特征量输入到疾病诊断意见导出模型,并从疾病诊断意见导出模型输出疾病的诊断意见;及提示诊断意见。

本发明的痴呆症诊断辅助方法是由具备处理器及连接或内置于处理器的存储器的计算机进行如下步骤:获取拍摄了脑的医用图像;从医用图像提取脑的多个解剖区域;将多个解剖区域的图像输入到按多个解剖区域的每一个准备的多个特征量导出模型,并从特征量导出模型输出多个解剖区域的每一个的多个特征量;将按多个解剖区域的每一个输出的多个特征量输入到痴呆症诊断意见导出模型,并从痴呆症诊断意见导出模型输出痴呆症的诊断意见;及提示诊断意见。

本发明的学习完毕痴呆症诊断意见导出模型为用于使计算机执行将多个特征量作为输入而输出痴呆症的诊断意见的功能的学习完毕痴呆症诊断意见导出模型,多个特征量为通过将从拍摄了脑的医用图像提取的脑的多个解剖区域的图像输入到按多个解剖区域的每一个准备的多个特征量导出模型而从多个特征量导出模型输出的特征量。

发明效果

根据本发明的技术,能够提供一种能够获得更准确的疾病的诊断意见的诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、痴呆症诊断辅助方法、以及学习完毕痴呆症诊断意见导出模型。

附图说明

图1是表示包括诊断辅助装置的医疗系统的图。

图2是表示构成诊断辅助装置的计算机的框图。

图3是表示诊断辅助装置的CPU的处理部的框图。

图4是表示标准化部的处理的图。

图5是表示提取部的处理的图。

图6是表示特征量导出部的处理的图。

图7是表示痴呆症诊断意见导出部的处理的图。

图8是表示第1显示画面的图。

图9是表示第2显示画面的图。

图10是表示自动编码器的结构及特征量导出模型的成立的图。

图11是卷积处理的说明图。

图12是表示运算数据的结构的图。

图13是表示池化处理的说明图。

图14是表示自动编码器的学习阶段中的处理的概要的图。

图15是表示痴呆症诊断意见导出模型的学习阶段中的处理的概要的图。

图16是表示诊断辅助装置的处理步骤的流程图。

图17是表示痴呆症诊断意见信息的另一例的图。

图18是表示痴呆症诊断意见信息的又一例的图。

图19是表示单任务的类别判别用卷积神经网络的结构及特征量导出模型的成立的图。

图20是表示单任务的类别判别用卷积神经网络的学习阶段中的处理的概要的图。

图21是表示多任务的类别判别用卷积神经网络的结构及特征量导出模型的成立的图。

图22是表示多任务的类别判别用卷积神经网络的学习阶段中的处理的概要的图。

图23是表示第4实施方式的特征量导出部的处理的图。

图24是表示第5实施方式的痴呆症诊断意见导出部的处理的图。

图25是表示第5实施方式的痴呆症诊断意见导出模型的学习阶段中的处理的概要的图。

图26是表示自动编码器和单任务的类别判别用卷积神经网络的结构及特征量导出模型的成立的图。

图27是表示输出部的详细结构的图。

图28是表示自动编码器及单任务的类别判别用卷积神经网络的学习阶段中的处理的概要的图。

图29是表示提供给自动编码器的损失的权重的变化的曲线图。

图30是表示第6实施方式的痴呆症诊断意见导出部的处理的图。

图31是表示以往的文献中所记载的痴呆症的进展预测方法与第6实施方式的痴呆症的进展预测方法的性能比较的表。

具体实施方式

[第1实施方式]

作为一例,如图1所示,医疗系统2具备MRI装置10、PACS(图片存档和通信系统,Picture Archiving and Communication System)服务器11及诊断辅助装置12。这些MRI装置10、PACS服务器11及诊断辅助装置12与铺设于医疗设施内的LAN(局域网,Local AreaNetwork)13连接,能够经由LAN13彼此通信。

MRI装置10拍摄患者P的头部并输出头部MRI图像15。头部MRI图像15是表示患者P的头部的三维形状的体素数据。在图1中,示出了弧矢截面的头部MRI图像15S。MRI装置10将头部MRI图像15发送到PACS服务器11。PACS服务器11存储并管理来自MRI装置10的头部MRI图像15。另外,头部MRI图像15为本发明的技术所涉及的“医用图像”的一例。

诊断辅助装置12例如为台式个人电脑,具备显示器17及输入设备18。输入设备18为键盘、鼠标、触摸面板、麦克风等。医师对输入设备18进行操作,对PACS服务器11发送患者P的头部MRI图像15的传送请求。PACS服务器11搜索被请求传送的患者P的头部MRI图像15并传送至诊断辅助装置12。诊断辅助装置12将从PACS服务器11传送的头部MRI图像15显示于显示器17。医师观察拍摄于头部MRI图像15的患者P的脑,进行患者P的痴呆症诊断。脑为本发明的技术所涉及的“器官”的一例,痴呆症为本发明的技术所涉及的“疾病”的一例。另外,图1中,MRI装置10及诊断辅助装置12分别仅描绘了1台,但MRI装置10及诊断辅助装置12分别可以是多台。

作为一例,如图2所示,构成诊断辅助装置12的计算机除了前述显示器17及输入设备18以外,还具备存储装置(storage)20、存储器(memory)21、CPU(中央处理器,CentralProcessing Unit)22及通信部23。它们经由总线24彼此连接。另外,CPU22为本发明的技术所涉及的“处理器”的一例。

存储装置20为内置于构成诊断辅助装置12的计算机或通过电缆、网络与构成诊断辅助装置12的计算机连接的硬盘驱动器。或者,存储装置20为联装多台硬盘驱动器而成的硬盘阵列。在存储装置20存储有操作系统等控制程序、各种应用程序及这些程序附带的各种数据等。另外,也可以代替硬盘驱动器使用固态驱动器。

存储器21是用于CPU22执行处理的工作存储器。CPU22将存储于存储装置20的程序加载至存储器21,并执行按照程序的处理。由此,CPU22集中控制计算机的各部。通信部23进行与PACS服务器11等外部装置的各种信息的传输控制。另外,存储器21可以内置于CPU22。

作为一例,如图3所示,在诊断辅助装置12的存储装置20存储有工作程序30。工作程序30是用于使计算机作为诊断辅助装置12发挥作用的应用程序。即,工作程序30是本发明的技术所涉及的“诊断辅助装置的工作程序”的一例。在存储装置20中还存储有头部MRI图像15、标准头部MRI图像35、由分割模型36、多个特征量导出模型37构成的特征量导出模型组38及痴呆症诊断意见导出模型39。

若工作程序30被启动,则构成诊断辅助装置12的计算机的CPU22与存储器21等协同而作为读写(以下,简称为RW(Read Write))控制部45、标准化部46、提取部47、特征量导出部48、痴呆症诊断意见导出部49及显示控制部50发挥作用。

RW控制部45控制各种数据向存储装置20的存储及存储装置20内的各种数据的读出。例如,RW控制部45接收来自PACS服务器11的头部MRI图像15,并将所接收的头部MRI图像15存储于存储装置20。另外,在图3中,头部MR I图像15在存储装置20中存储有仅1个,但是头部MRI图像15也可以在存储装置20中存储有多个。

RW控制部45从存储装置20读出为了诊断痴呆症而由医师指定的患者P的头部MRI图像15,并将所读出的头部MRI图像15输出到标准化部46及显示控制部50。RW控制部45通过从存储装置20读出头部MRI图像15,获取了头部MRI图像15。

并且,RW控制部45从存储装置20读出标准头部MRI图像35,并将所读出的标准头部MRI图像35输出到标准化部46。RW控制部45从存储装置20读出分割模型36,并将所读出的分割模型36输出到提取部47。RW控制部45从存储装置20读出特征量导出模型组38,并将所读出的特征量导出模型组38输出到特征量导出部48。而且,RW控制部45从存储装置20读出痴呆症诊断意见导出模型39,并将所读出的痴呆症诊断意见导出模型39输出至痴呆症诊断意见导出部49。

标准化部46进行使头部MRI图像15与标准头部MRI图像35匹配的标准化处理,将头部MRI图像15作为标准化头部MRI图像55。标准化部46将标准化头部MRI图像55输出至提取部47。

标准头部MRI图像35是标准的形状、大小及浓度(像素值)的拍摄了脑的头部MRI图像。标准头部MRI图像35例如为通过对多个健康者的头部MRI图像15进行平均来生成的图像或者通过计算机绘图来生成的图像。另外,标准头部MRI图像35为本发明的技术所涉及的“标准医用图像”的一例。

提取部47将标准化头部MRI图像55输入到分割模型36。分割模型36为按拍摄于标准化头部MRI图像55的脑的每个像素赋予表示海马体、扁桃体、额叶等脑的各解剖区域的标签的、进行所谓的语义分割的机器学习模型。提取部47根据分割模型36所赋予的标签,从标准化头部MRI图像55提取脑的多个解剖区域的图像(以下,称为解剖区域图像)56。提取部47将由多个解剖区域的每一个的多个解剖区域图像56构成的解剖区域图像组57输出到特征量导出部48。

特征量导出模型37按脑的多个解剖区域的每一个逐一准备(参考图6)。特征量导出部48将解剖区域图像56输入到相对应的特征量导出模型37。然后,从特征量导出模型37输出由多种特征量Z(参考图6)构成的特征量集58。特征量导出部48将由与多个解剖区域相对应的多个特征量集58构成的特征量集组59输出到痴呆症诊断意见导出部49。

痴呆症诊断意见导出部49将特征量集组59输入到痴呆症诊断意见导出模型39。然后,从痴呆症诊断意见导出模型39输出表示痴呆症诊断意见的痴呆症诊断意见信息60。痴呆症诊断意见导出部49将痴呆症诊断意见信息60输出到显示控制部50。另外,痴呆症诊断意见导出模型39为本发明的技术所涉及的“疾病诊断意见导出模型”的一例。

显示控制部50控制各种画面向显示器17的显示。在各种画面中包括用于指示基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的第1显示画面70(参考图8)、显示痴呆症诊断意见信息60的第2显示画面75(参考图9)等。

作为一例,如图4所示,标准化部46对头部MRI图像15进行形状标准化处理65及浓度标准化处理66作为标准化处理。形状标准化处理65例如为如下处理,即,从头部MRI图像15及标准头部MRI图像35提取成为对位基准的标志,以使头部MRI图像15的标志与标准头部MRI图像35的标志的相关成为最大的方式,按照标准头部MRI图像35对头部MRI图像15进行平移、旋转和/或放大缩小。浓度标准化处理66例如为按照标准头部MRI图像35的浓度直方图对头部MRI图像15的浓度直方图进行校正的处理。

作为一例,如图5所示,提取部47提取海马体的解剖区域图像56_1、海马旁回的解剖区域图像56_2、额叶的解剖区域图像56_3、前颞叶的解剖区域图像56_4、枕叶的解剖区域图像56_5、丘脑的解剖区域图像56_6、丘脑下部的解剖区域图像56_7、扁桃体的解剖区域图像56_8、脑下垂体的解剖区域图像56_9、……等,作为解剖区域图像56。除此以外,提取部47还提取乳头体、胼胝体、穹窿、侧脑室等各解剖区域的解剖区域图像56。海马体、额叶、前颞叶、扁桃体等解剖区域为左右一对。虽然在图中未表述,但是对于这样的左右一对解剖区域,提取左右各解剖区域的解剖区域图像56。例如,对于海马体,提取左海马体的解剖区域图像56_1和右海马体的解剖区域图像56_1。另外,优选包括这些解剖区域中的海马体及前颞叶中的至少任一个,更优选包括海马体及前颞叶全部。前颞叶是指颞叶的前部。由提取部47进行的使用了分割模型36的解剖区域的提取例如使用下述文献中所记载的方法。

<Patrick McClure,etc.,Knowing What You Know in Brain Segmenta tionUsing Bayesian Deep Neural Networks,Front.Neuroinform.,17Oct ober 2019.>

作为一例,如图6所示,特征量导出部48将海马体的解剖区域图像56_1输入到海马体的特征量导出模型37_1,并从海马体的特征量导出模型37_1输出海马体的特征量集58_1。海马体的特征量集58_1由多个特征量Z1_1、Z2_1、……、ZN_1构成。另外,N为特征量的个数,例如为数十个~数十万个。

同样地,特征量导出部48将海马旁回的解剖区域图像56_2输入到海马旁回的特征量导出模型37_2,将额叶的解剖区域图像56_3输入到额叶的特征量导出模型37_3,将前颞叶的解剖区域图像56_4输入到前颞叶的特征量导出模型37_4。然后,从海马旁回的特征量导出模型37_2输出海马旁回的特征量集58_2,从额叶的特征量导出模型37_3输出额叶的特征量集58_3,从前颞叶的特征量导出模型37_4输出前颞叶的特征量集58_4。海马旁回的特征量集58_2由多个特征量Z1_2、Z2_2、……、ZN_2构成,额叶的特征量集58_3由多个特征量Z1_3、Z2_3、……、ZN_3构成,前颞叶的特征量集58_4由多个特征量Z1_4、Z2_4、……、ZN_4构成。

并且,特征量导出部48将枕叶的解剖区域图像56_5输入到枕叶的特征量导出模型37_5,将丘脑的解剖区域图像56_6输入到丘脑的特征量导出模型37_6。然后,从枕叶的特征量导出模型37_5输出枕叶的特征量集58_5,从丘脑的特征量导出模型37_6输出丘脑的特征量集58_6。枕叶的特征量集58_5由多个特征量Z1_5、Z2_5、……、ZN_5构成,丘脑的特征量集58_6由多个特征量Z1_6、Z2_6、……、ZN_6构成。如上所述,多个解剖区域图像56分别输入到相对应的特征量导出模型37,由此从各特征量导出模型37输出每一个解剖区域图像56的多个特征量集58。另外,关于特征量Z的个数,可以如例示的N个那样在各解剖区域相同,也可以在各解剖区域不同。

作为一例,如图7所示,痴呆症诊断意见导出部49将特征量集组59输入到痴呆症诊断意见导出模型39。然后,从痴呆症诊断意见导出模型39,输出正常(NC;Normal Control)、轻度认知障碍(MCI;Mild Cognitive Impair ment)及阿尔茨海默病(AD;Alzheimer’sDisease)中的任一个,作为痴呆症诊断意见信息60。

图8中示出用于指示基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的第1显示画面70的一例。在第1显示画面70显示诊断痴呆症的患者P的头部MRI图像15。头部MRI图像15是弧矢截面的头部MRI图像15S、轴向截面的头部MRI图像15A及冠状截面的头部MRI图像15C。在这些各头部MRI图像15S、15A及15C的下部设置有用于切换显示的按钮组71。

在第1显示画面70设置有分析按钮72。医师在欲进行基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的情况下,选择分析按钮72。由此,由CPU22接受基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的指示。

图9中示出显示基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的结果获得的痴呆症诊断意见信息60的第2显示画面75的一例。在第2显示画面75显示与痴呆症诊断意见信息60相应的消息76。在图9中,示出了痴呆症诊断意见信息60为轻度认知障碍(MCI),作为消息76显示有“疑似轻度认知障碍”的例子。另外,在选择了确认按钮77的情况下,显示控制部50取消消息76的显示,使第2显示画面75返回到第1显示画面70。

作为一例,如图10所示,在特征量导出模型37中使用自动编码器(以下,简称为AE(自动编码器,Auto Encoder))80的压缩部81。AE80具有压缩部81和复原部82。对压缩部81输入解剖区域图像56。压缩部81将解剖区域图像56转换为特征量集58。压缩部81将特征量集58传递到复原部82。复原部82根据特征量集58生成解剖区域图像56的复原图像83。

作为一例,压缩部81通过进行如图11所示的卷积运算,将解剖区域图像56转换为特征量集58。具体而言,压缩部81具有由“conv(卷积(convolut ion)的缩写)”表示的卷积层200。卷积层200将例如3×3的滤波器203应用于具有二维排列的多个要件201的对象数据202。然后,对要件201中的1个注目要件201I的要件值e和与注目要件201I相邻的8个要件201S的要件值a、b、c、d、f、g、h、i进行卷积。卷积层200使注目要件201I每次偏移1个要件的同时,对对象数据202的各要件201依次进行卷积运算,输出运算数据205的要件204的要件值。由此,与对象数据202同样地,可获得具有二维排列的多个要件204的运算数据205。另外,首先输入到卷积层200的对象数据202为解剖区域图像56,然后将后述的缩小运算数据205S(参考图13)作为对象数据202而输入到卷积层200。

在将滤波器203的系数设为r、s、t、u、v、w、x、y、z的情况下,作为对注目要件201I的卷积运算的结果的、与运算数据205的注目要件201I相对应的要件204I的要件值k例如通过计算下述式(1)来获得。

k=az+by+cx+dw+ev+fu+gt+hs+ir……(1)

关于运算数据205,对1个滤波器203输出1个。在对1个对象数据202应用了多种滤波器203的情况下,按每一个滤波器203输出运算数据205。即,作为一例,如图12所示,运算数据205生成与应用于对象数据202的滤波器203的个数相对应的量。并且,运算数据205具有二维排列的多个要件204,因此具有宽度和高度。运算数据205的数量被称为通道数。在图12中,例示了将4个滤波器203应用于对象数据202而输出的4个通道的运算数据205。

作为一例,如图13所示,压缩部81除了卷积层200以外,还具有由“po ol(池化(pooling)的缩写)”表示的池化层210。池化层210求出运算数据205的要件204的要件值的局部统计量,并生成将所求出的统计量作为要件值的缩小运算数据205S。在此,池化层210进行了求出2×2的要件的块211内的要件值的最大值作为局部统计量的最大值池化处理。若使块211在宽度方向及高度方向上各偏移1个要件的同时进行处理,则缩小运算数据205S缩小为原始的运算数据205的1/2的尺寸。在图13中,例示了块211A内的要件值a、b、e、f中的b、块211B内的要件值b、c、f、g中的b、块211C内的要件值c、d、g、h中的h分别为最大值的情况。另外,也可以进行求出平均值(而不是最大值)作为局部统计量的、平均值池化处理。

压缩部81通过反复进行多次由卷积层200进行的卷积处理和由池化层210进行的池化处理,输出最终运算数据205。该最终运算数据205也就是特征量集58,最终运算数据205的各要件204的要件值也就是特征量Z。这样获得的特征量Z表示海马体的萎缩程度、白质血管障碍程度、有无额叶、前颞叶、枕叶的血流代谢降低等、解剖区域的形状及纹理的特征。另外,在此,为了简化说明而设为二维,但是实际以三维进行各处理。

作为一例,如图14所示,AE80在将压缩部81转用于特征量导出模型37之前的学习阶段中,被输入学习用解剖区域图像56L并进行学习。AE80对学习用解剖区域图像56L输入学习用复原图像83L。根据这些学习用解剖区域图像56L及学习用复原图像83L,进行使用了损失函数的AE80的损失运算。然后,根据损失运算的结果进行AE80的各种系数(滤波器203的系数等)的更新设定,按照更新设定更新AE80。

在AE80的学习阶段中,更换学习用解剖区域图像56L的同时反复进行学习用解剖区域图像56L向AE80的输入、从AE80的学习用复原图像83L的输出、损失运算、更新设定及AE80的更新的上述一连串处理。在从学习用解剖区域图像56L到学习用复原图像83L的复原精度达到预先设定的设定水平的情况下,结束上述一连串处理的反复。这样复原精度达到设定水平的AE80的压缩部81存储于存储装置20并作为学习完毕的特征量导出模型37使用。

在表示痴呆症诊断意见导出模型39的学习阶段中的处理的概要的一例的图15中,痴呆症诊断意见导出模型39通过神经网络、支持向量机、提升方法构建。在学习阶段中,痴呆症诊断意见导出模型39被提供学习数据90并进行学习。学习数据90为学习用特征量集组59L和与学习用特征量集组59L相对应的正确痴呆症诊断意见信息60CA的组。学习用特征量集组59L是将某个头部MRI图像15的解剖区域图像56输入到特征量导出模型37而获得。正确痴呆症诊断意见信息60CA是由医师实际诊断出对获得了学习用特征量集组59L的头部MRI图像15的痴呆症的诊断意见的结果。

在学习阶段中,对痴呆症诊断意见导出模型39输入学习用特征量集组59L。痴呆症诊断意见导出模型39对学习用特征量集组59L输出学习用痴呆症诊断意见信息60L。根据该学习用痴呆症诊断意见信息60L及正确痴呆症诊断意见信息60CA,进行使用损失函数的痴呆症诊断意见导出模型39的损失运算。然后,根据损失运算的结果进行痴呆症诊断意见导出模型39的各种系数的更新设定,按照更新设定更新痴呆症诊断意见导出模型39。

在痴呆症诊断意见导出模型39的学习阶段中,更换学习数据90的同时反复进行学习用特征量集组59L向痴呆症诊断意见导出模型39的输入、从痴呆症诊断意见导出模型39的学习用痴呆症诊断意见信息60L的输出、损失运算、更新设定及痴呆症诊断意见导出模型39的更新的上述一连串处理。在学习用痴呆症诊断意见信息60L相对于正确痴呆症诊断意见信息60CA的预测精度达到预先设定的设定水平的情况下,结束上述一连串处理的反复。这样预测精度达到设定水平的痴呆症诊断意见导出模型39存储于存储装置20而作为学习完毕痴呆症诊断意见导出模型在痴呆症诊断意见导出部49中使用。

接着,参考图16的流程图,对基于上述结构的作用进行说明。首先,若在诊断辅助装置12中工作程序30被启动,则如图3所示,诊断辅助装置12的CPU22作为RW控制部45、标准化部46、提取部47、特征量导出部48、痴呆症诊断意见导出部49及显示控制部50发挥作用。

在图8所示的第1显示画面70中,选择了分析按钮72的情况下,通过RW控制部45,从存储装置20读出相对应的头部MRI图像15及标准头部MRI图像35(步骤ST100)。头部MRI图像15及标准头部MRI图像35从RW控制部45输出到标准化部46。

如图4所示,在标准化部46中,进行使头部MRI图像15与标准头部MRI图像35匹配的标准化处理(形状标准化处理65及浓度标准化处理66)(步骤ST110)。由此,头部MRI图像15成为标准化头部MRI图像55。标准化头部MRI图像55从标准化部46输出到提取部47。

如图5所示,在提取部47中,使用分割模型36,从标准化头部MRI图像55提取多个解剖区域图像56(步骤ST120)。由多个解剖区域图像56构成的解剖区域图像组57从提取部47输出到特征量导出部48。

如图6所示,在特征量导出部48中,解剖区域图像56输入到相对应的特征量导出模型37。由此,从特征量导出模型37输出特征量集58(步骤ST130)。由多个特征量集58构成的特征量集组59从特征量导出部48输出到痴呆症诊断意见导出部49。

如图7所示,在痴呆症诊断意见导出部49中,特征量集组59输入到痴呆症诊断意见导出模型39。由此,从痴呆症诊断意见导出模型39输出痴呆症诊断意见信息60(步骤ST140)。痴呆症诊断意见信息60从痴呆症诊断意见导出部49输出至显示控制部50。

在显示控制部50的控制下,图9所示的第2显示画面75显示于显示器17(步骤ST150)。医师通过第2显示画面75的消息76确认痴呆症诊断意见信息60。

如以上说明那样,诊断辅助装置12的CPU22具备RW控制部45、提取部47、特征量导出部48、痴呆症诊断意见导出部49及显示控制部50。RW控制部45通过从存储装置20读出进行痴呆症的诊断的患者P的头部MRI图像15,获取头部MRI图像15。提取部47从标准化头部MRI图像55提取脑的多个解剖区域的解剖区域图像56。特征量导出部48将多个解剖区域图像56输入到按多个解剖区域的每一个准备的多个特征量导出模型37,并从特征量导出模型37输出多个解剖区域的每一个的多个特征量集58。痴呆症诊断意见导出部49将由多个特征量集58构成的特征量集组59输入到痴呆症诊断意见导出模型39,并从痴呆症诊断意见导出模型39输出痴呆症诊断意见信息60。显示控制部50通过第2显示画面75将痴呆症诊断意见信息60提示给医师。

特征量Z的个数非常多至例如数十个~数十万个。因此,特征量Z不是如日本专利第6483890号中所记载的Z值那样表示解剖区域的限定性特征,而是表示解剖区域的详尽的(exhaustive)特征。并且,特征量Z不是如日本专利第6483890号中所记载的Z值那样在统计上获得的仅1个值,而是对特征量导出模型37输入解剖区域图像56而获得的值。因此,基于特征量Z(由多个特征量集58构成的特征量集组59)导出痴呆症诊断意见信息60的本发明的方法与日本专利第6483890号中所记载的方法相比,能够提高痴呆症的诊断意见的预测精度,能够获得更准确的痴呆症的诊断意见。

痴呆症与癌等其他疾病相比,如通过肉眼也能够识别的特异的病变不易出现在图像上。并且,痴呆症影响整个脑,而不是局部。由于有这样的背景,因此以往难以根据头部MRI图像15等医用图像使用机器学习模型获得准确的痴呆症的诊断意见。但是,根据本发明的技术,将脑细分为多个解剖区域,对于多个解剖区域分别导出特征量,并将所导出的特征量输入到1个痴呆症诊断意见导出模型39。因此,能够实现以往困难的、获得更准确的痴呆症的诊断意见的目的。

如图10所示,特征量导出模型37转用了AE80的压缩部81。AE80是在机器学习的领域中频繁使用的神经网络模型之一,并且是众所周知的。因此,能够相对容易地转用于特征量导出模型37。

如图15所示,痴呆症诊断意见导出模型39通过神经网络、支持向量机及提升方法中的任一方法构建。这些神经网络、支持向量机及提升方法中的任一方法均是众所周知的。因此,能够相对容易地构建痴呆症诊断意见导出模型39。

如图4所示,标准化部46在提取解剖区域之前,进行使头部MRI图像15与标准头部MRI图像35匹配的标准化处理。因此,能够在大致消除患者P的个人差及MRI装置10的装置差的基础上进行之后的处理,其结果,能够提高痴呆症诊断意见信息60的可靠性。

近年来随着老龄化社会的到来,痴呆症已成为社会问题。因此,将器官设为脑,将疾病设为痴呆症,输出痴呆症诊断意见信息60的本实施方式可以说是与当前的社会问题匹配的形态。

海马体及前颞叶为与以阿尔茨海默病为首的痴呆症的相关特别高的解剖区域。因此,如本例那样,若在多个解剖区域中包括海马体及前颞叶中的至少任一个,则能够获得进一步更准确的痴呆症的诊断意见。

作为痴呆症诊断意见信息60的提示方式,不限于第2显示画面75。可以将痴呆症诊断意见信息60印刷输出到纸介质,或者可以将痴呆症诊断意见信息60作为电子邮件的附件发送到医师的移动终端。

另外,痴呆症诊断意见信息60并不限于图7中例示的内容(正常/轻度认知障碍/阿尔茨海默病)。例如,如图17所示的痴呆症诊断意见信息95,可以是患者P的1年后的痴呆症的进展程度是快还是慢。或者,如图18所示的痴呆症诊断意见信息98,也可以是阿尔茨海默病、路易体型痴呆症及血管性痴呆症中的任一个的痴呆症的种类。

[第2实施方式]

在图19及图20所示的第2实施方式中,代替AE80的压缩部81,将单任务的类别判别用卷积神经网络(以下,简称为单任务CNN(Convolutional Neu ral Network:卷积神经网络))100的压缩部101用作特征量导出模型105。

作为一例,如图19所示,单任务CNN100具有压缩部101和输出部102。对压缩部101输入解剖区域图像56。压缩部101与压缩部81同样地,将解剖区域图像56转换为特征量集103。压缩部101将特征量集103传递到输出部102。输出部102根据特征量集103输出1个类别104。在图19中,输出部102将出现了痴呆症或未出现痴呆症的判别结果作为类别104输出。该单任务CNN100的压缩部101用作特征量导出模型105。

作为一例,如图20所示,单任务CNN100在将压缩部101转用于特征量导出模型105之前的学习阶段中,被提供学习数据108并进行学习。学习数据108为学习用解剖区域图像56L和与学习用解剖区域图像56L相对应的正确类别104CA的组。正确类别104CA为医师对获得了学习用解剖区域图像56L的头部MRI图像15实际判别是否出现了痴呆症的结果。

在学习阶段中,对单任务CNN100输入学习用解剖区域图像56L。单任务CNN100对学习用解剖区域图像56L输出学习用类别104L。根据该学习用类别104L及正确类别104CA进行单任务CNN100的损失运算。然后,根据损失运算的结果进行单任务CNN100的各种系数的更新设定,按照更新设定更新单任务CNN 100。

在单任务CNN100的学习阶段中,更换学习数据108的同时反复进行学习用解剖区域图像56L向单任务CNN100的输入、从单任务CNN100的学习用类别104L的输出、损失运算、更新设定及单任务CNN100的更新的上述一连串处理。在学习用类别104L相对于正确类别104CA的预测精度达到预先设定的设定水平的情况下,结束上述一连串处理的反复。这样预测精度达到设定水平的单任务CNN100的压缩部101作为学习完毕的特征量导出模型105存储于存储装置20并在特征量导出部48中使用。

如上所述,在第2实施方式中,该单任务CNN100的压缩部101用作特征量导出模型105。单任务CNN100也是在机器学习的领域中频繁使用的神经网络模型之一,并且是众所周知的。因此,能够相对容易地转用于特征量导出模型105。

另外,作为类别104,例如,可以是患者P的年龄小于75岁或75岁以上的内容,也可以是60多岁、70多岁等患者P的年龄。

[第3实施方式]

在图21及图22所示的第3实施方式中,代替AE80的压缩部81及单任务CNN100的压缩部101,将多任务的类别判别用CNN(以下,简称为多任务CNN)110的压缩部111用作特征量导出模型116。

作为一例,如图21所示,多任务CNN110具有压缩部111和输出部112。对压缩部111输入解剖区域图像56。压缩部111与压缩部81及压缩部101同样地,将解剖区域图像56转换为特征量集113。压缩部111将特征量集113传递到输出部112。输出部112根据特征量集113输出第1类别114及第2类别115这2个类别。在图21中,输出部112将出现了痴呆症或未出现痴呆症的判别结果作为第1类别114输出。并且,在图21中,输出部112将输出患者P的年龄作为第2类别115输出。该多任务CNN110的压缩部111用作特征量导出模型116。

作为一例,如图22所示,多任务CNN110在将压缩部111转用于特征量导出模型116之前的学习阶段中,被提供学习数据118并进行学习。学习数据118为学习用解剖区域图像56L和与学习用解剖区域图像56L相对应的正确第1类别114CA及正确第2类别115CA的组。正确第1类别114CA为医师对获得了学习用解剖区域图像56L的头部MRI图像15实际判别是否出现了痴呆症的结果。并且,正确第2类别115CA为获得了学习用解剖区域图像56L的头部MRI图像15的摄影对象的患者P的实际年龄。

在学习阶段中,对多任务CNN110输入学习用解剖区域图像56L。多任务CNN110对学习用解剖区域图像56L输出学习用第1类别114L及学习用第2类别115L。根据该学习用第1类别114L及学习用第2类别115L、以及正确第1类别114CA及正确第2类别115CA,进行多任务CNN110的损失运算。然后,根据损失运算的结果进行多任务CNN110的各种系数的更新设定,按照更新设定更新多任务CNN110。

在多任务CNN110的学习阶段中,更换学习数据118的同时反复进行学习用解剖区域图像56L向多任务CNN110的输入、从多任务CNN110的学习用第1类别114L及学习用第2类别115L的输出、损失运算、更新设定及多任务CNN110的更新的上述一连串处理。在学习用第1类别114L及学习用第2类别115L相对于正确第1类别114CA及正确第2类别115CA的预测精度达到预先设定的设定水平的情况下,结束上述一连串处理的反复。这样预测精度达到设定水平的多任务CNN110的压缩部111作为学习完毕的特征量导出模型116存储于存储装置20并在特征量导出部48中使用。

如上所述,在第3实施方式中,多任务CNN110的压缩部111用作特征量导出模型116。多任务CNN110与AE80及单任务CNN100相比,进行输出多个类别(第1类别114及第2类别115)的、更复杂的处理。因此,从压缩部111输出的特征量集113更详尽地表示了解剖区域图像56的特征的可能性高。因此,其结果,能够进一步提高基于痴呆症诊断意见导出模型39的痴呆症的诊断意见的预测精度。

另外,作为第1类别114,例如可以是5级水平的痴呆症的进展程度。并且,作为第2类别115,可以是患者P的年龄的判别结果。多任务CNN110可以输出3个以上的类别。

[第4实施方式]

在图23所示的第4实施方式中,将1个解剖区域的解剖区域图像56输入到不同的多个特征量导出模型。

在图23中,本实施方式的特征量导出部130将1个解剖区域的解剖区域图像56输入到第1特征量导出模型131,输入到第2特征量导出模型132,输入到第3特征量导出模型133。由此,特征量导出部130从第1特征量导出模型131输出第1特征量集134,从第2特征量导出模型132输出第2特征量集135,从第3特征量导出模型133输出第3特征量集136。第1特征量导出模型131转用了上述第1实施方式的AE80的压缩部81。第2特征量导出模型132转用了上述第2实施方式的单任务CNN100的压缩部101。第3特征量导出模型133转用了上述第3实施方式的多任务CNN110的压缩部111。

如上所述,在第4实施方式中,特征量导出部130将1个解剖区域的解剖区域图像56输入到第1特征量导出模型131、第2特征量导出模型132及第3特征量导出模型133。然后,从各模型131~133输出第1特征量集134、第2特征量集135及第3特征量集136。因此,与使用1种特征量导出模型37的情况相比,能够获得多种多样的特征量Z。其结果,能够进一步提高基于痴呆症诊断意见导出模型39的痴呆症的诊断意见的预测精度。

不同的多个特征量导出模型例如可以是转用了AE80的压缩部81的第1特征量导出模型131和转用了单任务CNN100的压缩部101的第2特征量导出模型132的组合。或者,也可以是转用了单任务CNN100的压缩部101的第2特征量导出模型132和转用了多任务CNN110的压缩部111的第3特征量导出模型133的组合。而且,可以是转用了将是否出现了痴呆症作为类别104输出的单任务CNN100的压缩部101的第2特征量导出模型132和转用了将患者P的年龄作为类别104输出的单任务CNN100的压缩部101的第2特征量导出模型132的组合。

[第5实施方式]

在图24及图25所示的第5实施方式中,除了多个特征量Z以外,还将与痴呆症有关的痴呆症相关信息141输入到痴呆症诊断意见导出模型142。

作为一例,如图24所示,本实施方式的痴呆症诊断意见导出部140除了特征量集组59以外,还将与痴呆症有关的痴呆症相关信息141输入到痴呆症诊断意见导出模型142。然后,从痴呆症诊断意见导出模型142输出痴呆症诊断意见信息143。另外,痴呆症相关信息141为本发明的技术所涉及的“疾病相关信息”的一例。

痴呆症相关信息141为进行痴呆症的诊断的患者P的信息。痴呆症相关信息141例如包括海马体的体积。并且,痴呆症相关信息141包括长谷川式痴呆症量表的分数、ApoE基因的基因型、淀粉样β测定值、tau蛋白测定值、载脂蛋白测定值、补体蛋白测定值、甲状腺素运载蛋白测定值等。长谷川式痴呆症量表的分数、ApoE基因的基因型、淀粉样β测定值、tau蛋白测定值、载脂蛋白测定值、补体蛋白测定值、甲状腺素运载蛋白测定值等从省略了图示的电子病历服务器中引用。

海马体的体积例如为海马体的解剖区域图像56_1的总像素数。海马体的体积为本发明的技术所涉及的“解剖区域的体积”的一例。另外,也可以除了海马体的体积以外或代替其,在痴呆症相关信息141中包括扁桃体等其他解剖区域的体积。

长谷川式痴呆症量表的分数为本发明的技术所涉及的“痴呆症测试的分数”的一例。另外,也可以除了长谷川式痴呆症量表的分数以外或代替其,在痴呆症相关信息141中包括简易精神状况检查(MMSE;Mini-Mental State Examin ation)的分数、Rivermead行为记忆检查(RBMT;Rivermead Behavioural Me mory Test)的分数、临床痴呆症评定量表(CDR;Clinical Dementia Ratin g)、日常生活活动能力(ADL;Activities of DailyLiving)和/或阿尔茨海默病的评价量表(ADAS-Cog;Alzheimer’s Disease AssessmentScale-co gnitive subscale)等。

ApoE基因的基因型为ε2、ε3、ε4这3种ApoE基因中的2种的组合(ε2和ε3、ε3和ε4等)。相对于完全没有ε4的基因型(ε2和ε3、ε3和ε3等),具有1个或2个ε4的基因型(ε2和ε4、ε4和ε4等)的阿尔茨海默病的发病风险成为约3倍~12倍。关于ApoE基因的基因型,ε2和ε3的组合为1、ε3和ε3的组合为2等、分别转换为数值并输入到痴呆症诊断意见导出模型142。ApoE基因的基因型为本发明的技术所涉及的“基因检查的检查结果”的一例。

淀粉样β测定值及tau蛋白测定值为本发明的技术所涉及的“脑脊髓液检查的检查结果”的一例。并且,载脂蛋白测定值、补体蛋白测定值及甲状腺素运载蛋白测定值为本发明的技术所涉及的“血液检查的检查结果”的一例。

在表示痴呆症诊断意见导出模型142的学习阶段中的处理的概要的一例的图25中,痴呆症诊断意见导出模型142被提供学习数据148并进行学习。学习数据148为学习用特征量集组59L及学习用痴呆症相关信息141L和与学习用特征量集组59L及学习用痴呆症相关信息141L相对应的正确痴呆症诊断意见信息143CA的组。学习用特征量集组59L是将某个头部MRI图像15的解剖区域图像56输入到特征量导出模型37而获得。学习用痴呆症相关信息141L为获得了学习用特征量集组59L的头部MRI图像15的摄影对象的患者P的信息。正确痴呆症诊断意见信息143CA是还考虑学习用痴呆症相关信息141L由医师实际诊断出对获得了学习用特征量集组59L的头部MRI图像15的痴呆症的诊断意见的结果。

在学习阶段中,对痴呆症诊断意见导出模型142输入学习用特征量集组59L及学习用痴呆症相关信息141L。痴呆症诊断意见导出模型142对学习用特征量集组59L及学习用痴呆症相关信息141L输出学习用痴呆症诊断意见信息143L。根据该学习用痴呆症诊断意见信息143L及正确痴呆症诊断意见信息143CA,进行使用损失函数的痴呆症诊断意见导出模型142的损失运算。然后,根据损失运算的结果进行痴呆症诊断意见导出模型142的各种系数的更新设定,按照更新设定更新痴呆症诊断意见导出模型142。

在痴呆症诊断意见导出模型142的学习阶段中,更换学习数据148的同时反复进行学习用特征量集组59L及学习用痴呆症相关信息141L向痴呆症诊断意见导出模型142的输入、从痴呆症诊断意见导出模型142的学习用痴呆症诊断意见信息143L的输出、损失运算、更新设定及痴呆症诊断意见导出模型142的更新的上述一连串处理。在学习用痴呆症诊断意见信息143L相对于正确痴呆症诊断意见信息143CA的预测精度达到预先设定的设定水平的情况下,结束上述一连串处理的反复。这样预测精度达到设定水平的痴呆症诊断意见导出模型142存储于存储装置20而作为学习完毕痴呆症诊断意见导出模型在痴呆症诊断意见导出部140中使用。

如上所述,在第5实施方式中,将痴呆症相关信息141输入到痴呆症诊断意见导出模型142。痴呆症相关信息141包括海马体的体积、长谷川式痴呆症量表的分数、ApoE基因的基因型、淀粉样β测定值、tau蛋白测定值、载脂蛋白测定值、补体蛋白测定值、甲状腺素运载蛋白测定值等。由于加入痴呆症相关信息141这样的对痴呆症的诊断意见的预测有用的强有力的信息,因此与仅通过特征量集组59预测痴呆症的诊断意见的情况相比,能够大幅提高痴呆症的诊断意见的预测精度。

另外,痴呆症相关信息141只要包括解剖区域的体积、痴呆症测试的分数、基因检查的检查结果、脑脊髓液检查的检查结果及血液检查的检查结果中的至少任一个即可。可以将患者P的性别、年龄、病历、或者患者P是否有出现了痴呆症的亲戚等包含在痴呆症相关信息141中。

[第6实施方式]

在图26~图31所示的第6实施方式中,将组合了AE250和单任务CNN251的模型用作特征量导出模型252。

作为一例,如图26所示,AE250与上述第1实施方式的AE80同样地,具有压缩部253和复原部254。对压缩部253输入解剖区域图像56。压缩部253将解剖区域图像56转换为特征量集255。压缩部253将特征量集255传递到复原部254。复原部254根据特征量集255生成解剖区域图像56的复原图像256。

单任务CNN251与上述第2实施方式的单任务CNN100同样地,具有压缩部253和输出部257。即,压缩部253在AE250和单任务CNN251中被共用。压缩部253将特征量集255传递到输出部257。输出部257根据特征量集255输出1个类别258。在图26中,输出部257将当前轻度认知障碍的患者P在2年后也仍为轻度认知障碍、或者在2年后进展为阿尔茨海默病的判别结果作为类别258输出。并且,输出部257输出汇总了构成特征量集255的多个特征量Z的汇总特征量ZA。汇总特征量ZA输出到各解剖区域。在本实施方式中,汇总特征量ZA输入到痴呆症诊断意见导出模型282来代替特征量集255(参考图30)。

作为一例,如图27所示,输出部257具有自我注意(以下,简称为SA(Self-Attention))机构层265、全局平均池化(以下,简称为GAP(Global Average Pooling))层266、完全连接(以下,简称为FC(Fully Connecte d))层267、柔性最大值传输函数(以下,简称为SMF(SoftMax Function)层268及主成分分析(以下,简称为PCA(Principal ComponentAnalysis))层269。

SA机构层265根据注目要件201I的要件值变更滤波器203的系数的同时,对特征量集255进行图11所示的卷积处理。以下,将在该SA机构层265中进行的卷积处理称为SA卷积处理。SA机构层265将SA卷积处理后的特征量集255输出到GAP层266。

GAP层266对SA卷积处理后的特征量集255实施全局平均池化处理。全局平均池化处理为按特征量集255的每一个通道(参考图12)求出特征量Z的平均值的处理。例如在特征量集255的通道数为512个的情况下,通过全局平均池化处理求出512个特征量Z的平均值。GAP层266将所求出的特征量Z的平均值输出到FC层267及PCA层269。

FC层267将特征量Z的平均值转换为由SMF层268的SMF处理的变量。FC层267具备具有与特征量Z的平均值的个数相对应的量(即,与特征量集255的通道数相对应的量)的单元的输入层和具有与由SMF处理的变量的个数相对应的量的单元的输出层。输入层的各单元和输出层的各单元相互完全结合,并分别设定了权重。对输入层的各单元输入特征量Z的平均值。特征量Z的平均值与在各单元之间设定的权重之积和成为输出层的各单元的输出值。该输出值为由SMF处理的变量。FC层267将由SMF处理的变量输出到SMF层268。SMF层268通过将变量应用于SMF来输出类别258。

PCA层269对特征量Z的平均值进行PCA,将多个特征量Z的平均值设为比其少的个数的汇总特征量ZA。例如,PCA层269将512个特征量Z的平均值汇总为1个汇总特征量ZA。

作为一例,如图28所示,AE250在学习阶段中,被输入学习用解剖区域图像56L并进行学习。AE250对学习用解剖区域图像56L输入学习用复原图像256L。根据这些学习用解剖区域图像56L及学习用复原图像256L,进行使用了损失函数的AE250的损失运算。然后,根据损失运算的结果(以下,标记为损失L1)进行AE250的各种系数的更新设定,按照更新设定更新AE250。

在AE250的学习阶段中,更换学习用解剖区域图像56L的同时反复进行学习用解剖区域图像56L向AE250的输入、从AE250的学习用复原图像256L的输出、损失运算、更新设定及AE250的更新的上述一连串处理。

单任务CNN251在学习阶段中,被提供学习数据275并进行学习。学习数据275为学习用解剖区域图像56L和与学习用解剖区域图像56L相对应的正确类别258CA的组。正确类别258CA表示获得了学习用解剖区域图像56L的头部MRI图像15的摄影对象的患者P是实际在2年后也仍为轻度认知障碍还是在2年后进展为阿尔茨海默病。

在学习阶段中,对单任务CNN251输入学习用解剖区域图像56L。单任务CNN251对学习用解剖区域图像56L输出学习用类别258L。根据该学习用类别258L及正确类别258CA,进行使用了交叉熵函数等的单任务CNN251的损失运算。然后,根据损失运算的结果(以下,标记为损失L2)进行单任务CNN251的各种系数的更新设定,按照更新设定更新单任务CNN251。

在单任务CNN251的学习阶段中,更换学习数据275的同时反复进行学习用解剖区域图像56L向单任务CNN251的输入、从单任务CNN251的学习用类别258L的输出、损失运算、更新设定及单任务CNN251的更新的上述一连串处理。

AE250的更新设定及单任务CNN251的更新设定根据下述式(2)所示的总损失L进行。另外,α为权重。

L=L1×α+L2×(1-α)……(2)

即,总损失L为AE250的损失L1和单任务CNN251的损失L2的加权之和。

作为一例,如图29所示,在学习阶段的初始阶段中,对权重α设定1。在将权重α设为1的情况下,成为总损失L=L1。因此,此时仅进行AE250的学习,不进行单任务CNN251的学习。

权重α随着进行学习而从1递减,最终成为固定值(在图29中为0.8)。此时,AE250的学习和单任务CNN251的学习以与权重α相应的强度同时进行。如上所述,提供给损失L1的权重大于提供给损失L2的权重。并且,提供给损失L1的权重从最高值1递减,并且提供给损失L2的权重从最低值0递增,而且两者成为固定值。

AE250及单任务CNN251的学习在基于AE250的从学习用解剖区域图像56L到学习用复原图像256L的复原精度达到预先确定的设定水平,并且基于单任务CNN251的学习用类别258L相对于正确类别258CA的预测精度达到预先设定的设定水平的情况下结束。这样复原精度及预测精度达到设定水平的AE250及单任务CNN251存储于存储装置20并作为学习完毕的特征量导出模型252使用。

作为一例,如图30所示,本实施方式的痴呆症诊断意见导出部280将汇总特征量组ZAG及痴呆症相关信息281输入到痴呆症诊断意见导出模型282。汇总特征量组ZAG由按每一个解剖区域输出的多个汇总特征量ZA构成。痴呆症相关信息281与上述第5实施方式的痴呆症相关信息141同样地,包括进行痴呆症的诊断的患者P的性别、年龄、解剖区域的体积、痴呆症测试的分数、基因检查的检查结果、脑脊髓液检查的检查结果及血液检查的检查结果等。

痴呆症诊断意见导出模型282具有分位标准化部283及线性判别分析部284。对分位标准化部283输入汇总特征量组ZAG和痴呆症相关信息281。分位标准化部283进行如下分位标准化(Quantile Normalization):为了将构成汇总特征量组ZAG的多个汇总特征量ZA和痴呆症相关信息281的各参数处理为相同列,将这些转换为按照标准分布的数据。线性判别分析部284对分位标准化处理后的汇总特征量ZA及痴呆症相关信息281的各参数进行线性判别分析(Linear Discriminant Analysis),其结果,输出痴呆症诊断意见信息285。痴呆症诊断意见信息285是当前轻度认知障碍的患者P在2年后也仍为轻度认知障碍、或者在2年后进展为阿尔茨海默病中的任一者。另外,痴呆症诊断意见导出模型282的学习中,学习用特征量集组59L改变为学习用汇总特征量组ZAG,除此以外,与图25所示的痴呆症诊断意见导出模型142的学习相同,因此省略图示及说明。

如上所述,在第6实施方式中,将进行类别258的输出等主任务的单任务CNN251和与单任务CNN251一部分共同且进行比复原图像256的生成等主任务通用的子任务的AE250用作特征量导出模型252。然后,使AE250和单任务CN N251同时学习。因此,与AE250和单任务CNN251独立进行的情况相比,能够输出更适当的特征量集255及汇总特征量ZA,其结果,能够提高痴呆症诊断意见信息285的预测精度。

在学习阶段中,根据AE250的损失L1和单任务CNN251的损失L2的加权之和即总损失L进行更新设定。因此,通过将权重α设定为适值,能够使AE250重点学习,或者能够使单任务CNN251重点学习,或者能够使AE250及单任务CNN251均衡地学习。

提供给损失L1的权重大于提供给损失L2的权重。因此,能够始终使AE250重点学习。若始终使AE250重点学习,则能够从压缩部253输出进一步表示了解剖区域的形状及纹理的特征的特征量集255,其结果,能够从输出部257输出更正确的汇总特征量ZA。

并且,若将提供给损失L1的权重从最高值递减,并且将提供给损失L2的权重从最低值递增,进行规定次数的学习,则将两者设为固定值。因此,能够在学习的初始阶段中使AE250更重点学习。AE250承担生成复原图像256的相对简单的子任务。因此,若在学习的初始阶段中使AE250更重点学习,则能够在学习的初始阶段中从压缩部253输出进一步表示了解剖区域的形状及纹理的特征的特征量集255。

作为一例,图31所示的表300表示下述文献A、B、C、D、E、F及G中所记载的与痴呆症的进展预测方法相关的No.1~7和本实施方式的与痴呆症的进展预测方法相关的No.8及9的性能比较。本实施方式的痴呆症的进展预测方法中的No.8表示如下情况:对痴呆症诊断意见导出模型282仅输入汇总特征量组ZAG,未输入痴呆症相关信息281。对此,No.9表示如下情况:对痴呆症诊断意见导出模型282输入汇总特征量组ZAG及痴呆症相关信息281。

文献A<Tam,A.,Dansereau,C.,Iturria-Medina,Y.,Urchs,S.,Or ban,P.,Sharmarke,H.,Breitner,J.,&Alzheimer’s Disease Neuroima ging Initiative.,“Ahighly predictive signature of cognition and brain atrophy for progression toAlzheimer’s dementia.”,GigaScienc e,8(5),giz055(2019).>

文献B<Ledig,C.,Schuh,A.,Guerrero,R.,Heckemann,R.A.,&Rue ckert,D.,“Structural brain imaging in Alzheimer’s disease and mi ld cognitiveimpairment:biomarker analysis and shared morphometry database.”,Scientificreports,8(1),11258(2018).>

文献C<Lu,D.,Popuri,K.,Ding,G.W.,Balachandar,R.,&Beg,M.F.,“Multimodaland multiscale deep neural networks for the early diagnosis of Alzheimer’sdisease using structural MR and FDG-PET ima ges.”,Scientific reports,8(1),5697(2018).>

文献D<Basaia,S.,Agosta,F.,Wagner,L.,Canu,E.,Magnani,G.,Santangelo,R.,Filippi,M.,Automated classification of Alzheimer’s disease and mildcognitive impairment using a single MRI and deep neural networks,NeuroImage:Clinical 21,101645(2019).>

文献E<Nakagawa,T.,Ishida,M.,Naito,J.,Nagai,A.,Yamaguchi,S.,Onoda,K.,“Prediction of conversion to Alzheimer’s disease us ing deep survivalanalysis of MRI images”,Brain Communications,Vo l.2(1)(2020).>

文献F<Lee,G.,Nho,K.,Kang,B.,Sohn,K.A.,&Kim,D.,“Predi ctingAlzheimer’s disease progression using multi-modal deep learni ng approach.”,Scientific reports,9(1),1952(2019).>

文献G<Goto,T.,Wang,C.,Li,Y.,Tsuboshita,Y.,Multi-modal deep learningfor predicting progression of Alzheimer’s disease usin g bi-linear shakefusion,Proc.SPIE 11314,Medical Imaging(2020).>

No.8及9的准确率(Accuracy)为0.84及0.90。尤其,No.9的准确率0.90高于No.1~7中的任一个的准确率。No.8及9的AUC(曲线下面积,Area Under the Curve)为0.93及0.97。这些值大于文献E中所记载的与痴呆症的进展预测方法相关的No.5。因此,可以说本实施方式的痴呆症的进展预测方法与文献A~G中所记载的以往的痴呆症的进展预测方法相比,能够进行准确度更高的痴呆症的进展预测。

No.8及9的灵敏度(Sensitivity)为0.85及0.91。这些值高于No.1~7中的任一个的灵敏度。尤其,No.9的灵敏度0.91为其中的最高值。因此,可以说本实施方式的痴呆症的进展预测方法与文献A~G中所记载的以往的痴呆症的进展预测方法相比,能够毫不遗漏地预测当前轻度认知障碍的患者P在预测期间之后进展为阿尔茨海默病。

No.8及9的特异度(Specificity)为0.84及0.90。这些值虽然比文献A中所记载的与痴呆症的进展预测方法相关的No.1的0.97等小,但是比其他文献B、C、D及F大。因此,可以说本实施方式的痴呆症的进展预测方法与其他许多以往的痴呆症的进展预测方法相比,若当前轻度认知障碍的患者P在预测期间之后也仍为轻度认知障碍,则能够更准确地预测。

另外,在表300中,学习用图像的项目的ADNI为“阿尔茨海默病神经影像学倡议,Alzheimer’s Disease Neuroimaging Initiative”的缩写。AIBL为“澳大利亚成像生物标志物和老龄化生活方式旗舰研究,Australian Imagi ng Biomarkers and LifestyleStudy of Ageing”的缩写。J-ADNI为“日本阿尔茨海默病神经影像学倡议,JapaneseAlzheimer’s Disease Neuroimagi ng Intiative”的缩写。均表示存储有与阿尔茨海默病相关的患者P的头部MR I图像15等的数据库。

可以使用上述第3实施方式的多任务CNN110来代替单任务CNN251。

图14所示的AE80的学习、图15所示的痴呆症诊断意见导出模型39的学习、图20所示的单任务CNN100的学习、图22所示的多任务CNN110的学习、图25所示的痴呆症诊断意见导出模型142的学习、以及图28所示的AE250及单任务CNN251的学习等可以在诊断辅助装置12中进行,也可以在除了诊断辅助装置12以外的装置中进行。并且,这些学习也可以在诊断辅助装置12的存储装置20存储各模型之后继续进行。

PACS服务器11可以作为诊断辅助装置12发挥作用。

医用图像并不限于例示的头部MRI图像15。也可以是PET(正电子发射断层扫描,Positron Emission Tomography)图像、SPECT(单光子发射计算机断层扫描,SinglePhoton Emission Computed Tomography)图像、CT(计算机断层扫描,ComputedTomography)图像、内窥镜图像、超声波图像等。

器官不限于例示的脑,可以是心脏、肺、肝脏等。在肺的情况下,提取右肺S1、S2、左肺S1、S2等作为解剖区域。在肝脏的情况下,提取右叶、左叶、胆囊等作为解剖区域。并且,疾病也不限于例示的痴呆症,也可以是心脏病、间质性肺炎等弥漫性肺疾病、肝硬化等肝功能障碍等。

在上述各实施方式中,例如,RW控制部45、标准化部46、提取部47、特征量导出部48及130、痴呆症诊断意见导出部49、140及280、以及显示控制部50等执行各种处理的处理部(Processing Unit)的硬件结构,能够使用以下示出的各种处理器(Processor)。如上所述,各种处理器除了包括执行软件(工作程序30)来作为各种处理部发挥功能的通用的处理器即CPU22以外,还包括FPGA(现场可编程门阵列,Field Programmable Gate Array)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)、具有ASIC(专用集成电路,Application Specific Integrated Circuit)等为了执行特定处理而专门设计的电路结构的处理器即专用电路等。

1个处理部可由这些各种处理器中的1个构成,也可以由相同种类或不同种类的2个以上的处理器的组合(例如,多个FPGA的组合和/或CPU和FPGA的组合)构成。并且,也可以由1个处理器构成多个处理部。

作为由1个处理器构成多个处理部的例子,第1,有如客户机及服务器等计算机为代表,由1个以上的CPU和软件的组合构成1个处理器,该处理器作为多个处理部发挥作用的方式。第2,有如系统芯片(System On Chip:SoC)等为代表,使用通过1个IC(集成电路,Integrated Circuit)芯片实现包括多个处理部的整个系统的功能的处理器的方式。如此,各种处理部作为硬件结构利用1个以上的上述各种处理器来构成。

而且,作为这些各种处理器的硬件结构,更具体而言,能够利用组合了半导体元件等电路元件的电路(circuitry)。

本发明的技术还能够适当地组合上述各种实施方式和/或各种变形例。并且,不限于上述各实施方式,只要不脱离主旨,则可采用各种结构是理所当然的。而且,本公开的技术除了程序以外,还涉及非临时性地存储程序的存储介质。

以上示出的记载内容及图示内容为针对本发明的技术所涉及的部分的详细说明,仅仅是本发明的技术的一例。例如,与上述的结构、功能、作用及效果相关的说明是与本发明的技术所涉及的部分的结构、功能、作用及效果的一例相关的说明。因此,可以在不脱离本发明的技术的宗旨的范围内,对以上示出的记载内容及图示内容,删除不需要的部分或追加新的要素或替换是毋庸置疑的。并且,为了避免复杂化并且便于理解本发明的技术所涉及的部分,在以上示出的记载内容及图示内容中,省略了与在本发明的技术的实施中无需特别说明的技术常识等相关的说明。

在本说明书中,“A和/或B”的含义与“A及B中的至少1个”相同。即,“A和/或B”意味着可以只是A,也可以只是B,还可以是A及B的组合。并且,在本说明书中,在利用“和/或”结合三个以上的事项来表述的情况下,也应用与“A和/或B”相同的概念。

就本说明书中记载的全部的文献、专利申请以及技术规格而言,与具体且分别记载通过参考而引入的各个文献、专利申请以及技术规格的情况相同地,通过参考而编入本说明书。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号