首页> 中国专利> 学习数据收集装置、学习数据收集方法和程序、学习系统、学习完毕模型、以及内窥镜图像处理装置

学习数据收集装置、学习数据收集方法和程序、学习系统、学习完毕模型、以及内窥镜图像处理装置

摘要

本发明提供一种容易收集用于使从内窥镜图像中识别病变的模型学习的学习数据的学习数据收集装置、学习数据收集方法和程序、学习系统、学习完毕模型、以及内窥镜图像处理装置。在将内窥镜图像与观察结果诊断信息进行关联、并使被进行了关联的内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中时,将被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组,并且使用标签按每个组使内窥镜图像切换显示。

著录项

  • 公开/公告号CN112189236A

    专利类型发明专利

  • 公开/公告日2021-01-05

    原文格式PDF

  • 申请/专利权人 富士胶片株式会社;

    申请/专利号CN201980034313.X

  • 发明设计人 三浦悟朗;大酒正明;

    申请日2019-05-07

  • 分类号G16H30/40(20060101);G02B23/24(20060101);A61B1/045(20060101);

  • 代理机构11021 中科专利商标代理有限责任公司;

  • 代理人高颖

  • 地址 日本国东京都

  • 入库时间 2023-06-19 09:24:30

说明书

技术领域

本发明涉及学习数据收集装置、学习数据收集方法和程序、学习系统、学习完毕模型、以及内窥镜图像处理装置,特别是涉及从内窥镜图像中识别病变的技术。

背景技术

市场中存在保管内窥镜图像的内窥镜归档系统、或保管内窥镜检查信息、患者信息、及内窥镜图像的内窥镜管理系统。而且,正在对在内窥镜检查时进行病变的检测或病变的鉴别的内窥镜CAD(Computer Aided Diagnosis)系统的实用化进行研究。

在专利文献1中,记载有一种识别器,其用于将与医用图像的关注区域对应的图像特征组分类为规定个数的图像观察结果。

以往技术文献

专利文献

专利文献1:日本特开2017-068838号公报

发明内容

发明要解决的技术课题

在专利文献1中,记载有一种如下的技术:针对由图像诊断医生预先设定的十个图像观察结果的每一个,从预先收集的数百~数千个图像中提取图像特征组,并使用提取到的图像特征组进行学习,由此生成识别器。

另外,为了使搭载于内窥镜CAD系统的AI(Artificial Intelligence)引擎进行学习,医师需要从内窥镜管理系统、内窥镜归档系统等各个系统中单独获取病变图像、拍摄到病变图像时的观察结果诊断信息、及在内窥镜检查时记录的检查动态画面等,并将其转换为可进行AI学习的形式。

这样就存在以下课题:为了使模型学习,需要收集大量的症状例等学习数据,且需要付出巨大的努力来收集大量的学习数据。

本发明是鉴于上述情况而完成的,其目的是提供一种容易收集用于使从内窥镜图像中识别病变的模型学习的学习数据的学习数据收集装置、学习数据收集方法和程序、学习系统、学习完毕模型、以及内窥镜图像处理装置。

用于解决技术课题的手段

为了达到上述目的,学习数据收集装置的一个方面是如下的学习数据收集装置:其中,具备:显示控制部,其使由内窥镜拍摄到的一个或多个内窥镜图像显示于显示装置的图像显示区域,并且使与病变相关的一个或多个观察结果诊断信息显示于显示装置的观察结果诊断信息显示区域;接受部,其接受通过输入装置进行的操作,即对内窥镜图像和观察结果诊断信息进行选择的操作,内窥镜图像是显示于图像显示区域的内窥镜图像中的至少一个内窥镜图像,观察结果诊断信息与显示于观察结果诊断信息显示区域的观察结果诊断信息中的至少一个内窥镜图像相关;关联部,其将所选择的内窥镜图像与所选择的观察结果诊断信息进行关联;以及记录控制部,其使被进行了关联的内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中,显示控制部将在关联部中被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组,并且使用标签按每个组使内窥镜图像切换显示。

根据本方面,由于设为将被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组,并且使用标签按每个组使内窥镜图像切换显示,所以能够按每个观察结果诊断信息的组确认内窥镜图像。

优选接受部接受由输入装置选择一个标签的操作,显示控制部使被分类到所选择的标签的组的内窥镜图像显示于图像显示区域。由此,能够确认选择的标签的组的内窥镜图像。

优选显示控制部将能选择的所有内窥镜图像分类为一个组。由此,能够确认能选择的所有内窥镜图像。

优选接受部接受将显示于图像显示区域的内窥镜图像中的至少一个内窥镜图像拖放至显示于观察结果诊断信息显示区域的观察结果诊断信息的操作,关联部将被拖放的内窥镜图像与观察结果诊断信息进行关联。由此,能够适当选择内窥镜图像和与该内窥镜图像关联的观察结果诊断信息。

优选接受部接受将显示于观察结果诊断信息显示区域的观察结果诊断信息中的至少一个观察结果诊断信息拖放至显示于图像显示区域的内窥镜图像的操作,关联部将被拖放观察结果诊断信息的内窥镜图像与该观察结果诊断信息进行关联。由此,能够适当选择内窥镜图像和与该内窥镜图像关联的观察结果诊断信息。

优选显示控制部使表示被进行了关联的观察结果诊断信息的识别信息附属于内窥镜图像而显示于图像显示区域。由此,能够确认按每个内窥镜图像进行了关联的观察结果诊断信息。

优选显示控制部使识别信息显示在标签中。由此,能够适当地识别标签。

优选识别信息是与观察结果诊断信息对应的编号。由此,能够适当地显示识别信息。

优选显示控制部使识别信息附属于观察结果诊断信息而显示于观察结果诊断信息显示区域。由此,能够使用户识别观察结果诊断信息与编号的对应。

优选显示控制部重叠显示所选择的图像。由此,可减少显示图像数量,能够容易选择内窥镜图像。

优选接受部接受指定内窥镜图像中拍摄到的病变的位置信息的操作,记录控制部使所指定的位置信息作为学习数据记录在记录装置中。由此,能够将病变的位置信息包含在学习数据中。

为了达到上述目的,学习系统的一个方面是如下的学习系统:其中,具备:显示装置;输入装置;记录装置;学习数据收集装置;以及使用模型从内窥镜图像中识别病变的识别器,所述学习系统使用学习数据使模型学习,所述学习数据收集装置具备:显示控制部,其使由内窥镜拍摄到的一个或多个内窥镜图像显示于显示装置的图像显示区域,并且使与病变相关的一个或多个观察结果诊断信息显示于显示装置的观察结果诊断信息显示区域;接受部,其接受通过输入装置进行的操作,即对内窥镜图像和观察结果诊断信息进行选择的操作,内窥镜图像是显示于图像显示区域的内窥镜图像中的至少一个内窥镜图像,观察结果诊断信息与显示于观察结果诊断信息显示区域的观察结果诊断信息中的至少一个内窥镜图像相关;关联部,其将所选择的内窥镜图像与所选择的观察结果诊断信息进行关联;以及记录控制部,其使被进行了关联的内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中,显示控制部将在关联部中被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组,并且使用标签按每个组使内窥镜图像切换显示。

根据本方面,可利用由能够确认每个观察结果诊断信息的内窥镜图像的学习数据收集装置收集的学习数据适当地使模型学习。

为了达到上述目的,学习完毕模型的一个方面是如下的学习完毕模型:其中,具备:显示装置;输入装置;记录装置;学习数据收集装置;以及使用模型从内窥镜图像中识别病变的识别器,所述学习完毕模型已利用使用学习数据使模型学习的学习系统进行了学习,所述学习数据收集装置具备:显示控制部,其使由内窥镜拍摄到的一个或多个内窥镜图像显示于显示装置的图像显示区域,并且使与病变相关的一个或多个观察结果诊断信息显示于显示装置的观察结果诊断信息显示区域;接受部,其接受通过输入装置进行的操作,即对内窥镜图像和观察结果诊断信息进行选择的操作,内窥镜图像是显示于图像显示区域的内窥镜图像中的至少一个内窥镜图像,观察结果诊断信息与显示于观察结果诊断信息显示区域的观察结果诊断信息中的至少一个内窥镜图像相关;关联部,其将所选择的内窥镜图像与所选择的观察结果诊断信息进行关联;以及记录控制部,其使被进行了关联的内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中,显示控制部将在关联部中被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组,并且使用标签按每个组使内窥镜图像切换显示。

根据本方面,能够获取利用适当收集的学习数据进行了学习的学习完毕模型。

为了达到上述目的,内窥镜图像处理装置的一个方面是如下的内窥镜图像处理装置:其具备使用模型从内窥镜图像中识别病变的识别器,使用学习完毕模型分析内窥镜图像,学习完毕模型已利用使用学习数据使模型学习的学习系统进行了学习,学习系统是如下的学习系统:其中,具备:显示装置;输入装置;记录装置;以及学习数据收集装置,使用学习数据使模型学习,所述学习数据收集装置具备:显示控制部,其使由内窥镜拍摄到的一个或多个内窥镜图像显示于显示装置的图像显示区域,并且使与病变相关的一个或多个观察结果诊断信息显示于显示装置的观察结果诊断信息显示区域;接受部,其接受通过输入装置进行的操作,即对内窥镜图像和观察结果诊断信息进行选择的操作,内窥镜图像是显示于图像显示区域的内窥镜图像中的至少一个内窥镜图像,观察结果诊断信息与显示于观察结果诊断信息显示区域的观察结果诊断信息中的至少一个内窥镜图像相关;关联部,其将所选择的内窥镜图像与所选择的观察结果诊断信息进行关联;以及记录控制部,其使被进行了关联的内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中,显示控制部将在关联部中被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组,并且使用标签按每个组使内窥镜图像切换显示。

根据本方面,能够使用利用适当收集的学习数据进行了学习的学习完毕模型分析内窥镜图像。

为了达到上述目的,学习数据收集方法的一个方面是如下的学习数据收集方法:其中,包括:显示控制工序,使由内窥镜拍摄到的一个或多个内窥镜图像显示于显示装置的图像显示区域,并且使与病变相关的一个或多个观察结果诊断信息显示于显示装置的观察结果诊断信息显示区域;接受工序,接受通过输入装置进行的操作,即对内窥镜图像和观察结果诊断信息进行选择的操作,内窥镜图像是显示于图像显示区域的内窥镜图像中的至少一个内窥镜图像,观察结果诊断信息与显示于观察结果诊断信息显示区域的观察结果诊断信息中的至少一个内窥镜图像相关;关联工序,将所选择的内窥镜图像与所选择的观察结果诊断信息进行关联;以及记录控制工序,使被进行了关联的内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中,显示控制工序将在关联工序中被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组,并且使用标签按每个组使内窥镜图像切换显示。

根据本方面,由于设为将被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组,并且使用标签按每个组使内窥镜图像切换显示,所以能够按每个观察结果诊断信息的组确认内窥镜图像。

为了达到上述目的,用于使计算机执行学习数据收集方法的程序的一个方面是用于使计算机执行如下的学习数据收集方法的程序:其中,学习数据收集方法包括:显示控制工序,使由内窥镜拍摄到的一个或多个内窥镜图像显示于显示装置的图像显示区域,并且使与病变相关的一个或多个观察结果诊断信息显示于显示装置的观察结果诊断信息显示区域;接受工序,接受通过输入装置进行的操作,即对内窥镜图像和观察结果诊断信息进行选择的操作,内窥镜图像是显示于图像显示区域的内窥镜图像中的至少一个内窥镜图像,观察结果诊断信息与显示于观察结果诊断信息显示区域的观察结果诊断信息中的至少一个内窥镜图像相关;关联工序,将所选择的内窥镜图像与所选择的观察结果诊断信息进行关联;以及记录控制工序,使被进行了关联的内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中,显示控制工序将在关联工序中被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组,并且使用标签按每个组使内窥镜图像切换显示。

根据本方面,由于设为将被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组,并且使用标签按每个组使内窥镜图像切换显示,所以能够按每个观察结果诊断信息的组确认内窥镜图像。

发明效果

根据本方面,能够容易收集用于使从内窥镜图像中识别病变的模型学习的学习数据。

附图说明

图1是表示内窥镜图像学习系统的结构的一例的框图。

图2是表示内窥镜管理报告终端的结构的一例的框图。

图3是表示AI引擎的结构的一例的框图。

图4是表示学习方法的处理的流程图。

图5是表示内窥镜检查实施工序的详细的处理的流程图。

图6是表示内窥镜报告制作工序的详细的处理的流程图。

图7是表示内窥镜报告制作画面的一例的图。

图8是表示AI学习图像关联画面的一例的图。

图9是表示AI学习图像关联工序的详细的处理的流程图。

图10是表示AI学习图像关联画面的一例的图。

图11是表示AI学习图像关联画面的一例的图。

图12是表示AI学习图像关联画面的一例的图。

图13是表示AI学习图像关联画面的一例的图。

图14是表示AI学习图像关联画面的一例的图。

图15是表示AI学习图像关联画面的一例的图。

图16是表示AI学习图像关联画面的一例的图。

图17是表示AI学习图像关联画面的一例的图。

图18是表示病理请求工序的详细的处理的流程图。

图19是表示AI学习数据输出工序的详细的处理的流程图。

图20是表示内窥镜管理报告终端的结构的一例的框图。

图21是表示病变位置信息输入方法的处理的流程图。

图22是表示病变位置信息输入画面的一例的图。

图23是表示病变位置信息输入画面的一例的图。

图24是表示病变位置信息输入画面的一例的图。

图25是表示病变位置信息输入画面的一例的图。

图26是表示病变位置信息输入画面的一例的图。

图27是表示病变位置信息输入画面的一例的图。

图28是表示病变位置信息输入画面的一例的图。

图29是表示内窥镜装置的结构的一例的框图。

具体实施方式

以下,参照附图对本发明的优选实施方式进行详细说明。

<第一实施方式>

〔内窥镜图像学习系统的结构〕

图1是表示内窥镜图像学习系统10的结构的一例的框图。内窥镜图像学习系统10具有在医院内构建的院内LAN(Local Area Network)20、在医院的内窥镜科内构建的内窥镜科本地LAN30、在医院内或医院外构建的AI(Artificial Intelligence)学习LAN50等。

在院内LAN20中,连接有电子病历系统22和病理系统24。

电子病历系统22是管理医院内的所有患者的检查信息的系统。另外,病理系统24是管理病理检体和病理诊断信息的系统。电子病历系统22和病理系统24可以由1台计算机构成,也可以是分散到多个计算机的结构。

在内窥镜科本地LAN30中,连接有内窥镜管理报告终端32、视频采集终端38、内窥镜管理服务器40、及动态画面存储NAS(Network Attached Storage)46。

内窥镜管理报告终端32是用于医师制作与由未图示的内窥镜装置进行的内窥镜检查相关的内窥镜报告42(后述)的终端。

图2是表示内窥镜管理报告终端32的结构的一例的框图。内窥镜管理报告终端32具备输入设备34、显示器36和学习数据收集装置80。

输入设备34(输入装置的一例)例如可应用鼠标、或键盘。显示器36(显示装置的一例)例如可应用液晶监视器。也可以使用带触摸屏的显示器,兼备输入设备34和显示器36。

学习数据收集装置80收集从内窥镜图像中识别病变的模型的在学习中使用的学习数据。学习数据收集装置80具备接受部82、显示控制部84、关联部86和记录控制部88。

接受部82接受输入设备34进行的操作。显示控制部84使内窥镜图像和观察结果诊断信息显示于显示器36。关联部8基于由接受部82接受的后述的关联操作,将内窥镜图像与观察结果诊断信息进行关联。记录控制部88将由关联部86进行了关联的内窥镜图像和观察结果诊断信息记录在内窥镜管理服务器40中。

返回到图1的说明,视频采集终端38捕获未图示的内窥镜装置的摄像装置拍摄的动态画面,并将其发送到动态画面存储NAS46。另外,视频采集终端38捕获未图示的内窥镜装置的摄像装置拍摄的静止画面,并将其发送到内窥镜管理服务器40。

内窥镜管理服务器40经由内窥镜管理报告终端32管理未图示的内窥镜装置。另外,内窥镜管理服务器40记录由内窥镜管理报告终端32制作的内窥镜报告42和由内窥镜装置的摄像装置拍摄到的静止画面即检查图像44。

动态画面存储NAS46记录由内窥镜装置的摄像装置拍摄到的动态画面。

在AI学习LAN50中,连接有AI引擎52。AI引擎52识别所输入的内窥镜图像中包含的病变,并将识别到的病变的信息输出。AI引擎52例如由GPU(Graphics Processing Unit)构成。

图3是表示AI引擎52的结构的一例的框图。AI引擎52具备输入部54、特征量提取部56、识别部58、输出部60、学习数据输入部62、及学习部64。

内窥镜图像被输入到输入部54。内窥镜图像不限于静止画面,也可以是动态画面。

特征量提取部56从被输入到输入部54的内窥镜图像中提取特征量。识别部58(识别器的一例)根据由特征量提取部56提取到的特征量,使用模型识别内窥镜图像中包含的病变。输出部60将识别部58识别到的病变的信息输出。

用于使模型学习的学习数据被输入学习数据输入部62。学习部64具备与识别部58同样的模型。学习部64利用被输入到学习数据输入部62的学习数据使模型学习。通过学习部64进行了学习的学习完毕模型被输入到识别部58。由此,识别部58的模型被更新为学习完毕模型。

也可以设为在特征量提取部56和识别部58中使用模型识别内窥镜图像中包含的病变的结构,学习部64学习特征量提取部56和识别部58的模型并更新为学习完毕模型。

再次返回到图1的说明,电子病历系统22与内窥镜管理服务器40经由医嘱网关(order gateway)70连接。医嘱网关70由1台计算机服务器构成。医嘱网关70从电子病历系统22或未图示的医嘱系统接收检查信息和患者信息,并将检查医嘱信息发送到内窥镜管理服务器40。内窥镜管理服务器40记录接收到的检查医嘱。

另外,医嘱网关70从内窥镜管理服务器40接收内窥镜报告42和检查实绩信息,并将其发送到电子病历系统22或未图示的医疗会计系统。

病理系统24与内窥镜管理服务器40经由病理系统网关72连接。病理系统网关72由1台计算机服务器构成。病理系统网关72从病理系统24获取病理诊断结果,并将病理诊断结果发送到内窥镜管理服务器40。内窥镜管理服务器40记录接收到的病理诊断结果。

AI引擎52与内窥镜管理服务器40经由AI学习数据输出网关74连接。AI学习数据输出网关74从内窥镜管理服务器40接收学习数据,并将其发送到AI引擎52。

〔学习方法〕

内窥镜图像学习系统10将内窥镜图像和观察结果诊断信息作为学习数据,使从内窥镜图像中识别病变的模型学习。图4是表示使用了内窥镜图像学习系统10的学习方法的处理的流程图。学习方法具有内窥镜检查实施工序(步骤S10)、内窥镜报告制作工序(步骤S20)、AI学习图像关联工序(步骤S30)、病理请求工序(步骤S40)、AI学习数据输出工序(步骤S50)、以及AI学习工序(步骤S60)。

〔内窥镜检查实施工序的详细情况〕

在内窥镜检查实施工序中,对患者实施内窥镜检查。图5是表示内窥镜检查实施工序的详细的处理的流程图。内窥镜检查实施工序具有检查信息获取工序(步骤S11)、动态画面拍摄开始工序(步骤S12)、病变部位静止画面拍摄工序(步骤S13)、静止画面服务器转送工序(步骤S14)、动态画面拍摄结束工序(步骤S15)、以及动态画面服务器转送工序(步骤S16)。

<检查信息获取工序(步骤S11)>

在检查信息获取工序中,获取实施的内窥镜检查的检查信息。医师使用内窥镜管理报告终端32的输入设备34输入检查信息。检查信息中包含检查部位信息、检查日、患者的姓名、年龄、性别等信息。将所输入的检查信息从内窥镜管理报告终端32发送到内窥镜管理服务器40。

<动态画面拍摄开始工序(步骤S12)>

在动态画面拍摄开始工序中,开始拍摄动态画面的内窥镜图像。医师操作未图示的内窥镜装置的摄像装置,拍摄动态画面。所拍摄的动态画面实时显示于未图示的内窥镜装置的显示装置。另外,将所拍摄的动态画面随时输入视频采集终端38。

<病变部位静止画面拍摄工序(步骤S13)>

在病变部位静止画面拍摄工序中,拍摄病变部位的静止画面的内窥镜图像。医师利用内窥镜装置的显示装置观察拍摄到的动态画面,当动态画面中拍摄到病变部位时,操作未图示的摄像装置,拍摄静止画面。

<静止画面服务器转送工序(步骤S14)>

在静止画面服务器转送工序中,将拍摄到的静止画面转送至内窥镜管理服务器40。将通过病变部位静止画面拍摄工序拍摄到的静止画面从未图示的内窥镜装置的摄像装置发送到视频采集终端38。视频采集终端38将接收到的静止画面发送到内窥镜管理服务器40。内窥镜管理服务器40将接收到的静止画面记录为检查图像44。内窥镜管理服务器40也可以一起记录检查图像44和缩小了检查图像的尺寸的缩略图图像。

<动态画面拍摄结束工序(步骤S15)>

在动态画面拍摄结束工序中,使动态画面的拍摄结束。当内窥镜检查结束时,医师结束通过未图示的内窥镜装置的摄像装置进行的动态画面的拍摄。

<动态画面服务器转送工序(步骤S16)>

在动态画面服务器转送工序中,将拍摄到的动态画面转送至动态画面存储NAS46。将拍摄到的动态画面随时转送至视频采集终端38,并在动态画面服务器转送工序中从视频采集终端38转送至动态画面存储NAS46。动态画面存储NAS46将转送来的动态画面记录为检查图像。

通过以上操作,结束内窥镜检查实施工序。

〔内窥镜报告制作工序的详细情况〕

在内窥镜报告制作工序中,制作与在内窥镜检查实施工序中进行的内窥镜检查相关的内窥镜报告42。内窥镜报告42由医师使用内窥镜管理报告终端32来制作。

图6是表示内窥镜报告制作工序的详细的处理的流程图。内窥镜报告制作工序具有关键图像选择工序(步骤S21)、病变标记工序(步骤S22)、观察结果诊断信息输入工序(步骤S23)、以及结束判定工序(步骤S24)。

<关键图像选择工序(步骤S21)>

在关键图像选择工序中,医师选择在内窥镜报告42的制作中使用的关键图像。关键图像是指例如明确拍摄了病变的图像。显示控制部84将内窥镜管理服务器40中记录的检查图像显示在显示器36上。医师使用输入设备34,从所显示的检查图像中选择关键图像。关键图像的数量并不限定。

<病变标记工序(步骤S22)>

在病变标记工序中,对关键图像附加表示病变的位置的病变标记。医师使用输入设备34,对显示于显示器36的关键图像附加病变标记。

<观察结果诊断信息输入工序(步骤S23)>

在观察结果诊断信息输入工序中,输入由观察结果信息和诊断信息构成的观察结果诊断信息。医师使用输入设备34,输入与内窥镜检查和关键图像相关的观察结果诊断信息。

<结束判定工序(步骤S24)>

在结束判定工序中,对所选择的关键图像判定是否所有输入已结束。在输入未结束的情况下,返回到步骤S22,进行同样的处理。在所有输入已结束的情况下,医师使用输入设备34,通过进行该旨意的输入完成内窥镜报告42,结束内窥镜报告制作工序。

〔AI学习图像关联工序的详细情况〕

在AI学习图像关联工序中,将内窥镜图像与观察结果诊断信息进行关联,制作在AI引擎52的学习中使用的学习数据(学习数据收集方法的一例)。AI学习图像关联工序使用内窥镜管理报告终端32来进行。

图7是表示显示于显示器36的内窥镜报告制作画面100的一例的图。在内窥镜报告制作画面100中,进行上述内窥镜报告制作工序(步骤S20)。

在内窥镜报告制作画面100中,显示有症例收录按键102。在制作内窥镜报告42后,医师使用输入设备34的鼠标等指向设备,将指针移到症例收录按键102并点击。通过该操作,显示器36的显示转到AI学习图像关联画面110。也可以将该操作设为结束判定工序(步骤S24)的结束的输入。

图8是表示显示于显示器36的AI学习图像关联画面110的一例的图。在AI学习图像关联画面110中进行AI学习图像关联工序。如图8所示,AI学习图像关联画面110具有图像显示区域112和观察结果诊断信息显示区域114。

显示控制部84使显示器36中显示AI学习图像关联画面110。另外,从内窥镜管理服务器40,读出在内窥镜报告制作工序中制作了内窥镜报告42的患者的检查图像44,并使其显示于图像显示区域112(显示控制工序的一例)。

显示控制部84使多个标签显示于图像显示区域112,多个标签中的任一个处于激活状态。在图8所示的例子中,显示有标签116-1、116-2、及116-3。

显示控制部84将可进行关联的所有检查图像分类为一个组,并将该组的检查图像显示于与标签116-1关联的区域。若检查图像为静止画面,则可以显示静止画面的缩略图图像,若检查图像为动态画面,则可以显示动态画面的最前面的图像等代表图像。在图8所示的例子中,标签116-1处于激活状态,可进行关联的检查图像显示于图像显示区域112。在标签116-1中,为了识别标签的种类,显示有文字“ALL”。

此外,图像显示区域112中的显示图像的大小可适当选择。在图8所示的例子中,在图像显示区域112显示了两个检查图像118-1和118-2,但可通过相对较小设定显示图像的大小,相对增加显示图像的数量。

另外,显示控制部84从内窥镜管理服务器40中读出在内窥镜报告制作工序中制作了内窥镜报告42的患者的观察结果诊断信息,并使其显示于观察结果诊断信息显示区域114(显示控制工序的一例)。在图8所示的例子中,显示有两个观察结果诊断信息120-1和120-2。对观察结果诊断信息120-1和120-2分别附加了与观察结果诊断信息对应的识别信息122-1即编号“1”、及与识别信息122-2对应的编号“2”。

显示于图像显示区域112的标签116-2和116-3是分别与观察结果诊断信息120-1和120-2关联的标签。在标签116-2和116-3中,为了识别标签的种类,显示有识别信息122-1的编号“1”和识别信息122-2的编号“2”。

图9是表示AI学习图像关联工序的详细的处理的流程图。AI学习图像关联工序具有AI学习图像选择工序(步骤S31)、关联工序(步骤S32)、所有图像判定工序(步骤S33)、以及所有观察结果诊断信息判定工序(步骤S34)。

在AI学习图像选择工序中,对AI学习中使用的检查图像和与该检查图像相关的观察结果诊断信息进行选择。

医师选择显示于AI学习图像关联画面110的图像显示区域112的检查图像中的至少一个检查图像。另外,选择显示于观察结果诊断信息显示区域114的观察结果诊断信息中、与选择的检查图像进行了关联的观察结果诊断信息(接受工序的一例)。接着,使用输入设备34,进行将选择的检查图像拖拽和释放(拖放)至选择的观察结果诊断信息的位置的操作。

拖拽操作是指如下的操作:在使用鼠标时,在将鼠标指针的位置移动到选择的检查图像的位置的状态下,点击操作鼠标左键,并在保持点击操作的状态下使鼠标指针移动。在拖拽操作中,伴随着鼠标指针的移动,复制并移动所选择的检查图像。另外,释放操作是指如下的操作:在使拖拽操作的鼠标指针或复制的检查图像的位置对准选择的观察结果诊断信息的位置的状态下,放开鼠标左键。

图10是表示在AI学习图像关联画面110中将选择的检查图像118-1朝向选择的观察结果诊断信息120-1拖拽操作的状态的一例的图。在拖拽操作中,选择的检查图像118-1的复制图像126与鼠标指针124一起移动。

<关联工序(步骤S32)>工

在关联工序中,将所选择的检查图像与观察结果诊断信息进行关联。在此,关联部86在AI学习图像选择工序中将被拖放的检查图像与观察结果诊断信息进行关联。在图10所示的例子中,将检查图像118-1与观察结果诊断信息120-1关联。

这样,通过将检查图像拖放至观察结果诊断信息,能够容易进行检查图像与观察结果诊断信息的关联。

图11是表示将检查图像118-1与观察结果诊断信息120-1关联后的AI学习图像关联画面110的一例的图。显示控制部84将表示与检查图像118-1进行了关联的观察结果诊断信息120-1的识别信息122-1的编号“1”作为附属显示128-1附属显示于检查图像118-1。由此,医师能够确认到检查图像118-1与观察结果诊断信息120-1进行了关联。

图12是表示进一步进行了检查图像118-2与观察结果诊断信息120-1的关联、及检查图像118-2与观察结果诊断信息120-2的关联后的AI学习图像关联画面110的一例的图。

在检查图像118-2中,附属显示了表示识别信息122-1的编号“1”的附属显示128-2、及表示识别信息122-1的编号“2”的附属显示128-3。由此,医师能够确认到检查图像118-2与观察结果诊断信息120-1和120-2进行了关联。

这样,通过在关联后的图像中显示表示观察结果诊断信息的识别信息的附属显示,能够识别将图像与哪个观察结果诊断信息关联。另外,当将一个检查图像与多个观察结果诊断信息进行了关联时,由于对各个观察结果诊断信息的识别信息进行显示,所以能够识别进行了关联的所有观察结果诊断信息。

在图9~图12所示的AI学习图像关联画面110中,将标签116-1设为处于激活状态,但医师可利用输入设备34将标签116-2或116-3的标签设为处于激活状态。

图13是表示在图12所示的AI学习图像关联画面110中医师通过使用输入设备34选择标签116-2而将标签116-2激活时的AI学习图像关联画面110的一例的图。标签116-2是与观察结果诊断信息120-1关联的标签。显示控制部84将与观察结果诊断信息120-1进行了关联的检查图像分类为一个组,并使该组的检查图像显示于与标签116-2关联的区域。因此,当标签116-2被选择时,显示控制部84使与观察结果诊断信息120-1进行了关联的检查图像显示于图像显示区域1112。在图13所示的例子中,显示了与观察结果诊断信息120-1进行了关联的检查图像118-1和118-2。

另外,图14是表示在图12所示的AI学习图像关联画面110中医师通过使用输入设备34选择标签116-3而将标签116-3激活时的AI学习图像关联画面110的一例的图。标签116-3是与观察结果诊断信息120-2关联的标签。显示控制部84将与观察结果诊断信息120-2进行了关联的检查图像分类为一个组,并使该组的检查图像显示于与标签116-3关联的区域。因此,当标签116-3被选择时,显示控制部84使与观察结果诊断信息120-2进行了关联的检查图像显示于图像显示区域112。在图14所示的例子中,显示了与观察结果诊断信息120-2进行了关联的检查图像118-2。

这样,显示控制部84将被与观察结果诊断信息进行了关联的检查图像分类成每个观察结果诊断信息的组,并且使用标签按每组切换显示检查图像。因此,通过选择显示于图像显示区域112的多个标签中期望的标签,可仅显示与观察结果诊断信息进行了关联的检查图像,该观察结果诊断信息与选择的标签关联。由此,能够确认到与观察结果诊断信息进行了关联的图像遗漏。医生确认已为每个观察结果诊断信息配齐了必要的图像,若有多余或不足则再次进行选择操作。

在此,对针对每一个检查图像进行拖放操作的例子进行了说明,但也可以将多个检查图像作为选择图像进行拖放操作。图15是表示在AI学习图像关联画面110中选择了显示于图像显示区域112的检查图像118-3~118-10中的检查图像118-3、118-7、118-8、及118-9的状态的一例的图。在此,将检查图像118-3、118-7、118-8、及118-9的外框用粗线包围,并勾选了复选框,以便能够识别已进行了选择。

通过从该状态将检查图像118-3、118-7、118-8、及118-9统一进行拖放操作,能够以一次性操作将检查图像118-3、118-7、118-8、及118-9与期望的观察结果诊断信息关联。

另外,当选择了多个检查图像时,也可以将选择的检查图像重叠显示。图16是表示在AI学习图像关联画面110中将所选择的检查图像118-3、118-7、118-8、及118-9重叠显示的一例的图。通过像这样将已选择图像重叠显示,能够减少显示图像数量,可设定医师容易选择检查图像的显示。

与图15所示的情况同样,通过从重叠显示状态将检查图像118-3、118-7、118-8、及118-9统一进行拖放操作,能够以一次性操作将检查图像118-3、118-7、118-8、及118-9与期望的观察结果诊断信息关联。

在此,对将检查图像拖放操作至观察结果诊断信息的情况进行了说明,但也可以将观察结果诊断信息拖放操作至检查图像。

另外,关联操作不限定于拖放操作。图17是表示在AI学习图像关联画面110中选择检查图像后进行了鼠标右键的点击操作的状态的一例的图。在此,选择了检查图像118-3、118-7、118-8、及118-9,通过之后的点击操作显示了右点击菜单130。

右点击菜单130中包含用于将选择的检查图像与观察结果诊断信息120-1进行关联的“与1关联”的选择项目、及用于将选择的检查图像与观察结果诊断信息120-2进行关联的“与2关联”的选择项目。

医师可通过将鼠标指针对准右点击菜单130的“与1关联”或“与2关联”的选择项目的位置并点击操作鼠标左键,将检查图像118-3、118-7、118-8、及118-9与观察结果诊断信息120-1或120-2关联。

<所有图像判定工序(步骤S33)>

在所有图像判定工序中,对所有检查图像判定是否已关联观察结果诊断信息。在此,对显示于与标签116-1关联的区域的所有检查图像进行判定。当存在未关联观察结果诊断信息的检查图像时,返回到步骤S31,进行同样的处理。当对所有检查图像都关联了观察结果诊断信息时,转到步骤S34。

<所有观察结果诊断信息判定工序(步骤S34)>

在所有观察结果诊断信息判定工序中,对所有观察结果诊断信息判定是否已关联检查图像。在此,对显示于观察结果诊断信息显示区域114的所有观察结果诊断信息进行判定。当存在未关联检查图像的观察结果诊断信息时,返回到步骤S31,进行同样的处理。

在对所有观察结果诊断信息关联了检查图像的情况下,记录控制部88使进行了关联的检查图像和观察结果诊断信息作为学习数据记录在内窥镜管理服务器40(记录装置的一例)中(记录控制工序的一例),结束本流程图的处理并结束AI学习图像关联工序。

此外,在将内窥镜图像与观察结果诊断信息进行了关联时,也可以依次记录在内窥镜管理服务器40中。另外,也可以设为即使在未对所有检查图像关联观察结果诊断信息的情况下,或未对所有观察结果诊断信息关联检查图像的情况下,也使AI学习图像关联工序结束。

〔病理请求工序的详细情况〕

在病理请求工序中,对于应对在内窥镜检查中采集的病理检体进行的病理诊断,进行请求书的制作和病理诊断结果的获取。图18是表示病理请求工序的详细的处理的流程图。病理请求工序具有有无活检判定工序(步骤S41)、病理请求制作工序(步骤S42)、病理请求发送工序(步骤S43)、病理请求诊断工序(步骤S44)、以及所有病理请求结束判定工序(步骤S45)。

<有无活检判定工序(步骤S41)>

在有无活检判定工序中,医师判定是否存在应进行病理诊断的检体。当不存在应进行病理诊断的检体时,结束本流程图的处理,并结束病理请求工序。当存在应进行病理诊断的检体时,转到步骤S42。

<病理请求制作工序(步骤S42)>

在病理请求制作工序中,医师在内窥镜管理报告终端32中针对在内窥镜检查中获取的病理检体,根据内窥镜的观察结果和识别病理检体的信息制作病理请求。

<病理请求发送工序(步骤S43)>

在病理请求发送工序中,经由医嘱网关70,将在病理请求制作工序中制作的病理请求发送到电子病历系统22。电子病历系统22将所接收的病理请求作为医嘱进行管理,并请求病理系统24进行病理诊断。

<病理诊断接收工序(步骤S44)>

在病理诊断接收工序中,病理系统网关72对于已进行病理请求、且病理诊断结果未接收的检查,从病理系统24接收病理诊断结果,并发送到内窥镜管理服务器40。内窥镜管理服务器40将所接收的病理诊断结果进一步与进行了关联的检查图像和观察结果诊断信息关联并存储。

<所有病理请求结束判定工序(步骤S45)>

在所有病理请求结束判定工序中,对获取的所有病理检体判定是否进行了病理请求。当有未进行病理请求的病理检体时,返回到步骤S42,重复同样的处理。当对所有病理检体进行了病理请求时,结束本流程图的处理,并结束病理请求工序。

〔AI学习数据输出工序的详细情况〕

在AI学习数据输出工序中,将在AI学习图像关联工序中进行了关联的检查图像和观察结果诊断信息作为学习数据输出。图19是表示AI学习数据输出工序的详细的处理的流程图。AI学习数据输出工序具有学习数据检索工序(步骤S51)、静止画面和动态画面检索工序(步骤S52)、静止画面和动态画面数据输出工序(步骤S53)。

<学习数据检索工序(步骤S51)>

在学习数据检索工序中,AI学习数据输出网关74从记录在内窥镜管理服务器40中的学习数据中检索在学习部64中未进行学习的未学习数据。例如,通过提取在上次向AI引擎52发送了学习数据的时点记录在内窥镜管理服务器40中的学习数据与当前记录在内窥镜管理服务器40中的学习数据之间的差分,检索在学习部64中未进行学习的学习数据。

<静止画面和动态画面检索工序(步骤S52)>

在静止画面和动态画面检索工序中,AI学习数据输出网关74从记录在内窥镜管理服务器40中的静止画面和动态画面存储NAS46中检索在学习数据检索工序中检索到的未学习数据的静止画面和动态画面。

<静止画面和动态画面数据输出工序(步骤S53)>

在静止画面和动态画面数据输出工序中,AI学习数据输出网关74将在静止画面和动态画面检索工序中检索到的静止画面数据和动态画面数据及与该静止画面和动态画面进行了关联的观察结果诊断信息发送到AI引擎52。当将病理诊断结果进行了关联时,AI学习数据输出网关74将该病理诊断结果一起发送到AI引擎52。将所发送的静止画面数据等从学习数据输入部62输入到学习部64。

〔AI学习工序(步骤S60)〕

在AI学习工序中,学习部64利用被输入到学习数据输入部62的学习数据使模型学习。将通过学习部64进行了学习的学习完毕模型输入到识别部58,并将识别部58的模型更新为学习完毕模型。

如以上所述,根据本实施方式,能够适当地使模型学习。

<第二实施方式>

〔病变位置信息的输入〕

在第二实施方式中,作为学习数据还包括检查图像的病变位置信息。医师使用内窥镜管理报告终端32输入病变位置信息。在本实施方式中,利用边界框来记录病变位置。边界框是包含病变的矩形区域,在此,利用至少两个坐标位置来确定。

图20是表示第二实施方式所涉及的内窥镜管理报告终端32的结构的一例的框图。此外,对与图6所示的框图共同的部分赋予相同的符号,并省略其详细说明。

内窥镜管理报告终端32的接受部82具备坐标接收部83。坐标接收部83接收并接受从输入设备34输入的边界框的至少两个坐标位置。

图21是表示病变位置信息输入方法的处理的流程图。在此,对针对利用一次内窥镜检查拍摄的多个检查图像按顺序输入病变位置信息的方法进行说明。病变位置信息输入方法具有检查图像显示工序(步骤S71)、矩形区域输入工序(步骤S72)、病变位置信息关联工序(步骤S73)、以及结束判定工序(步骤S74)。

<检查图像显示工序(步骤S71)>

在检查图像显示工序中,显示控制部84将记录在内窥镜管理服务器40中的检查图像中符合的内窥镜检查的检查图像的一个显示在显示器36中。

图22是表示显示在显示器36中的病变位置信息输入画面140的一例的图。在病变位置信息输入画面140中进行病变位置信息输入。在图22所示的病变位置信息输入画面140中,显示有检查图像142-1。另外,在检查图像142-1中包含病变L。

<矩形区域输入工序(步骤S72)>

在矩形区域输入工序中,针对显示于显示器36的检查图像,医师输入包含病变位置的矩形区域。通过指定矩形区域的左上方的第一点,并进一步指定成为矩形区域的第一点的对角的右下方的第二点,进行矩形区域的输入。通过例如操作输入设备34的鼠标、或用手指操作触摸屏等来进行第一点和第二点的指定。

图22~图25是表示在病变位置信息输入画面140中利用鼠标的操作输入矩形区域的一例的图。在检查图像142-1的包含病变L的最小面积的矩形区域中,将左上方的位置设为位置P

显示控制部84使鼠标指针144、引导线146、及引导线148显示在病变位置信息输入画面140中。即,如图22所示,在病变位置信息输入画面140中显示了鼠标指针144。另外,在病变位置信息输入画面140中,显示了为了表示容易看到鼠标指针144的垂直方向位置和水平方向位置的垂直方向的引导线146和水平方向的引导线148。引导线146和148的交叉点是鼠标指针144的位置。

医师为了输入矩形区域,首先,如图22所示,使鼠标指针144移动到位置P

当进一步继续拖拽操作,如图24所示使鼠标指针144移动到位置P

通过该操作,左上方的位置为位置P

此外,在此,输入了包含病变L的最小面积的矩形区域,但只要矩形区域包含病变L,也可以不是最小面积的矩形区域。

当使用触摸屏输入矩形区域时,例如只要用手指接触设为矩形区域的第一点的位置,并在保持手指接触触摸屏不变而使手指移动到设为矩形区域的第二点的位置后从触摸屏离开即可。另外,也可以使用两根手指同时指定第一点和第二点。

<病变位置信息关联工序(步骤S73)>

在病变位置信息关联工序中,关联部86根据在矩形区域输入工序中输入的矩形区域计算病变位置信息,并将计算出的病变位置信息与检查图像关联。

关联部86获取显示控制部84使显示器36显示的检查图像142-1在显示器36内的坐标。根据该检查图像142-1在显示器36内的坐标和边界框152在显示器36内的坐标,计算在检查图像142-1内的边界框152的坐标作为病变位置信息。

记录控制部88将计算出的病变位置信息与检查图像关联并记录在内窥镜管理服务器40中。

<结束判定工序(步骤S74)>

在结束判定工序中,对所有检查图像判定是否已关联病变位置信息。当存在未关联病变位置信息的检查图像时,返回到步骤S71,重复同样的处理。即,如图25所示,显示控制部84将检查图像142-1的下一检查图像即检查图像142-2显示在显示器36中。

当在矩形区域输入工序中结束拖拽操作,检查图像142-1的矩形区域的输入结束时,立即显示检查图像142-2。这样,通过不等待拖拽操作结束以外的操作就使下一检查图像显示,可迅速进行矩形区域的输入。此外,也可以通过点击用于在拖拽操作结束后使下一检查图像显示的按键等,使下一检查图像显示。通过像这样使下一检查图像显示,可针对一个图像输入多个矩形区域。

当对所有检查图像都关联了病变位置信息时,结束本流程图的处理。

本实施方式所涉及的病变位置信息的输入例如可在第一实施方式的AI学习图像选择工序(步骤S31)之前进行。另外,可考虑在关联工序(步骤S32)之后,仅对关联了观察结果诊断信息的检查图像进行。在病变标记工序(步骤S22)中,也可以进行同样的处理。

另外,在学习数据检索工序(步骤S51)中,也可以考虑以附加有病变位置信息的条件进行检索。另外,作为检索条件,也可考虑使用病变位置信息的面积。

在本实施方式中,将矩形区域的第一点指定为左上方,将第二点指定为右下方,但只要能够指定成为对角的两点,对所指定的位置和顺序并没有限定。另外,矩形区域的角也可以是圆角。病变位置信息可以是圆形区域。

图26是表示关于输入圆形区域的一例的图。在使鼠标指针144对准病变L的中心位置即位置P

关联部86将显示器36中的圆形区域154的中心坐标和距中心坐标的距离(圆形区域的半径)变换为检查图像142-1内的中心坐标和距中心坐标的距离,并作为病变位置信息来获取。

另外,也可以通过指定三个点来输入椭圆区域。在该情况下,可考虑指定第一点为中心坐标,第二点为水平方向的距中心坐标的距离,第三点为垂直方向的距中心坐标的距离等。

而且,当在检查图像显示工序中显示新的检查图像时,可以使在前一个检查图像的矩形区域输入中使用的边界框显示。在图27所示的例子中,在输入第二个检查图像142-2的矩形区域时,显示了第一个检查图像142-1的边界框156。另外,在图28所示的例子中,在输入第二个检查图像142-2的圆形区域时,显示了第一个检查图像142-1的圆形区域158。

由于在相同的病变的情况下多是以同样的位置和同样的大小拍摄,所以通过以先前指定的位置为基准进行显示,可容易地指定病变位置

<第三实施方式>

对具备使用在第一实施方式中生成的学习完毕模型分析医疗图像的医疗图像处理装置的内窥镜装置进行说明。

图29是表示内窥镜装置90的结构的一例的框图。内窥镜装置90例如与内窥镜科本地LAN30(参照图1)连接。内窥镜装置90具备内窥镜91、医疗图像处理装置94、及显示装置98。

内窥镜91具备光源92和摄像装置93。光源92向患者的体腔内的被观察区域照射照射光。摄像装置93接收来自被观察区域的反射光来拍摄被观察区域的内窥镜图像。

医疗图像处理装置94(内窥镜图像处理装置的一例)具备医疗图像获取部95、医疗图像分析处理部96、及医疗图像分析结果获取部97。

医疗图像获取部95获取医疗图像。在本实施方式中,获取由内窥镜91拍摄的内窥镜图像。

医疗图像分析处理部96对由医疗图像获取部95获取的医疗图像进行分析。在本实施方式中,使用在第一实施方式中生成的学习完毕模型从内窥镜图像中识别病变。

医疗图像分析结果获取部97获取医疗图像分析处理部96中的分析结果。

显示装置98例如可应用液晶监视器。在显示装置98中,显示出利用内窥镜91拍摄的内窥镜图像、及在医疗图像分析结果获取部97中获取的分析结果。在本实施方式中,对识别到的病变的区域着色并与内窥镜图像重叠显示。也可以用框包围病变的区域并重叠显示。

根据如此构成的内窥镜装置90,可通过学习完毕模型从拍摄中的内窥镜图像中识别病变,使进行内窥镜检查的医师识别病变。

在此,对将医疗图像处理装置94设置在内窥镜装置90中的情况进行了说明,但也可以设置在内窥镜管理报告终端32或视频采集终端38中。

<附记>

除了上述方面和例子以外,以下记载的结构也包括在本发明的范围中。

〔附记1〕

一种医疗图像处理装置,其中,

医疗图像分析处理部基于医疗图像的像素的特征量,检测应关注的区域即关注区域,

医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。

〔附记2〕

一种医疗图像处理装置,其中,

医疗图像分析处理部基于医疗图像的像素的特征量,检测是否有应关注对象,

医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。

〔附记3〕

一种医疗图像处理装置,其中,

医疗图像分析结果获取部从记录医疗图像的分析结果的记录装置中获取分析结果,

分析结果是包含在医疗图像中的应关注区域即关注区域、和是否有应关注对象中的任一方或双方。

〔附记4〕

一种医疗图像处理装置,其中,

医疗图像是通过照射白色频带的光、或作为白色频带的光的多个波长频带的光而得的普通光图像。

〔附记5〕

一种医疗图像处理装置,其中,

医疗图像是通过照射特定波长频带的光而得的图像,

特定波长频带是比白色波长频带窄的频带。

〔附记6〕

一种医疗图像处理装置,其中,

特定波长频带是可见范围的蓝色或绿色频带。

〔附记7〕

一种医疗图像处理装置,其中,

特定波长频带包括390nm以上450nm以下或530nm以上550nm以下的波长频带,并且,特定波长频带的光在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰波长。

〔附记8〕

一种医疗图像处理装置,其中,

特定波长频带是可见范围的红色频带。

〔附记9〕

一种医疗图像处理装置,其中,

特定波长频带包括585nm以上615nm以下或610nm以上730nm以下的波长频带,并且,特定波长频带的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰波长。

〔附记10〕

一种医疗图像处理装置,其中,

特定波长频带包括氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带,并且,特定波长频带的光在氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带具有峰波长。

〔附记11〕

一种医疗图像处理装置,其中,

特定波长频带包括400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带,并且,特定波长频带的光在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带具有峰波长。

〔附记12〕

一种医疗图像处理装置,其中,

医疗图像是拍摄了生物体内的生物体内图像,

生物体内图像具有生物体内的荧光物质发出的荧光的信息。

〔附记13〕

一种医疗图像处理装置,其中,

荧光是通过向生物体内照射峰值为390nm以上470nm以下的激励光而得的。

〔附记14〕

一种医疗图像处理装置,其中,

医疗图像是拍摄了生物体内的生物体内图像,

特定波长频带是红外光的波长频带。

〔附记15〕

一种医疗图像处理装置,其中,

特定波长频带包括790nm以上820nm以下或905nm以上970nm以下的波长频带,并且,特定波长频带的光在790nm以上820nm以下或905nm以上970nm以下的波长频带具有峰波长。

〔附记16〕

一种医疗图像处理装置,其中,

医疗图像获取部具备特殊光图像获取部,该特殊光图像获取部基于通过照射白色频带的光、或作为白色频带的光的多个波长频带的光而得的普通光图像,获取具有特定波长频带的信息的特殊光图像,

医疗图像是特殊光图像。

〔附记17〕

一种医疗图像处理装置,其中,

特定波长频带的信号是通过基于包含在普通光图像中的RGB(Red Green Blue)或者CMY(Cyan,Magenta,Yellow)的颜色信息的运算而得的。

〔附记18〕

一种医疗图像处理装置,其中,

具备特征量图像生成部,其利用基于通过照射白色频带的光、或作为白色频带的光的多个波长频带的光而得的普通光图像、和通过照射特定波长频带的光而得的特殊光图像中的至少一方的运算,生成特征量图像,

医疗图像是特征量图像。

〔附记19〕

一种内窥镜装置,其中,具备:

根据附记1至18中任一项所述的医疗图像处理装置;以及

内窥镜,其通过照射白色波长频带的光、或特定波长频带的光中至少任一个获取图像,

〔附记20〕

一种诊断支援装置,其中,

具备附记1至18中任一项所述的医疗图像处理装置。

〔附记21〕

一种医疗业务支援装置,其中,

具备附记1至18中任一项所述的医疗图像处理装置。

<其他>

上述图像处理方法可配置为用于使计算机实现各工序的程序,也可配置存储该程序的CD-ROM(Compact Disk-Read Only Memory)等非暂时性记录介质。

在至此说明的实施方式中,例如,执行学习数据收集装置80的各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。在各种处理器中,包括执行软件(程序)并作为各种处理部发挥功能的通用处理器即CPU(CentralProcessing Unit)、专门用于图像处理的处理器即GPU(Graphics Processing Unit)、制造FPGA(Field Programmable Gate Array)等后可改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)、以及具有为了执行ASIC(Application SpecificIntegrated Circuit)等特定处理而专门设计的电路结构的处理器即专用电路等。

一个处理部可以由这些各种处理器中的一个构成,也可以由同种或异种的两个以上的处理器(例如,多个FPGA、或CPU与FPGA的组合、或CPU与GPU的组合)构成。另外,还可以用一个处理器构成多个处理部。作为用一个处理器构成多个处理部的例子,首先,有诸如以服务器和客户端等计算机为代表,使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的形态。其次,有诸如以片上系统(System On Chip:SoC)等为代表,使用以一个IC(Integrated Circuit)芯片实现包括多个处理部的系统整体的功能的处理器的形态。像这样,使用一个以上的各种处理器作为硬件结构来构成各种处理部。

而且,更具体而言,这些各种处理器的硬件结构是组合了半导体元件等电路元件的电路(circuitry)。

本发明的技术范围不限于上述实施方式中记载的范围。在不脱离本发明主旨的范围内,可在各实施方式之间对各实施方式中的构成要素等进行适当组合。

符号说明

10 内窥镜图像学习系统

20 院内LAN

22 电子病历系统

24 病理系统

30 内窥镜科本地LAN

32 内窥镜管理报告终端

34 输入设备

36 显示器

38 视频采集终端

40 内窥镜管理服务器

42 内窥镜报告

44 检查图像

46 动态画面存储NAS

50 AI学习LAN

52 AI引擎

54 输入部

56 特征量提取部

58 识别部

60 输出部

62 学习数据输入部

64 学习部

70 医嘱网关

72 病理系统网关

74 AI学习数据输出网关

80 学习数据收集装置

82 接受部

83 坐标接收部

84 显示控制部

86 关联部

88 记录控制部

90 内窥镜装置

91 内窥镜

92 光源

93 摄像装置

94 医疗图像处理装置

95 医疗图像获取部

96 医疗图像分析处理部

97 医疗图像分析结果获取部

100 内窥镜报告制作画面

102 症例收录按键

110 AI学习图像关联画面

112 图像显示区域

114 观察结果诊断信息显示区域

116-1~116-3 标签

118-1~118-10 检查图像

120-1、120-2 观察结果诊断信息

122-1、122-2 识别信息

124、144 鼠标指针

126 复制图像

128-1~128-3 附属显示

130 右点击菜单

140 病变位置信息输入画面

142-1、142-2 检查图像

146、148 引导线

150 矩形

152、156 边界框

154、158 圆形区域

S10~S60 学习方法的各工序

S71~S74 病变位置信息输入方法的各工序

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号