医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置

摘要

本发明提供一种在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域的医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置。所述医疗图像处理装置具有重叠处理部，该重叠处理部将报知医疗图像中包含的关注区域的图形重叠在医疗图像上，重叠处理部使图形重叠在关注区域的内侧，并且使关注区域与非关注区域的边界的至少一部分不重叠图形，从而在不妨碍观察关注区域与非关注区域的边界的情况下报知关注区域。

说明书

技术领域

本发明涉及一种医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置，特别是涉及报知医疗图像的关注区域的技术。

背景技术

已知如下技术：从医疗图像中检测病变等关注区域，显示Bounding Box(包围区域的矩形)等，并向医生报知检测到关注区域。

在专利文献1中记载有如下内容：在内窥镜检查时从图像中检测到病变的情况下，通过用框包围显示在监视器上的图像中的病变区域来报知病变。另外，在专利文献2中记载有在与显示在监视器上的观察图像不同的场所显示表示病变位置的信息的方法。

以往技术文献

专利文献

专利文献1：国际公开第2017/073338号

专利文献2：国际公开第2017/115442号

发明内容

发明要解决的技术课题

为了使医生在不移动视线的情况下识别病变位置，需要使医生观察图像的监视器显示病变区域。另一方面，在观察比较病变区域与其周边的正常粘膜时，病变区域的边界的对比度成为判断材料，因此需要以尽可能不妨碍观察病变区域的边界的方式进行显示。

如专利文献1所述，当显示包围病变区域的图形时，存在难以视觉识别病变区域的边界这样的危险性。另外，当以不与病变区域的边界重叠的方式显示包围病变区域的图形时，图形会从病变区域大幅露出，妨碍观察正常粘膜，进而存在导致漏看病变的危险性。

本发明是鉴于上述情况而完成的，其目的在于提供一种在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域的医疗图像处理装置、医疗图像处理方法以及程序、诊断辅助装置。

用于解决技术课题的手段

为了实现上述目的，医疗图像处理装置的一个方面是一种如下的医疗图像处理装置，其具有重叠处理部，该重叠处理部将报知医疗图像中包含的关注区域的图形重叠在医疗图像上，重叠处理部在关注区域的内侧重叠图形，并且使关注区域与非关注区域的边界的至少一部分不重叠图形。

根据本方面，由于在医疗图像中包含的关注区域上重叠图形，并且使关注区域与非关注区域的边界的至少一部分不重叠图形，所以能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。

优选具备：图像获取部，其获取医疗图像；以及关注区域信息获取部，其从医疗图像获取关注区域信息。由此，能够适当地获取医疗图像，并适当地获取关注区域信息。

优选重叠处理部将指示边界的图形重叠在关注区域上。由此，能够使用户识别关注区域的边界。

优选重叠处理部将表示关注区域的重心的图形重叠在关注区域上。由此，能够向用户报知关注区域。

优选重叠处理部重叠与关注区域的面积相应的尺寸的图形。由此，能够与关注区域的面积无关地，在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。

优选重叠处理部在关注区域的面积为第一面积以上的情况下重叠恒定的第一尺寸的图形。由此，即使在关注区域的面积为第一面积以上的情况下，也能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。

优选重叠处理部在关注区域的面积为第二面积以下的情况下重叠恒定的第二尺寸的图形。由此，即使在关注区域的面积为第二面积以下的情况下，也能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。

优选重叠处理部重叠与关注区域的面积相应的形状的图形。由此，能够与关注区域的面积无关地，在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。

优选重叠处理部在关注区域的面积为第三面积以上的情况下从关注区域的内侧重叠指示边界的图形，并且在关注区域的面积小于第三面积的情况下重叠表示关注区域的内侧的坐标的图形。由此，即使在关注区域的面积小于第三面积的情况下，也能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。

优选重叠处理部在关注区域的面积为第四面积以上的情况下从关注区域的内侧重叠指示边界的图形，并且在关注区域的面积小于第四面积的情况下在关注区域的外侧重叠图形。由此，即使在关注区域的面积小于第四面积的情况下，也能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。

优选具备生成图形的图形生成部。由此，能够生成用于重叠在关注区域上的图形。

优选具备显示控制部，该显示控制部使显示部显示重叠有图形的医疗图像。由此，用户能够通过显示部视觉识别重叠有图形的医疗图像。

为了实现上述目的，诊断辅助装置的一个方面为一种如下的诊断辅助装置，具备：上述所述的医疗图像处理装置；以及显示部。

根据本方面，由于在医疗图像中包含的关注区域上重叠图形，并且使关注区域的边界的至少一部分不重叠图形，所以能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。

为了实现上述目的，医疗图像处理方法的一个方面是一种如下的医疗图像处理方法：具有重叠处理工序，将报知医疗图像中包含的关注区域的图形重叠在医疗图像上，在重叠处理工序中，在关注区域的内侧重叠图形，并且使关注区域与非关注区域的边界的至少一部分不重叠图形。

根据本方面，由于在医疗图像中包含的关注区域上重叠图形，并且使关注区域的边界的至少一部分不重叠图形，所以能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。用于使计算机执行上述医疗图像处理方法的程序也包含在本方面中。

发明效果

根据本发明，能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。

附图说明

图1是表示包括医疗图像处理装置的内窥镜系统的整体结构的概略图。

图2是表示医疗图像处理装置的电结构的一例的框图。

图3是表示医疗图像处理方法的各处理的一例的流程图。

图4是表示显示器的显示的一例的图。

图5是表示显示器的显示的一例的图。

图6是表示显示器的显示的一例的图。

图7是表示显示器的显示的一例的图。

图8是表示图形的另一例的图。

图9是表示图形的再一例的图。

图10是表示关注区域的重心的图。

图11是表示外切于关注区域的矩形的中心的图。

图12是表示显示器的显示的一例的图。

图13是表示显示器的显示的一例的图。

图14是表示显示器的显示的一例的图。

图15是表示显示器的显示的一例的图。

图16是表示显示器的显示的一例的图。

图17是表示显示器的显示的一例的图。

图18是表示包围关注区域的四个图形的图。

图19是表示包围关注区域的四个图形的图。

图20是表示包围关注区域的四个图形的图。

图21是表示显示器的显示的一例的图。

具体实施方式

以下，参照附图对本发明的优选实施方式进行详细说明。

<内窥镜系统的整体结构>

图1是表示包括本实施方式所涉及的医疗图像处理装置的内窥镜系统9的整体结构的概略图。如图1所示，内窥镜系统9具备作为电子内窥镜的内窥镜观测器10、光源装置11、内窥镜处理器装置12、显示装置13、医疗图像处理装置14、操作部15、以及显示器16。

内窥镜观测器10用于拍摄时间序列的医疗图像，例如是软性内窥镜。该内窥镜观测器10具有：插入部20，其插入受检体内且具有顶端和基端；手边操作部21，其连设于插入部20的基端侧且由用户(医生)把持来进行各种操作；以及通用塞绳22，其连设于手边操作部21。

插入部20整体细径且形成为长条状。插入部20从其基端侧朝向顶端侧依次由软性部25、弯曲部26、及顶端部27连设构成，软性部25具有挠性，弯曲部26通过手边操作部21的操作可弯曲，顶端部27中内置有未图示的摄像光学系统(物镜)及摄像元件28等。

摄像元件28是CMOS(complementary metal oxide semiconductor)型或CCD(charge coupled device)型摄像元件。被观察部位的图像光经由在顶端部27的顶端面开口的未图示的观察窗、及配置于该观察窗后方的未图示的物镜入射到摄像元件28的摄像面。摄像元件28拍摄入射到该摄像面的被观察部位的图像光(转换为电信号)，并输出摄像信号。

在手边操作部21上设置有由用户操作的各种操作部件。具体而言，在手边操作部21上设置有用于弯曲部26的弯曲操作的两种弯曲操作钮29、用于操作供气供水的供气供水按钮30、以及用于吸引操作的吸引按钮31。另外，在手边操作部21上还设置有静止画面拍摄指示部32和处置器具导入口33，静止画面拍摄指示部32用于进行被观察部位的静止画面39的拍摄指示，从处置器具导入口33将处置器具(未图示)插入插通插入部20内的处置器具插通路(未图示)内。

通用塞绳22是用于将内窥镜观测器10连接到光源装置11的连接塞绳。该通用塞绳22内包插通插入部20内的光导35、信号电缆36、及流体管(未图示)。另外，在通用塞绳22的端部设置有连接到光源装置11的连接器37a、从该连接器37a分支且连接到内窥镜处理器装置12的连接器37b。

通过将连接器37a连接到光源装置11，将光导35及流体管(未图示)插入光源装置11。由此，经由光导35及流体管(未图示)，可从光源装置11向内窥镜观测器10供给所需照明光、水和气体。其结果是，可从顶端部27的顶端面的照明窗(未图示)向被观察部位照射照明光。另外，根据上述供气供水按钮30的按下操作，可从顶端部27的顶端面の供气供水喷嘴(未图示)向顶端面的观察窗(未图示)喷射气体或水。

通过将连接器37b连接到内窥镜处理器装置12，可将信号电缆36与内窥镜处理器装置12电连接。由此，经由信号电缆36，可从内窥镜观测器10的摄像元件28向内窥镜处理器装置12输出被观察部位的摄像信号，并且可从内窥镜处理器装置12向内窥镜观测器10输出控制信号。

光源装置11经由连接器37a向内窥镜观测器10的光导35供给照明光。照明光可选择白色光(白色波长频带的光或多个波长频带的光)、或者一个或多个特定波长频带的光、或者这些的组合等根据观察目的的各种波长频带的光。此外，特定波长频带是比白色波长频带窄的频带。

特定波长频带的第一例例如是可见范围的蓝色频带或绿色频带。该第一例的波长频带包括390nm以上450nm以下或530nm以上550nm以下的波长频带，且第一例的光在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰波长。

特定波长频带的第二例例如是可见范围的红色频带。该第二例的波长频带包括585nm以上615nm以下或610nm以上730nm以下的波长频带，且第二例的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰波长。

特定波长频带的第三例包括氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带，且第三例的光在氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带具有峰波长。该第三例的波长频带包括400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带，且第三例的光在上述400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带具有峰波长。

特定波长频带的第四例为用于观察生物体内的荧光物质发出的荧光(荧光观察)且激励该荧光物质的激励光的波长频带(390nm至470nm)。

特定波长频带的第五例是红外光的波长频带。该第五例的波长频带包括790nm以上820nm以下或905nm以上970nm以下的波长频带，且第五例的光在790nm以上820nm以下或905nm以上970nm以下的波长频带具有峰波长。

内窥镜处理器装置12经由连接器37b及信号电缆36控制内窥镜观测器10的动作。另外，内窥镜处理器装置12基于经由连接器37b及信号电缆36从内窥镜观测器10的摄像元件28获取的摄像信号，生成由时间序列的帧图像38a(参照图2)构成的时间序列的医疗图像即动态画面38。动态画面38的帧率例如是30fps(frame per second)。

而且，内窥镜处理器装置12在使用内窥镜观测器10的手边操作部21操作静止画面拍摄指示部32时，与动态画面38的生成并行地，根据拍摄指示的定时获取动态画面38中的一张帧图像38a作为静止画面39。

动态画面38和静止画面39是拍摄受检体内、即生物体内而得的医疗图像。而且，动态画面38和静止画面39在为通过上述特定波长频带的光(特殊光)获得的图像的情况下，两者皆为特殊光图像。接着，内窥镜处理器装置12将生成的动态画面38和静止画面39分别输出到显示装置13和医疗图像处理装置14。

此外，内窥镜处理器装置12也可以基于通过上述白色光获得的普通光图像，生成(获取)具有上述特定波长频带的信息的特殊光图像。在该情况下，内窥镜处理器装置12作为特殊光图像获取部发挥功能。接着，内窥镜处理器装置12通过进行基于包含在普通光图像中的红色(Red)、绿色(Green)及蓝色(Blue)的RGB颜色信息、或者蓝绿色(Cyan)、品红色(Magenta)及黄色(Yellow)的CMY颜色信息的运算，获取特定波长频带的信号。

另外，内窥镜处理器装置12也可以例如基于通过上述白色光获得的普通光图像和通过上述特定波长频带的光(特殊光)获得的特殊光图像中的至少一方，生成公知的氧饱和度图像等特征量图像。在该情况下，内窥镜处理器装置12作为特征量图像生成部发挥功能。此外，包括上述生物体内图像、普通光图像、特殊光图像、及特征量图像的动态画面38或静止画面39中的每一个都是出于利用图像进行诊断、检查的目的来拍摄人体或将计测的结果图像化而得到的医疗图像。

显示装置13连接到内窥镜处理器装置12，显示从该内窥镜处理器装置12输入的动态画面38和静止画面39。用户在确认显示于显示装置13的动态画面38的同时，进行插入部20的插拔操作等，当在被观察部位发现病变等时，操作静止画面拍摄指示部32执行被观察部位的静止画面拍摄，另外，进行诊断、活检等。

医疗图像处理装置14是能够自动识别和自动鉴别作为关注区域的病变的装置。另外，医疗图像处理装置14是将医疗图像中包含的关注区域报知给用户，并且容易观察关注区域与关注区域以外的非关注区域的边界(demarcation line)的装置。医疗图像处理装置14例如使用个人计算机。另外，操作部15使用有线连接或无线连接于个人计算机的键盘和鼠标等，显示器16(报知部的一例)使用可连接到个人计算机的液晶监视器等各种监视器。

利用医疗图像处理处理装置14和显示器16(第一显示部的一例)，作为在显示器16上显示动态画面38以及报知动态画面38中包含的关注区域的图形的诊断辅助装置发挥功能。

<医疗图像处理装置的结构>

图2是表示医疗图像处理装置14的电结构的一例的框图。图2所示的医疗图像处理装置14主要由时间序列图像获取部40、关注区域检测部42、坐标计算部44、面积计算部46、图形生成部48、控制部50、显示控制部52、以及存储部54构成。

控制部50基于存储于存储部54的程序(医疗图像处理程序)56，统一控制时间序列图像获取部40、关注区域检测部42、坐标计算部44、面积计算部46、图形生成部48、及显示控制部52，另外，作为这些各部的一部分发挥功能。

存储部54例如是硬盘装置等存储装置。存储部54存储关注区域检测部42的检测结果以及所拍摄的静止画面39，并且存储程序56以及与医疗图像处理装置14的各种控制相关的信息等。

时间序列图像获取部40依次获取作为医疗图像的一例的内窥镜图像。在此，时间序列图像获取部40使用有线连接或无线连接于内窥镜处理器装置12(参照图1)的未图示的图像输出输入接口，从内窥镜处理器装置12获取由时间序列的帧图像38a构成的动态画面38(在本例中，由内窥镜观测器10拍摄的动态画面38)。另外，当使用内窥镜观测器10在动态画面38的拍摄过程中进行如上所述的静止画面39的拍摄时，时间序列图像获取部40从内窥镜处理器装置12获取动态画面38和静止画面39。

此外，取代从内窥镜处理器装置12直接获取动态画面38，时间序列图像获取部40可以经由存储卡、硬盘装置等各种信息存储介质获取动态画面38。另外，时间序列图像获取部40也可以经由互联网获取上传到互联网上的服务器或数据库等的动态画面38。

关注区域检测部42是从医疗图像获取关注区域信息的关注区域信息获取部的一例，从在受检体内的观察中拍摄到的动态画面38中检测关注区域。关注区域检测部42包括卷积神经网络(CNN：Convolutional Neural Network)，该卷积神经网络计算动态画面38的各帧图像38a(或者被间隔剔除的一定间隔的帧图像38a)的特征量，并进行图像内的关注区域的识别处理。

作为关注区域的例子，有息肉、癌、大肠憩室、炎症、EMR(Endoscopic MucosalResection)瘢痕、ESD(Endoscopic Submucosal Dissection)瘢痕、夹持部位、出血点、穿孔、血管异型性、处置器具等。

关注区域检测部42也能够获取所检出的关注区域属于与“肿瘤性”、“非肿瘤性”、“其他”之类的病变相关的多个类别中的哪一类别的类别分类等的识别结果。

此外，关注区域检测部42不限于利用CNN检测关注区域，也可以利用图像处理分析图像内的颜色、像素值梯度、形状、大小等特征量来检测关注区域。

坐标计算部44是关注区域信息获取部的一例，计算表示关注区域检测部42检测到的关注区域在帧图像38a内的位置的坐标。在此，坐标计算部44计算重叠报知关注区域的图形的位置的坐标。作为一例，重叠位置的坐标是指关注区域与关注区域以外的非关注区域的边界的坐标、关注区域的内侧位置且沿着边界的位置的坐标、或者关注区域的重心的坐标。

面积计算部46是关注区域信息获取部的一例，计算由关注区域检测部42检测到的关注区域在图像上的面积。关注区域的面积可以是关注区域自身的面积，也可以是关注区域内切的矩形、多边形或圆的面积。面积计算部46也可以代替计算关注区域的面积而计算关注区域的外周长。

图形生成部48生成用于向用户报知关注区域的图形。稍后将描述图形生成部48生成的图形。

显示控制部52是将图形重叠在医疗图像上的重叠处理部的一例，使显示器16显示重叠有图形的医疗图像。显示控制部52具备图像显示控制部52A和报知信息显示控制部52B。

图像显示控制部52A将时间序列图像获取部40获取的动态画面38输出到显示器16，使显示器16显示动态画面38。即，在显示器16上依次显示多个帧图像38a。

报知信息显示控制部52B在显示于显示器16的帧图像38a的坐标计算部44所计算出的坐标的位置上重叠图形生成部48生成的图形。由此，报知信息显示控制部52B在关注区域的内侧重叠图形，并且使关注区域与非关注区域的边界的至少一部分不重叠图形，即不重叠。

在此，报知信息显示控制部52B使边界的至少50％不重叠图形。报知信息显示控制部52B优选使边界的95％不重叠图形，更优选使边界的100％不重叠图形。

这样，通过在关注区域的内侧重叠图形来报知关注区域，并且关注区域与非关注区域的边界的至少一部分不会被图形隐藏，因此能够使用户视觉识别边界。

<医疗图像处理方法>

接下来，对本实施方式所涉及的医疗图像处理方法进行说明。医疗图像处理方法通过控制部50执行存储在存储部54中的程序56来实施。

图3是表示医疗图像处理方法的各处理的一例的流程图。医疗图像处理方法包括图像获取工序(步骤S1)、关注区域检测工序(步骤S2)、坐标计算工序(步骤S3)、面积计算工序(步骤S4)、图形生成工序(步骤S5)和重叠处理工序(步骤S6)。

在步骤S1中，时间序列图像获取部40获取动态画面38的帧图像38a。在步骤S2中，关注区域检测部42从在步骤S1中获取的帧图像38a中检测关注区域。

在步骤S3中，坐标计算部44计算表示在步骤S2中检测到的关注区域在图像内的位置的坐标。在步骤S4中，面积计算部46计算在步骤S2中检测到的关注区域在图像上的面积。

在步骤S5中，图形生成部48生成用于向用户报知在步骤S2中检测到的关注区域的图形。图形生成部48生成面积比在步骤S4中计算出的面积小的图形。

在步骤S6中，显示控制部52在在步骤S1中获取的帧图像38a的在步骤S3中计算出的坐标的位置上重叠在步骤S5中生成的图形，并使显示器16显示重叠有图形的帧图像38a。由此，在在步骤S2中检测到的关注区域的内侧重叠图形。该图形是比在步骤S4中计算出的关注区域的面积小的图形，因此，关注区域与非关注区域的边界的至少一部分图形不重叠。

如上所述，根据医疗图像处理方法，能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。

<图形的方式>

对重叠在关注区域上的图形的详细情况进行说明。此外，重叠在关注区域上的图形也可以不是在图形生成部48中生成，而是预先存储在存储部54中。

〔指示边界的方式〕

优选重叠在关注区域上的图形是向用户指示关注区域与非关注区域的边界的位置的图形。此外，以下将关注区域与非关注区域的边界简单表述为关注区域的边界。

图4和图5是表示显示器16的显示的一例的图。在该例中，显示有包含关注区域R1的帧图像38a。另外，在关注区域R1的内侧重叠有四个图形F1、图形F2、图形F3及图形F4。

图形F1、图形F2、图形F3及图形F4分别是具有相同箭头形状的图形。图形F1、图形F2、图形F3及图形F4分别具有比关注区域R1的面积小的面积。图形F1、图形F2、图形F3及图形F4分别具有相同的颜色。

另外，图形F1、图形F2、图形F3及图形F4分别在箭头的前端具有指示关注区域R1的边界的朝向。在此，图形F1、图形F2、图形F3及图形F4分别具有箭头的朝向与箭头的延长线和边界之间的接点处的边界的切线方向垂直相交的朝向。

图4示出图形F1、图形F2、图形F3及图形F4分别配置在箭头的前端不与关注区域R1的边界相接的位置的例子。在该情况下，坐标计算部44计算关注区域R1的内侧的位置且沿着关注区域R1的边界的位置的坐标。图形生成部48生成具有箭头形状的图形，即具有与计算出的坐标相应的朝向的图形F1、图形F2、图形F3及图形F4。报知信息显示控制部52B以使箭头的前端分别与计算出的坐标一致的方式，将图形F1、图形F2、图形F3及图形F4重叠在关注区域R1上。

另外，图5示出图形F1、图形F2、图形F3及图形F4分别配置在箭头的前端与关注区域R1的边界相接的位置的例子。在该情况下，坐标计算部44计算关注区域R1的边界的坐标。图形生成部48生成具有箭头形状的图形，即与计算出的坐标相应的朝向的图形F1、图形F2、图形F3及图形F4。报知信息显示控制部52B以使箭头的前端分别与计算出的坐标一致的方式，将图形F1、图形F2、图形F3及图形F4重叠在关注区域R1的内侧。

如图4和图5所示，通过将图形重叠在关注区域上，并且使关注区域与非关注区域的边界的至少一部分不重叠图形，能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。因此，用户容易观察作为关注区域的病变部与病变部以外的正常粘膜部之间的边界。

此外，重叠的图形不限于箭头，只要是容易理解地指示关注区域与非关注区域的边界的图形即可。图6是表示显示器16的显示的一例的图。在该例中，在帧图像38a所包含的关注区域R1的内侧，重叠有四个图形F5、图形F6、图形F7及图形F8。

图形F5、图形F6、图形F7及图形F8分别是具有相同等腰三角形形状的图形。等腰三角形的等边以外的底边比两条等边短。图形F5、图形F6、图形F7及图形F8分别具有相同的大小及颜色，且分别具有不同的朝向。

图形F5、图形F6、图形F7及图形F8分别在两条等边共有的等腰三角形的顶点具有指示关注区域R1的边界的朝向。在此，图形F5、图形F6、图形F7及图形F8分别具有通过等腰三角形的顶点的底边的垂线的朝向与垂线的延长线和关注区域R1之间的边界的接点处的边界的切线方向垂直相交的朝向。

坐标计算部44计算关注区域R1的内侧的位置且沿着关注区域R1的边界的位置的坐标。图形生成部48生成具有等腰三角形形状的图形，即与计算出的坐标相应的朝向的图形F5、图形F6、图形F7及图形F8。报知信息显示控制部52B以使等腰三角形的顶点分别与计算出的坐标一致的方式，将图形F5、图形F6、图形F7及图形F8重叠在关注区域R1上。

这样，即使在关注区域上重叠了图形的情况下，也能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。因此，用户容易观察作为关注区域的病变部与正常粘膜部之间的边界。

〔表示内侧的坐标的方式〕

重叠在关注区域上的图形不限于指示边界的图形，也可以是表示关注区域的内侧的坐标的图形。例如，也可以配置成使关注区域的内侧的某个坐标与图形的中心一致。

图7是表示显示器16的显示的一例的图。在该例中，显示有包含关注区域R1的帧图像38a。另外，在关注区域R1的内侧，重叠有一个图形F9。

图形F9是具有圆形形状的图形。图形F9具有比关注区域R1的面积小的面积。另外，图形F9配置成图形F9的中心对准关注区域R1的内侧的某个坐标。

坐标计算部44计算关注区域R1的内侧位置即关注区域R1的某个位置的坐标。图形生成部48生成具有圆形形状的图形F9。报知信息显示控制部52B以使图形F9的重心与计算出的坐标一致的方式，将图形F9重叠在关注区域R1上。

通过这样在关注区域上重叠图形，能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。因此，用户容易观察作为关注区域的病变部与正常粘膜部之间的边界。

在图7所示的例子中重叠了圆形的图形F9，但重叠在某个位置的坐标上的图形的形状不限于圆形。图8及图9是表示图形的其他例子的图。如图8所示，也可以是斜十字形状的图形F10、十字形状的图形F11、斜方形状的图形F12、四角星形状的图形F13、五角星形状的图形F14、圆与十字的组合形状的图形F15、矩形与十字的组合形状的图形F16、以及感叹号形状的图形F17等。也可以是其他的符号或文字。通过使这些图形的重心与关注区域的内侧的某个位置的坐标一致地进行重叠，能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。

另外，如图9所示，也可以是分别具有前端T的箭头形状的图形F18、液滴形状的图形F19、大头针形状的图形F20。在该情况下，通过使图形的前端T与关注区域的内侧的某个位置的坐标一致地进行重叠，能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。

作为某个位置的坐标，可使用关注区域的重心(图心)的坐标、或者外切于关注区域的矩形的中心的坐标等。图10是表示关注区域R2的重心C1的图。另外，图11是表示外切于关注区域R2的矩形SQ1的中心C2的图。

这样，通过在关注区域R2的重心C1或中心C2上重叠图形，能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。

〔根据关注区域的大小变更尺寸的方式〕

重叠在关注区域上的图形的尺寸也可以不总是恒定的。例如，图形生成部48也可以根据关注区域在图像内的大小来改变生成的图形的尺寸。在此，图形的尺寸是指与图形的面积成比例的指标。

图12是表示显示器16的显示的一例的图。在图12所示的1012A、1012B及1012C中，分别显示包含关注区域R3A、关注区域R3B及关注区域R3C的帧图像38a。在此，具有关注区域R3A的面积＞关注区域R3B的面积＞关注区域R3C的面积的关系。

在关注区域R3A、关注区域R3B及关注区域R3C上分别重叠有四角星形状的图形F13A、图形F13B及图形F13C。在此，具有图形F13A的尺寸＞图形F13B的尺寸＞图形F13C的尺寸的关系。

这样，通过使关注区域的面积相对越大则重叠的图形的尺寸相对越大，能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。

此外，在关注区域显著大的情况下，用户在详细观察关注区域的可能性高。因此，当将与关注区域的面积匹配的相对大尺寸的图形重叠在关注区域上时，重叠后的图形有可能对用户来说很麻烦。因此，图形生成部48在关注区域的面积为第一面积以上的情况下，在不使图形的尺寸进一步增大的情况下生成恒定的第一尺寸的图形。

图13是表示显示器16的显示的一例的图。在图13所示的1013A和1013B中，分别显示包含关注区域R3D和关注区域R3E的帧图像38a。在此，具有关注区域R3A的面积<第一面积<关注区域R3D的面积<关注区域R3E的面积的关系。

在关注区域R3D和关注区域R3E上分别重叠有四角星形状的图形F13D和图形F13E。在此，具有图形F13A的尺寸<图形F13D的尺寸＝图形F13E的尺寸的关系。

这样，通过在关注区域的面积为第一面积以上的情况下不改变重叠的图形的尺寸而使其恒定，即使在关注区域显著大的情况下，也能够适当地报知关注区域。

另外，在使图形的尺寸与关注区域的面积相应地变化的情况下，当关注区域显著小时，图形的尺寸会变得过小，向用户报知的能力降低。因此，在关注区域的面积为第二面积以下的情况下，图形生成部48在不使图形的尺寸进一步减小的情况下生成恒定的第二尺寸的图形。

图14是表示显示器16的显示的一例的图。在图14所示的1014A和1014B中，分别显示有包含关注区域R3F和关注区域R3G的帧图像38a。在此，具有关注区域R3C的面积＞第二面积＞关注区域R3F的面积＞关注区域R3G的面积的关系。

在关注区域R3F和关注区域R3G上分别重叠有四角星形状的图形F13F和图形F13G。在此，具有图形F13C的尺寸＞图形F13F的尺寸＝图形F13G的尺寸的关系。

这样，在关注区域的面积为第二面积以下的情况下，通过使重叠的图形的尺寸恒定，即使在关注区域显著小的情况下，也能够适当地报知关注区域。

〔根据关注区域的大小变更形状的方式〕

图15是表示显示器16的显示的一例的图。在图15所示的1015A和1015B中，分别显示有包含关注区域R4A和关注区域R4B的帧图像38a。在此，具有关注区域R4A的面积＞关注区域R4B的面积的关系。

另外，在关注区域R4A及关注区域R4B上分别重叠有图形F5、图形F6、图形F7及图形F8。

如1015B所示，在如关注区域R4B那样图像内的面积较小的情况下，重叠在关注区域R4B上的图形F5、图形F6、图形F7及图形F8会相互重叠，反而使关注区域的视觉辨认度降低。

为了防止这种情况，重叠在关注区域上的图形的形状也可以不总是恒定的。例如，图形生成部48也可以根据关注区域在图像内的大小来改变所生成的图形的形状。在此，对将关注区域的面积为某恒定的第三面积作为阈值而使图形的形状变化的例子进行说明。

图16是表示显示器16的显示的一例的图。在图16所示的1016A、1016B和1016C中，分别显示有包含关注区域R5A、关注区域R5B和关注区域R5C的帧图像38a。在此，具有关注区域R5A的面积＞关注区域R5B的面积＞第三面积＞关注区域R5C的面积的关系。

如图16所示，在面积为第三面积以上的关注区域R5A及关注区域R5B上分别重叠图形F5、图形F6、图形F7及图形F8。另一方面，在面积小于第三面积的关注区域R5C上重叠图形F13。

这样，在关注区域为某恒定的第三面积以上的情况下，显示配置在关注区域的内侧的对关注区域的边界进行指示的图形，在关注区域小于第三面积的情况下，显示表示关注区域的内侧的坐标的图形。通过这样显示，在关注区域相对较大的情况下，容易观察关注区域的中心和关注区域的边界附近的正常粘膜。另外，在关注区域相对较小的情况下，通过显示更简单的图形，不会妨碍用户的观察。

另外，图形生成部48也可以在关注区域的面积小于某恒定的第四面积的情况下，生成包围关注区域的图形。

图17是表示显示器16的显示的一例的图。在图17所示的1017A和1017B中，分别显示有包含关注区域R5B和关注区域R5C的帧图像38a。在此，具有关注区域R5B的面积＞第四面积＞关注区域R5C的面积的关系。

如图17所示，在面积为第四面积以上的关注区域R5B上重叠图形F5、图形F6、图形F7及图形F8。另一方面，在面积小于第四面积的关注区域R5C上重叠包围关注区域R5C的矩形的图形F21。

通过包围关注区域，关注区域的边界及关注区域周边的正常粘膜的视觉辨认度降低。但是，在关注区域的面积显著小的情况下，与提高关注区域周边的视觉辨认度相比，更重要的是向用户通知关注区域的存在。因此，优选采用如图17所示的显示方法。通过这样显示，在关注区域相对较大的情况下，容易观察关注区域的中心和关注区域的边界附近的正常粘膜。另外，在关注区域相对较小的情况下，能够使用户识别关注区域。

此外，包围关注区域的图形不限于矩形，只要是从关注区域的外侧指示关注区域存在的范围的图形即可。

图18是表示包围关注区域R6的四个图形F22、图形F23、图形F24及图形F25的图。图形F22是由水平方向的线段和垂直方向的线段构成的L字状的图形。图形F23、图形F24及图形F25分别具有与图形F22相同的形状，是其朝向与图形F22不同的图形。图形F22、图形F23、图形F24及图形F25在包围关注区域R6的矩形框FR1的四角分别将水平方向的线段和垂直方向的线段与矩形框FR1重叠配置。

另外，图19是表示包围关注区域R6的四个图形F26、图形F27、图形F28及图形F29的图。图形F26、图形F27、图形F28及图形F29分别具有相同的等腰三角形的形状，是其朝向互不相同的图形。图形F26、图形F27、图形F28及图形F29在包围关注区域R6的矩形框FR2的四角分别配置成等腰三角形的顶点朝向关注区域R6的重心。

另外，图20是表示包围关注区域R6的四个图形F30、图形F31、图形F32及图形F33的图。图形F30、图形F31、图形F32及图形F33分别具有相同的等腰三角形的形状，是其朝向互不相同的图形。图形F30、图形F31、图形F32及图形F33在包围关注区域R6的椭圆的框FR3上的各位置分别配置成等腰三角形的顶点朝向关注区域R6的重心。

通过这样重叠图形，即使在关注区域相对较小的情况下，也能够使用户识别关注区域。

〔根据关注区域的大小变更数量的方式〕

重叠在关注区域上的图形的数量也可以不总是恒定的。例如，图形生成部48也可以将关注区域的面积为某恒定的第五面积作为阈值，改变生成的图形的数量。

图21是表示显示器16的显示的一例的图。在图21所示的1021A和1021B中，分别显示有包含关注区域R7A和关注区域R7B的帧图像38a。在此，具有关注区域R7A的面积＞第五面积＞关注区域R7B的面积的关系。

如图21所示，在面积为第五面积以上的关注区域R7A上重叠八个图形F34、图形F35、图形F36、图形F37、图形F38、图形F39、图形F40及图形F41。另一方面，在面积小于第五面积的关注区域R7B上重叠四个图形F42、图形F43、图形F44及图形F45。

这样，通过使关注区域的面积相对越大则重叠相对多的数量的图形，能够在不妨碍观察医疗图像的关注区域与非关注区域的边界的情况下报知关注区域。

<其他>

上述医疗图像处理方法可配置为用于使计算机实现各工序的程序，也可配置存储该程序的CD-ROM(Compact Disk-Read Only Memory)等非暂时性记录介质。

在此，说明了在内窥镜图像上重叠图形的例子，但重叠图形的医疗图像不限于内窥镜图像，可应用于超声波图像、CT(Computed Tomography)图像、MRI(MagneticResonance Imaging)图像等。

在至此说明的实施方式中，说明了内窥镜处理器装置12和医疗图像处理装置14分别为不同的装置，但也可以将内窥镜处理器装置12和医疗图像处理装置14构成为一体的装置，作为具有医疗图像处理装置14的功能的内窥镜处理器装置12。

执行内窥镜处理器装置12和医疗图像处理装置14的各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。在各种处理器中，包括执行软件(程序)并作为各种处理部发挥功能的通用处理器即CPU(CentralProcessing Unit)、专门用于图像处理的处理器即GPU(Graphics Processing Unit)、制造FPGA(Field Programmable Gate Array)等后可改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、以及具有为了执行ASIC(Application SpecificIntegrated Circuit)等特定处理而专门设计的电路结构的处理器即专用电路等。

一个处理部可以由这些各种处理器中的一个构成，也可以由同种或异种的两个以上的处理器(例如，多个FPGA、或CPU与FPGA的组合、或CPU与GPU的组合)构成。另外，还可以用一个处理器构成多个处理部。作为用一个处理器构成多个处理部的例子，首先，有诸如以服务器及客户端等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的形态。其次，有诸如以片上系统(System On Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包括多个处理部的系统整体的功能的处理器的形态。像这样，使用一个以上的各种处理器作为硬件结构来构成各种处理部。

而且，更具体而言，这些各种处理器的硬件结构是组合了半导体元件等电路元件的电路(circuitry)。

本发明的技术范围不限于上述实施方式中记载的范围。各实施方式中的结构等在不脱离本发明的主旨的范围内可以在各实施方式之间适当组合。

符号说明

9 内窥镜系统

10 内窥镜观测器

11 光源装置

12 内窥镜处理器装置

13 显示装置

14 医疗图像处理装置

15 操作部

16 显示器

20 插入部

21 手边操作部

22 通用塞绳

25 软性部

26 弯曲部

27 顶端部

28 摄像元件

29 弯曲操作钮

30 供气供水按钮

31 吸引按钮

32 静止画面拍摄指示部

33 处置器具导入口

35 光导

36 信号电缆

37a 连接器

37b 连接器

38 动态画面

38a 帧图像

39 静止画面

40 时间序列图像获取部

42 关注区域检测部

44 坐标计算部

46 面积计算部

48 图形生成部

50 控制部

52 显示控制部

52A 图像显示控制部

52B 报知信息显示控制部

54 存储部

56 程序

FR1～FR3 框

F1～F45 图形

R1～R7B 关注区域

SQ1 矩形

S1～S6 医疗图像处理方法的各步骤