内窥镜装置、内窥镜处理器及内窥镜装置的操作方法

摘要

本发明提供一种通过在从图像中检出检测对象时自动切换照明光(观察模式)而能够减轻施术者进行的切换操作的负担的内窥镜装置、内窥镜处理器、及内窥镜装置的操作方法。利用内窥镜观测器在使用第一照明光(白色光)的第一观察模式下依次拍摄受检体的图像。判定是否从依次拍摄到的图像中继续检出检测对象，当判定为继续检出检测对象时，自动切换为发出第二照明光(特殊光)的第二观察模式。在切换为第二观察模式之后，当经过了固定时间时，从第二观察模式自动切换为第一观察模式。

说明书

技术领域

本发明涉及一种内窥镜装置、内窥镜处理器、及内窥镜装置的操作方法，特别是涉及一种减轻用户对内窥镜观测器的操作的技术。

背景技术

已知一般的内窥镜装置是从内窥镜观测器的插入部的顶端照射照明光，利用摄像元件拍摄被观察对象而获取图像信息，但此时照明光不仅仅使用白色光(普通光)，还使用与白色光不同光谱的特殊光(专利文献1、2)。

专利文献1中记载的内窥镜装置在内窥镜观测器的插入部的顶端具有探头部，将探头部抵接于生物体表面，检测生物体表面的特征量，并根据检出的特征量在使用白色光的普通光观察模式与使用特殊光的特殊光观察模式之间自动切换观察模式(照明光)。

专利文献2中记载的内窥镜装置具有使窄带光的光量比宽带光的光量增加的第一照明模式、窄带光的光量与宽带光的光量大致相等的第二照明模式、以及使窄带光的光量比宽带光的光量减少的第三照明模式，判别被观察部位的种类，并根据判别的被观察部位的种类自动切换照明模式，由此减轻施术者的劳力。

另外，近年来，已知进行通过图像分析检测图像中包含的病变、按照类别对病变进行分类等的识别并进行报知，由此对检查进行辅助。

在用于识别的图像分析中，通过以深度学习(Deep Learning)为代表的图像的机器学习，能够实现更高精度的自动识别(例如，非专利文献1)。

以往技术文献

专利文献

专利文献1：日本特开2012-000160号公报

专利文献2：日本特开2014-166590号公报

非专利文献

非专利文献1：A.Krizhevsky，I.Sutskever，and G.Hinton.ImageNetclassification with deep convolutional neural networks.In NIPS，2012

发明内容

发明要解决的技术课题

专利文献1中记载的发明使内窥镜观测器的插入部的顶端的探头部抵接于生物体表面而使生物体表面凹陷，当该生物体表面的凹陷区域的大小超过阈值时，将观察模式自动切换为特殊光观察模式，但施术者需要使探头部抵接于生物体表面(进行触诊)。

专利文献2中记载的发明根据观察部位(例如，食道、贲门、胃)的种类，自动切换使用适合于食道的特殊光观察的照明光的第一照明模式、使用适合于贲门的特殊光观察的照明光的第二照明模式、以及使用适合于胃的特殊光观察的照明光的第三照明模式，但限于在一次内窥镜检查中观察种类不同的多个观察部位。

本发明是鉴于这种情况而完成的，其目的在于提供一种通过在从图像中检出检测对象时自动切换照明光(观察模式)而能够减轻施术者进行的切换操作的负担的内窥镜装置、内窥镜处理器、及内窥镜装置的操作方法。

用于解决技术课题的手段

为了达到上述目的，本发明的一方面所涉及的内窥镜装置具备：光源部，其发出分别与第一观察模式和第二观察模式对应的第一照明光和第二照明光；摄像部，其拍摄第一照明光或第二照明光所照射的被摄体；检测器，其从由摄像部依次拍摄到的图像中检测检测对象；继续检出判定部，其判定检测器是否继续检出检测对象；以及观察模式切换部，其切换第一观察模式与第二观察模式，在使用第一观察模式的状态下，当利用继续检出判定部判定为继续检出检测对象时，观察模式切换部自动切换为第二观察模式。

根据本发明的一方面，由于设为当从通过第一观察模式在第一照明光下拍摄到的图像中继续检出检测对象时，自动切换为在第二照明光下进行拍摄的第二观察模式，因此能够在适合于检测对象的详细观察的第二照明光下拍摄检测对象，并且能够减轻施术者进行的观察模式的切换操作的负担。

在本发明的另一方面所涉及的内窥镜装置中，优选具备：变化量计算部，其计算由摄像部拍摄到的图像的特定区域的变化量；以及变化量判定部，其判定由变化量计算部计算出的变化量是否为阈值以内，在使用第一观察模式的状态下，当利用继续检出判定部判定为继续检出检测对象、并且利用变化量判定部判定为变化量为阈值以内时，观察模式切换部自动切换为第二观察模式。在变化量为阈值以内的情况下，可认为图像基本上静止(施术者在注视检测对象)，因此切换为适合于检测对象的详细观察的第二观察模式。

在本发明的再另一方面所涉及的内窥镜装置中，优选特定区域是由摄像部拍摄到的图像的整体区域。

在本发明的再另一方面所涉及的内窥镜装置中，优选特定区域是由摄像部拍摄到的图像的中心区域。

在本发明的再另一方面所涉及的内窥镜装置中，优选特定区域是与基于来自检测器的检测信息计算的检测对象对应的区域。

在本发明的再另一方面所涉及的内窥镜装置中，优选由变化量计算部计算的变化量是特定区域的位置的变化量。

在本发明的再另一方面所涉及的内窥镜装置中，优选由变化量计算部计算的变化量是特定区域的尺寸的变化量。

在本发明的再另一方面所涉及的内窥镜装置中，优选观察模式切换部在切换为第二观察模式之后，在经过了固定时间后切换为第一观察模式。这是因为，在经过了固定时间后，第二观察模式下的检测对象的观察结束。

在本发明的再另一方面所涉及的内窥镜装置中，优选观察模式切换部在切换为第二观察模式之后，当利用继续检出判定部判定为未继续检出检测对象时，切换为第一观察模式。这是因为，不存在应通过第二观察模式进行观察的检测对象。

在本发明的再另一方面所涉及的内窥镜装置中，优选观察模式切换部在切换为第二观察模式之后，当利用变化量判定部判定为变化量大于阈值时，切换为第一观察模式。在变化量大于阈值的情况下，图像发生变化，可认为施术者未注视检测对象，因此切换为第一观察模式。

在本发明的再另一方面所涉及的内窥镜装置中，优选观察模式切换部在切换为第二观察模式之后，当进行静止画面的拍摄时，切换为第一观察模式。

在本发明的再另一方面所涉及的内窥镜装置中，优选在检测器在比检测器的检测间隔长的固定时间范围内连续检出检测对象的情况下，继续检出判定部判定为继续检出检测对象。

在本发明的再另一方面所涉及的内窥镜装置中，优选在检测器在比检测器的检测间隔长的固定时间范围内以阈值以上的比例检出检测对象的情况下，继续检出判定部判定为继续检出检测对象。

在本发明的再另一方面所涉及的内窥镜装置中，优选第一观察模式是使用普通光作为第一照明光的普通光观察模式，第二观察模式是使用特殊光作为第二照明光的特殊光观察模式。

在本发明的再另一方面所涉及的内窥镜装置中，优选第一观察模式是使用第一特殊光作为第一照明光的第一特殊光观察模式，第二观察模式是使用与第一特殊光不同的第二特殊光作为第二照明光的第二特殊光观察模式。

本发明的再另一方面所涉及的内窥镜处理器具备：光源部，其发出分别与第一观察模式和第二观察模式对应的第一照明光和第二照明光；图像获取部，其从拍摄第一照明光或第二照明光所照射的被摄体的摄像部依次获取表示被摄体的图像；检测器，其从依次获取到的图像中检测检测对象；继续检出判定部，其判定检测器是否继续检出检测对象；以及观察模式切换部，其切换第一观察模式与第二观察模式，在使用第一观察模式的状态下，当利用继续检出判定部判定为继续检出检测对象时，观察模式切换部自动切换为第二观察模式。

再另一方面所涉及的发明是一种内窥镜装置的操作方法，其具有第一观察模式和第二观察模式，其中，所述内窥镜装置的操作方法包括：从光源部发出与第一观察模式对应的第一照明光的步骤；摄像部拍摄第一照明光所照射的被摄体的步骤；检测器从由摄像部依次拍摄到的图像中检测检测对象的步骤；继续检出判定部判定检测器是否继续检出检测对象的步骤；观察模式切换部切换第一观察模式与第二观察模式的步骤，在该步骤中，在使用第一观察模式的状态下，当通过进行判定的步骤判定为继续检出检测对象时，自动切换为第二观察模式；当切换为第二观察模式时，从光源部发出与第二观察模式对应的第二照明光的步骤；以及摄像部拍摄第二照明光所照射的被摄体的步骤。

发明效果

根据本发明，由于设为当从通过第一观察模式在第一照明光下拍摄到的图像中继续检出检测对象时，自动切换为在第二照明光下进行拍摄的第二观察模式，因此能够在适合于检测对象的详细观察的第二照明光下拍摄检测对象，并且能够减轻施术者进行的观察模式的切换操作的负担。

附图说明

图1是表示本发明所涉及的内窥镜装置10的外观的立体图。

图2是表示内窥镜装置10的电结构的框图。

图3是表示作为构成检测器15的学习模型之一的卷积神经网络的代表性结构例的示意图。

图4是表示构成本发明所涉及的内窥镜装置的内窥镜处理器的第一实施方式的主要部分框图。

图5是表示作为第一观察模式设为使用了WL的普通光观察模式、作为第二观察模式设为使用了BLI用的特殊光的特殊光观察模式时的观察模式的自动切换的概念图。

图6是表示构成本发明所涉及的内窥镜装置的内窥镜处理器的第二实施方式的主要部分框图。

图7是表示构成本发明所涉及的内窥镜装置的内窥镜处理器的第三实施方式的主要部分框图。

图8是表示利用内窥镜观测器11依次拍摄的输入图像(帧)、从输入图像中检测的检测对象的检测结果、检测对象的中心坐标的变化量、以及检测对象的尺寸(面积)的变化量的图。

图9是表示作为第一观察模式设为使用了BLI用的特殊光的第一特殊光观察模式、作为第二观察模式设为使用了LCI用的特殊光的第二特殊光观察模式时的观察模式的自动切换的概念图。

图10是表示本发明所涉及的内窥镜装置的操作方法的实施方式的流程图。

具体实施方式

以下，按照附图对本发明所涉及的内窥镜装置、内窥镜处理器、及内窥镜装置的操作方法的优选实施方式进行说明。

[内窥镜装置的整体结构]

图1是表示本发明所涉及的内窥镜装置10的外观的立体图。

如图1所示，内窥镜装置10主要由拍摄受检体内的观察对象的内窥镜观测器(在此为软性内窥镜)11、光源装置(光源部)12、内窥镜处理器13、液晶监视器等显示器14、以及检测器15构成。

光源装置12向内窥镜观测器11供给普通光图像拍摄用的白色光(第一照明光)及与白色光不同光谱的特殊光(第二照明光)的各种观察光。

内窥镜处理器13具有基于利用内窥镜观测器11得到的图像信号生成显示用/记录用的普通光图像、特殊光图像或观察用图像的图像数据的图像处理功能、控制光源装置12的功能、以及使普通图像或观察用图像及检测器15的检测结果显示于显示器14的功能等。

此外，检测器15是从内窥镜处理器13接受内窥镜图像、并从内窥镜图像中进行检测对象(病变、手术疤痕、处置疤痕等)的位置检测或病变的种类鉴别等的部分，后面会说明详情。另外，本例的内窥镜处理器13与光源装置12单独构成，并电连接，但光源装置12也可以内置于内窥镜处理器13。同样地，检测器15也可以内置于内窥镜处理器13。

显示器14基于从内窥镜处理器13输入的显示用的图像数据显示普通图像、特殊光图像或观察用图像、及检测器15的识别结果。

内窥镜观测器11具备插入受检体内的挠性的插入部16、连设于插入部16的基端部并用于把持内窥镜观测器11及操作插入部16的手边操作部17、以及将手边操作部17连接于光源装置12及内窥镜处理器13的通用塞绳18。

在插入部16的顶端即插入部顶端16a，内置有照明透镜42、物镜44、摄像元件45等(参照图2)。在插入部顶端16a的后端，连设有弯曲自如的弯曲部16b。另外，在弯曲部16b的后端，连设有具有挠性的挠性管部16c。

在手边操作部17设有弯角钮21、操作按钮22及钳子入口23等。弯角钮21在调整弯曲部16b的弯曲方向及弯曲量时被旋转操作。操作按钮22用于供气·供水或吸引等各种操作。钳子入口23与插入部16内的钳子通道连通。另外，在手边操作部17设有进行各种设定的内窥镜操作部46(参照图2)等。

在通用塞绳18中，编入有供气·供水通道、信号电缆及光导等。在通用塞绳18的顶端部，设有连接于光源装置12的连接器部25a和连接于内窥镜处理器13的连接器部25b。由此，经由连接器部25a从光源装置12向内窥镜观测器11供给观察光，经由连接器部25b将利用内窥镜观测器11得到的图像信号输入到内窥镜处理器13。

此外，在光源装置12上，设有电源按钮、使光源点亮的点亮按钮及亮度调节按钮等光源操作部12a，另外，在内窥镜处理器13上，设有包括接受来自电源按钮、未图示的鼠标等指示设备的输入的输入部的处理器操作部13a。

[内窥镜装置的电结构]

图2是表示内窥镜装置10的电结构的框图。

如图2所示，内窥镜观测器11大致具有光导40、照明透镜42、物镜44、摄像元件45、内窥镜操作部46、内窥镜控制部47以及ROM(Read Only Memory)48。

光导40使用大口径光纤、束状纤维等。光导40的入射端经由连接器部25a插入光源装置12，其出射端穿过插入部16而与设于插入部顶端16a内的照明透镜42相对。从光源装置12供给到光导40的照明光透过照明透镜42而照射到观察对象。而且，被观察对象反射和/或散射的照明光入射到物镜44。

物镜44使入射的照明光的反射光或散射光(即，观察对象的光学图像)成像于摄像元件45的摄像面。

摄像元件45是CMOS(complementary metal oxide semiconductor)型或CCD(charge coupled device)型的摄像元件，相对于物镜44被定位且固定在比物镜44靠里侧的位置。在摄像元件45的摄像面上，二维排列有由对光学图像进行光电转换的多个光电转换元件(光电二极管)构成的多个像素。另外，在本例的摄像元件45的多个像素的入射面侧，对每个像素配置有红色(R)、绿色(G)、蓝色(B)的彩色滤光片，由此构成有R像素、G像素、B像素。此外，RGB的彩色滤光片的滤光片排列一般为拜耳阵列，但不限于此。

摄像元件45将由物镜44成像的光学图像转换为电图像信号并输出到内窥镜处理器13。

此外，在摄像元件45为CMOS型的情况下，内置有A/D(Analog/Digital)转换器，从摄像元件45向内窥镜处理器13直接输出数字图像信号。另外，在摄像元件45为CCD型的情况下，从摄像元件45输出的图像信号在被未图示的A/D转换器等转换为数字图像信号之后，输出到内窥镜处理器13。

内窥镜操作部46配置有未图示的静止画面拍摄按钮、手动切换观察模式的模式切换按钮，来自模式变更按钮的切换信号被输入到内窥镜控制部47。此外，模式切换按钮是在每次进行按下动作时切换照明光的种类(观察模式)的操作部，包括如后所述自动切换观察模式的“AUTO”模式。另外，模式切换按钮也可以设置于内窥镜处理器13的处理器操作部13a。

内窥镜控制部47根据内窥镜操作部46中的操作依次执行从ROM48等中读出的各种程序或数据，主要控制摄像元件45的驱动。例如，在将白色光(普通光)设为照明光的普通光观察模式的情况下，内窥镜控制部47控制摄像元件45以读出摄像元件45的R像素、G像素及B像素的信号，在将与白色光不同光谱的特殊光设为照明光的特殊光观察模式、即为了获取特定的特殊光图像而从V-LED32a发出紫色光作为观察光的情况或从B-LED32b发出蓝色光的情况下，控制摄像元件45以仅读出在这些紫色光、蓝色光的波长频带具有光谱灵敏度的摄像元件45的B像素的信号，或者读出R像素、G像素及B像素这三个颜色像素中的任意一个颜色像素或两个颜色像素。

另外，内窥镜控制部47在与内窥镜处理器13的处理器控制部61之间进行通信，将内窥镜操作部46中的操作信息及存储于ROM48的用于辨别内窥镜观测器11的种类的辨别信息等发送到内窥镜处理器13。

光源装置12具有光源控制部31和光源单元32。光源控制部31进行光源单元32的控制，并在与内窥镜处理器13的处理器控制部61之间进行通信，进行各种信息的交换。

光源单元32例如具有多个半导体光源。在本实施方式中，光源单元32具有V-LED(Violet Light Emitting Diode)32a、B-LED(Blue Light Emitting Diode)32b、G-LED(Green Light Emitting Diode)32c及R-LED(Red Light Emitting Diode)32d这四种颜色的LED。V-LED32a、B-LED32b、G-LED32c及R-LED32d是发出例如分别在410nm、450nm、530nm、615nm具有峰波长的观察光、即紫色(V)光、蓝色(B)光、绿色(G)光及红色(R)光的半导体光源。

光源控制部31根据普通光观察模式、特殊光观察模式等观察模式，对每个LED分别控制光源单元32的4个LED的点亮或熄灭、点亮时的发光量等。在普通光观察模式的情况下，光源控制部31使V-LED32a、B-LED32b、G-LED32c及R-LED32d全部点亮。因此，在普通光观察模式中，使用包含V光、B光、G光及R光的白色光作为照明光。

另一方面，在特殊光观察模式的情况下，光源控制部31使V-LED32a、B-LED32b、G-LED32c及R-LED32d中的任意一个光源或适当组合的多个光源点亮，或在使多个光源点亮的情况下使用控制各光源的发光量(光量比)的特殊光作为照明光，由此可以拍摄被摄体的深度不同的多层的图像。

在本例的第一观察模式的情况下，发出普通光图像用的白色光(WL：WhiteLight)，在第二观察模式的情况下，发出特殊光图像(BLI(Blue Light Imaging or BlueLASER Imaging)、LCI(Linked Color Imaging)或NBI(Narrow Band Imaging))用的特殊光。

BLI用的照明光是表层血管中的吸收率高的V光的比率较高、且抑制了中层血管中的吸收率高的G光的比率的照明光，适合生成适于强调被摄体的粘膜表层的血管或结构的图像(BLI)。

LCI用的照明光是V光的比率比WL用的观察光高、且比WL用的观察光适于捕捉细微的色调变化的照明光，适合生成也利用R成分的信号以粘膜附近的颜色为中心进行了诸如使泛红的颜色更红、泛白的颜色更白的颜色强调处理的图像(LCI)。

另外，NBI的照明光通过使照射的照明光的波长范围变窄，适合生成对被照射的面的细微变化进行了强调的图像(NBI)。

各LED32a～32d所发出的各色的光经由由分色镜或透镜等形成的光路结合部、及光圈机构(未图示)入射到插通于内窥镜观测器11内的光导40。

此外，光源装置12的观察光可选择白色光(白色波长频带的光或多个波长频带的光)、或者在一个或多个特定波长频带具有峰值的光(特殊光)、或者这些的组合等根据观察目的的各种波长频带的光。

特定波长频带的第一例例如是可见范围的蓝色频带或绿色频带。该第一例的波长频带包括390nm以上450nm以下或530nm以上550nm以下的波长频带，且第一例的光在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰波长。

特定波长频带的第二例例如是可见范围的红色频带。该第二例的波长频带包括585nm以上615nm以下或610nm以上730nm以下的波长频带，且第二例的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰波长。

特定波长频带的第三例包括氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带，且第三例的光在氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带具有峰波长。该第三例的波长频带包括400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带，且第三例的光在上述400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带具有峰波长。

特定波长频带的第四例为用于观察生物体内的荧光物质发出的荧光(荧光观察)且激励该荧光物质的激励光的波长频带(390nm至470nm)。

特定波长频带的第五例是红外光的波长频带。该第五例的波长频带包括790nm以上820nm以下或905nm以上970nm以下的波长频带，且第五例的光在790nm以上820nm以下或905nm以上970nm以下的波长频带具有峰波长。

内窥镜处理器13具有处理器操作部13a、处理器控制部61、ROM62、数字信号处理电路(DSP：Digital Signal Processor)63、图像处理部65、显示控制部66及存储部67等。

处理器操作部13a包括接受利用电源按钮、鼠标在显示器14的画面上指示的坐标位置及点击(执行指示)等的输入的输入部等。

处理器控制部61根据处理器操作部13a中的操作信息、及经由内窥镜控制部47接收的内窥镜操作部46中的操作信息从ROM62中读出必要的程序或数据，并依次进行处理，由此控制内窥镜处理器13的各部，并且控制光源装置12。此外，也可以设为处理器控制部61从经由未图示的接口连接的键盘等其他外部设备接受必要的指示输入。

作为获取从内窥镜观测器11(摄像元件45)输出的动态画面的各帧的图像数据的图像获取部的一方式发挥功能的DSP63在处理器控制部61的控制下，对从内窥镜观测器11输入的动态画面的1帧的图像数据，进行缺陷校正处理、偏移处理、白平衡校正、伽玛校正及去马赛克处理(也称为“同步化处理”)等各种信号处理，生成1帧的图像数据。

图像处理部65从DSP63输入图像数据，并对输入的图像数据根据需要实施颜色变换处理、色彩强调处理及结构强调处理等图像处理，生成表示拍摄了观察对象的内窥镜图像的图像数据。颜色变换处理是对图像数据通过3×3的矩阵处理、灰度变换处理及三维LUT(Look Up Table)处理等进行颜色变换的处理。色彩强调处理是对颜色变换处理完毕的图像数据，例如在对血管与粘膜的色调赋予差异的方向上强调色彩的处理。结构强调处理是对例如血管或腺管开口分型(Pit Pattern)等观察对象所含有的特定组织或结构进行强调的处理，针对色彩强调处理后的图像数据来进行。

当有静止画面或动态画面的摄影指示时，被图像处理部65处理后的动态画面的各帧的图像数据作为摄影指示的静止画面或动态画面记录于存储部67。

显示控制部66基于从图像处理部65输入的图像数据生成用于使普通光图像或特殊光图像显示于显示器14的显示用数据，并将生成的显示用数据输出到显示器14，使显示图像(由内窥镜观测器11拍摄到的动态画面等)显示于显示器14。

另外，显示控制部66使从检测器15经由图像处理部65输入的识别结果、或从检测器15输入的识别结果显示于显示器14。

在利用检测器15检出关注区域的情况下，显示控制部66使表示该关注区域的指标重叠显示在显示于显示器14的图像上。例如，作为指标，可考虑改变显示图像中的关注区域的颜色等的强调显示、或标记的显示、边界框的显示。

另外，显示控制部66基于检测器15对检测对象的检测结果，可使表示有无检测对象的信息以不与显示于显示器14的图像重叠的方式进行显示。表示有无检测对象的信息例如可考虑在检出检测对象时和未检出检测对象时改变内窥镜图像的框的颜色、或者使“有检测对象！”的文本显示于与内窥镜图像不同的显示区域的方式。

而且，在利用检测器15执行了有关病变的鉴别时，显示控制部66使其鉴别结果显示于显示器14。鉴别结果的显示方法例如可考虑表示鉴别结果的文本在显示器14的显示图像上的显示等。文本也可以不显示在显示图像上，只要知道与显示图像的对应关系，就不特别限定。

[检测器15]

接下来，对本发明所涉及的检测器15进行说明。

检测器15是从利用摄像部(内窥镜观测器11)依次拍摄到的图像中检测病变等检测对象的部分，依次接受内窥镜处理器13进行图像处理后的图像。在本例的第一观察模式的情况下，接受普通光图像(WL图像)作为检测用的图像，在第二观察模式的情况下，接受特殊光图像(BLI、CLI或NBI)作为检测用的图像。

图3是表示作为构成检测器15的学习模型之一的卷积神经网络(CNN：Convolutional Neural Network)的代表性结构例的示意图。

CNN15例如是对摄于内窥镜图像中的检测对象(病变、手术疤痕、处置疤痕等)的位置检测或病变的种类进行鉴别的学习模型，具有多个层结构，并保持着多个权重参数。CNN15通过将权重参数设定为最佳值而成为已学习模型并作为检测器发挥功能。

如图3所示，CNN15具备输入层15A、具有多个卷积层及多个池化层的中间层15B、以及输出层15C，各层成为多个“节点”在“边缘”连结的结构。

本例的CNN15是进行分割以对摄于内窥镜图像中的检测对象的位置进行识别的学习模型，可应用作为CNN之一种的全卷积网络(FCN：Fully Convolution Network)。在全卷积网络中，可考虑如下方式：关于摄于内窥镜图像中的检测对象的位置以像素单位或集合了几个像素的大小的像素来判定有无检测对象的方式、输出检测对象的中心的坐标值、包围检测对象的矩形的4个坐标值等的方式。

在输入层15A中输入检测用的1帧图像。

中间层15B是从自输入层15A输入的图像中提取特征的部分。中间层15B中的卷积层对在图像或前一层中位于近处的节点进行过滤处理(进行使用滤波器的卷积运算)，获取“特征图”。池化层对从卷积层输出的特征图进行缩小(或放大)而形成新的特征图。“卷积层”承担自图像的边缘提取等特征提取的作用，“池化层”承担赋予鲁棒性的作用以使得所提取的特征不会受到平移等带来的影响。此外，在中间层15B中，不限于将卷积层和池化层设为一组的情况，也可包括卷积层连续的情况或归一化层。

输出层15C是输出基于利用中间层15B提取的特征对摄于内窥镜图像中的检测对象的位置检测或病变的种类进行分类(鉴别)的检测结果的部分。

另外，该CNN15是通过学习用的图像集与对图像集的正解数据的许多集合进行学习的，应用于CNN15的各卷积层的滤波器的系数或偏移值通过学习用的数据集而被设定为最佳值。在此，正解数据优选为医生对内窥镜图像指定的检测对象或鉴别结果。

另外，本例的CNN15对摄于内窥镜图像中的检测对象的位置进行识别，但检测器(CNN)不限于此，也可以执行有关病变的鉴别并输出鉴别结果。例如，检测器也可以将内窥镜图像分类为“肿瘤性”、“非肿瘤性”、“其他”这3个类别，作为鉴别结果输出与“肿瘤性”、“非肿瘤性”及“其他”对应的3个得分(3个得分合计为100％)，或者在可根据3个得分明确进行分类的情况下，输出分类结果。另外，在输出这样的鉴别结果的CNN的情况下，优选取代全卷积网络(FCN)而具有全连接层作为中间层的最后一层或多层。

而且，检测器15优选在输入普通光图像的情况下应用使用普通光图像学习的学习模型，在输入特殊光图像的情况下应用使用特殊光图像学习的学习模型。

[第一实施方式]

图4是表示构成本发明所涉及的内窥镜装置的内窥镜处理器的第一实施方式的主要部分框图。

图4所示的第一实施方式的内窥镜处理器13具备处理器控制部61-1。

处理器控制部61-1是总括控制内窥镜处理器13的各部的部分，但第一实施方式的处理器控制部61-1还具备继续检出判定部70和观察模式切换部72。

继续检出判定部70从检测器15输入检测结果，并基于输入的检测结果，判定检测器15是否继续检出检测对象。作为是否从1帧(图像)中检出检测对象的判定，例如在检测器15进行以像素单位或集合了几个像素的大小的像素判定有无检测对象的输出的情况下，可通过有无有检测对象的像素存在来进行，在输出检测对象的中心的坐标值或包围检测对象的矩形的4个坐标值的情况下，可通过有无坐标值的输出来进行。

而且，在检测器15在比检测器15的检测间隔(动态画面的1帧的周期、或多帧的周期)长的固定时间范围内连续检出检测对象的情况下，继续检出判定部70可判定为继续检出检测对象。

在此，是否继续检出检测对象，可考虑依次保存检测器15的检测结果，并参照当前的检测结果及最新的过去的检测结果来进行判定。

另外，继续检出判定部70不限于检测器15在比检测器15的检测间隔长的固定时间范围内按检测间隔每次检出检测对象的情况，在以阈值以上的比例检出检测对象的情况下，也优选判定为继续检出检测对象。

例如，在检测器15以动态画面的1帧的周期(每帧)检测检测对象的情况下，可考虑参照依次输入的最新的过去60帧(1秒钟)的检测结果。另外，继续的判定例如在参照过去60帧的情况下，不仅是在所有60帧中检出检测对象时，而且在例如每1至3帧检出检测对象时，也可以判定为继续检出检测对象。

观察模式切换部72是切换第一观察模式和第二观察模式的部分，在使用第一观察模式的状态下，当利用继续检出判定部70判定为继续检出检测对象时，从第一观察模式自动切换为第二观察模式。

在本例中，第一观察模式是发出WL(普通光)进行观察的普通光观察模式，第二观察模式是发出特殊光图像(BLI、LCI或NBI)用的特殊光进行观察的特殊光观察模式。

因此，观察模式切换部72对光源装置12输出从第一观察模式切换为第二观察模式的指令，或者输出从发出WL切换为发出特殊光的指令，由此从第一观察模式自动切换为第二观察模式。

观察模式切换部72在切换为第二观察模式之后，在经过了固定时间(例如数秒)后切换为第一观察模式。另外，观察模式切换部72也可以在切换为第二观察模式之后，当利用继续检出判定部70判定为未继续检出检测对象时，切换为第一观察模式。

图5是表示作为第一观察模式设为使用了WL的普通光观察模式、作为第二观察模式设为使用了BLI用的特殊光的特殊光观察模式时的观察模式的自动切换的概念图。

如图5所示，当从通过普通光观察模式依次拍摄到的普通光图像(WL图像)中继续检出检测对象时，通过观察模式切换部72自动进行从普通光观察模式向特殊光观察模式的切换，通过特殊光观察模式进行特殊光图像(BLI)的拍摄。然后，在切换为第二观察模式之后，当经过了固定时间时，利用观察模式切换部72再次切换为普通光观察模式。

由此，在使用普通光观察模式的状态下，当从依次拍摄到的图像中继续检出检测对象时，自动从普通光观察模式切换为特殊光观察模式，因此能够在适合检测对象的详细观察的特殊光下拍摄检测对象，能够减轻施术者进行的观察模式的切换操作的负担。

[第二实施方式]

图6是表示构成本发明所涉及的内窥镜装置的内窥镜处理器的第二实施方式的主要部分框图。此外，在图6中，对与图4所示的第一实施方式共同的部分标注相同的符号，并省略其详细说明。

图6所示的第二实施方式的内窥镜处理器13具备处理器控制部61-2。

处理器控制部61-2与图4所示的处理器控制部61-1相比，主要是追加了变化量计算部73和变化量判定部74这一点不同。

变化量计算部73依次输入被图像处理部65处理后的动态画面的各帧的图像数据，并基于依次输入的图像数据计算由内窥镜观测器11拍摄到的图像的特定区域的变化量。

在此，图像的特定区域可设为所拍摄的图像的整体区域。另外，特定区域的变化量可设为连续拍摄的图像的尺寸的变化量或位置的变化量。

变化量判定部74判定由变化量计算部73计算出的变化量是否为阈值以内。

例如，在一边从体腔内抽拔内窥镜插入部一边进行观察的情况下，观察中的图像发生变化，另一方面，当暂时停止抽拔时，观察中的图像静止。因此，相对于变化量的阈值可设为作为连续的图像间的特定区域的尺寸的变化量或位置的变化量是否伴随着内窥镜插入部的移动而变化的判断基准而设定的值。

在使用普通光观察模式的状态下，当利用继续检出判定部70判定为继续检出检测对象、且利用变化量判定部74判定为图像的变化量为阈值以内时，观察模式切换部72从普通光观察模式自动切换为特殊光观察模式。

另外，观察模式切换部72在切换为特殊光观察模式之后，当利用变化量判定部74判定为图像的变化量大于阈值时，从特殊光观察模式切换为普通光观察模式。

根据第二实施方式，在使用普通光观察模式的状态下，当从依次拍摄到的图像中继续检出检测对象、且利用变化量判定部74判定为特定区域的变化量较小时(判定为变化量为阈值以内时)，可认为内窥镜插入部基本上静止(施术者在注视检测对象)，因此从普通光观察模式自动切换为特殊光观察模式。

另一方面，即使从依次拍摄到的图像中继续检出检测对象，当利用变化量判定部74判定为特定区域的变化量较大时(判定为变化量大于阈值时)，也可认为内窥镜插入部在移动(例如，一边从体腔内抽拔内窥镜插入部一边进行观察)，因此不进行从普通光观察模式向特殊光观察模式的切换。

此外，特定区域不限于所拍摄的图像的整体区域，例如也可以是所拍摄的图像的中心区域。

[第三实施方式]

图7是表示构成本发明所涉及的内窥镜装置的内窥镜处理器的第三实施方式的主要部分框图。此外，在图7中，对与图6所示的第二实施方式共同的部分标注相同的符号，并省略其详细说明。

图7所示的第三实施方式的内窥镜处理器13具备处理器控制部61-3。

处理器控制部61-3与图6所示的处理器控制部61-2相比，主要是变化量计算部75计算的变化量的判定对象、及变化量判定部76中的变化量的判定内容不同。

变化量计算部75依次输入由检测器15检出的检测对象的检测信息，并基于依次输入的检测对象的检测信息计算检测对象的变化量。即，变化量计算部75将基于来自检测器15的检测信息计算的检测对象设为特定区域，计算与该检测对象对应的区域(特定区域)的变化量。

在此，利用变化量计算部75计算的检测对象的变化量可设为连续检出的检测对象的位置的变化量。

在检测器15检测的检测信息例如为检测对象(病变区域)的中心坐标的情况下(不管检测结果是有无像素单位的病变还是矩形的坐标，都能够计算中心坐标)，比较当前的坐标与前一帧的坐标，并计算变化量。

变化量判定部76判定由变化量计算部75计算出的检测对象的变化量是否为阈值以内。例如，如果检测器15继续检出检测对象，且该检测对象的中心坐标的变化量为32像素以内，则变化量判定部76可判定为检测对象的变化量为阈值以内。

在使用普通光观察模式的状态下，当利用继续检出判定部70判定为继续检出检测对象、且利用变化量判定部76判定为检测对象的变化量为阈值以内时，观察模式切换部72从普通光观察模式自动切换为特殊光观察模式。

另外，观察模式切换部72在切换为特殊光观察模式之后，当利用变化量判定部76判定为检测对象的变化量大于阈值时，从特殊光观察模式切换为普通光观察模式。

此外，检测对象的变化量不限于检测对象的位置(中心坐标)的变化量，也可以是检测对象的尺寸的变化量。例如，在检测器15检测的检测结果例如是包围检测对象(病变区域)的矩形的4个坐标值的情况下，比较当前的矩形的面积与前一帧的矩形的面积，并计算变化量。例如，如果检测器15继续检出检测对象，且面积的变化相对于前一帧为80％以内，则检测对象的变化量可设为阈值以内。

图8是表示利用内窥镜观测器11依次拍摄的输入图像(帧)、从输入图像中检测的检测对象的检测结果、检测对象的中心坐标的变化量、以及检测对象的尺寸(面积)的变化量的图。

在图8中，时刻t

检测器15从输入的帧中进行检测对象的检测。在图8中，在时刻t

在图8中，前后帧的检测对象的中心坐标的变化量用矢量(箭头)表示，前后帧的检测对象的面积的变化量用月牙状的区域表示。此外，在前后帧的检测对象的变化量中，有存在于后帧但不存在于前帧的检测区域、和不存在于后帧但存在于前帧的检测区域。

图7所示的变化量计算部75计算矢量所示的检测对象的中心坐标的变化量，或者计算检测对象的面积的变化量即月牙状的区域的面积。变化量判定部76判定由变化量计算部75计算出的检测对象的中心坐标的变化量、或检测对象的面积的变化量是否为阈值以内。

此外，在时刻t

[观察模式的切换的其他实施方式]

在上述实施方式中，将第一观察模式设为了普通光观察模式，作为第二观察模式设为了特殊光观察模式，但本发明不限定于此。例如，可将第一观察模式设为第一特殊光观察模式，将第二观察模式设为第二特殊光观察模式。

图9是表示作为第一观察模式设为使用了BLI用的特殊光的第一特殊光观察模式、作为第二观察模式设为使用了LCI用的特殊光的第二特殊光观察模式时的观察模式的自动切换的概念图。

如图9所示，当从通过第一特殊光观察模式依次拍摄到的第一特殊光图像(BLI)中继续检出检测对象时，利用观察模式切换部72自动进行从第一特殊光观察模式向第二特殊光观察模式的切换，通过第二特殊光观察模式进行第二特殊光图像(LCI)的拍摄。然后，在切换为第二特殊光观察模式之后，当经过了固定时间时，利用观察模式切换部72再次切换为第一特殊光观察模式。

由此，在使用第一特殊光观察模式的状态下，当从依次拍摄到的图像中继续检出检测对象时，自动从第一特殊光观察模式切换为第二特殊光观察模式，因此能够拍摄具有与BLI不同的特征的LCI的检测对象，能够减轻施术者进行的观察模式的切换操作的负担。

[内窥镜装置的操作方法]

图10是表示本发明所涉及的内窥镜装置的操作方法的实施方式的流程图，示出有关图2所示的内窥镜装置10的各部的处理顺序。

在图10中，首先，设定为第一观察模式，由处理器控制部61控制的光源装置12发出白色光作为第一照明光(步骤S10)。内窥镜观测器11依次拍摄由白色光(WL)照明的被摄体的图像(WL图像)(步骤S12)。

检测器15从利用内窥镜观测器11拍摄到的WL图像中检测检测对象(步骤S14)。

继续检出判定部70(图4)判定是否利用检测器15继续检出检测对象(步骤S16)，当判定为未继续检出检测对象时(“No”时)，返回步骤S10，重复从步骤S10到步骤S16的处理。

另一方面，当判定为继续检出检测对象时(“Yes”时)，转移到步骤S18。即，在使用第一观察模式的状态下，当判定为继续检出检测对象时，观察模式切换部72切换为发出第二照明光(特殊光)的第二观察模式。

在步骤S18中，从光源装置12发出特殊光。内窥镜观测器11依次拍摄由特殊光照明的被摄体的图像(特殊光图像)(步骤S20)。

处理器控制部61在切换为第二观察模式之后，判别是否经过了固定时间(步骤S22)，当判别为未经过固定时间时(“No”时)，转移到步骤S18，继续进行特殊光图像的拍摄。

另一方面，当判别为经过了固定时间时(“Yes”时)，转移到步骤S10。由此，从第二观察模式返回第一观察模式，再次进行WL图像的拍摄。

[其他]

在本实施方式中，设为了在从第一观察模式自动切换为第二观察模式之后，在第二观察模式下的拍摄经过了固定时间时、或未继续检出检测对象时，再次切换为第一观察模式，但不限于此，也可以设为在从第一观察模式自动切换为第二观察模式之后，当通过静止画面拍摄按钮的操作进行静止画面的拍摄及记录时，切换为第一观察模式。

另外，也可以设为当从第一观察模式自动切换为第二观察模式时，在自动进行了静止画面的拍摄及记录后，切换为第一观察模式。据此，能够自动切换观察模式，并且也能够自动进行静止画面的拍摄，能够进一步减轻施术者进行的内窥镜观测器的操作。此外，在该情况下，在第二观察模式中，优选通过显示器14等报知已进行了静止画面的拍摄。

另外，在本实施方式中，对与各不相同的照明光(WL、BLI、LCI及NBI用的照明光)对应的观察模式进行了说明，但观察模式并不限定于与这些照明光对应的模式。另外，对于将这些两种以上的观察模式中的哪一者设为第一观察模式和第二观察模式，可以适当地设定。

另外，在本实施方式中，对包括内窥镜观测器11、光源装置12、内窥镜处理器13及检测器15的内窥镜装置10进行了说明，但本发明不限于内窥镜装置10，也可以是由不以内窥镜观测器11为构成要件的内窥镜处理器13构成的装置。在该情况下，内窥镜处理器13、光源装置12及检测器15可以一体化，也可以是独立的结构。

而且，各不相同的照明光不限于从4色的LED发出的光，例如，也可以是以发出中心波长445nm的蓝色激光的蓝色激光二极管和发出中心波长405nm的蓝紫色激光的蓝紫色激光二极管为发光源、并将这些蓝色激光二极管及蓝紫色激光二极管的激光照射到YAG(Yttrium Aluminum Garnet)系的荧光体而发出的光。通过向该荧光体照射蓝色激光，荧光体被激励而发出宽频带的荧光，另外，一部分蓝色激光直接透过荧光体。蓝紫色激光不激励荧光体而透过。因此，通过调整蓝色激光与蓝紫色激光的强度，能够照射WL用的照明光、BLI用的照明光及LCI用的照明光，另外，若仅发出蓝紫色激光，则能够照射中心波长为405nm的观察光。

而且另外，本发明也可应用于具备取代作为彩色摄像元件的摄像元件45而具备没有彩色滤光片的单色的摄像元件的内窥镜观测器(摄像部)的内窥镜装置。在利用单色的摄像元件获取作为彩色的内窥镜图像的普通光图像或特殊光图像时，利用各不相同的颜色的照明光依次照明受检体，对每个照明光拍摄图像(以面顺次方式拍摄)。

例如，通过从光源单元32依次发出不同颜色的照明光(R光、G光、B光或V光)，利用单色的摄像元件以面顺次方式拍摄与R光、G光、B光或V光对应的颜色的R图像、G图像、B图像或V图像。

内窥镜处理器可根据以面顺次方式拍摄到的一个或多个图像(R图像、G图像、B图像或V图像)生成与第一观察模式或第二观察模式相应的图像(例如，WL图像、BLI、LCI、NBI等)。与观察模式相应的WL图像、BLI、LCI或NBI等图像可通过调整以面顺次方式拍摄到的多个图像的合成比率来生成。本发明在以面顺次方式进行拍摄、且根据观察模式生成与观察模式对应的图像的情况下，也包括从光源部发出与观察模式相应的照明光、并由该照明光照射的被摄体的图像。

另外，检测器15不限于CNN，例如也可以是DBN(Deep Belief Network)、SVM(Support Vector Machine)等除CNN以外的机器学习模型，总之只要能够从图像中检测检测对象，就可以是任意检测器。

而且，内窥镜处理器13和/或检测器15的硬件结构是如下所示的各种处理器(processor)。在各种处理器中，包括执行软件(程序)并作为各种控制部发挥功能的通用处理器即CPU(Central Processing Unit)、制造FPGA(Field Programmable Gate Array)等后可变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、以及具有为了执行ASIC(Application Specific Integrated Circuit)等特定处理而专门设计的电路结构的处理器即专用电路等。

一个处理部可以由这些各种处理器中的一个构成，也可以由同种或异种的两个以上的处理器(例如，多个FPGA、或CPU与FPGA的组合)构成。另外，还可以用一个处理器构成多个控制部。作为用一个处理器构成多个控制部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个控制部发挥功能的形态。其次，有诸如以片上系统(System On Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包括多个控制部的系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种控制部。

而且，本发明不限于上述实施方式，当然在不脱离本发明的精神的范围内可以进行各种变形。

符号说明

10 内窥镜装置

11 内窥镜观测器

12 光源装置

12a 光源操作部

13 内窥镜处理器

13a 处理器操作部

14 显示器

15 检测器

1SA 输入层

15B 中间层

15C 输出层

16 插入部

16a 插入部顶端

16b 弯曲部

16c 挠性管部

17 手边操作部

18 通用塞绳

21 弯角钮

22 操作按钮

23 钳子入口

25a、25b 连接器部

31 光源控制部

32 光源单元

32a V-LED

32b B-LED

32c G-LED

32d R-LED

40 光导

42 照明透镜

44 物镜

45 摄像元件

46 内窥镜操作部

47 内窥镜控制部

48 ROM

61、61-1、61-2、61-3 处理器控制部

62 ROM

65 图像处理部

66 显示控制部

67 存储部

70 继续检出判定部

72 观察模式切换部

73、75 变化量计算部

74、76 变化量判定部

S10～S22 步骤。