内窥镜和设置在其中的图像捕获单元

摘要

一种内窥镜和设置在其中的图像捕获单元，所述内窥镜包括观察镜和容纳在观察镜内部的图像捕获单元。图像捕获单元包括：第一和第二棱镜；设置在第一和第二棱镜的斜面之间的反射膜；第一微调滤波器，透射通过第一棱镜的可见光经由反射膜入射到第一微调滤波器上；面向第一微调滤波器的第一图像传感器；第二微调滤波器，透射通过第二棱镜的近红外光经由反射膜入射到第二微调滤波器上；以及面向第二微调滤波器的第二图像传感器。第一棱镜固定到第二棱镜，第一微调滤波器固定到第一棱镜，并且第二微调滤波器固定到第二棱镜。

说明书

技术领域

本公开涉及一种内窥镜和一种设置在内窥镜中的图像捕获单元。

背景技术

专利文献1公开了一种内窥镜，在该内窥镜中包括RGB滤色器和红外光(infraredlight，IR)滤波器的单个图像传感器布置在内窥镜的尖端端部附近。在专利文献1的内窥镜中，利用可见光和激发光交替地照射患者的生物组织，并且因此通过单个图像传感器在时间轴上交替采集可见光图像数据和近红外光图像数据。在这点上，专利文献1的内窥镜具有不能在相同的定时采集可见光图像数据和近红外光图像数据的问题。进一步，在单个图像传感器中提供四种类型的像素，包括红色像素、绿色像素、蓝色像素和IR像素。因此，存在从图像传感器的每个IR像素输出的红外光图像信号中可能出现噪声，并且最终生成的近红外光图像数据的图像质量可能恶化的问题。

同时，专利文献2公开了一种内窥镜，在该内窥镜中四色分离棱镜和四个图像传感器布置在相机头部中。在专利文献2的内窥镜中，从中继透镜发射的光被四色分离棱镜分离成具有红光、绿光、蓝光和近红外光的四种光分量，并且然后四种光分量中的每一种被四个图像传感器当中的相对应的图像传感器接收。专利文献2的内窥镜可以同时采集可见光图像数据和近红外光图像数据。另一方面，由于四个图像传感器布置在远离观察镜(光学管)的尖端端部的位置，所以在与患者的生物组织相关联的可见光和近红外光到达四个图像传感器之前的时段期间，可见光和近红外光(特别是近红外光)的光强度(光量)降低。结果，存在可见光图像数据和近红外光图像数据的图像质量恶化的问题。进一步，由于四色分离棱镜的整体大小较大，因此有必要将四色分离棱镜布置在例如相机头部中。出于这个原因，为了将由患者的生物组织反射的可见光和近红外光从观察镜的尖端端部引导到四色分离棱镜，需要在内窥镜中提供昂贵的光学部件(诸如中继透镜)，并且整个内窥镜的制造成本可能增加。

专利文献1：JP-A-2016-209143

专利文献2：JP-A-2019-000339

发明内容

从上述观点来看，本公开的目的是提供一种内窥镜，该内窥镜能够提高指示患者的生物组织的可见光图像数据和近红外光图像数据的图像质量，同时降低制造成本；以及一种设置在内窥镜中的图像捕获单元。

本公开的一方面可以提供一种内窥镜，该内窥镜包括：要插入患者的身体中的观察镜；以及图像捕获单元，该图像捕获单元容纳在观察镜内部，并且被配置为接收与患者的生物组织相关联的光，以便捕获生物组织的图像。图像捕获单元包括：第一棱镜；面向第一棱镜的第二棱镜；反射膜，该反射膜设置在第一棱镜的斜面和第二棱镜的斜面之间，并且被配置为将与生物组织相关联的光分离成可见光和近红外光；第一微调滤波器，该第一微调滤波器被配置为透射可见区中的光并屏蔽近红外区中的光，透射通过第一棱镜的可见光经由反射膜入射在第一微调滤波器上；第一图像传感器，该第一图像传感器面向第一微调滤波器，以便接收透射通过第一微调滤波器的可见光，并被配置为将所接收的可见光转换成电信号；第二微调滤波器，该第二微调滤波器被配置为透射近红外区中的光并屏蔽可见区中的光，透射通过第二棱镜的近红外光经由反射膜入射在第二微调滤波器上；以及第二图像传感器，该第二图像传感器面向第二微调滤波器，以便接收透射通过第二微调滤波器的近红外光，并且被配置为将所接收的近红外光转换成电信号。第一棱镜固定到第二棱镜，第一微调滤波器固定到第一棱镜，并且第二微调滤波器固定到第二棱镜。

根据上述配置，第一棱镜和第二棱镜彼此固定。进一步，第一微调滤波器固定到第一棱镜，并且第二微调滤波器固定到第二棱镜。利用这种配置，可以减小整个图像捕获单元的大小，并且图像捕获单元可以容纳在观察镜内部。由于图像捕获单元被容纳在观察镜内部，所以与患者的生物组织相关联的可见光和近红外光分别被第一图像传感器和第二图像传感器有效地接收。如上所述，由于指示生物组织的电信号(可见光图像信号)由第一图像传感器采集而不降低SN比(signal-to-noise ratio，信噪比)，所以指示生物组织的可见光图像数据的图像质量得到改善。进一步，由于指示生物组织的电信号(近红外光图像信号)由第二图像传感器采集而不降低SN比，所以指示生物组织的近红外图像数据的图像质量得到改善。由于可见光图像信号和近红外光图像信号是在相同的定时采集的，所以可见光图像数据的每个帧的时间轴和近红外光图像数据的每个帧的时间轴彼此匹配。因此，由于可见光图像数据的帧的时间轴和近红外光图像数据的帧的时间轴匹配，所以通过合成可见光图像数据和近红外光图像数据而生成的合成图像数据的准确性提高。进一步，由于图像捕获单元被容纳在观察镜内部，因此不需要在观察镜上提供昂贵的中继透镜等用于将可见光和近红外光从患者的生物组织引导到图像捕获单元，使得可以降低整个内窥镜的制造成本。因此，可以提供一种能够提高指示患者生物组织的可见光图像数据和近红外光图像数据的图像质量，同时降低制造成本的内窥镜。

在内窥镜中，第一图像传感器可以固定到第一微调滤波器，并且第二图像传感器可以固定到第二微调滤波器。

根据上述配置，可以减小整个图像捕获单元的大小，并且图像捕获单元可以容纳在观察镜内部。在这点上，例如，图像捕获单元可以容纳在具有小内径的观察镜内部。

在内窥镜中，图像捕获单元可以布置在内窥镜的面向生物组织的尖端端面附近。

根据上述配置，由于图像捕获单元布置在内窥镜的面向生物组织的尖端端面附近，所以第一图像传感器和第二图像传感器可以有效地接收与患者的生物组织相关联的可见光和近红外光。结果，通过内窥镜采集的可见光图像数据和近红外光图像数据的图像质量得到改善。

在内窥镜中，图像捕获单元还可以包括：红外光屏蔽膜，该红外光屏蔽膜设置在第一微调滤波器和第一图像传感器之间，并且被配置为透射可见区中的光并屏蔽近红外区中的光；以及可见光屏蔽膜，该可见光屏蔽膜设置在第二微调滤波器和第二图像传感器之间，并且被配置为透射近红外区中的光并且屏蔽可见区中的光。红外光屏蔽膜和可见光屏蔽膜可以被配置为屏蔽发射到生物组织并包括在中心波长为700nm至800nm的波段中的激发光。

根据上述配置，由于发射到生物组织的中心波长为700nm至800nm的波段中的激发光被红外光屏蔽膜和可见光屏蔽膜屏蔽，因此可以适当地防止激发光不利地影响可见光图像数据和近红外光图像数据的图像质量的情况。

在内窥镜中，图像捕获单元可以进一步包括：透镜单元，该透镜单元固定到第一棱镜，以便将与生物组织相关联的光引导朝向第一棱镜。

根据上述配置，由于透镜单元，与生物组织相关联的可见光和近红外光可以有效地入射在第一棱镜上，并且可以确保图像捕获单元的适当视角。进一步，由于在透镜单元和第一棱镜之间没有提供间隙，所以可以适当地防止灰尘等进入间隙，并且可以减少维护内窥镜所需的负担。

在内窥镜中，透镜单元的尖端端部和内窥镜的面向生物组织的尖端端面之间的距离可以在0.5mm至5mm的范围内。

根据上述配置，由于透镜单元的尖端端部和内窥镜的面向生物组织的尖端端面之间的距离在0.5mm至5mm的范围内，所以第一图像传感器和第二图像传感器可以有效地接收由患者的生物组织反射的可见光和近红外光。进一步，可以确保图像捕获单元的适当视角。

内窥镜还可以包括第一支撑构件，该第一支撑构件被配置为支撑透镜单元、第一棱镜和第二棱镜，并且容纳在观察镜内部。第一支撑构件可以固定到透镜单元、第一棱镜和第二棱镜。

根据上述配置，由于透镜单元、第一棱镜和第二棱镜由第一支撑构件支撑和固定，所以整个图像捕获单元的强度可以由第一支撑构件提高。

内窥镜还可以包括第二支撑构件，该第二支撑构件固定到第一支撑构件和观察镜并容纳在观察镜内部。

根据上述配置，固定到图像捕获单元的第一支撑构件经由第二支撑构件固定到观察镜。以这样的方式，图像捕获单元可以通过第一支撑构件和第二支撑构件可靠地固定到观察镜。

在内窥镜中，第一图像传感器可以包括CMOS图像传感器，该CMOS图像传感器被配置为基于形成生物组织的倒像的可见光生成指示生物组织的正常图像的可见光图像信号。

根据上述配置，由于第一图像传感器是被配置为生成指示生物组织的正常图像的可见光图像信号的CMOS图像传感器，所以可以在相同的定时采集可见光图像数据和近红外光图像数据。具体而言，在第一图像传感器是CCD图像传感器的情况下，需要在图像处理电路侧上分离地执行图像反转处理，用于基于指示生物组织的倒像的可见光图像信号生成指示生物组织的正常图像的可见光图像数据。出于这个原因，可能出现其中可见光图像数据的生成定时比近红外光图像数据的生成定时更晚的情况，并且难以在图像处理电路侧上在相同的定时采集可见光图像数据和近红外光图像数据。同时，在其中第一图像传感器是CMOS图像传感器的情况下，由于不需要在图像处理电路侧上执行图像反转处理，所以可以在图像处理电路侧上在相同的定时采集可见光图像数据和近红外光图像数据。

在内窥镜中，第一图像传感器和第二图像传感器可以具有相同的配置。

根据上述配置，由于不需要为第一图像传感器和第二图像传感器准备不同类型的图像传感器，所以可以降低内窥镜的制造成本。例如，包括Bayer图案滤色器阵列的CMOS图像传感器可以应用于第一图像传感器和第二图像传感器两者。

在内窥镜中，第一图像传感器的成像表面和第二图像传感器的成像表面可以彼此垂直。

根据上述配置，由于第一图像传感器的成像表面和第二图像传感器的成像表面彼此垂直，所以可以减小整个图像捕获单元的大小，并且可以将图像捕获单元成功地容纳在观察镜内部。

在内窥镜中，由反射膜、第一微调滤波器和红外光屏蔽膜的组合形成的可见光通道可以具有使得720nm至1050nm的波段中的光的透射率为0.1％或更小的光谱特性，并且由反射膜、第二微调滤波器和可见光屏蔽膜的组合形成的近红外光通道可以具有使得400nm至798nm的波段中的光的透射率为0.5％或更小的光谱特性。

根据上述配置，由反射膜、第一微调滤波器和红外光屏蔽膜的组合形成的可见光通道具有使得720nm至1050nm的波段中的光的透射率为0.1％或更小的光谱特性。因此，可以适当地防止其中被发射到生物组织的700nm至800nm的波段中的激发光和近红外光两者不利地影响可见光图像数据的图像质量的情况。进一步，由反射膜、第二微调滤波器和可见光屏蔽膜的组合形成的近红外光通道具有使得400nm至798nm的波段中的光的透射率为0.5％或更小的光谱特性。因此，可以适当地防止其中被发射到生物组织的700nm至800nm的波段中的激发光和可见光两者不利地影响近红外光图像数据的图像质量的情况。

本公开的一方面可以提供一种图像捕获单元，该图像捕获单元容纳在内窥镜的观察镜内部，并且被配置为接收与患者的生物组织相关联的光，以便捕获生物组织的图像。图像捕获单元包括：第一棱镜；面向第一棱镜的第二棱镜；反射膜，该反射膜设置在第一棱镜的斜面和第二棱镜的斜面之间，并且被配置为将与生物组织相关联的光分离成可见光和近红外光；第一微调滤波器，该第一微调滤波器被配置为透射可见区中的光并屏蔽近红外区中的光，透射通过第一棱镜的可见光经由反射膜入射在第一微调滤波器上；第一图像传感器，该第一图像传感器面向第一微调滤波器，以便接收透射通过第一微调滤波器的可见光，并被配置为将所接收的可见光转换成电信号；第二微调滤波器，该第二微调滤波器被配置为透射近红外区中的光并屏蔽可见区中的光，透射通过第二棱镜的近红外光经由反射膜入射在第二微调滤波器上；以及第二图像传感器，该第二图像传感器面向第二微调滤波器，以便接收透射通过第二微调滤波器的近红外光，并且被配置为将所接收的近红外光转换成电信号。第一棱镜固定到第二棱镜，第一微调滤波器固定到第一棱镜，并且第二微调滤波器固定到第二棱镜。

根据本公开，可以提供一种内窥镜，该内窥镜能够提高指示患者的生物组织的可见光图像数据和近红外光图像数据的图像质量，同时降低制造成本；以及一种设置在内窥镜中的图像捕获单元。

附图说明

图1是示出根据本实施例的内窥镜的分解透视图。

图2是示出根据本实施例的内窥镜的剖视图。

图3是示出可见光反射膜相对于可见光的反射特性和可见光反射膜相对于近红外光的透射特性的示例的图。

图4是示出第一微调滤波器的透射特性和第二微调滤波器的透射特性的示例的图。

图5是示出红外光屏蔽膜的透射特性和可见光屏蔽膜的透射特性的示例的图。

图6是示出可见光通道的光谱透射特性和近红外光通道的光谱透射特性的示例的图。

图7是示出可见光通道上的RGB滤色器的透射特性和近红外光通道上的RGB滤色器的透射特性的图。

图8是示意性示出包括Bayer图案RGB滤色器的CMOS图像传感器的图。

图9是示出内窥镜系统的配置的图。

图10是示出通过合成可见光图像数据和近红外光图像数据获得的合成图像数据的示例的图。

具体实施方式

在下文中，将参考附图描述根据本公开的实施例(下文中，简称为“本实施例”)的内窥镜1。为了便于描述，附图中示出的每个构件的尺寸可以不同于每个构件的实际尺寸。

在本实施例的描述中，为了描述方便，可以适当地提及内窥镜1的X轴、Y轴和Z轴方向。这些方向是为图1中示出的内窥镜1设置的相对方向。限定X轴、Y轴和Z轴中的一个与其余两个轴正交。Z轴对应于内窥镜1的观察镜(scope)3的延伸方向。

首先，下面将参照图1和图2描述根据本实施例的内窥镜1的配置。图1是示出根据本实施例的内窥镜1的分解透视图。图2是示出处于其中图像捕获单元2容纳在观察镜3内部的状态的内窥镜1的剖视图。

如图1和图2所示，内窥镜1包括观察镜3、图像捕获单元2、光导4、第一支撑构件5、第二支撑构件6和透镜覆盖件7。通过将内窥镜1插入到患者的身体中，卫生保健工作者可以实时观察生物组织，诸如患者的体内。内窥镜1可以是例如在腹腔镜外科手术中使用的刚性内窥镜。内窥镜1不限于刚性内窥镜。

可以通过内窥镜1同时采集患者的生物组织的可见光图像数据和近红外光图像数据两者。在这方面，在腹腔镜外科手术中，使用发射近红外光的荧光造影剂(诸如吲哚菁绿(ICG))。当利用激发光(激光)照射ICG时，ICG发射近红外光。作为激发光的激光的中心波长λ例如在700nm至800nm的范围内，更具体地，在785nm至795nm的范围内。在将ICG注射到患者的静脉中之后，卫生保健工作者可以通过视觉识别通过内窥镜1采集的近红外光图像数据来视觉指定ICG停留在其中的患病部分。以这样的方式，诸如外科医生的卫生保健工作者可以对由ICG指定的患病部分进行外科手术治疗(诸如切除患病部分)。

观察镜3是内窥镜1的要被插入患者的身体中的一部分。观察镜3被配置为例如具有空间S的刚性管。观察镜3的外径例如为大约10mm，并且观察镜3的内径例如为大约9mm。图像捕获单元2被配置为接收与患者的生物组织相关联的可见光和近红外光，以便捕获生物组织的图像。具体而言，图像捕获单元2被配置为接收由患者的生物组织反射的可见光和从停留在生物组织中的荧光造影剂(ICG等)发射的近红外光，以便捕获生物组织的图像。在本实施例中，图像捕获单元2容纳在观察镜3的空间S内部。在这点上，图像捕获单元2被缩小到这样的程度，即图像捕获单元2可以容纳在具有大约9mm的内径的观察镜3内部。进一步，图像捕获单元2被设置在观察镜3的尖端端部3a(参见图2)附近。在其中内窥镜1被插入到患者的身体内部中的状态下，观察镜3的尖端端部3a面向患者的生物组织。稍后将描述图像捕获单元2的具体配置。

光导4被配置成将从可见光源(未示出)发射的可见光和从激发光源(未示出)发射的激发光引导朝向患者的生物组织。光导4包括许多光纤，可见光和激发光通过这些光纤传播。在图1中，从简化图示的观点来看，仅示出了光导4的一部分，但是光导4容纳在观察镜3的空间S内部，并且沿着Z轴方向延伸到可见光源和激发光源。从光导4发射的可见光被生物组织反射，并且然后被图像捕获单元2接收。进一步，从光导4发射的激发光被发射到停留在生物组织中的荧光造影剂(诸如ICG)。此后，通过利用激发光的照射，从荧光造影剂发射的近红外光(荧光)被图像捕获单元2接收。

如图2所示，第一支撑构件5容纳在观察镜3的空间S内部，并且被配置为支撑图像捕获单元2。特别地，第一支撑构件5通过粘合剂固定到图像捕获单元2。更具体地，第一支撑构件5被配置为支撑设置在图像捕获单元2中的透镜单元20、第一棱镜21和第二棱镜22，并且通过粘合剂固定到透镜单元20、第一棱镜21和第二棱镜22。以这样的方式，整个图像捕获单元2的强度可以通过第一支撑构件5提高。

第二支撑构件6容纳在观察镜3的空间S内部，并且通过粘合剂固定到第一支撑构件5和观察镜3。第二支撑构件6包括光导4插入到其中的插入孔62、透镜单元20插入到其中的插入孔63以及透镜覆盖件7插入到其中的插入孔64。在其中光导4插入到插入孔62中的状态下，光导4由第二支撑构件6支撑。插入孔63和插入孔64彼此连通。在其中透镜覆盖件7插入到插入孔64中的状态下，透镜覆盖件7由第二支撑构件6固定和支撑。第二支撑构件6的前表面65、透镜覆盖件7的前表面7a和光导4的端面4a形成内窥镜1的面向生物组织的尖端端面1a。

如上所述，由于第一支撑构件5固定到图像捕获单元2，并且第二支撑构件6固定到第一支撑构件5和观察镜3，所以图像捕获单元2可以通过第一支撑构件5和第二支撑构件6可靠地固定到观察镜3。

(图像捕获单元2的具体配置)

接下来，下面将参考图2描述图像捕获单元2的具体配置。如图2所示，图像捕获单元2包括透镜单元20、第一棱镜21、第二棱镜22和可见光反射膜27(反射膜的示例)。图像捕获单元2还包括第一微调滤波器23、红外光屏蔽膜28、第一图像传感器24和第一电路板32。图像捕获单元2还包括第二微调滤波器25、可见光屏蔽膜29、第二图像传感器26和第二电路板33。

透镜单元20被配置为将可见光和近红外光从生物组织引导朝向第一棱镜21。为了加宽图像捕获单元2的图像角度(视角)并且更有效地从生物组织获取可见光和近红外光，优选的是将透镜单元20设置在观察镜3的尖端端部3a附近或者内窥镜1的尖端端面1a附近。在本实施例中，作为透镜单元20的尖端端部的透镜单元20的入射表面20a和内窥镜1的尖端端面1a之间的在Z轴方向上的距离在0.5mm至5mm的范围内。优选地，入射表面20a和尖端端面1a之间的在Z轴方向上的距离在0.5mm至2mm的范围内。更优选入射表面20a和尖端端面1a之间的在Z轴方向上的距离在0.5mm至1mm的范围内。

透镜单元20和第一棱镜21经由第一支撑构件5彼此固定。在这点上，透镜单元20的发射表面20b和第一棱镜21的入射表面21b彼此接触，并且在透镜单元20和第一棱镜21之间没有间隙。因此，可以适当地防止灰尘等进入间隙，并且可以减少内窥镜1的维护所需的负担。

第一棱镜21和第二棱镜22被配置为直角棱镜。第一棱镜21和第二棱镜22由例如透明玻璃材料或透明塑料材料形成。第一棱镜21和第二棱镜22面向彼此，并且通过粘合剂彼此固定。特别地，第一棱镜21和第二棱镜22在其中第一棱镜21的斜面21a和第二棱镜22的斜面22a面向彼此的状态下彼此固定。因此，由于彼此固定的第一棱镜21和第二棱镜22的形状是长方体形状，所以可以减小整个图像捕获单元2的大小，并且图像捕获单元2可以容纳在观察镜3内部。

可见光反射膜27(反射膜的示例)设置在第一棱镜21的斜面21a和第二棱镜22的斜面22a之间。在本实施例中，在可见光反射膜27形成在斜面21a和斜面22a中的任何一个上之后，第一棱镜21和第二棱镜22经由粘合剂彼此固定。可见光反射膜27被配置为分离来自生物组织的可见光和近红外光。更具体地，可见光反射膜27被配置为朝向第一微调滤波器23反射从生物组织发射并透射通过透镜单元20和第一棱镜21的可见光。进一步，可见光反射膜27被配置为朝向第二微调滤波器25透射从生物组织发射并透射通过透镜单元20和第一棱镜21的近红外光。

由于第一棱镜21的斜面21a和第二棱镜22的斜面22a相对于Z轴方向以45度倾斜，所以可见光反射膜27也相对于Z轴方向以45度倾斜。因此，可见光反射膜27反射可见光，使得可见光的传播方向改变90度，并且透射近红外光使得近红外光的传播方向不改变。如上所述，可见光的传播方向被可见光反射膜27从Z轴方向转换到Y轴方向，而在Z轴方向上行进的近红外光的传播方向不被可见光反射膜27改变。

可见光反射膜27是由通过交替地层叠具有高折射率的介电薄膜(高折射率层)和具有低折射率的介电薄膜(低折射率层)而形成的介电多层膜制成的分色镜。作为高折射率层的材料，例如，可以使用TiO

图3示出了可见光反射膜27相对于可见光的反射特性和可见光反射膜27相对于近红外光的透射特性的示例。如图3所示，可见光反射膜27反射可见光，使得相对于400nm至650nm的波段中的可见光的反射率为90％或更高。另一方面，可见光反射膜27几乎不反射800nm至1050nm的波段中的近红外光。换句话说，可见光反射膜27透射可见光，使得相对于400nm至650nm的波段中的可见光的透射率为10％或更低。进一步，可见光反射膜27透射800nm至1050nm的波段中的大部分近红外光。

第一微调滤波器23通过粘合剂固定到第一棱镜21。第一微调滤波器23的入射表面23b和第一棱镜21的发射表面21c通过粘合剂彼此接触。第一微调滤波器23被配置为透射可见区中的光(可见光)并屏蔽近红外区中的光(近红外光)。由可见光反射膜27反射并透射通过第一棱镜21的光入射在第一微调滤波器23上。第一微调滤波器23透射入射在第一微调滤波器23上的入射光中的可见光分量，并且屏蔽入射光中的近红外光分量。图4示出了第一微调滤波器23的透射特性的示例。如图4所示，第一微调滤波器23相对于400nm至600nm的波段中的可见光的透射率为90％或更高，而第一微调滤波器23相对于800nm或更高的波长下的近红外光的透射率为20％或更低。第一微调滤波器23由屏蔽红外光的彩色玻璃形成。

红外光屏蔽膜28在Y轴方向上设置在第一微调滤波器23和第一图像传感器24之间。在本实施例中，在红外光屏蔽膜28形成在第一微调滤波器23的发射表面23a上之后，第一微调滤波器23和第一图像传感器24经由粘合剂彼此固定。红外光屏蔽膜28被配置为透射可见区中的光(可见光)并且屏蔽近红外区中的光(近红外光)和发射到生物组织并且包括在具有700nm至800nm的中心波长的波段中的激发光。红外光屏蔽膜28透射入射光中的可见光分量，入射光透射穿过第一微调滤波器23并入射在红外光屏蔽膜28上，并屏蔽入射光中的近红外光分量。图5示出了红外光屏蔽膜28的透射特性的示例。如图5所示，红外光屏蔽膜28相对于400nm至650nm的波段中的可见光的透射率为95％或更高，而相对于700nm或更高波长的光的透射率为1％或更低。

红外光屏蔽膜28是由通过交替层叠高折射率层和低折射率层形成的介电多层膜制成的分色镜。作为高折射率层的材料，例如，可以使用TiO

因此，由患者的生物组织反射的可见光通过由可见光反射膜27、第一微调滤波器23和红外光屏蔽膜28的组合形成的可见光通道入射在第一图像传感器24上。图6示出了由可见光反射膜27、第一微调滤波器23和红外光屏蔽膜28的组合形成的可见光通道的光谱透射特性的示例。如图6所示，可见光通道相对于400nm至600nm的波段中的可见光的透射率为80％或更高，而720nm至1050nm的波段中的光的透射率为0.1％或更低。在这点上，可见光通道优选地具有光谱特性，使得720nm至1050nm的波段中的光的透射率为0.01％或更小。

第一图像传感器24安装在第一电路板32上，并且被布置成使得其成像表面在Y轴方向上面向第一微调滤波器23和红外光屏蔽膜28。第一图像传感器24通过粘合剂固定到第一微调滤波器23，其中红外光屏蔽膜28插入其间。第一图像传感器24被配置成接收透射通过由可见光反射膜27、第一微调滤波器23和红外光屏蔽膜28的组合形成的可见光通道的可见光，并将所接收的可见光转换成电信号。

第一图像传感器24是互补金属氧化物半导体(complementary metal oxidesemiconductor，CMOS)图像传感器或电荷耦合器件(couple charged device，CCD)图像传感器。在这点上，由于入射在图像捕获单元2上的可见光在被可见光反射膜27反射一次之后入射在第一图像传感器24上，因此入射到第一图像传感器24上的生物组织的图像是倒像(inverted image)。另一方面，第一图像传感器24优选地是CMOS图像传感器，因为CMOS图像传感器可以基于形成生物组织的倒像的可见光生成指示生物组织的正常图像的可见光图像信号。在这点上，通过调节读取累积在CMOS图像传感器的光电二极管中的电荷的顺序，可以生成指示生物组织的正常图像的可见光图像信号。

如图8所示，第一图像传感器24包括Bayer图案滤色器阵列和具有排列成矩阵的多个光电二极管的光电二极管阵列。滤色器阵列包括多个红色滤波器、多个绿色滤波器和多个蓝色滤波器。在Bayer图案滤色器阵列中，绿色滤波器的数量是红色滤波器的数量和蓝色滤波器的数量的两倍。包括在光电二极管阵列中的每个光电二极管面向多个滤色器(红色滤波器、绿色滤波器和蓝色滤波器)中的一个。因此，第一图像传感器24将所接收的可见光转换成电信号，以生成指示生物组织的图像的可见光图像信号(原始数据)，并且然后经由电线35将所生成的可见光图像信号传输到可见光图像数据生成电路41(参见图9)。此后，可见光图像数据生成电路41通过对可见光图像信号(原始数据)执行图像数据转换处理(原始数据->RGB数据)来生成可见光图像数据。在下面的描述中，滤色器阵列中的红色滤波器、绿色滤波器和蓝色滤波器可以统称为“RGB滤色器”。

图7示出了可见光通道上的RGB滤色器的透射特性。来自生物组织的可见光穿过图像捕获单元2的可见光通道，并且然后穿过第一图像传感器24的RGB滤色器。此后，穿过RGB滤色器的可见光被光电二极管接收。如图7所示，关于可见光通道上红色滤波器的透射特性，720nm或更大的波长下的光的透射率为0.1％或更小。关于可见光通道上的绿色滤波器的透射特性，720nm或更大的波长下的光的透射率为0.1％或更小。关于可见光通道上的蓝色滤波器的透射特性，720nm或更大的波长下的光的透射率为0.1％或更小。

以这样的方式，中心波长为700nm至800nm的激发光(更具体地，中心波长为785nm至795nm的激发激光)被发射到生物组织，并且近红外光被适当地防止穿过RGB滤色器。结果，适当地防止激发光和近红外光被第一图像传感器24的光电二极管接收，指示生物组织的可见光图像数据的准确性或可靠性得到提高。

第二微调滤波器25通过粘合剂固定到第二棱镜22。第二微调滤波器25的入射表面25b和第二棱镜22的发射表面22b经由粘合剂彼此接触。第二微调滤波器25被配置为透射近红外区中的光(近红外光)并屏蔽可见区中的光(可见光)。透射通过可见光反射膜27和第二棱镜22的光入射在第二微调滤波器25上。第二微调滤波器25透射入射在第二微调滤波器25上的入射光中的近红外光分量，并且屏蔽入射光中的可见光分量。图4示出了第二微调滤波器25的透射特性的示例。如图4所示，第二微调滤波器25相对于波长为850nm或更大的近红外光的透射率为90％或更大，而第二微调滤波器25相对于400nm至750nm的波段中的可见光的透射率为1％或更小。第二微调滤波器25由屏蔽可见光的彩色玻璃形成。

可见光屏蔽膜29在Z轴方向上设置在第二微调滤波器25和第二图像传感器26之间。在本实施例中，在可见光屏蔽膜29形成在第二微调滤波器25的发射表面25a上之后，第二微调滤波器25和第二图像传感器26经由粘合剂彼此固定。可见光屏蔽膜29被配置为透射近红外区中的光(近红外光)并且屏蔽可见区中的光(可见光)和发射到生物组织并且包括在具有700nm至800nm的中心波长的波段中的激发光。可见光屏蔽膜29透射入射光中的近红外光分量，入射光透射通过第二微调滤波器25并入射在可见光屏蔽膜29上，并屏蔽入射光中的可见光分量。图5示出了可见光屏蔽膜29的透射特性的示例。如图5所示，可见光屏蔽膜29相对于波长为850nm或更大的近红外光的透射率为95％或更大，而可见光屏蔽膜29相对于700nm至800nm的波段中的光的透射率为1％或更小。

可见光屏蔽膜29是由通过交替层叠高折射率层和低折射率层形成的介电多层膜制成的分色镜。作为高折射率层的材料，例如，可以使用TiO

因此，从生物组织中存在的荧光造影剂发射的近红外光通过由可见光反射膜27、第二微调滤波器25和可见光屏蔽膜29的组合形成的近红外光通道入射在第二图像传感器26上。图6示出了由可见光反射膜27、第二微调滤波器25和可见光屏蔽膜29的组合形成的近红外光通道的光谱透射特性的示例。如图6所示，近红外光通道相对于波长为870nm或更大的近红外光的透射率为90％或更大，并且近红外光通道相对于400nm至798nm的波段中的光的透射率为0.5％或更小。在这点上，近红外光通道优选地具有光谱特性，使得400nm至798nm的波段中的光的透射率为0.01％或更小。

第二图像传感器26安装在第二电路板33上，并且被布置成使得其成像表面在Z轴方向上面向第二微调滤波器25和可见光屏蔽膜29。第二图像传感器26通过粘合剂固定到第二微调滤波器25，其中可见光屏蔽膜29插入其间。第二图像传感器26的成像表面和第一图像传感器24的成像表面彼此垂直。第二图像传感器26被配置成接收透射通过由可见光反射膜27、第二微调滤波器25和可见光屏蔽膜29的组合形成的近红外光通道的近红外光，并将所接收的近红外光转换成电信号。

第二图像传感器26将所接收的近红外光转换成电信号，以生成指示生物组织的图像的近红外光图像信号，并且然后经由电线36将所生成的近红外光图像信号传输到近红外光图像数据生成电路42(参见图9)。此后，近红外光图像数据生成电路42通过对近红外光图像信号执行预定处理来生成近红外光图像数据。

第二图像传感器26是CMOS图像传感器或CCD图像传感器。在这点上，从内窥镜1的制造成本的角度来看，第二图像传感器26和第一图像传感器24优选地具有相同的配置。在这种情况下，不需要为第一图像传感器24和第二图像传感器26准备不同类型的图像传感器，可以降低内窥镜1的制造成本。例如，类似于第一图像传感器24，第二图像传感器26可以包括Bayer图案滤色器阵列和具有排列成矩阵的多个光电二极管的光电二极管阵列。在以下描述中，假设第二图像传感器26包括Bayer图案滤色器阵列。

图7示出了近红外光通道上的RGB滤色器的透射特性。从生物组织上存在的荧光造影剂发射的近红外光穿过图像捕获单元2的近红外光通道，并且然后穿过第二图像传感器26的RGB滤色器。此后，穿过RGB滤色器的近红外光被光电二极管接收。如图7所示，关于近红外光通道上的蓝色滤波器的透射特性，400nm至798nm的波段中的光的透射率为0.5％或更低，而850nm的波长附近的光的透射率最高。类似地，关于近红外光通道上的绿色滤波器的透射特性，400nm至798nm的波段中的光的透射率为0.5％或更低，而850nm的波长附近的光的透射率最高。类似地，关于近红外光通道上的红色滤波器的透射特性，400nm至798nm的波段中的光的透射率为0.5％或更低，而850nm的波长附近的光的透射率最高。进一步，如图7所示，根据从荧光造影剂输出的荧光(近红外光)的光谱特性，近红外光的中心波长存在于830nm的波长附近。

因此，即使第二图像传感器26包括Bayer图案滤色器阵列，从荧光造影剂输出的近红外光也可以被转换成电信号，并且适当地防止可见光和激发光被第二图像传感器26的光电二极管接收。因此，内窥镜1的制造成本降低，并且指示生物组织的近红外光图像数据的准确性或可靠性提高。

此外，在专利文献1中公开的单个图像传感器中，存在四种类型的像素，包括蓝色像素、绿色像素、红色像素和红外像素。因此，存在IR像素的像素值低、从图像传感器的单个IR像素输出的近红外光图像信号中可能出现噪声以及近红外光图像数据的图像质量可能恶化的问题。同时，在第二图像传感器26中，因为所有像素都是IR像素，所以每个IR像素的像素值可以通过H/V像素相加处理(其是将水平(H)方向和竖直(V)方向上相邻的像素的像素值相加的处理)来增加。以这样的方式，在第二图像传感器26中，通过H/V像素相加处理增加每个IR像素的像素值，使得在从第二图像传感器26输出的近红外光图像信号中不太可能出现噪声，并且指示生物组织的近红外光图像数据的准确性或可靠性提高。

接下来，下面将参照图9描述内窥镜系统100。图9是示出内窥镜系统100的配置的图。如图9所示，内窥镜系统100包括内窥镜1，该内窥镜包括图像捕获单元2、图像处理电路40和显示单元50。在图9中，为了描述方便，仅示出了内窥镜1和图像处理电路40的配置的一部分。图像处理电路40包括可见光图像数据生成电路41、近红外光图像数据生成电路42、合成图像数据生成电路43和输出接口44。

图像处理电路40被配置为基于从图像捕获单元2传输的图像信号(数字信号)生成指示生物组织的图像数据，并且然后将所生成的图像数据传输到显示单元50。图像处理电路40以预定的帧速率(例如，60fps)生成图像数据。图像数据的帧速率没有特别限制。在本实施例中，图像处理电路40可以在相同的定时和以相同的帧速率生成可见光图像数据和近红外光图像数据。

图像处理电路40可以包括：包含一个或多个处理器和一个或多个存储器的微型计算机；和包含无源元件和有源元件(例如晶体管)的电子电路。处理器例如是中央处理单元(central processing unit，CPU)、微处理单元(micro processing unit，MPU)和图形处理单元(graphics processing unit，GPU)中的至少一个。存储器包括只读存储器(read onlymemory，ROM)和随机存取存储器(random access memory，RAM)。除了微型计算机之外或代替微型计算机，图像处理电路40可以是非冯·诺依曼计算机，诸如专用集成电路(application specific integrated circuit，ASIC)或现场可编程门阵列(field-programmable gate array，FPGA)。

如上所述，可见光图像数据生成电路41被配置为从第一图像传感器24接收可见光图像信号(RAW数据)，并且然后基于可见光图像信号生成可见光图像数据。可见光图像数据生成电路41将可见光图像数据传输到合成图像数据生成电路43和输出接口44。

近红外光图像数据生成电路42被配置为从第二图像传感器26接收近红外光图像信号，并且然后基于近红外光图像信号生成近红外光图像数据。近红外光图像数据生成电路42将近红外光图像数据传输到合成图像数据生成电路43和输出接口44。

合成图像数据生成电路43被配置为通过合成接收到的可见光图像数据和近红外光图像数据来生成合成图像数据。合成图像数据生成电路43可以在利用预定颜色(荧光颜色)着色近红外光图像数据之后生成合成图像数据。由于近红外光图像数据示出了其中存在诸如ICG的荧光造影剂的生物组织，所以当近红外光图像数据被利用预定颜色着色时，其中存在荧光造影剂的生物组织(患病部分)被突出显示并被显示在合成图像数据上(例如，参见图10)。因此，诸如外科医生的卫生保健工作者可以通过视觉识别显示在显示单元50上的合成图像数据来清楚地抓住患病部分。

可见光图像数据、近红外光图像数据和合成图像数据通过输出接口44传输到显示单元50。显示单元50被配置为显示可见光图像数据、近红外光图像数据和合成图像数据中的至少一个。传输到显示单元50的图像数据可以根据卫生保健工作者对内窥镜系统100的操作而适当改变。显示单元50可以是液晶显示器或有机EL显示器，或者可以是安装在卫生保健工作者的头部上的透射式或非透射式头戴式显示器。

根据本实施例，作为直角棱镜的第一棱镜21和第二棱镜22彼此固定。第一微调滤波器23固定到第一棱镜21和第一图像传感器24，并且第二微调滤波器25固定到第二棱镜22和第二图像传感器26。进一步，第一图像传感器24的成像表面和第二图像传感器26的成像表面彼此垂直。利用这种配置，可以减小整个图像捕获单元2的大小，并且图像捕获单元2可以容纳在具有小内径的观察镜3的空间S内部。由于图像捕获单元2容纳在内窥镜1的尖端端面1a附近的空间S内部，所以与患者的生物组织相关联的可见光和近红外光分别被第一图像传感器24和第二图像传感器26有效地接收。以这样的方式，由于指示生物组织的可见光图像信号由第一图像传感器24采集而不降低SN比(信噪比)，所以指示生物组织的可见光图像数据的图像质量得到改善。进一步，由于指示生物组织的近红外光图像信号由第二图像传感器26采集，所以指示生物组织的近红外光图像数据的图像质量得到改善。由于可见光图像信号和近红外光图像信号是在相同的定时采集的，所以可见光图像数据的每个帧的时间轴和近红外光图像数据的每个帧的时间轴彼此匹配。因此，由于可见光图像数据的帧的时间轴和近红外光图像数据的帧的时间轴匹配，所以通过合成可见光图像数据和近红外光图像数据而生成的合成图像数据的准确性提高。进一步，由于图像捕获单元2容纳在观察镜3的空间S内部，因此不需要在观察镜3上提供昂贵的中继透镜等用于将可见光和近红外光从患者的生物组织引导到图像捕获单元2，使得可以降低整个内窥镜1的制造成本。因此，可以提供能够提高指示患者生物组织的可见光图像数据、近红外光图像数据和合成图像数据的图像质量，同时降低制造成本的内窥镜1。

根据本实施例，在第一图像传感器24是被配置为生成指示生物组织的正常图像的可见光图像信号的CMOS图像传感器的情况下，可以在相同的定时采集可见光图像数据和近红外光图像数据。具体而言，在第一图像传感器24是CCD图像传感器的情况下，需要在图像处理电路40侧上分离地执行图像反转处理，用于基于指示生物组织的倒像的可见光图像信号生成指示生物组织的正常图像的可见光图像数据。出于这个原因，可能出现其中可见光图像数据的生成定时比近红外光图像数据的生成定时更晚的情况，并且难以在图像处理电路侧40上在相同的定时采集可见光图像数据和近红外光图像数据。同时，在其中第一图像传感器24是CMOS图像传感器的情况下，由于不需要在图像处理电路40侧上执行图像反转处理，所以可以在图像处理电路侧上在相同的定时采集可见光图像数据和近红外光图像数据。

根据本实施例，由可见光反射膜27、第一微调滤波器23和红外光屏蔽膜28的组合形成的可见光通道具有使得720nm至1050nm的波段中的光的透射率为0.1％或更小的光谱特性。因此，可以适当地防止其中被发射到生物组织的700nm至800nm的波段中的激发光和近红外光两者不利地影响可见光图像数据的准确性或可靠性的情况。进一步，由可见光反射膜27、第二微调滤波器25和可见光屏蔽膜29的组合形成的近红外光通道具有使得400nm至798nm的波段中的光的透射率为0.5％或更小的光谱特性。因此，可以适当地防止其中向生物组织发射的激发光和可见光不利地影响近红外光图像数据的准确性或可靠性的情况。进一步，在第二图像传感器26中，每个IR像素的像素值通过H/V像素相加处理而增加，使得在从第二图像传感器26输出的近红外光图像信号中不太可能出现噪声，并且近红外光图像数据的准确性或可靠性提高。

虽然上面已经描述了本发明的实施例，但是不用说，本发明的技术范围不应该被解释为局限于本实施例的描述。本领域技术人员应该理解，本实施例仅仅是示例，并且可以在权利要求中描述的本发明的范围内进行实施例的各种修改。本发明的技术范围应当基于权利要求中描述的本发明的范围及其等同范围来确定。

在本实施例中，可见光反射膜27已经被描述为分离来自生物组织的可见光和近红外光的反射膜的示例，但是反射膜不限于可见光反射膜。例如，分离可见光和近红外光的反射膜可以是被配置为透射可见光并反射近红外光的近红外光反射膜。在这种情况下，第一棱镜21的位置和第二棱镜22的位置彼此互换，并且其上形成红外光屏蔽膜28的第一微调滤波器23的位置和其上形成可见光屏蔽膜29的第二微调滤波器25的位置彼此互换。进一步，第一图像传感器24的位置和第二图像传感器26的位置彼此互换。类似地，近红外光反射膜也是由通过交替地层叠具有高折射率的介电薄膜(高折射率层)和具有低折射率的介电薄膜(低折射率层)的介电薄膜而形成的介电多层膜制成的分色镜。

在本实施例中，第一棱镜21和第二棱镜22被配置为直角棱镜，但是第一棱镜21或第二棱镜22的形状不限于直角三棱镜。

第一图像传感器24和第二图像传感器26可以具有彼此不同的配置。例如，第二图像传感器26可以不包括滤色器阵列。在这种情况下，由于布置在第二图像传感器26前面的近红外光通道在透射近红外光的同时屏蔽可见光和激发光，因此只有近红外光能够入射在第二图像传感器26的光电二极管上。