首页> 中国专利> 自动曝光控制装置、控制装置、内窥镜装置和自动曝光控制方法

自动曝光控制装置、控制装置、内窥镜装置和自动曝光控制方法

摘要

自动曝光控制装置包括:图像取得部,其取得由接受照射被摄体(10)的光的反射光的摄像光学系统进行摄像而得到的、包含被摄体的像的图像;视场角信息取得部(310),其取得表示对该图像进行摄像时的摄像光学系统的视场角的视场角信息;以及自动曝光控制部(320),其根据所取得的视场角信息进行自动曝光的控制。

著录项

  • 公开/公告号CN103764013A

    专利类型发明专利

  • 公开/公告日2014-04-30

    原文格式PDF

  • 申请/专利权人 奥林巴斯株式会社;

    申请/专利号CN201280041426.0

  • 发明设计人 栗山直也;

    申请日2012-05-28

  • 分类号A61B1/04(20060101);A61B1/00(20060101);A61B1/06(20060101);G02B23/24(20060101);G02B23/26(20060101);

  • 代理机构11127 北京三友知识产权代理有限公司;

  • 代理人李辉;朱丽娟

  • 地址 日本东京都

  • 入库时间 2024-02-19 23:58:24

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-05-14

    未缴年费专利权终止 IPC(主分类):A61B1/04 授权公告日:20160504 终止日期:20180528 申请日:20120528

    专利权的终止

  • 2016-05-04

    授权

    授权

  • 2014-09-17

    实质审查的生效 IPC(主分类):A61B1/04 申请日:20120528

    实质审查的生效

  • 2014-04-30

    公开

    公开

说明书

技术领域

本发明涉及自动曝光控制装置、控制装置、内窥镜装置和自动曝光控制方法等。

背景技术

以往,广泛使用对体腔内的组织照射照明光、并使用根据它们的反射光生成的图 像信号进行诊断和处置的内窥镜装置。在作为摄像装置的内窥镜装置中,在插入部的 前端设有CCD或CMOS等摄像元件、以及以光学方式在摄像元件中形成被摄体像的 物镜。内窥镜的物镜一般使用宽视野的物镜,以防止病变部的漏看。例如,在通常的 内窥镜中,视野角为140°左右。

并且,在专利文献1中公开了如下物镜:为了观察被摄体的更宽的范围,能够在 观察前方的被摄体的同时进行侧方的被摄体的观察。

为了使用这些摄像光学系统取得适于观察的明亮度的被摄体像,在内窥镜装置中 搭载有自动调节照明光量的功能(即调光功能)。

现有技术文献

专利文献

专利文献1:日本特开2010-169792号公报

专利文献2:日本特开2007-14695号公报

发明内容

发明要解决的课题

进而,假设将上述能够观察前方和侧方的被摄体的物镜应用于具有调光功能的内 窥镜装置。该情况下,上述调光功能是假定了具有通常视场角的内窥镜来设计的,根 据前方视野中的像素值发挥功能。因此,存在在侧方视野中无法适当控制光量、无法 充分活用折角的宽视野的课题。

例如,在专利文献2中公开了根据所连接的内窥镜来切换手动/自动调光的手法。 但是,在该手法中,由于仅切换手动调光和自动调光,所以,未能解决在侧方视野中 无法适当控制光量的课题。

根据本发明的若干个方式,能够提供能够适当地对视野范围进行曝光控制的自动 曝光控制装置、控制装置、内窥镜装置和自动曝光控制方法等。

用于解决课题的手段

本发明的一个方式涉及一种自动曝光控制装置,该自动曝光控制装置包括:图像 取得部,其取得由接受照射被摄体的光的反射光的摄像光学系统形成的、包含所述被 摄体的像的图像;视场角信息取得部,其取得表示对所述图像进行摄像时的所述摄像 光学系统的视场角的视场角信息;以及自动曝光控制部,其根据所取得的所述视场角 信息进行自动曝光的控制。

根据本发明的一个方式,取得由摄像光学系统获得的摄像图像,取得对该摄像图 像进行摄像时的视场角信息,根据该视场角信息进行自动曝光的控制。由此,能够适 当地对视野范围进行曝光控制。例如,在使用广角的摄像光学系统的情况下,也能够 适当地对该广角的视野范围进行曝光控制。

本发明的另一个方式涉及一种内窥镜装置,该内窥镜装置包括:光源部,其射出 用于照射被摄体的光;摄像部,其通过接受照射所述被摄体的所述光的反射光的摄像 光学系统,进行包含所述被摄体的像的图像的摄像;视场角信息取得部,其取得表示 对所述图像进行摄像时的所述摄像光学系统的视场角的视场角信息;以及自动曝光控 制部,其根据所取得的所述视场角信息进行自动曝光的控制。

并且,本发明的又一个方式对应于一种自动曝光控制方法,通过利用接受照射被 摄体的光的反射光的摄像光学系统进行的摄像,取得包含所述被摄体的像的图像,取 得表示对所述图像进行摄像时的所述摄像光学系统的视场角的视场角信息,根据所取 得的所述视场角信息进行自动曝光的控制。

附图说明

图1是物镜的详细结构例。

图2的(A)~图2的(D)是通过现有内窥镜和宽视野内窥镜得到的图像的差 异的说明图。

图3是第1实施方式的内窥镜装置的结构例。

图4是拜耳排列中的像素排列的例子。

图5是自动曝光控制部的详细结构例。

图6是自动曝光区域的设定例。

图7是视场角系数的设定例。

图8是广角的镜体中的自动曝光权重的设定例。

图9是通常的视场角的镜体中的自动曝光权重的变形设定例。

图10是通常的视场角的镜体中的自动曝光权重的第2变形设定例。

图11是自动曝光权重的变形设定例的说明图。

图12是自动曝光控制部的第1变形结构例。

图13是分割自动曝光区域的说明图。

图14是自动曝光控制部的第2变形结构例。

图15是图像处理部的详细结构例。

图16是第2实施方式的内窥镜装置的结构例。

图17是最大自动曝光区域、自动曝光区域的设定例。

图18是放大视场角系数的设定例。

具体实施方式

下面,对本实施方式进行说明。另外,以下说明的本实施方式并不是不当限定权 利要求书所记载的本发明的内容。并且,本实施方式中说明的结构未必全部都是本发 明的必要技术特征。

1.本实施方式的概要

首先,对本实施方式的概要进行说明。图1示出本实施方式的物镜光学系统的结 构例。如图1所示,来自前方视野的光线LC1从面SF1入射,来自侧方视野的光线 LC2从面SF3入射。这些光线LC1、LC2被面SF1、SF2折射或反射而被引导至摄像 光学系统,从而能够对前方视野和侧方视野进行观察。通过使用这种物镜光学系统, 能够提供可在比现有内窥镜宽的范围内对体腔内进行观察的内窥镜装置。

使用图2的(A)~图2的(D)对通过这种能够观察更宽范围的宽视野内窥镜 和现有内窥镜得到的图像的差异进行说明。

如图2的(A)所示,在管腔状的脏器中筛查病变部的情况下,由于一边插入或 拔出内窥镜插入部一边进行观察,所以,位于脏器壁面中的病变部被褶皱等凹凸遮挡。 因此,如图2的(B)所示,在通常的内窥镜装置中,无法从图像中确认病变部,会 漏看病变部。

另一方面,如图2的(C)所示,在使用宽视野内窥镜进行筛查的情况下,能够 通过侧方视野来观察位于褶皱背面的病变部。因此,如图2的(D)所示,能够从图 像中确认病变部。

另外,在内窥镜装置中具有调光功能,以调整图像的明亮度并提高视觉辨认性。 现有的调光功能是假定了具有通常视场角(例如140度)的内窥镜来设计的,根据前 方视野中的像素值发挥功能。因此,在使用上述物镜光学系统的内窥镜中,有时在侧 方视野中无法得到观察所需要的充分光量,无法充分活用折角的宽视野。并且,在筛 查时等,由于在侧方视野中内窥镜与被摄体的距离较近,所以,在侧方视野中图像高 光泛白,可能漏看病变部。

另外,在上述专利文献2中公开了根据所连接的内窥镜来切换手动/自动调光的 技术。但是,在该手法中,由于无法按照每个内窥镜来切换作为调光对象的视野,所 以,未能解决对侧方视野进行适当调光的课题。并且,作为其他解决策略,考虑用户 根据观察中使用的内窥镜手动判断调光对象并进行切换的结构。但是,在该手法中, 操作烦杂,用户的负担增加。

因此,在本实施方式中,如图3所示,例如根据存储器240中存储的镜体ID等 取得视场角信息。然后,如图6所示,根据该视场角信息设定自动曝光区域,将该区 域作为曝光控制对象的区域进行自动曝光的控制。由此,即使是能够观察侧方视野的 宽视野内窥镜,也能够将该侧方视野的图像控制为适当明亮度。并且,由于能够根据 视场角信息自动进行曝光控制,所以能够减轻用户的操作负担。

2.第1实施方式

2.1.内窥镜装置

接着,对本实施方式进行详细说明。图3示出第1实施方式的内窥镜装置的结构 例。该内窥镜装置包括光源部100、插入部200、控制装置300(信号处理部)、显示 部400、外部I/F部500。

光源部100包括白色光源110和会聚透镜120。白色光源110发出白色光。会聚 透镜120将由该白色光源110发出的光会聚到后述的光导纤维210。

插入部200形成为细长且能够弯曲,以使得例如能够插入体腔内。插入部200 包括光导纤维210、照明透镜220、摄像部230、存储器240。摄像部230包括物镜 231、摄像元件232、A/D转换部233。

光导纤维210将由光源部100会聚后的光引导到插入部200的前端。照明透镜 220使通过该光导纤维210引导到前端的光扩散并对观察对象(被摄体10)进行照射。 物镜231将从观察对象返回的反射光在摄像元件232中成像。摄像元件232将基于检 测到的反射光的模拟信号输出到A/D转换部233。A/D转换部233根据从后述控制部 340输出的控制信号,将从摄像元件232输出的模拟信号转换为数字信号,将转换后 的图像作为内窥镜图像输出到控制装置300。存储器240保持对插入部200赋予的镜 体ID。存储器240与后述的视场角信息取得部310连接。

另外,下面,为了进行说明,将插入部200适当表述为镜体。在内窥镜诊断中, 根据上部消化道或下部消化道这样的诊断部位而使用各种类型的镜体。对各镜体赋予 能够确定作为对象的诊断部位、变焦功能等功能的识别编号,在本说明书中将该识别 编号表述为镜体ID。

这里,摄像元件232具有原色拜耳排列,由摄像元件232得到的内窥镜图像是原 色拜耳图像。如图4所示,原色拜耳图像是各像素具有RGB中的任意一方的信号的 图像,是以方格状排列该RGB的像素的图像。

控制装置300包括视场角信息取得部310、自动曝光控制部320、图像处理部330、 控制部340。由摄像部230取得的内窥镜图像被输出到自动曝光控制部320和图像处 理部330。视场角信息取得部310与自动曝光控制部320连接。自动曝光控制部320 与白色光源110连接,对该白色光源110进行控制。图像处理部330与显示部400连 接。控制部340与摄像部230、视场角信息取得部310、图像处理部330、显示部400、 外部I/F部500双向连接,对这些结构要素进行相互控制。

视场角信息取得部310根据存储器240中保持的镜体ID取得镜体的视场角信息。 这里,视场角信息是表示与该镜体ID对应的镜体的视场角的信息,是镜体的摄像光 学系统所具有的最大视场角。所取得的视场角信息被输出到自动曝光控制部320。

自动曝光控制部320根据由视场角信息取得部310取得的视场角信息对白色光源 110发出的白色光的光量进行控制,以使得由摄像部230取得的内窥镜图像的像素值 成为适于观察的值。另外,下面,将对白色光源110发出的白色光的光量进行控制表 述为调光控制(或调光)。

图像处理部330对由摄像部230进行摄像而得到的内窥镜图像进行图像处理。如 后所述,图像处理部330例如进行灰度转换处理和降噪处理。图像处理部330将处理 后的图像输出到显示部400。

控制部340与摄像部230、视场角信息取得部310、图像处理部330、显示部400、 外部I/F部500连接,输出对它们进行控制的控制信号。

显示部400将由所述图像处理部330输出的所述内窥镜图像输出到内窥镜监视器 等图像显示装置上。

外部I/F部500是用于供用户对内窥镜装置进行输入等的接口。外部I/F部500 例如构成为包括用于进行电源的接通/断开的电源开关、用于开始进行摄影操作的快 门按钮、用于切换摄影模式和其他各种模式的模式切换按钮等。

另外,内窥镜图像不限于原色拜耳图像,也可以是通过补色或面顺次这样的原色 拜耳以外的内窥镜拍摄方式取得的图像。

2.2.自动曝光控制部

图5示出自动曝光控制部320的详细结构例。自动曝光控制部320包括自动曝光 区域设定部321、自动曝光权重设定部322、正反射区域检测部323、曝光控制部324。

由视场角信息取得部310取得的视场角信息被输出到自动曝光区域设定部321 和自动曝光权重设定部322。由摄像部230取得的内窥镜图像被输出到自动曝光区域 设定部321、正反射区域检测部323和曝光控制部324。自动曝光区域设定部321与 自动曝光权重设定部322连接。自动曝光权重设定部322与曝光控制部324连接。正 反射区域检测部323与曝光控制部324连接。曝光控制部324与白色光源110连接。

自动曝光区域设定部321根据由视场角信息取得部310取得的视场角信息,在由 摄像部230取得的内窥镜图像上设定自动曝光区域,将设定的自动曝光区域的信息输 出到曝光控制部324。

自动曝光权重设定部322根据由视场角信息取得部310取得的视场角信息,对由 自动曝光区域设定部321设定的自动曝光区域的各像素设定自动曝光权重,将设定的 自动曝光权重输出到曝光控制部324。

正反射区域检测部323根据由摄像部230取得的内窥镜图像的像素值检测内窥镜 图像中的正反射区域,将检测到的正反射区域的信息输出到曝光控制部324。

曝光控制部324根据由摄像部230取得的所述内窥镜图像的像素值、由自动曝光 权重设定部322设定的自动曝光权重、由正反射区域检测部323检测到的正反射区域 进行调光控制。这些结构要素在后面进行叙述。

2.3.自动曝光区域设定部

详细说明上述自动曝光区域设定部321进行的处理。图6示出自动曝光区域的设 定例。在本实施方式中,内窥镜图像的中心与其自动曝光区域的中心一致。W0、H0分别表示内窥镜图像的宽度、高度,W1、H1分别表示自动曝光区域的宽度、高度。 下式(1)示出W0与W1的关系,下式(2)示出H0与H1的关系。

【数1】

W1=α0W0    (1)

【数2】

H1=α0H0    (2)

这里,α0是根据视场角信息决定的0.0~1.0的视场角系数。图7示出视场角系数 α0的设定例。如图2的(D)中上述那样,在用户希望观察侧方视野的情况下,利用 最大视场角宽的宽视野内窥镜。下面,设该宽视野内窥镜具有大于等于180°(包含 该值)的最大视场角。在大于等于视野180°(包含该值)的内窥镜中,通过如上所 述那样设定视场角系数α0,镜体的最大视场角越大则自动曝光区域包含越宽的侧方视 野。由此,在用户希望观察的侧方视野中,能够进行更适于观察的调光。

另外,在上述实施方式中,如图7那样设定视场角系数α0,但是,本实施方式不 限于此。即,只要根据基于视场角信息取得的最大视场角,设定为该最大视场角越宽 则视场角系数α0越大即可,可以任意设定视场角系数α0

并且,在上述实施方式中,说明了自动曝光区域的形状为矩形的情况,但是,本 实施方式不限于此,例如自动曝光区域也可以是圆形。

2.4.自动曝光权重设定部

接着,详细说明上述自动曝光权重设定部322进行的处理。自动曝光权重设定部 322根据视场角信息,对自动曝光区域的各像素设定0.0~1.0的自动曝光权重。

具体而言,在内窥镜具有通常的最大视场角(例如140°左右)的情况下,自动 曝光权重设定部322在自动曝光区域全体中将自动曝光权重设定为1.0。该情况下, 后述曝光控制部324根据自动曝光区域的像素值的平均值或像素值的总和进行调光。

另一方面,如图8所示,在内窥镜为具有比通常宽的最大视场角的宽视野内窥镜 的情况下,自动曝光权重设定部322对自动曝光区域内的像素设定与像素的坐标对应 的自动曝光权重。在图8所示的自动曝光权重的设定例中,根据从自动曝光区域中心 到像素的距离来设定自动曝光权重。从自动曝光区域中心起的距离通过下式(3)计 算。

【数3】

D(p,q)=max(|p-W0/2|W1/2,|q-H0/2H1/2)---(3)

这里,(p,q)表示设定自动曝光权重的像素的坐标。D(p,q)表示坐标(p、q) 处距离自动曝光区域中心的标准化距离。max()表示对输入值进行比较并输出输入 值中的最大值的函数。W0、H0是内窥镜图像的宽度、高度,W1、H1是自动曝光区域 的宽度、高度。在上述图6中,设坐标(p,q)的原点(0,0)为自动曝光区域的左上 部,设自动曝光区域中心为(W0/2,H0/2)。

如图2的(D)中说明的那样,其特征在于,在宽视野内窥镜的情况下,能够在 侧方视野中进行病变观察。如图8所示,与前方视野相比,在侧方视野的像素中设定 较大的自动曝光权重,由此,能够在侧方视野中取得适于观察的明亮度的内窥镜图像。 另外,本实施方式不限于图8所示的自动曝光权重的设定例。即,只要与前方视野的 像素相比、对侧方视野的像素设定较大的自动调光权重即可,可以任意设定该自动调 光权重。

2.5.自动曝光权重的变形设定例

另外,如图9所示,也可以设定内窥镜具有通常的最大视场角的情况下的自动曝 光权重。通过这样设定自动曝光权重,能够进行调光以使得在认为存在希望详细观察 的被摄体的内窥镜图像中心(在本实施方式中与自动曝光区域中心一致)成为适于观 察的明亮度。

并且,如图10所示,在内窥镜具有通常的最大视场角的情况下,也可以对自动 曝光区域中心附近的极窄的区域设定自动曝光权重1.0,对除此以外的区域设定自动 曝光权重0.0。通过这样设定自动曝光权重,能够将对希望精密观察的内窥镜图像中 心附近的被摄体照射的照明光调节为更适于观察的光量。

并且,如图11所示,自动曝光权重设定部322也可以接受由摄像部230取得的 内窥镜图像,根据该内窥镜图像的像素值设定0.0~1.0的范围的自动曝光权重。

具体而言,自动曝光权重设定部322根据由作为原色拜耳图像的内窥镜图像生成 的亮度图像的像素值来设定自动曝光权重。首先,通过下式(4)计算坐标(x,y)处 的亮度图像的像素值Y(x,y)。

【数4】

Y(x,y)=RAW(x,y)+RAW(x+1,y)+RAW(x,y+1)+RAW(x+1,y+1)    (4)

这里,RAW(x,y)是坐标(x,y)处的内窥镜图像的像素值。

如下式(5)所示,使用亮度值Y(x,y)设定自动曝光权重。

【数5】

WL(p,q)=h{Y(p,q)}{(p,q)∈R}    (5)

这里,WL(p,q)表示坐标(p,q)处的自动曝光权重。R表示自动曝光区域。(p,q) ∈R表示位于坐标(p,q)的像素包含在自动曝光区域中。h()表示包含在自动曝光 区域中的亮度图像的累积直方图。累积直方图是具有Y(p,q)以下的像素值的像素 数量,表示存在于自动曝光区域内的像素数,被归一化为0.0~1.0的范围。

例如,设定图10中上述的自动曝光权重(点测光),对管腔状的被摄体进行观察。 该情况下,与前方视野相比相对较大的侧方视野的像素值不用于调光评价,所以,通 过对侧方视野照射必要以上的照明光,可能在侧方视野中产生高光泛白。并且,设定 图8中上述的自动曝光权重,将如息肉那样突出的被摄体捕捉到前方视野中心进行观 察。该情况下,与侧方视野相比相对较大的前方视野的像素值不用于调光评价,所以, 通过对前方视野照射必要以上的照明光,可能在前方视野中产生高光泛白。

关于这点,根据上述变形例,通过根据累积直方图来设定自动曝光权重,能够对 具有较大像素值的像素设定较大的自动曝光权重。通过这样设定该自动曝光权重,能 够与被摄体的形状无关地,根据所述自动曝光区域内被照射较强照明光的区域的像素 值来抑制高光泛白而进行调光。

2.6.正反射区域检测部

接着,详细说明上述正反射区域检测部323进行的处理。正反射区域检测部323 从通过上式(4)生成的亮度图像中提取具有规定亮度阈值以上的像素值的区域。被 提取的区域是正反射区域和高光泛白区域。

这里,正反射区域是从照明透镜220对被摄体照射的照明光由被摄体进行正反射 并在摄像元件232上成像的区域。并且,高光泛白区域不是照明光进行正反射的区域, 而是由于被照射较强照明光而使反射光的强度超过摄像元件232能够检测的上限的 区域。

高光泛白区域包含在被摄体表面进行漫反射的照明光,所以,高光泛白区域的周 边的像素值成为较大值。另一方面,正反射区域是照明光相对于被摄体表面的入射角 度和反射角度一致的区域。在正反射区域的周边,由于入射角和反射角不一致,所以, 在正反射区域与其周边,像素值的差较大。即,正反射区域的周边的像素值比高光泛 白区域的周边的像素值小。

因此,正反射区域检测部323根据提取出的区域周边的像素值,判别该区域是正 反射区域还是高光泛白区域。具体而言,正反射区域检测部323提取像素值饱和的区 域(例如像素值为阈值以上的区域),对提取出的饱和区域赋予标签,按照赋予相同 标签的每个标签区域计算周围像素的平均像素值。周围像素是与提取出的标签区域相 邻的像素。正反射区域检测部323对按照每个标签区域计算出的周围像素的平均像素 值和规定的周边阈值进行比较,如果小于该周边阈值,则将该标签区域检测为正反射 区域。

2.7.自动曝光控制部

接着,详细说明上述曝光控制部324进行的处理。首先,曝光控制部324根据内 窥镜图像,通过上式(4)生成亮度图像。然后,根据下式(6)计算自动曝光评价值 V,根据计算出的自动曝光评价值V和规定的自动曝光目标值进行调光控制。

【数6】

V=Σ(p,q)R(p,q)Y(p,q)·WL(p,q)Σ(p,q)R(p,q)MWL(p,q)---(6)

这里,(p,q)表示内窥镜图像上的坐标。WL(p,q)表示坐标(p,q)处的自动曝 光权重。M表示正反射区域。下式(7)表示位于坐标(p,q)的像素未包含在正反射 区域中。

【数7】

(p,q)M---(7)

在计算出的自动曝光评价值与自动曝光目标值的差值绝对值小于规定的阈值的 情况下,曝光控制部324维持当前的调光。另一方面,在该差值绝对值大于等于规定 的阈值的情况下,在规定的期间内以恒定的变化率进行调光,以使得在经过规定的期 间后,自动曝光评价值成为自动曝光目标值。

2.8.自动曝光评价值的变形设定例

在上述实施方式中,将亮度图像的像素值的加权平均值作为自动曝光评价值,但 是,本实施方式不限于此,例如也可以将亮度图像的像素值的加权积和作为自动曝光 评价值。

并且,在本实施方式中,也可以通过下式(8)计算自动曝光评价值V。通过这 样根据亮度值的最大值进行调光,在内窥镜图像的观察中,能够降低不适当的高光泛 白的产生频度。

【数8】

V=max(p,q)R(p,q)M{Y(p,q)}---(8)

并且,在本实施方式中,可以根据自动曝光区域所包含的像素中的未包含在正反 射区域内的全部像素计算自动曝光评价值,也可以从自动曝光区域所包含的像素中的 未包含在正反射区域内的像素中,以一定间隔进行间疏来计算自动曝光评价值。通过 这样进行间疏来计算自动曝光目标值,能够减少运算量。

并且,在上述实施方式中,根据亮度图像的像素值计算自动曝光评价值,但是, 本实施方式不限于此,例如也可以根据内窥镜图像的像素值计算自动曝光评价值。

例如,在本实施方式中,内窥镜图像是图4所示的原色拜耳图像,内窥镜图像的 各像素具有RGB信号中的任意一方。也可以仅使用该RGB信号中的任意一方来计算 自动曝光评价值。该情况下,各信号分别仅存在于一部分像素中,但是,也可以在通 过公知的插值处理在全部像素中对各信号进行插值后,计算该自动曝光评价值。并且, 也可以仅根据具有RGB中的任意一方的信号的像素,计算该自动曝光评价值。

2.9.自动曝光目标值的变形设定例

并且,在上述实施方式中,根据视场角信息计算自动曝光评价值,利用该自动曝 光目标值进行调光,但是,本实施方式不限于此。例如,也可以与视场角信息无关地 使自动曝光评价值的计算方法保持不变,根据视场角信息来变更自动曝光目标值。例 如如果是宽视野内窥镜,则将自动曝光目标值设定为通常内窥镜中使用的自动曝光目 标值的1/2。

如图2的(C)中上述的那样,在宽视野内窥镜中,前方视野或侧方视野中内窥 镜与被摄体的距离可能大大不同。因此,在宽视野内窥镜的情况下,如果不变更自动 曝光目标值,则可能在前方视野或侧方视野中的任意一个视野中产生高光泛白。例如 在管腔状的被摄体的情况下,由于在侧方视野中内窥镜前端与被摄体的距离较近,所 以,侧方视野被照明得较为明亮,存在侧方视野容易产生高光泛白的倾向。

关于这点,根据上述变形例,与通常内窥镜的情况相比,将宽视野内窥镜的情况 下的自动曝光目标值设定为较小,由此,在宽视野内窥镜的侧方视野中,能够降低产 生高光泛白的频度。

另外,在本实施方式中,宽视野内窥镜的情况下的自动曝光目标值不限于通常内 窥镜的情况下的1/2,只要根据内窥镜的视场角的宽度设定为视场角越宽、则自动曝 光目标值越小即可,可以任意设定该自动曝光目标值。

2.10.自动曝光控制部的第1变形结构例

图12示出自动曝光控制部320的第1变形结构例。图12所示的自动曝光控制部 320包括自动曝光区域设定部321、正反射区域检测部323、曝光控制部324、分割部 325。

自动曝光区域设定部321与分割部325连接。分割部325与曝光控制部324连接。 自动曝光区域设定部321以及正反射区域检测部323与图5中上述的结构例相同。

如图13所示,分割部325将由自动曝光区域设定部321设定的自动曝光区域分 割为多个分割自动曝光区域,将该分割自动曝光区域输出到曝光控制部324。具体而 言,将自动曝光区域分割为w0×h0个(w0、h0为自然数)分割自动曝光区域。在图 13中,为了简化说明,对分割自动曝光区域分配索引。即,设水平方向的索引为0~ w0-1,设垂直方向的索引为0~h0-1。R(w,h)表示水平方向的索引为w、垂直方向 的索引为h的分割自动曝光区域。

曝光控制部324根据由摄像部230取得的内窥镜图像的像素值、由分割部325 分割的分割自动曝光区域、由正反射区域检测部323检测到的正反射区域进行调光控 制。具体而言,通过下式(9)计算各分割自动曝光区域的分割自动曝光评价值。

【数9】

V(w,h)=ave(p,q)R(w,h)(p,q)M{Y(p,q)}---(9)

这里,V(w,h)表示分割自动曝光区域R(w,h)的评价值即分割评价值。ave ()表示输出输入值的平均值的函数。(p,q)∈R(w,h)表示位于(p,q)的内窥镜图 像的像素包含在分割自动曝光区域R(w,h)中。

曝光控制部324根据所求出的分割自动曝光评价值,考虑图像全体中的明亮度的 平衡来进行调光,以使得不存在高光泛白区域(例如日本特开平5-313224号公报所 公开的手法)。具体而言,曝光控制部324仅根据大于等于规定的阈值的分割自动曝 光评价值进行调光控制。由此,能够抑制高光泛白。

2.11.自动曝光控制部的第2变形结构例

图14示出自动曝光控制部320的第2变形结构例。图14所示的自动曝光控制部 320包括自动曝光区域设定部321、正反射区域检测部323、曝光控制部324、饱和区 域检测部326。

由摄像部230取得的内窥镜图像被输出到自动曝光区域设定部321、正反射区域 检测部323和饱和区域检测部326。自动曝光区域设定部321与曝光控制部324连接。 饱和区域检测部326与曝光控制部324连接。自动曝光区域设定部321以及正反射区 域检测部323与图5中上述的结构例相同。

饱和区域检测部326根据由摄像部230取得的内窥镜图像的像素值,从内窥镜图 像中检测饱和区域,将检测到的饱和区域的信息输出到曝光控制部324。具体而言, 饱和区域检测部326将由内窥镜图像生成的亮度图像的像素值大于等于规定的阈值 的区域检测为饱和区域。

这里,饱和区域是如下的区域:具有大于等于检测上限的强度的反射光在摄像元 件232上会聚,由此,与反射光的强弱无关地,内窥镜图像的像素值成为较大的值(例 如像素值的范围的最大值)并保持固定。上述正反射区域和高光泛白区域是饱和区域。

曝光控制部324根据由自动曝光区域设定部321设定的自动曝光区域、由正反射 区域检测部323检测到的正反射区域、由饱和区域检测部326检测到的饱和区域进行 调光。

具体而言,曝光控制部324将作为自动曝光区域且高光泛白区域的像素数设定为 自动曝光评价值。高光泛白区域是从饱和区域中除去正反射区域后的区域。曝光控制 部324使用所求出的自动曝光评价值,分级地进行调光。例如通过分级地控制对白色 光源110供给的电力,实现分级的调光。在自动曝光评价值大于规定的调光上限值的 情况下,曝光控制部324使调光的级数降低一个级,减少对被摄体照射的照明光的光 量。另一方面,在自动曝光评价值小于规定的调光下限值的情况下,使调光的级数提 高一个级,增加对被摄体照射的照明光的光量。这里,调光上限值是大于调光下限值 的值。

通过进行这种调光控制,在观察中能够将不适当的高光泛白区域抑制为最小限 度。并且,能够一边抑制高光泛白区域,一边尽可能地增大对自动曝光区域内的被摄 体照射的照明光的光量。

2.12.图像处理部

图15示出图像处理部330的详细结构例。图像处理部330包括预处理部331、 灰度转换处理部332、降噪处理部333、后处理部334。

由摄像部230取得的内窥镜图像被输出到预处理部331。预处理部331与灰度转 换处理部332、降噪处理部333连接。灰度转换处理部332与降噪处理部333连接。 降噪处理部333与后处理部334连接。后处理部334与显示部400连接。

预处理部331对由摄像部230取得的内窥镜图像进行例如现有的白平衡处理或插 值处理等图像处理,将预处理后的内窥镜图像输出到灰度转换处理部332和降噪处理 部333。

灰度转换处理部332对由预处理部331进行预处理后的内窥镜图像进行灰度转换 处理,将灰度转换后的内窥镜图像输出到降噪处理部333。灰度转换处理在后面详细 叙述。

降噪处理部333根据灰度转换处理部332进行灰度转换处理前后的内窥镜图像的 像素值,对灰度转换处理后的内窥镜图像进行降噪处理,将进行降噪处理后的内窥镜 图像输出到后处理部334。降噪处理在后面详细叙述。

后处理部334对从降噪处理部333输出的内窥镜图像进行例如现有的颜色转换处 理或轮廓强调处理等图像处理,将后处理后的内窥镜图像输出到显示部400。

2.13.灰度转换处理部

详细说明灰度转换处理部进行的处理。灰度转换处理部332进行依赖于像素的位 置和灰度值的空间可变的灰度转换处理(例如日本特表2008-511048号公报所公开的 手法)。

通过进行这种灰度转换处理,在确保内窥镜图像内的局部的对比度的状态下,能 够抑制不适于观察的发黑或高光泛白。如图2的(C)中上述的那样,在利用宽视野 内窥镜的观察中,有时在前方视野和侧方视野中内窥镜与被摄体的距离大大不同。这 种情况下,也能够通过自动曝光控制部320进行的调光来抑制高光泛白,但是,由于 照明光量不充分,所以,在内窥镜图像的一部分中可能难以进行观察。并且,不一定 能够完全消除高光泛白。通过对这些照明光量不充分的区域、残存的高光泛白区域进 行自适应的灰度转换处理,在内窥镜图像中,能够扩大能观察的区域。

另外,在本实施方式中,也可以进行基于对人的视觉特性进行模型化后的局部颜 色适应的空间可变的灰度转换处理。

2.14.降噪处理部

接着,详细说明降噪处理部333进行的处理。降噪处理部333使用例如下式(10)~ (12)所示的公知的双边滤波器进行滤波处理。通过式9~11进行该降噪处理。

【数10】

S(x,y)=Σ(i,j)FRAW(x+i,y+j)·Wdiff(i,j)·Wdist(i,j)Σ(i,j)FWdiff(i,j)·Wdist(i,j)---(10)

【数11】

Wdiff(i,j)=exp[-{RAW(x,y)-RAW(x+i,y+j)}22σdiff2]---(11)

【数12】

Wdist(i,j)=exp{-(i2+j2)2σdist2}---(12)

这里,S(x,y)表示在坐标(x,y)处对灰度转换处理后的内窥镜图像RAW’(x,y) 进行降噪处理后的像素值。F表示以坐标(x,y)为中心的双边滤波器的应用范围。 Wdiff是将双边滤波器的应用范围内的像素值用于降噪处理时的权重,表示基于像素值 差的权重。σdiff表示根据像素值差计算Wdiff时所利用的参数。Wdist是将双边滤波器的 应用范围内的像素值用于降噪处理时的权重,表示基于从坐标(x,y)到像素的距离 的权重。σdist表示根据距离计算Wdist时所利用的参数。(i,j)是双边滤波器内的索引。 在本实施方式中,索引i和j分别满足-I0≤i≤I0、-J0≤j≤J0。I0和J0是自然数,双边滤波 器的尺寸为(2×I0+1)×(2×J0+1)。另外,下面为了简化议论,设J0=I0

上述双边滤波器通过变更σdiff、σdist和I0,能够调整降噪的强度。具体而言,通 过增大这些值,能够较强地进行降噪处理。在本实施方式中,根据灰度转换处理前后 的内窥镜图像的像素值RAW(x,y)和RAW’(x,y),调整降噪的强度,对RAW’(x,y) 进行降噪处理。

详细说明根据RAW(x,y)调整σdiff的处理。首先,根据灰度转换处理前的内窥 镜图像的像素值RAW(x,y)来决定σdiff。例如,通过下式(13)决定σdiff

【数13】

σdiff{RAW(x,y)}=β·RAW(x,y)---(13)

这里,β是预先确定的正值。例如,根据基于入射到摄像元件232的光量而产生 的噪声量来决定β。然后,如下式(14)所示,根据RAW(x,y)与RAW’(x,y)之 比,对σdiff进行校正,求出σ’diff

【数14】

σdiff=RAW(x,y)RAW(x,y)σdiff---(14)

然后,将校正后的σ’diff作为上式(10)~(12)中的σdiff,进行降噪处理。

基于光电转换的电荷产生量概率性地发生摆动而引起的噪声被称为散粒噪声 (Shot noise)。在拍摄图像的噪声中散粒噪声为支配性的情况下,当入射光量成为2 倍时,噪声量成为倍。因此,如上式(13)所示,通过根据RAW(x,y)进行降 噪处理,能够适当地对所产生的噪声量进行降噪。并且,如上式(14)所示,通过根 据RAW(x,y)与RAW’(x,y)之比对σdiff进行校正,能够适当地对通过灰度转换处 理而增减后的内窥镜图像的噪声量进行降噪。

σdist和I0也通过与σdiff相同的手法设定即可。对于σdist和I0,只要根据RAW(x,y) 来控制降噪的强度即可,可以任意决定。

2.15.参数σdiff的变形设定例

另外,在本实施方式中,也可以对σ’diff设置上限或下限。通过对σ’diff设置上限 或下限,能够消除极端地进行降噪这样的不良情况、或者完全未进行降噪这样的不良 情况。

在上述实施方式中,计算与RAW(x,y)对应的σdiff,但是,本实施方式不限于 此,例如也可以预先准备多个σdiff,根据RAW(x,y)选择性地利用这些σdiff

并且,在上述实施方式中,根据RAW(x,y)决定σdiff,但是,本实施方式不限 于此,例如也可以根据RAW’(x,y)来决定σdiff

并且,在上述实施方式中,根据RAW(x,y)和RAW’(x,y)之比进行σdiff的校 正,但是,本实施方式不限于此,例如也可以根据RAW(x,y)和RAW’(x,y)的差 值进行σdiff的校正。

这里,在上述实施方式中,说明了通过双边滤波处理进行降噪的例子,但是,本 发明不限于此,只要能够调整降噪的强度即可,可以利用任意的降噪处理。在利用其 他降噪处理的情况下,与上述双边滤波处理同样,根据RAW(x,y)控制降噪的强度 并进行降噪处理即可。

2.16.曝光控制的变形例

并且,在上述实施方式中,自动曝光控制部320控制白色光源110发出的白色光 的光量,但是,本实施方式不限于此,自动曝光控制部320只要构成为能够控制内窥 镜图像的明亮度即可,可以是任意结构。

例如,摄像部230也可以具有未图示的光圈,自动曝光控制部320通过控制该光 圈的光圈量,来控制入射到摄像元件232的光量。该情况下,通过增大光圈量,能够 减少入射到摄像元件232的光量。

并且,自动曝光控制部320也可以通过控制摄像元件232的曝光时间,来控制内 窥镜图像的明亮度。该情况下,通过缩短曝光时间,能够使内窥镜图像的明亮度变暗。

并且,图像处理部330还具有对内窥镜图像的像素值施加增益的功能,自动曝光 控制部320通过控制该增益,也可以控制内窥镜图像的明亮度。该情况下,通过减小 该增益,能够使内窥镜图像的明亮度变暗。

根据以上的实施方式,如图3所示,自动曝光控制装置包括图像取得部、视场角 信息取得部310、自动曝光控制部320。图像取得部取得由接受对被摄体10照射的光 的反射光的摄像光学系统进行摄像而得到的、包含被摄体10的像的图像。视场角信 息取得部310取得表示对该图像进行摄像时的摄像光学系统的视场角的视场角信息。 自动曝光控制部320根据所取得的视场角信息进行自动曝光的控制。

在本实施方式中,图像取得部例如对应于接收来自图3的A/D转换部233或可 拆装的插入部200的图像数据的未图示的接口部等。摄像光学系统例如对应于图3 的物镜231、摄像元件232。

这样,即使视野范围为任意范围,也能够适当进行曝光控制。具体而言,由于能 够根据内窥镜的视场角来控制拍摄图像的曝光量,所以,即使是任意视场角的内窥镜, 也能够在该视场角下主要作为对象的观察范围内进行抑制了高光泛白或发黑的适当 的曝光控制。例如,如图2的(C)中说明的那样,在对管腔状的脏器进行筛查的情 况下,能够以适当的曝光状态对作为观察范围的侧方视野进行观察,能够减少病变的 漏看。并且,由于根据视场角自动进行曝光控制,所以,用户不需要手动切换曝光设 定,不会麻烦用户的手。

这里,视场角信息是表示镜体的视场角的信息,是与通过镜体进行拍摄的视野范 围(视野角)对应的信息。例如,视场角信息可以是视场角本身,也可以是归一化后 的视场角,还可以是对它们进行编码后的信息。并且,视场角信息可以是表示如上述 第1实施方式那样未进行放大操作的情况下的镜体的最大视场角的信息,也可以是表 示如后述第2实施方式那样伴随放大操作而变化的情况下的视场角的信息。

并且,在本实施方式中,自动曝光控制部320根据视场角信息和图像的像素值, 计算用于评价图像中的曝光状态的自动曝光评价值,根据计算出的自动曝光评价值进 行自动曝光的控制。

具体而言,如图5所示,自动曝光控制部320具有自动曝光区域设定部321。如 图6中说明的那样,自动曝光区域设定部321对图像设定与视场角信息对应的尺寸为 W1、H1的自动曝光区域。自动曝光控制部320根据所设定的自动曝光区域内的像素 的像素值计算自动曝光评价值。

更具体而言,如图7和上式(1)、(2)中说明的那样,自动曝光区域设定部321 设定视场角信息所表示的视场角越宽、则尺寸越大的自动曝光区域。

如图2的(C)等上述的那样,视场角越宽,越难适当地对图像全体进行曝光控 制。关于这点,根据本实施方式,镜体的视场角越宽,能够对越宽的自动曝光区域进 行曝光控制,所以,能够实现图像的宽范围的适当曝光控制。例如,在装配了对侧方 视野进行拍摄的镜体的情况下,能够使该侧方视野包含在曝光控制范围内。

并且,在本实施方式中,如图5所示,自动曝光控制部320具有自动曝光权重设 定部322。如图8、图9中说明的那样,自动曝光权重设定部322设定针对要计算自 动曝光评价值的区域即自动曝光区域内的像素的权重作为自动曝光权重。如上式(6) 中说明的那样,自动曝光控制部320根据自动曝光区域内的像素的像素值Y(x,y) 和自动曝光权重WL(x,y),计算自动曝光评价值。

具体而言,自动曝光权重设定部322根据视场角信息所表示的视场角来设定自动 曝光权重。

更具体而言,如图8中说明的那样,在视场角信息表示比第1视场角宽的第2 视场角的情况下,与自动曝光区域中的中央区域的自动曝光权重相比,自动曝光权重 设定部322将中央区域的外侧的周边区域的自动曝光权重设定为较大的权重。

这样,在使用广角的镜体的情况下,在自动曝光评价值的计算中,能够相对地增 大针对自动曝光区域中的周边区域的权重。由此,在使用广角的镜体的情况下,能够 进行相对重视图像周边部的曝光控制。

这里,第1视场角是内窥镜镜体中的通常的视场角,例如是默认设定的视场角。 并且,通常的视场角对应于主要对前方视野进行拍摄的视场角,例如是不包含与光轴 垂直的方向的视野的视场角(即小于180°的视场角、例如140°)。

并且,自动曝光区域的中央区域是包含自动曝光区域的中心的区域,例如在图8 中是距离0~0.3的区域。中央区域的外侧的周边区域是自动曝光区域中的区域,是 比中央区域更靠外侧的区域。周边区域可以是包围中央区域的周围的区域,也可以是 不包围中央区域的1个或多个区域。例如,在图8中周边区域是距离0.7~1.0的区域。

并且,在本实施方式中,如上式(5)中说明的那样,自动曝光权重设定部322 也可以根据自动曝光区域内的像素的像素值Y(x,y)来设定自动曝光权重WL(x,y)。

具体而言,也可以是,自动曝光区域内的像素的亮度值Y(x,y)越大,则自动 曝光权重设定部322将自动曝光权重WL(x,y)设定为越大的权重。

这样,亮度值越大的像素,能够越大地反映到自动曝光评价值中,所以,能够进 行相对重视了亮度值较大的区域的曝光控制。由此,能够实现抑制了高光泛白区域的 产生的曝光控制。

并且,在本实施方式中,自动曝光控制部320进行如下控制:在视场角信息表示 第1视场角的情况下,求出自动曝光区域内的像素的像素值的平均值或总和值作为自 动曝光评价值,使所求出的自动曝光评价值接近自动曝光的控制目标即自动曝光目标 值。

例如,在本实施方式中,在通常的视场角的情况下,在上式(6)中,设WL(x,y) =1,求出自动曝光评价值V。

这样,能够在通常视场角的镜体和广角的镜体中设定不同的自动曝光权重,来进 行曝光控制。并且,在根据视场角而设定了尺寸较小的自动曝光区域的情况下,认为 在该区域内明亮度的偏差较小,所以,通过将像素值的平均值或总和作为评价值,能 够均匀地在自动曝光区域内进行曝光控制。

并且,在本实施方式中,如图12、图13所示,自动曝光控制部320也可以具有 将自动曝光区域分割为多个分割自动曝光区域R(h,w)的自动曝光区域分割部。该 情况下,如上式(9)中说明的那样,自动曝光控制部320计算该多个分割自动曝光 区域R(h,w)的各分割自动曝光区域中的像素的像素值Y(x,y)的平均值V(h,w), 根据计算出的平均值V(h,w)进行自动曝光的控制。

这样,能够根据图像中的明亮度的分布来进行曝光控制。例如,通过使用平均值 V(h,w)大于等于阈值的分割区域,能够对高亮度区域进行曝光控制。并且,通过 使用平均值V(h,w)小于等于阈值的分割区域,能够进行排除了高亮度区域的影响 的曝光控制。

并且,在本实施方式中,如上式(8)中说明的那样,自动曝光控制部320也可 以将自动曝光区域内的像素的像素值的最大值设定为自动曝光评价值。

这样,能够进行使自动曝光区域内的像素值的最大值接近自动曝光目标值的控 制。由此,能够实现抑制了在自动曝光区域内产生饱和区域的曝光控制。

并且,在本实施方式中,如图5所示,自动曝光控制部320具有正反射区域检测 部323。正反射区域检测部323根据自动曝光区域内的像素的像素值,检测照明光被 被摄体进行正反射的区域即正反射区域。如上式(6)中说明的那样,自动曝光控制 部320根据自动曝光区域R中的正反射区域M以外的区域的像素的像素值,计算自 动曝光评价值V。

并且,在本实施方式中,如图14所示,自动曝光控制部320也可以具有饱和区 域检测部326,该饱和区域检测部326检测自动曝光区域内的像素的像素值饱和的区 域即饱和区域。该情况下,自动曝光控制部320根据该饱和区域中的正反射区域以外 的区域进行自动曝光的控制。

更具体而言,自动曝光控制部320将饱和区域中的正反射区域以外的区域所包含 的像素数设定为自动曝光评价值,在该像素数大于阈值的情况下,进行减小曝光量的 控制。

这样,能够根据自动曝光区域中的高光泛白区域的像素数进行曝光控制。并且, 由于进行使高光泛白区域的像素数小于阈值的控制,所以,能够抑制高光泛白区域的 产生。并且,通过利用除去了正反射区域后的像素数来进行控制,能够抑制认为不依 赖于光量而产生的正反射区域的影响。

并且,在本实施方式中,自动曝光控制部320进行使自动曝光评价值接近自动曝 光的控制目标即自动曝光目标值的控制(例如,使自动曝光评价值与自动曝光目标值 的差值绝对值小于阈值的控制),作为自动曝光的控制。

这样,能够使根据视场角信息而设定的自动曝光评价值接近自动曝光目标值,能 够进行与视场角对应的适当的曝光控制。

并且,在本实施方式中,如“2.9.自动曝光目标值的变形设定例”中说明的那样, 自动曝光控制部320也可以根据视场角信息来设定自动曝光目标值。

更具体而言,在视场角信息表示比第1视场角宽的第2视场角的情况下,自动曝 光控制部320也可以设定比视场角信息表示第1视场角的情况下的自动曝光目标值小 的值的自动曝光目标值。

如图2的(C)等中说明的那样,在广角的镜体中,与通常视场角的镜体相比, 图像内的明亮度的差异较大,存在容易产生高光泛白区域的倾向。关于这点,根据本 实施方式,在广角的镜体的情况下,进行曝光控制以使得自动曝光区域较暗,所以, 能够抑制图像内的明亮区域变得高光泛白。

并且,在本实施方式中,视场角信息取得部310根据用于识别具有摄像光学系统 的内窥镜装置的识别信息(机型ID),来取得视场角信息。

这里,识别信息是用于识别镜体的信息,例如是与镜体的型式、型号、规格等对 应的信息。镜体可以是拆装式的镜体,也可以是内窥镜装置所具有的固定镜体。例如, 如图3中说明的那样,将镜体的存储器240中存储的镜体ID用作识别信息。或者, 也可以由用户从外部I/F部500输入识别信息。

并且,在本实施方式中,自动曝光控制部320通过控制对被摄体照射的光的光量, 进行自动曝光的控制。例如,在本实施方式中,如图5中说明的那样,曝光控制部 324对白色光源110射出的照明光的光量进行控制。

并且,如“2.16.曝光控制的变形例”中说明的那样,摄像光学系统也可以具有光 圈,自动曝光控制部通过控制该光圈的光圈值(例如F值),进行所述自动曝光的控 制。

并且,如“2.16.曝光控制的变形例”中说明的那样,摄像光学系统也可以具有接 受来自被摄体的反射光的摄像元件232,自动曝光控制部320通过控制利用该摄像元 件232进行的摄像的曝光时间,进行自动曝光的控制。

并且,如“2.16.曝光控制的变形例”中说明的那样,图像处理部330也可以进行 对图像施加增益的处理,自动曝光控制部320通过控制该增益,进行自动曝光的控制。

这样,能够实现拍摄图像中的曝光量的控制。另外,在本实施方式中,不限于上 述曝光控制,只要是能够调整拍摄图像的曝光量的控制或处理即可,都能够用于曝光 控制。

并且,在本实施方式中,如图3所示,控制装置300包括自动曝光控制装置、以 及对由图像取得部取得的图像进行图像处理的图像处理部330。

如图15所示,图像处理部330具有灰度转换处理部332,该灰度转换处理部332 根据通过自动曝光的控制而得到的图像的像素值,对该图像进行灰度转换处理。

更具体而言,如“2.13.灰度转换处理部”中说明的那样,灰度转换处理部332 进行空间可变的灰度转换处理,在该空间可变的灰度转换处理中,根据图像中的局部 区域自适应地进行处理。

这样,通过灰度转换处理,能够提高图像内的低亮度区域的亮度,降低图像内的 高亮度区域的亮度。即,能够将曝光控制后残存的高光泛白区域和发黑区域调整为视 觉辨认性更高的明亮度。由此,在内窥镜图像内,能够扩大适于观察的区域。

这里,空间可变的灰度转换处理是根据局部区域的位置或局部区域内的像素值而 自适应地进行的灰度转换处理。例如,是根据局部区域内的像素值来设定应用于该局 部区域的灰度转换曲线的特性的处理。

并且,在本实施方式中,如图15所示,图像处理部330具有降噪处理部333, 该降噪处理部333进行降低灰度转换处理后的图像的噪声的处理。

具体而言,降噪处理部333根据灰度转换处理前和灰度转换处理后的至少一方的 图像的像素的像素值,调整噪声的降低程度。

更具体而言,如上式(14)中说明的那样,降噪处理部333根据灰度转换处理前 后的图像的像素的像素值的变化来调整降低程度。该像素值的变化是灰度转换处理前 后的像素值的差值和比值中的至少一方。

如上式(13)中说明的那样,像素值的变化越大,降噪处理部333使所述噪声的 降低程度越强。

这样,能够根据基于自适应灰度转换处理的增益,对降噪处理的强度进行控制。 由此,能够适当地降低伴随增益的增减而变化的噪声。

这里,噪声的降低程度是表示在降噪处理中图像的噪声以何种程度降低的程度, 例如利用平滑滤波器的参数或频率特性等来表示。在上式(10)~(12)中说明的双 边滤波器中,参数σdiff、σdist、I0对应于噪声的降低程度,这些参数越大,噪声的降低 程度越大。

并且,在本实施方式中,图像取得部取得至少包含摄像光学系统的前方和侧方的 被摄体的像的图像。具体而言,如图1等中说明的那样,摄像光学系统具有用于观察 前方的被摄体并观察侧方的被摄体的物镜。例如,物镜的视野角大于180°。

这样,作为由广角的镜体进行拍摄而得到的图像,能够取得对侧方视野进行拍摄 而得到的图像。并且,如图2的(D)等中说明的那样,能够对大肠的褶皱背面等进 行观察。

这里,前方视野(前方的视野范围)是包含物镜的光轴方向的视野范围。侧方视 野(侧方的视野范围)是包含与物镜的光轴垂直的方向的视野范围。例如前方视野是 相对于光轴为0度~45度的范围,侧方视野是相对于光轴为45度~135度的范围。 或者,也可以是,通常的视场角140度的范围为前方视野,比这更靠外侧的视野范围 为侧方视野。或者,在使用图1中说明的物镜的情况下,也可以是,与从面SF1导入 的光线LC1对应的视野范围为前方视野,与从面SF3导入的光线LC2对应的视野范 围为侧方视野。

3.第2实施方式

3.1.内窥镜装置

图16示出第2实施方式的内窥镜装置的结构例。图16所示的内窥镜装置包括光 源部100、插入部200、控制装置300、显示部400、外部I/F部500。插入部200和 控制装置300以外的结构要素与第1实施方式相同,所以适当省略说明。

插入部200包括光导纤维210、照明透镜220、摄像部230、存储器240。摄像部 230以外的部分与第1实施方式相同。摄像部230包括物镜231、摄像元件232、A/D 转换部233。物镜231以外的部分与第1实施方式相同。物镜231具有能够变更光学 系统的放大率的放大功能,用户通过操作外部I/F部500,能够在任意时刻变更该放 大率。更具体而言,通过外部I/F部500的操作,控制部340生成控制信号,根据该 控制信号来变更物镜231的放大率。

控制装置300包括视场角信息取得部310、自动曝光控制部320、图像处理部330、 控制部340。视场角信息取得部310和自动曝光控制部320以外的部分与第1实施方 式相同。

视场角信息取得部310根据由控制部340生成的控制信号而取得物镜231的放大 率。然后,根据该放大率和存储器240中保持的镜体ID取得视场角信息。在本实施 方式中,视场角信息是与伴随放大操作而变化的视场角对应的信息、以及与不进行放 大操作的情况下的视场角对应的信息。通常,伴随放大操作,内窥镜的视场角变窄, 所以,不进行放大操作的情况下的视场角是第1实施方式中说明的最大视场角。另外, 下面,将伴随放大操作而变化的视场角表述为放大视场角。视场角信息取得部310 将所取得的视场角信息输出到自动曝光控制部320。

自动曝光控制部320包括自动曝光区域设定部321、自动曝光权重设定部322、 正反射区域检测部323、曝光控制部324。另外,自动曝光控制部320的连接结构与 第1实施方式(例如图5)相同。自动曝光区域设定部321和曝光控制部324以外的 部分的处理和作用与第1实施方式相同,所以省略说明。自动曝光区域设定部321 和曝光控制部324的处理和作用在以下方面与第1实施方式相同。

自动曝光区域设定部321根据由视场角信息取得部310取得的视场角信息,在由 摄像部230取得的内窥镜图像上设定自动曝光区域,将设定的自动曝光区域的信息输 出到曝光控制部324。

具体而言,如图17所示,根据视场角信息所包含的最大视场角来设定最大自动 曝光区域,根据视场角信息所包含的放大视场角而缩小最大自动曝光区域,将缩小后 的区域设定为自动曝光区域。与第1实施方式中说明的自动曝光区域同样,自动曝光 区域设定部321通过上式(1)、(2)设定基于最大视场角的最大自动曝光区域。本实 施方式中的自动曝光区域的尺寸W2、H2与最大自动曝光区域的尺寸W1、H1的关系 如下式(15)、(16)所示。

【数15】

W2=α1W1    (15)

【数16】

H2=α1H1    (16)

这里,α1是根据放大视场角而决定的小于1.0的放大视场角系数。图18示出放 大视场角系数α1的设定例。在图18中,利用最大视场角对放大视场角进行归一化。

伴随放大操作,内窥镜光学系统的景深变窄,所以,在被摄体图像中对焦的区域 也变窄。关于这点,通过如图18那样设定放大视场角系数α1,能够使得放大率越大 (放大视场角越小),自动曝光区域越小。由此,能够缩小到对焦的区域来进行调光, 能够更高精度地控制照射希望放大观察的被摄体的光量。即,根据伴随放大操作而引 起的视场角的变化,对自动曝光区域的尺寸进行变更,从而能够进行调光以使得主要 在希望放大观察的被摄体中得到最佳的明亮度。

曝光控制部324根据由摄像部230取得的内窥镜图像的像素值、由自动曝光权重 设定部322设定的自动曝光权重、由正反射区域检测部323检测到的正反射区域,计 算自动曝光评价值,根据该自动曝光评价值和规定的自动曝光目标值进行调光。在本 实施方式中,自动曝光目标值的设定手法与第1实施方式不同。

具体而言,在具有放大功能的宽视野内窥镜中,在不进行放大操作而进行宽视野 观察的情况下,将自动曝光目标值设定得比放大观察时低。如图2的(C)中说明的 那样,在宽视野观察中,有时前方视野和侧方视野中的内窥镜与被摄体的距离差异很 大,如果不根据放大率来变更自动曝光目标值,则有可能在前方和侧方中的任意一个 视野中产生高光泛白。为了降低产生该高光泛白的频度,在宽视野观察时将自动曝光 目标值设定得较低。

另一方面,在放大观察中,与非放大观察相比,视野变窄,所以,视野内的镜体 前端与被摄体的距离不怎么变化。因此,将自动曝光目标值设定得比宽视野观察时高, 由此,能够抑制高光泛白并增大对被摄体照射的光量。

3.2.变形例

另外,在上述实施方式中,根据镜体的最大视场角设定最大自动曝光区域,但是, 本实施方式不限于此,例如也可以不依赖于最大视场角而设定固定尺寸的最大自动曝 光区域。即,也可以仅依赖于镜体的放大视场角来设定自动曝光区域。

该情况下,视场角信息取得部310不从存储器240获取镜体ID,仅获取根据来 自控制部340的控制信号而取得的放大率作为视场角信息。然后,视场角信息取得部 310根据预先保持的表,取得实现放大率的放大视场角。如果采用这种结构,则不需 要设定最大自动曝光区域,能够减少运算量。

根据以上的实施方式,如图16中说明的那样,摄像光学系统(例如物镜231、 摄像元件232)是能够变更放大率的光学系统。视场角信息取得部310根据该摄像光 学系统的放大率而取得视场角信息。

更具体而言,自动曝光控制部320具有自动曝光区域设定部321。如图17、图 18中说明的那样,自动曝光区域设定部321根据视场角信息,对图像设定放大率越 大(根据放大率而变化的视场角越小)、则尺寸越小的自动曝光区域。自动曝光控制 部320根据所设定的自动曝光区域内的像素的像素值计算自动曝光评价值,根据计算 出的自动曝光评价值进行自动曝光的控制。

如上所述,伴随放大操作,内窥镜摄像光学系统的景深变窄,在内窥镜图像内对 焦的区域也变窄。关于这点,根据本实施方式,根据伴随放大操作而变化的内窥镜的 视场角来设定曝光控制的对象区域,能够控制对该区域内的被摄体照射的光量。由此, 即使是任意的放大率,在内窥镜图像内,也能够对以该放大率对焦的范围照射适于更 高精度的观察的光量。

以上说明了应用本发明的实施方式及其变形例,但是,本发明不限于各实施方式 及其变形例,能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体 化。并且,通过对上述各实施方式和变形例所公开的多个结构要素进行适当组合,能 够形成各种发明。例如,可以从各实施方式和变形例所记载的全部结构要素中删除若 干个结构要素。进而,也可以对不同实施方式和变形例中说明的结构要素进行适当组 合。这样,能够在不脱离发明主旨的范围内进行各种变形和应用。

并且,在说明书或附图中,至少一次与更加广义或同义的不同用语一起记载的用 语能够在说明书或附图的任意部位置换为该不同用语。

标号说明

10:被摄体;100:光源部;110:白色光源;120:会聚透镜;200:插入部;210: 光导纤维;220:照明透镜;230:摄像部;231:物镜;232:摄像元件;233:A/D 转换部;240:存储器;300:控制装置;310:视场角信息取得部;320:自动曝光控 制部;321:自动曝光区域设定部;322:自动曝光权重设定部;323:正反射区域检 测部;324:曝光控制部;325:分割部;326:饱和区域检测部;330:图像处理部; 331:预处理部;332:灰度转换处理部;333:降噪处理部;334:后处理部;340: 控制部;400:显示部;500:外部I/F部;H0~H2、W0~W2:区域的尺寸;LC1、 LC2:光线;R(h,w):分割自动曝光区域;SF1~SF3:面;α0:视场角系数;α1: 放大视场角系数。

权利要求书(按照条约第19条的修改)

1.(修改后)一种自动曝光控制装置,其特征在于,该自动曝光控制装置包括:

图像取得部,其取得由摄像光学系统进行摄像而得到的、包含所述被摄体的像的 图像,所述摄像光学系统接受照射到被摄体的光的反射光;

视场角信息取得部,其取得表示对所述图像进行摄像时的所述摄像光学系统的视 场角的视场角信息;以及

自动曝光控制部,其根据所取得的所述视场角信息进行自动曝光的控制,

所述自动曝光控制部具有自动曝光区域设定部,该自动曝光区域设定部针对所述 图像设定与所述视场角信息对应的尺寸的自动曝光区域,

所述自动曝光控制部根据所述自动曝光区域内的像素的像素值计算用于评价所 述图像的曝光状态的自动曝光评价值,根据计算出的所述自动曝光评价值进行所述自 动曝光的控制。

2.(删除)

3.(删除)

4.(修改后)根据权利要求1所述的自动曝光控制装置,其特征在于,

所述视场角信息所表示的所述视场角越宽,所述自动曝光区域设定部设定尺寸越 大的所述自动曝光区域。

5.(修改后)根据权利要求1所述的自动曝光控制装置,其特征在于,

所述自动曝光控制部具有自动曝光权重设定部,该自动曝光权重设定部设定针对 自动曝光区域内的像素的权重作为自动曝光权重,所述自动曝光区域是计算所述自动 曝光评价值的区域,

所述自动曝光控制部根据所述自动曝光区域内的像素的像素值和所述自动曝光 权重计算所述自动曝光评价值。

6.根据权利要求5所述的自动曝光控制装置,其特征在于,

所述自动曝光权重设定部根据所述视场角信息所表示的所述视场角来设定所述 自动曝光权重。

7.根据权利要求6所述的自动曝光控制装置,其特征在于,

在所述视场角信息表示比第1视场角宽的第2视场角的情况下,所述自动曝光权 重设定部将所述中央区域的外侧的周边区域的所述自动曝光权重设定为比所述自动 曝光区域中的中央区域的所述自动曝光权重大的权重。

8.根据权利要求5所述的自动曝光控制装置,其特征在于,

所述自动曝光权重设定部根据所述自动曝光区域内的像素的像素值来设定所述 自动曝光权重。

9.根据权利要求8所述的自动曝光控制装置,其特征在于,

所述自动曝光区域内的像素的亮度值越大,所述自动曝光权重设定部将所述自动 曝光权重设定为越大的权重。

10.(修改后)根据权利要求1所述的自动曝光控制装置,其特征在于,

所述自动曝光控制部进行如下控制:在所述视场角信息表示第1视场角的情况下, 求出所述自动曝光区域内的像素的像素值的平均值或总和值作为所述自动曝光评价 值,使所求出的所述自动曝光评价值接近所述自动曝光的控制目标即自动曝光目标值。

11.(修改后)根据权利要求1所述的自动曝光控制装置,其特征在于,

所述自动曝光控制部具有自动曝光区域分割部,该自动曝光区域分割部将所述自 动曝光区域分割为多个分割自动曝光区域,

所述自动曝光控制部计算所述多个分割自动曝光区域中的各分割自动曝光区域 的像素的像素值的平均值,根据计算出的所述平均值进行所述自动曝光的控制。

12.(修改后)根据权利要求1所述的自动曝光控制装置,其特征在于,

所述自动曝光控制部将所述自动曝光区域内的像素的像素值的最大值设定为所 述自动曝光评价值。

13.(修改后)根据权利要求1所述的自动曝光控制装置,其特征在于,

所述自动曝光控制部具有正反射区域检测部,该正反射区域检测部根据所述自动曝 光区域内的像素的像素值,检测照明光被所述被摄体进行正反射的区域即正反射区域,

所述自动曝光控制部根据所述自动曝光区域中的所述正反射区域以外的区域的 像素的像素值,计算所述自动曝光评价值。

14.根据权利要求13所述的自动曝光控制装置,其特征在于,

所述自动曝光控制部具有饱和区域检测部,该饱和区域检测部检测所述自动曝光 区域内的像素的像素值饱和的区域即饱和区域,

所述自动曝光控制部根据所述饱和区域中的所述正反射区域以外的区域进行所 述自动曝光的控制。

15.根据权利要求14所述的自动曝光控制装置,其特征在于,

所述自动曝光控制部将所述饱和区域中的所述正反射区域以外的区域所包含的 像素数设定为所述自动曝光评价值,在所述像素数大于阈值的情况下,进行减小曝光 量的控制。

16.(修改后)根据权利要求1所述的自动曝光控制装置,其特征在于,

所述自动曝光控制部进行使所述自动曝光评价值接近所述自动曝光的控制目标 即自动曝光目标值的控制,作为所述自动曝光的控制。

17.根据权利要求16所述的自动曝光控制装置,其特征在于,

所述自动曝光控制部根据所述视场角信息设定所述自动曝光目标值。

18.根据权利要求17所述的自动曝光控制装置,其特征在于,

在所述视场角信息表示比第1视场角宽的第2视场角的情况下,所述自动曝光控 制部设定比所述视场角信息表示所述第1视场角的情况下的所述自动曝光目标值小 的值的所述自动曝光目标值。

19.根据权利要求1所述的自动曝光控制装置,其特征在于,

所述视场角信息取得部根据用于识别具有所述摄像光学系统的内窥镜装置的识 别信息,取得所述视场角信息。

20.根据权利要求1所述的自动曝光控制装置,其特征在于,

所述摄像光学系统是能够变更放大率的光学系统,

所述视场角信息取得部根据所述摄像光学系统的所述放大率来取得所述视场角 信息。

21.根据权利要求20所述的自动曝光控制装置,其特征在于,

所述自动曝光控制部具有自动曝光区域设定部,该自动曝光区域设定部根据所述 视场角信息,针对所述图像设定所述放大率越大则尺寸越小的自动曝光区域,

所述自动曝光控制部根据所述自动曝光区域内的像素的像素值计算所述自动曝 光评价值,根据计算出的所述自动曝光评价值进行所述自动曝光的控制。

22.根据权利要求1所述的自动曝光控制装置,其特征在于,

所述自动曝光控制部通过控制照射所述被摄体的光的光量,来进行所述自动曝光 的控制。

23.根据权利要求1所述的自动曝光控制装置,其特征在于,

所述摄像光学系统具有光圈,

所述自动曝光控制部通过控制所述光圈的光圈值,来进行所述自动曝光的控制。

24.根据权利要求1所述的自动曝光控制装置,其特征在于,

所述摄像光学系统具有接受所述反射光的摄像元件,

所述自动曝光控制部通过控制利用所述摄像元件进行的摄像的曝光时间,来进行 所述自动曝光的控制。

25.根据权利要求1所述的自动曝光控制装置,其特征在于,

图像取得部取得至少包含所述摄像光学系统的前方和侧方的被摄体的像的图像。

26.根据权利要求25所述的自动曝光控制装置,其特征在于,

所述摄像光学系统具有用于观察所述前方的被摄体并观察所述侧方的被摄体的 物镜。

27.根据权利要求26所述的自动曝光控制装置,其特征在于,

所述物镜的视野角大于180°。

28.一种控制装置,其特征在于,该控制装置包括:

权利要求1所述的自动曝光控制装置;以及

图像处理部,其对由所述图像取得部取得的所述图像进行图像处理。

29.根据权利要求28所述的控制装置,其特征在于,

所述图像处理部具有灰度转换处理部,该灰度转换处理部对通过所述自动曝光的 控制而得到的所述图像进行灰度转换处理。

30.根据权利要求29所述的控制装置,其特征在于,

所述灰度转换处理部进行空间可变的灰度转换处理,在该空间可变的灰度转换处 理中,根据所述图像中的局部区域,自适应地进行处理。

31.根据权利要求29所述的控制装置,其特征在于,

所述图像处理部具有降噪处理部,该降噪处理部进行降低所述灰度转换处理后的 所述图像的噪声的处理。

32.根据权利要求31所述的控制装置,其特征在于,

所述降噪处理部根据所述灰度转换处理前和所述灰度转换处理后的至少一方的 所述图像的像素的像素值,调整噪声的降低程度。

33.根据权利要求31所述的控制装置,其特征在于,

所述降噪处理部根据所述灰度转换处理前后的所述图像的像素的像素值的变化, 调整所述降低程度,

所述像素值的所述变化是所述灰度转换处理前后的所述像素值的差值和比值中 的至少一方。

34.根据权利要求33所述的控制装置,其特征在于,

所述像素值的所述变化越大,所述降噪处理部使所述噪声的降低程度越强。

35.根据权利要求28所述的控制装置,其特征在于,

所述图像处理部对所述图像进行施加增益的处理,

所述自动曝光控制部通过控制所述增益,进行所述自动曝光的控制。

36.(修改后)一种内窥镜装置,其特征在于,该内窥镜装置包括:

光源部,其射出用于照射被摄体的光;

摄像部,其利用接受照射到所述被摄体的所述光的反射光的摄像光学系统,进行 包含所述被摄体的像的图像的摄像;

视场角信息取得部,其取得表示对所述图像进行摄像时的所述摄像光学系统的视 场角的视场角信息;以及

自动曝光控制部,其根据所取得的所述视场角信息进行自动曝光的控制,

所述自动曝光控制部具有自动曝光区域设定部,该自动曝光区域设定部针对所述 图像设定与所述视场角信息对应的尺寸的自动曝光区域,

所述自动曝光控制部根据所述自动曝光区域内的像素的像素值计算用于评价所 述图像的曝光状态的自动曝光评价值,根据计算出的所述自动曝光评价值进行所述自 动曝光的控制。

37.(修改后)一种自动曝光控制方法,其特征在于,

通过利用摄像光学系统进行的摄像,取得包含所述被摄体的像的图像,所述摄像 光学系统接受照射到被摄体的光的反射光,

取得表示对所述图像进行摄像时的所述摄像光学系统的视场角的视场角信息,

针对所述图像设定与所述视场角信息对应的尺寸的自动曝光区域,

根据所述自动曝光区域内的像素的像素值计算用于评价所述图像的曝光状态的 自动曝光评价值,

根据计算出的所述自动曝光评价值进行所述自动曝光的控制。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号