内窥镜系统、内窥镜的校准方法以及内窥镜的控制装置

摘要

内窥镜系统(1)具有：长条部(5)，其具有长度轴；摄像部(6)，其配置在长条部(5)的前端；弯曲部(7)，其使摄像部(6)相对于长条部(5)的倾斜角度变化；弯曲驱动部(8)，其驱动弯曲部(7)；旋转驱动部(9)，其使长条部(5)绕长度轴旋转；以及控制装置(10)，其对由摄像部(6)获取的图像进行处理，控制装置(10)从摄像部(6)获取在长条部(5)的基于旋转驱动部(9)的旋转动作中拍摄到的多个图像，根据获取的多个图像计算图像上的不动点的位置，决定从计算出的不动点的位置来位于图像的中心的方向。

说明书

技术领域

本发明涉及内窥镜系统、内窥镜的校准方法以及内窥镜的控制装置。

背景技术

公知有进行使设置在插入部的前端的弯曲部自动地动作为笔直延伸的状态的所谓的定心动作的内窥镜(例如参照专利文献1)。

在专利文献1的内窥镜中，利用电位计检测用于使弯曲部进行动作的各马达的旋转量，并根据检测出的旋转量来估计弯曲剩余角度，使马达动作估计出的弯曲剩余角度量。

现有技术文献

专利文献

专利文献1：日本特开2002-323661号公报

发明内容

发明要解决的课题

但是，在专利文献1的内窥镜中，由于仅校正根据马达的旋转量估计出的弯曲剩余角度，因此关于现实中是否已使弯曲部直线化并不明确。

本发明的目的在于，提供能够高精度地使弯曲部直线化的内窥镜系统、内窥镜的校准方法以及内窥镜的控制装置。

用于解决课题的手段

本发明的一个方式为内窥镜系统，该内窥镜系统具有：长条部，其具有长度轴；摄像部，其设置在该长条部的前端；弯曲部，其使该摄像部相对于所述长条部的倾斜角度变化；弯曲驱动部，其驱动该弯曲部；旋转驱动部，其使所述长条部绕所述长度轴旋转；以及控制装置，其对由所述摄像部获取的图像进行处理，该控制装置进行如下处理：从所述摄像部获取在所述长条部的基于所述旋转驱动部的旋转动作中拍摄到的多个所述图像；根据获取的多个所述图像来计算该图像上的不动点的位置；以及决定从计算出的所述不动点的位置来位于所述图像的中心的方向。

根据本方式，将长条部从摄像部插入到体内，使旋转驱动部进行动作而使长条部绕长度轴旋转，并且在旋转动作中使摄像部进行动作，获取由摄像部拍摄的多个图像。根据获取到的多个图像，由控制装置计算图像上的不动点的位置，决定从不动点的位置来位于图像的中心的方向。

即，基于旋转驱动部的旋转动作使长条部绕长度轴旋转，因此在旋转动作中由摄像部随时间获取的图像绕不动点旋转，该不动点是配置在长度轴的延长线上的点。因此，通过弯曲驱动部驱动弯曲部，能够决定从不动点的位置来位于图像的中心的方向，由此，能够高精度地使弯曲部直线化。

在上述方式中，也可以是，所述控制装置进行如下处理：根据多个所述图像设定多个不动点候选；计算各该不动点候选在所述长条部的旋转动作中的运动矢量；以及计算所计算的各该运动矢量的大小成为最小的所述不动点候选的位置，作为所述不动点的位置。

通过该结构，在图像内存在不动点的情况下，能够高精度地计算出不动点的位置。因此，能够决定从高精度地计算出的不动点的位置来位于图像的中心的方向，由此，能够高精度地使弯曲部直线化。

另外，在上述方式中，所述控制装置也可以计算所述运动矢量的大小为最小并且比规定阈值小的所述不动点候选的位置，作为所述不动点的位置。

通过该结构，在图像内不存在不动点的情况下，能够防止将运动矢量的大小成为最小的不动点候选误检测为不动点。

另外，在上述方式中，也可以是，所述控制装置在所述运动矢量的大小比所述规定阈值大的情况下，通过所述弯曲驱动部使所述弯曲部与所述运动矢量交叉，并且使所述弯曲部向所述运动矢量变小的方向进行动作。

通过该结构，能够将配置在运动矢量为最小的位置的不动点引入到图像内，进行不动点的位置的计算。

另外，在上述方式中，也可以是，该内窥镜系统还具有进退驱动部，该进退驱动部使所述长条部沿所述长度轴方向进退，所述控制装置在所述运动矢量的大小比所述规定阈值大的情况下，控制所述进退驱动部，以使内窥镜向所述长度轴方向后方后退。

通过该结构，通过使长条部向长度轴方向后方后退，视野范围扩大，因此能够将露出到图像的外侧的不动点引入图像内。

另外，在上述方式中，也可以是，所述控制装置根据决定的所述方向而控制所述弯曲驱动部。

通过该结构，通过控制装置的动作，能够决定从配置在运动矢量为最小的位置的不动点来位于图像的中心的方向，从而自动地高精度地使弯曲部直线化。

另外，在上述方式中，也可以是，所述控制装置将所述弯曲部的角度向使计算出的所述不动点的位置与所述中心的距离减小的方向调节。

通过该结构，能够决定从配置在运动矢量为最小的位置的不动点来位于图像的中心的方向，从而高精度地使弯曲部直线化。

另外，在上述方式中，也可以是，该内窥镜系统具有信息通知部，该信息通知部通知由所述控制装置决定的所述方向。

通过该结构，手术医生能够根据通知的信息来操作内窥镜，使弯曲部弯曲，能够决定从配置在运动矢量为最小的位置的不动点来位于图像的中心的方向，从而通过手动高精度地使弯曲部直线化。

另外，本发明的另一方式为内窥镜的校准方法，所述内窥镜具有：长条部，其具有长度轴；摄像部，其配置在该长条部的前端；以及弯曲部，其使该摄像部相对于所述长条部的倾斜角度变化，该内窥镜的校准方法具有如下步骤：获取由所述摄像部在所述长条部的旋转动作中拍摄到的多个图像；根据获取的多个所述图像来计算该图像上的不动点的位置；决定从计算出的该不动点的位置来位于所述图像的中心的方向；以及根据决定的方向使所述弯曲部进行动作。

在上述方式中，也可以是，该内窥镜的校准方法具有如下步骤：根据多个所述图像设定多个不动点候选；计算各该不动点候选在所述长条部的旋转动作中的运动矢量；以及计算所计算的各该运动矢量的大小成为最小的所述不动点候选的位置，作为所述不动点的位置。

另外，在上述方式中，也可以是，计算所述运动矢量的大小为最小并且比规定阈值小的所述不动点候选的位置，作为所述不动点的位置。

另外，在上述方式中，也可以是，在所述运动矢量的大小比所述规定阈值大的情况下，使所述弯曲部与所述运动矢量交叉，并且使所述弯曲部向所述运动矢量变小的方向进行动作。

另外，在上述方式中，也可以是，在所述运动矢量的大小比所述规定阈值大的情况下，使所述内窥镜向该内窥镜的长度轴方向后方后退。

另外，本发明的另一方式为内窥镜的控制装置，其中，该内窥镜的控制装置具有1个以上的处理器，该处理器进行如下处理：由所述内窥镜的摄像部获取在所述内窥镜的长条部的基于所述内窥镜的旋转驱动部的旋转动作中拍摄到的多个图像；根据获取的所述多个图像来计算图像上的不动点的位置；以及决定从计算出的所述不动点的位置来位于所述图像的中心的方向。

在上述方式中，也可以是，所述处理器进行如下处理：根据多个所述图像设定多个不动点候选；计算各该不动点候选在所述长条部的旋转动作中的运动矢量；以及计算所计算的各该运动矢量的大小成为最小的所述不动点候选的位置，作为所述不动点的位置。

另外，在上述方式中，也可以是，所述处理器计算所述运动矢量的大小为最小并且比规定阈值小的所述不动点候选的位置，作为所述不动点的位置。

另外，在上述方式中，也可以是，所述处理器在所述运动矢量的大小比所述规定阈值大的情况下，使所述内窥镜的弯曲部与所述运动矢量交叉，并且使所述弯曲部向所述运动矢量变小的方向进行动作。

另外，在上述方式中，也可以是，所述处理器在所述运动矢量的大小比所述规定阈值大的情况下，使所述内窥镜向所述长条部的长度轴方向后方后退。

发明效果

根据本发明实现了如下效果：能够高精度地使弯曲部直线化。

附图说明

图1是示出本发明的一个实施方式的内窥镜系统的整体结构图。

图2是示出图1的内窥镜系统所具备的内窥镜的插入部和被摄体中的特征点的一例的图。

图3是示出由图2的内窥镜的摄像部获取的图像例的图。

图4是示出在从图2的状态使插入部绕长度轴旋转90°时获取的图像例的图。

图5是示出在从图2的状态使插入部绕长度轴旋转180°时获取的图像例的图。

图6是示出在从图2的状态使插入部绕长度轴旋转270°时获取的图像例的图。

图7是示出根据图3至图6的图像计算出的每个特征点的运动矢量的一例的图。

图8是对使用了图1的内窥镜系统的内窥镜的校准方法进行说明的流程图。

图9是对图8的不动点的检测步骤进行说明的流程图。

图10是对图8的弯曲部驱动步骤进行说明的流程图。

图11是对图10的弯曲部驱动步骤的变形例进行说明的流程图。

图12是示出具有控制装置的内窥镜的一例的图。

图13是示出图1的内窥镜系统的变形例的整体结构图。

具体实施方式

以下，参照附图对本发明的一个实施方式的内窥镜系统1、内窥镜2的校准方法以及内窥镜2的控制装置10进行说明。

如图1所示，本实施方式的内窥镜系统1具有：内窥镜2，其插入到患者的体腔X内，获取体腔X内的图像(参照图3)G；机器人3，其能够调节内窥镜2的位置和姿势；以及控制装置10，其对由内窥镜2获取的图像G进行处理。

内窥镜(2)具有：长条的插入部(长条部)5，其从形成在患者的体壁上的孔插入；摄像部6，其设置在插入部5的前端；弯曲部7，其使摄像部6的视野范围相对于插入部5的长度轴K的倾斜角度变化；弯曲马达(弯曲驱动部)8，其驱动弯曲部7；以及滚动马达(旋转驱动部)9，其使插入部5绕长度轴K旋转。

机器人3可以是将内窥镜2支承在手腕前端的通用的6轴多关节型机器人。

机器人3和内窥镜2与控制装置10连接，在控制装置10上连接有操作装置11。

操作装置11是供操作者在远程操作内窥镜2和机器人3时进行操作的装置，能够进行指示校准的开始的输入。

控制装置10在被从操作装置11进行了指示校准的开始的输入时，通过使内窥镜2的滚动马达9进行动作，使内窥镜2进行动作。然后，控制装置10在插入部5绕长度轴K的旋转动作中获取多张图像G。控制装置10由具有处理器和存储器的计算机构成。

控制装置10在被输入了在插入部5绕长度轴K的旋转动作中获取的多个图像G时，通过处理所输入的多个图像G，计算图像G上的不动点的位置，根据使计算出的不动点的位置接近图像G的中心位置(中心)P的信息，使弯曲马达8进行动作。

另外，关于多个图像G，只要获取多个至少旋转角度位置不同的时机的图像G即可。更具体地说，在插入部5的旋转动作中，按摄像部6的帧频获取多个图像G(随时间获取图像G)。或者，也可以通过在控制装置10中安装计时器功能，预先设定任意的时间间隔或随机的时间间隔，在该时机下获取多个图像G。或者，也可以从滚动马达9的未图示的编码器获取插入部5的旋转角度，根据编码器的检测值，每隔规定的旋转角度获取多个图像G。

这里，对不动点的位置的计算进行说明。

如图2所示，在被摄体O中存在多个特征点的情况下，当在初始状态下弯曲部7向一个方向稍微弯曲时，通过摄像部6获取图3所示那样的图像G。如果从该状态起，在使滚动马达9进行动作而使内窥镜2绕插入部5的长度轴K旋转一周的期间，每隔规定角度例如每隔90°由摄像部6获取图像G，则获取到图3至图6所示的合计4张图像G。

当被输入了这些图像G时，控制装置10计算各特征点的运动矢量。如图7所示，即使在弯曲部7弯曲的状态下使插入部5旋转，配置在插入部5的长度轴K的延长线上的特征点也配置在图像G上的相同位置，因此运动矢量的大小为最小。控制装置10在时间轴方向上相邻的2张图像G之间分别计算各特征点的运动矢量，对计算出的运动矢量的大小进行合计。由此，能够将计算出的运动矢量的大小的合计为最小的特征点检测为不动点。

控制装置10在计算出不动点的位置的坐标时，计算使不动点移动至图像G的中心位置P所需的弯曲马达8的驱动量，作为使计算出的不动点的位置接近图像G的中心位置P的信息。控制装置10根据驱动量来驱动弯曲马达8，由此使弯曲部7进行动作。由此，能够使弯曲部7接近沿着插入部5的长度轴K呈直线状延伸的状态。

接下来，对本实施方式的内窥镜系统1中的内窥镜2的校准方法进行说明。

本实施方式的校准方法是将弯曲部7配置成沿着插入部5的长度轴K呈直线状延伸的状态的方法，如图8所示，首先，该方法包含：不动点检测步骤S1，计算图像G内的不动点的位置，弯曲部驱动步骤S2，根据计算出的不动点位置，使弯曲部7进行弯曲动作。

在不动点检测步骤S1中，如图9所示，在操作装置11中输入了开始校准的指示时，首先将计数器n设定为n＝0(步骤S101)，通过摄像部6获取图像G(步骤S102)。

获取到的图像G被发送给控制装置10而被提取多个特征点(步骤S103)，存储发送来的图像G和提取的特征点的坐标(步骤S104)。

判定计数器是否为规定的次数A(步骤S105)，在不为规定的次数A的情况下，使滚动马达9进行动作，使插入部5绕长度轴K旋转规定角度θ(步骤S106)。这里，例如θ＝90°，A＝360°/θ＝4。规定角度θ只要小于180°即可。

将计数器递增(步骤S107)，判定计数器n是否为n＝1(步骤S108)，在n＝1的情况下，反复进行从步骤S102开始的程序。在计数器n不为n＝1的情况下，根据紧前的2张图像G来计算各特征点的运动矢量(步骤S109)并存储(步骤S110)，反复进行从步骤S102开始的程序。

在步骤S105中n＝A的情况下，按每个特征点计算到此为止计算出的运动矢量的大小的总和S(步骤S111)。然后，对针对各特征点计算出的运动矢量的大小的总和S的大小进行比较，提取具有最小的总和Smin的特征点(步骤S112)。然后，判定计算出的最小的总和Smin是否小于规定的阈值B(步骤S113)，在小于规定的阈值B的情况下，将具有最小的总和Smin的特征点检测为不动点，并存储其坐标(步骤S114)。在最小的总和Smin为规定的阈值B以上的情况下，有可能在图像G上不存在不动点，因此在使弯曲部7进行动作之后(步骤S115)，反复进行从步骤S101开始的程序。

作为步骤S115中的弯曲动作，可以举出以下两种方法。

第一是如下方法：由于估计为在连结图像G的中心位置P和在步骤S112中提取出的具有最小的运动矢量的总和Smin的特征点的直线的延长线上存在不动点，因此为了使从图像G露出的不动点进入图像G内，使弯曲部7向前端从图像G的中心位置P朝向具有最小的运动矢量的总和Smin的特征点移动的方向进行弯曲动作。

第二是如下方法：不估计不动点的方向，而一边使弯曲部7向任意的方向弯曲规定角度一边搜索不动点，在即使弯曲多次也未发现不动点的情况下，切换弯曲方向而反复进行同样的处理。

如图10所示，在弯曲部驱动步骤S2中，首先根据计算出的不动点的位置的坐标和图像G的中心位置P的坐标来计算从图像G的中心位置P至不动点的距离L(步骤S201)。判定计算出的距离L是否为规定的阈值Th以下(步骤S202)，如果为阈值Th以下，则结束处理。在比阈值Th大的情况下，判定不动点相对于图像G的中心位置P的方向(步骤S203)。

在步骤S203中，判定不动点相对于图像G的中心位置P是否位于上下方向，在位于上下方向的情况下，判定是否位于上方向(步骤S204)，在不位于上方向的情况下，可以判定为弯曲部7相对于插入部5的长度轴K向上弯曲，控制装置10控制弯曲马达8，使弯曲部7向下动作规定角度(步骤S205)。另一方面，在不动点相对于图像G的中心位置P存在于上方向的情况下，可以判定为弯曲部7相对于插入部5的长度轴K向下弯曲，控制装置10使弯曲部7向上动作规定角度(步骤S206)。

另外，在步骤S203中判定为不位于上下方向的情况下，判定是否位于左方向(步骤S207)，在不位于左方向的情况下，可以判定为弯曲部7相对于插入部5的长度轴K向左弯曲，控制装置10使弯曲部7向右动作规定角度(步骤S208)。另一方面，在不动点相对于图像G的中心位置P存在于左方向的情况下，可以判定为弯曲部7相对于插入部5的长度轴K向右弯曲，控制装置10使弯曲部7向左动作规定角度(步骤S209)。

在步骤S205、S206、S208、S209结束之后，反复进行从步骤S201开始的程序。然后，在步骤S202中，在判定为距离L为阈值Th以下的情况下，校准动作结束。

根据本实施方式的内窥镜系统1、内窥镜2的校准方法以及内窥镜2的控制装置10，将内窥镜2的插入部5从设置在前端的摄像部6插入到体内，使滚动马达9进行动作，使插入部5绕长度轴K旋转，并且在旋转动作中使摄像部6进行动作，获取多个图像G。

然后，通过在控制装置10中处理所获取的多个图像G，计算出图像G上的不动点的位置，得到使不动点的位置接近图像G的中心位置P的信息。

即，基于滚动马达9的旋转动作使插入部5绕长度轴K旋转，因此在旋转动作中由摄像部6随时间获取的图像G绕不动点旋转，该不动点是配置在长度轴K的延长线上的点。因此，控制装置10根据信息，通过弯曲马达8的动作来驱动弯曲部7，使不动点的位置接近图像G的中心位置P。即，能够决定从不动点的位置来位于图像G的中心位置P的方向，由此，能够高精度地使弯曲部7直线化。

另外，在本实施方式中，例示了在弯曲部驱动步骤S2中，将弯曲部7向上下左右方向驱动规定角度的情况，但也可以取而代之，如图11所示，根据在步骤S201中计算出的距离L来计算弯曲马达8的驱动角度(步骤S210)。例如，只要通过距离L乘以常数C来计算弯曲马达8的驱动角度D即可。由此，随着不动点接近图像G的中心位置P，弯曲部7的驱动角度D变小，因此具有能够更高精度地使弯曲部7直线化的优点。

另外，在本实施方式中，例示了控制装置10根据操作装置11的操作来控制机器人3和内窥镜2的内窥镜系统1，但不限于此，也可以是手动的内窥镜2由保持内窥镜2的位置和姿势的外科用臂等支承装置支承。只要在内窥镜2上设置有使插入部5绕长度轴K旋转的手动的手柄(旋转驱动部：参照图12)22和使弯曲部7弯曲的手动的手柄(弯曲驱动部：参照图12)23即可。

在该情况下，只要具有如下的信息通知部(参照图12)20即可，该信息通知部20通知从控制装置10输出的使不动点的位置接近图像G的中心位置P的信息。

作为信息通知部20，可以采用显示器、扬声器等任意的通知单元。

在通过显示器进行通知的情况下，也可以是，作为使不动点的位置接近图像G的中心位置P的信息，显示“请向右方向弯曲5°”那样的文字。手术医生根据信息通知部20中的通知内容，使内窥镜2进行动作，由此，控制装置10对获取到的图像G进行处理，能够使不动点的位置接近图像G的中心位置P。另外，也可以不明示角度，而仅通知弯曲的方向。

另外，可以不准备机器人3或外科用臂，而应用于手动的内窥镜系统21，该内窥镜系统21如图12所示，在手术医生所支承的内窥镜2自身设置有手柄22、23、控制装置10、滚动马达9以及弯曲马达8。

另外，在本实施方式中，在未在图像G内计算出不动点的位置的情况下，使弯曲部7进行弯曲动作，使内窥镜2的视野范围移动至不动点被取入到图像G内的位置，但也可以取而代之，通过机器人(进退驱动部)3等使内窥镜2在沿着插入部5的长度轴K的方向上后退，扩大视野范围，由此将不动点取入到图像G内。由此，不使弯曲部7进行动作即可，因此在插入部5的前端的弯曲部7的动作空间狭小的情况下，可以在避免与周围组织的干涉的同时计算不动点的位置。

另外，在该情况下，例示了6轴多关节型机器人，但也可以取而代之，如图13所示，采用在4轴机器人的前端具有使内窥镜2在沿着插入部5的长度轴K的方向上进退的直动轴(进退驱动部)30的机器人3。由此，能够更简单地使内窥镜2沿插入部5的长度轴方向进退。

另外，在本实施方式中，例示了为了使图像G的中心位置P与不动点一致，使弯曲部7向上下左右这4个方向分别进行弯曲动作的情况，但也可以取而代之，组合4个方向的弯曲动作，使弯曲部7与计算出的运动矢量交叉，并且使弯曲部7向运动矢量变小的方向进行弯曲动作。

另外，在本实施方式中，作为控制装置10，例示了执行内窥镜2的控制和图像处理的装置，但也可以取而代之，采用单独设置控制内窥镜2的装置和执行图像处理的装置的结构。

标号说明

1、21：内窥镜系统；3：机器人(进退驱动部)；5：插入部(长条部)；6：摄像部；7：弯曲部；8：弯曲马达(弯曲驱动部)；9：滚动马达(旋转驱动部)；10：控制装置；20：信息通知部；22：手柄(旋转驱动部)；23：手柄(弯曲驱动部)；30：直动轴(进退驱动部)；G：图像；K：长度轴；P：中心位置(中心)。