一种显微手术成像过程中术区三维重建方法及系统

摘要

一种显微手术成像过程中术区三维重建方法及系统，构建手术器械的三维点云数据集；构建卷积神经网络；根据术区手术器械像素级分割图像，获取术区内手术器械的掩模图；校正视点图像中的高光区域，获得弱高光或无高光手术场景显微图像；分别获得显微手术成像设备左右视点的弱高光或无高光手术场景显微图像IrL和IrR；获取手术场景的深度信息，根据深度信息进行三维点云重建获得显微手术成像设备下术区三维点云重建结果；根据术区内手术器械的掩模图和手术器械的三维点云数据集，恢复出当前术区中所有手术器械形态的点云图像；约束术区三维点云重建结果。本发明解决手术显微成像过程术区三维重建中手术器械所引起的整幅图像严重扭曲，重建效果不佳的问题。

说明书

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种显微手术成像过程中术区三维重建方法及系统。

背景技术

显微手术成像设备已在眼科、耳鼻喉科以及神经外科等多个临床科室推广使用，其不仅解决了传统显微手术对主刀医生强迫体位的要求，可以使主刀医生对着数字化显示屏实时进行手术操作，也为后续发展数字化、智能化以及精细化手术提供了可行性。随着手术的智能化和微创化发展，手术场景在数字化的过程中获得信息越来越多。

现有的显微手术成像设备借助双目立体视觉的三维重建方法，可以获得显微手术区域的三维重建模型，双目立体视觉三维重建的过程，根据光流求取视差图或者根据立体匹配的算法进行三维重建，但是该方法在针对术区含有手术器械时，往往因为手术器械的反光或者无纹理等各种原因造成手术器械重建结果的扭曲，甚至导致整体重建精度严重下降，重建的三维模型会存在较大的误差，这对未来精细化的微创手术是致命的。故亟需一种显微手术成像过程中术区三维重建的方案以有效解决手术器械等反光问题所带来的三维重建不准的问题。

发明内容

为此，本发明提供一种显微手术成像过程中术区三维重建方法及系统，解决手术显微成像过程术区三维重建中手术器械所引起的整幅图像严重扭曲，重建效果不佳的问题，提高术区三维重建的整体重建精度，更好的恢复术区三维重建的模型。

为了实现上述目的，本发明提供如下技术方案：一种显微手术成像过程中术区三维重建方法，包括以下步骤：

步骤1、基于结构光三维重建算法，构建手术器械的三维点云数据集D；

步骤2、构建卷积神经网络，所述卷积神经网络的输入为显微手术成像设备的视点图像I，卷积神经网络的输出为术区手术器械像素级分割图像M

步骤3、根据所述术区手术器械像素级分割图像M

步骤4、校正所述视点图像I中的高光区域，获得弱高光或无高光手术场景显微图像I

步骤5、根据步骤4分别获得显微手术成像设备左右视点的弱高光或无高光手术场景显微图像I

步骤6、基于双目立体视觉，通过弱高光或无高光手术场景显微图像I

步骤7、根据步骤3中的术区内手术器械的掩模图M

步骤8、根据步骤3中的术区内手术器械的掩模图M

作为显微手术成像过程中术区三维重建方法的优选方案，所述步骤1包括以下步骤：

步骤1.1、使用张正友标定法对投影仪以及双目相机进行标定；

步骤1.2、使用投影仪投射格雷码编码的方式对所要重建的手术器械进行空间编码操作；

步骤1.3、通过对格雷码的解码获取双目相机中像素点的立体匹配；

步骤1.4、使用三角测量方案进行三维点云的重建；

步骤1.5、对手术器械的三维点云进行处理，将手术器械所有可移动的部位点云单独分割出来进行刚性部件的点云重建。

作为显微手术成像过程中术区三维重建方法的优选方案，所述步骤2包括以下步骤：

步骤2.1、确定卷积神经网络的输入为显微手术成像设备的视点图像I；

步骤2.2、使用VGG16的卷积网络层对输入层的视点图像I进行特征提取；

步骤2.3、使用上采样层以及softmax层，根据图像特征对视点图像I将手术器械按照给定标签进行分类标注，以达到显微手术成像设备中像素级别的分割并获得术区手术器械像素级分割图像M

作为显微手术成像过程中术区三维重建方法的优选方案，所述步骤3包括以下步骤：

步骤3.1、构建常用手术器械的数据集，使用标注软件进行像素级的标注工作；

步骤3.2、根据步骤2.3中对于手术器械的标注标签，构建术区内各个手术器械的掩膜图像M

作为显微手术成像过程中术区三维重建方法的优选方案，所述步骤4包括以下步骤：

步骤4.1、将显微手术成像设备录制的已有手术视频进行分帧操作；

步骤4.2、对步骤4.1中分帧后的图片，将含有高光的图片和不含有高光的图像进行人工手动分类；

步骤4.3、构建CycleGAN-and-pix2pix网络，将步骤4.2中的数据集分成数据集合测试集，进行训练，并保存网络参数；

步骤4.4、构建视点图像I中高光区域的掩模图I

步骤4.5、结合步骤4.4中构建的掩模图I

作为显微手术成像过程中术区三维重建方法的优选方案，所述步骤6包括以下步骤：

步骤6.1、基于张正友标定法，对显微手术成像设备的双目相机进行标定，获取双目相机的内参和外参；

步骤6.2、根据弱高光或无高光手术场景显微图像I

步骤6.3、基于步骤6.2中的光流场对像素级别的稠密点进行匹配，获得两幅图像上稠密的二维图像匹配点；

步骤6.4、根据步骤6.1获得的相机的内外参，以及6.3中获得的两幅图像上稠密的二维图像匹配点，使用三角测量的方法进行三维重建；

步骤6.5、获得初步的显微手术成像设备下术区三维点云重建结果R

作为显微手术成像过程中术区三维重建方法的优选方案，所述步骤7包括以下步骤：

步骤7.1、根据步骤6.5中获得的初步的三维点云重建结果R

步骤7.2、从步骤1中的三维点云数据集D中提取对应的手术器械点云数据D

步骤7.3、将手术器械点云数据D

作为显微手术成像过程中术区三维重建方法的优选方案，所述步骤8包括以下步骤：

步骤8.1、根据手术器械形态的点云图像R

步骤8.2、求解

步骤8.3、重复步骤8.1和步骤8.2,迭代优化当

本发明还提供一种显微手术成像过程中术区三维重建系统，基于上述的显微手术成像过程中术区三维重建方法，包括：

三维点云构建模块，用于基于结构光三维重建算法，构建手术器械的三维点云数据集D；

卷积神经网络构建模块，用于构建卷积神经网络，所述卷积神经网络的输入为显微手术成像设备的视点图像I，卷积神经网络的输出为术区手术器械像素级分割图像M

掩模图获取模块，用于根据所述术区手术器械像素级分割图像M

高光校正模块，用于校正所述视点图像I中的高光区域，获得弱高光或无高光手术场景显微图像I

三维点云重建模块，基于双目立体视觉，通过弱高光或无高光手术场景显微图像I

点云图像恢复模块，用于根据掩模图获取模块的术区内手术器械的掩模图M

三维点云约束模块，用于根据掩模图获取模块的术区内手术器械的掩模图M

作为显微手术成像过程中术区三维重建系统的优选方案，获得的弱高光或无高光手术场景显微图像I

本发明基于结构光三维重建算法，构建手术器械的三维点云数据集；构建卷积神经网络，卷积神经网络的输入为显微手术成像设备的视点图像I，卷积神经网络的输出为术区手术器械像素级分割图像M

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例中提供的显微手术成像过程中术区三维重建方法流程示意图；

图2为本发明实施例中提供的显微手术成像过程中术区三维重建方法技术架构图；

图3为本发明实施例中提供的显微手术成像过程中术区三维重建系统示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1和图2，提供一种显微手术成像过程中术区三维重建方法，包括以下步骤：

S1、基于结构光三维重建算法，构建手术器械的三维点云数据集D；

S2、构建卷积神经网络，所述卷积神经网络的输入为显微手术成像设备的视点图像I，卷积神经网络的输出为术区手术器械像素级分割图像M

S3、根据所述术区手术器械像素级分割图像M

S4、校正所述视点图像I中的高光区域，获得弱高光或无高光手术场景显微图像I

S5、根据步骤S4分别获得显微手术成像设备左右视点的弱高光或无高光手术场景显微图像I

S6、基于双目立体视觉，通过弱高光或无高光手术场景显微图像I

S7、根据步骤S3中的术区内手术器械的掩模图M

S8、根据步骤S3中的术区内手术器械的掩模图M

具体的，步骤S1包括以下步骤：

S1.1、使用张正友标定法对投影仪以及双目相机进行标定；

S1.2、使用投影仪投射格雷码编码的方式对所要重建的手术器械进行空间编码操作；

S1.3、通过对格雷码的解码获取双目相机中像素点的立体匹配；

S1.4、使用三角测量方案进行三维点云的重建；

S1.5、对手术器械的三维点云进行处理，将手术器械所有可移动的部位点云单独分割出来进行刚性部件的点云重建。

具体的，张正友标定法是张正友教授1998年提出的单平面棋盘格的相机标定方法。传统标定法的标定板是需要三维的，需要非常精确，这很难制作，而张正友教授提出的方法介于传统标定法和自标定法之间，但克服了传统标定法需要的高精度标定物的缺点，而仅需使用一个打印出来的棋盘格就可以。同时也相对于自标定而言，提高了精度，便于操作。

具体的，在一组数的编码中，若任意两个相邻的代码只有一位二进制数不同，则称这种编码为格雷码，另外由于最大数与最小数之间也仅一位数不同，即“首尾相连”，因此又称循环码或反射码。格雷码是一种具有反射特性和循环特性的单步自补码，其循环和单步特性消除了随机取数时出现重大错误的可能，其反射和自补特性使得对其进行求反操作也非常方便，格雷码属于一种可靠性编码，是一种错误最小化的编码方式。

具体的，三角测量是视觉定位中，已知多个相机位置和空间中一点的投影点，进一步求该点三维位置的方法。三角测量是Pose Estimation的相反过程，求出相机位置后，图像中其它特征点的3D位置可以由这种方法一一求出。

具体的，步骤S2包括以下步骤：

S2.1、确定卷积神经网络的输入为显微手术成像设备的视点图像I；

S2.2、使用VGG16的卷积网络层对输入层的视点图像I进行特征提取；

S2.3、使用上采样层以及softmax层，根据图像特征对视点图像I将手术器械按照给定标签进行分类标注，以达到显微手术成像设备中像素级别的分割并获得术区手术器械像素级分割图像M

具体的，所述步骤S3包括以下步骤：

S3.1、构建常用手术器械的数据集，使用标注软件进行像素级的标注工作；

S3.2、根据步骤S2.3中对于手术器械的标注标签，构建术区内各个手术器械的掩膜图像M

具体的，步骤S4包括以下步骤：

S4.1、将显微手术成像设备录制的已有手术视频进行分帧操作；

S4.2、对步骤S4.1中分帧后的图片，将含有高光的图片和不含有高光的图像进行人工手动分类；

S4.3、构建CycleGAN-and-pix2pix网络，将步骤S4.2中的数据集分成数据集合测试集，进行训练，并保存网络参数；

S4.4、构建视点图像I中高光区域的掩模图I

S4.5、结合步骤S4.4中构建的掩模图I

具体的，步骤S6包括以下步骤：

S6.1、基于张正友标定法，对显微手术成像设备的双目相机进行标定，获取双目相机的内参和外参；

S6.2、根据弱高光或无高光手术场景显微图像I

S6.3、基于步骤S6.2中的光流场对像素级别的稠密点进行匹配，获得两幅图像上稠密的二维图像匹配点；

S6.4、根据步骤S6.1获得的相机的内外参，以及S6.3中获得的两幅图像上稠密的二维图像匹配点，使用三角测量的方法进行三维重建；

S6.5、获得初步的显微手术成像设备下术区三维点云重建结果R

具体的，步骤S7包括以下步骤：

S7.1、根据步骤S6.5中获得的初步的三维点云重建结果R

S7.2、从步骤1中的三维点云数据集D中提取对应的手术器械点云数据D

S7.3、将手术器械点云数据D

具体的，步骤8包括以下步骤：

S8.1、根据手术器械形态的点云图像R

S8.2、求解

S8.3、重复步骤S8.1和步骤S8.2,迭代优化，

当

具体的，推荐最佳迭代次数为30次。

参见图3，本发明还提供一种显微手术成像过程中术区三维重建系统，基于实施例1中的显微手术成像过程中术区三维重建方法，包括：

三维点云构建模块1，用于基于结构光三维重建算法，构建手术器械的三维点云数据集D；

卷积神经网络构建模块2，用于构建卷积神经网络，所述卷积神经网络的输入为显微手术成像设备的视点图像I，卷积神经网络的输出为术区手术器械像素级分割图像M

掩模图获取模块3，用于根据所述术区手术器械像素级分割图像M

高光校正模块4，用于校正所述视点图像I中的高光区域，获得弱高光或无高光手术场景显微图像I

三维点云重建模块5，基于双目立体视觉，通过弱高光或无高光手术场景显微图像I

点云图像恢复模块6，用于根据掩模图获取模块3的术区内手术器械的掩模图M

三维点云约束模块7，用于根据掩模图获取模块3的术区内手术器械的掩模图M

本发明基于结构光三维重建算法，构建手术器械的三维点云数据集；构建卷积神经网络，卷积神经网络的输入为显微手术成像设备的视点图像I，卷积神经网络的输出为术区手术器械像素级分割图像M

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。