一种模型引导下的3D打印额面肿瘤治疗导板智能化质量检测方法

摘要

本发明涉及一种模型引导下的3D打印额面肿瘤治疗导板智能化质量检测方法。本发明首先研究并提出一种有效对导板模型stl文件的导孔检测方法其次设计合理的位置初始化方案实现使用单个CCD相机完成双目视觉测量的方法，使导板模型在机械系统世界坐标系下的位置与模型世界坐标系的位置对齐，并设计基于检测到的导孔位置设计合理的检测路径的方法；最后研究并提出一种通过单目CCD相机判断导孔成型合格与否的导孔检测方法。在上述研究的基础上，基于五轴机械系统设计精确合理的额面肿瘤导板导孔检测系统。本发明能够精确的提取出导孔的世界坐标并能够合理的检测出导孔成型是否合格的同时保证一定的检测速度。

说明书

技术领域

本发明涉及智能化控制和图像识别技术，具体涉及一种模型引导下的额面肿瘤导板智能化导孔质量检测方法研究与实现。

背景技术

3D打印是一种增材制造技术，能够快速完成工业设计或是模具制造。一开始3D打印仅是一部分创客的玩具或者用于工业上一些小零件的生产，但是随着3D打印的技术不断完善，越来越多的行业开始使用这一技术，在珠宝、鞋类、工业设计、建筑、工程和施工(AEC)、汽车，航空航天、牙科和医疗产业、教育、地理信息系统、土木工程、枪支以及其他领域都有所应用。而随着这项技术的兴起，使一些具有突破意义的方法能够获得实现。由北京工业大学承担的北京市科委重大课题“3D打印肿瘤医疗导板成型装备及检测设备工程样机研制”，在这方面取得了突破。已于内蒙古自治区肿瘤医院微创介入中心实现一起临床治疗。但是，目前打印出的医疗导板的导孔并不能保证能够直接使用，检测成品是否合格的机制也不健全，每个导板的每个孔都需要人工检查是否合格，为此，需要开发一种额面肿瘤导板智能化导孔合格判别系统减少人工成本。

发明内容

本发明提供一种模型引导下的的额面肿瘤导板智能化导孔质量检测及试穿系统，该系统可以实现对个性化非常高的肿瘤导板的导孔智能化的判别是否合格并进行试穿。

由于现有的自动检测方案对个性化高的3D打印模板鲁棒性很低，没有一种方法对3D打印产品进行质量检测。本发明基于额面肿瘤导板和导孔的stl模型文件和图像的研究，提出一种适合于个性化导板的智能化导孔合格判别和试穿系统。该系统能有效地检测各类额面肿瘤导板。

本发明的技术方案是这样实现的：一种模型引导下的额面肿瘤导板智能化导孔质量检测方法，其步骤包括：

A、模型位置初始化阶段，首先对相机进行单目标定，得到相机焦距f，并求相机靶标平面的像素大小dp。在给定的导板上用红色标记纸做上三个标记，因为红色标记最为明显。将导板放置在平台上，并用定位销卡住。输入导板stl文件(以下简称导板模型)和导孔stl文件，用户通过人机交互记录导板的三维模型在标记位置的三维坐标。然后控制机械系统上的已标定过内参数的相机平移拍摄左中右三幅图像，用来进行双目测量，提取三幅图红色标记的顶点，计算红色标志点在机械系统的坐标系下的三维坐标。通过导板三维模型的一组三维坐标和导板实际位置的一组三维坐标计算三维坐标的变换矩阵，由此可将三维模型按此矩阵进行变换，达到三维模型和导板实际位置的对齐。

B、导孔路径计算阶段，对经过变换后的导板三维文件和导孔三维文件进行提取导孔法向量和中心点的三维坐标工作，并根据法向量和中心坐标按照机械系统五个运动轴的运动方向进行运动数值的计算，得到检测及试穿的运动路径。

C、导孔检测阶段，按步骤B中的路径移动，每移动到一个导孔位置时，停止移动，采集一幅图像，取以图像中心为中心大小为300*300的图像，提取图像轮廓，求各个轮廓的长度c和面积s，计算每个轮廓的c²/4πs，记为γ，将γ按从大到小排列，取γ最大的轮廓，并求轮廓的长宽比k，若k大于等于0.8则认为该轮廓为所需检测的导孔轮廓，否则取γ第二大的轮廓，求轮廓的长宽比k进行判断，若k小于0.8则依此类推，判断下一个轮廓，找到待检测轮廓后，求轮廓中心到图像中心的坐标差(x，y)，单位为像素，控制平台移动x*靶标平面dp，平台移动距离单位为毫米，同理，操作y，重复上述步骤，使轮廓中心与图像中心坐标差小于0.1mm。如果轮廓的k与c²/4πs都大于等于0.8且轮廓调整距离小于0.1mm时，则认为该导孔通过检测，判别为合格，然后移动到下一个导孔重复步骤C的工作进行质量检测直至所有导孔都检测完毕。

所述步骤A具体包括：

A1、将相机移至拍摄画面能够完全容纳导板放置平台的高度，对准焦距，然后对所用CCD相机进行单目标定，采用张正友的棋盘格标定法。得到相机焦距f，并测量此时相机所拍摄画面的实际宽度d，本专利采用相机分辨率为5120*3840，故可求得此时相机靶标平面像素宽为dp＝d/5120，步骤A1只用做一次；

A2、将相机平移到机械系统转轴中心，即使相机所拍摄图像中心为圆形转台的圆心，然后先将相机向机械系统x轴即左右平移轴负向移动50mm拍摄图像，再向正向移动100mm拍摄图像，以此构建一个左右视图平行的双目视觉系统，根据双目视觉公式：

式中x，y，z为点的三维坐标，X_l，Y_l为点在左视图下的图像坐标，X_r，Y_r，为点在右视图下的图像坐标，f_l，f_r为左右两个相机的焦距，构成两个相机的相对旋转矩阵r，(t_x，t_y，t_z)构成两个相机间的相对平移向量t。由于两相机是由同一相机平移构成的系统，故f_l与f_r为同一值f，r为单位矩阵

式中x，y，z为点的三维坐标，X_l，Y_l，X_r，Y_r，为点在左右两幅图像的坐标，f_l，f_r为左右两个相机的焦距，构成两个相机的相对旋转矩阵r，(t_x，t_y，t_z)构成两个相机间的相对平移向量t。由于两相机是由同一相机平移构成的系统，故f_l与f_r为同一值f，r为单位矩阵t为(-100,0,0)。可求得机械系统中心在左相机坐标系下的三维坐标，x轴减50即能得到平移之前的相机坐标系下的机械系统中心坐标，即得到机械系统坐标系的原点在相机坐标系下的坐标，记为(Xc，Yc，Zc)。t为(-100,0,0)。可求得机械系统中心在左相机坐标系下的三维坐标，x轴减50即能得到平移之前的相机坐标系下的机械系统中心坐标，即得到机械系统坐标系的原点在相机坐标系下的坐标，记为(Xc，Yc，Zc)。

A3、将导板用红色标记纸做上三个标记,按从上至下从左至右的顺序记为1、2、3。将导板放置在平台上，并用定位销卡住。输入导板stl文件(以下简称导板模型)和导孔stl文件，用户通过人机交互按顺序记录导板的三维模型在导板红色标记位置的三维坐标(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)。

A4、通过控制机械系统上的已标定过内参数的相机平移拍摄左中右三幅图像，用来进行双目测量，提取三幅图红色标记的顶点，由于导板太大，平移相机后拍不下，故拍左中右三幅图，左中、中右为一组，相机间隔为100mm。对三幅图像分别做二值化处理，像素值红色分量是绿色分量和蓝色分量的两倍的像素点为1，其余为0。对二值化后的图像做轮廓提取，得到红色标记的轮廓，1号标记提取x值最大、y值最小的点，2号标记提取x值最小、y值最大的点，3号标记提取x值和y值均最大的点。由此，按步骤A2中的双目视觉公式，以左中、中右各位一组，计算红色标志点在相机坐标系下的坐标(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)，令X不变，Y＝Z，Z＝-Y求得在机械系统的坐标系下的三维坐标。

A5、通过A3步骤的(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)和步骤A4的(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)求出两者之间的变换矩阵。首先根据3点确定一个平面，求(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)所构成平面的法向量N1，同理求步骤A4的(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)构成平面的法向量N2，通过向量叉乘公式构建N1旋转到N2的旋转矩阵R1。用(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)分别乘以R1，得到(X4，Y4，Z4)、(X5，Y5，Z5)、(X6，Y6，Z6)。通过(x2，y2，z2)、(x3，y3，z3)两点构建向量v1,(X5，Y5，Z5)、(X6，Y6，Z6)两点构建向量v2，求v1和v2的夹角，并构建旋转矩阵R2，用(X4，Y4，Z4)、(X5，Y5，Z5)、(X6，Y6，Z6)分别乘以R2，得到(X7，Y7，Z7)、(X8，Y8，Z8)、(X9，Y9，Z9)。用向量(x1，y1，z1)减去(X7，Y7，Z7)得到向量T，最后构建变换矩阵P＝[R1×R2T]，把三维模型乘以矩阵P，使模型与导板实际位置对齐。

所述步骤B具体包括：

B1、对A3步骤中输入的导孔stl文件，选定导板的正方向(导板贴合病人一面为背面)a，由向量a过滤与导板反方向的三角面，对剩下的三角面进行最大边过滤，将最大边长大于5的三角面过滤，最后计算三角面内心间距，间距小于3的三角面聚为一类，每类三角形顶点坐标的均值即为一个导孔中心坐标，每类三角形法向量的均值即为一个导孔的法向量。

B2、对B1步骤中获得的导孔法向量进行角度分解，将分解出由该法向量绕x轴旋转角α和z轴旋转角β旋转到向量(0,1,0)的两个角度，根据这两个角度对导孔法向量进行分类，当两个法向量的α和β相差小于0.5时分为一类，然后在同类中进行再进行角度差和位移差的计算，所有的导孔进行完角度差和位移差的计算后，得到检测所有的导孔的移动路径。

本发明与现有技术相比，具有以下明显的优势和有益效果：

(1)本发明对个性化的不规则导板有较高的鲁棒性，不会应模型外观的不规则性影响性能。

(2)能自动检测导孔并对其进行试穿，在判别导孔是否合格和试穿过程中人工干涉少，精确度高。

附图说明：

图1是技术方案的整体流程图。

图2是系统实验导板实物图

图3是导孔模型图。

具体实施方式：

本发明技术方案的整体流程如说明书附图1所示，分为模型位置初始化、导孔路径计算阶段和导孔检测阶段。该技术方案在定制机器上(样例如附图2)进行实验，实验导板如附图3。我们的系统能够成功对导孔进行合格判别和试穿。

A、模型位置初始化阶段，首先对相机进行单目标定得到相机焦距f，并求相机靶标平面的像素大小dp。在给定的导板上用红色标记纸做上三个标记。将导板放置在平台上，并用定位销卡住。输入导板stl文件(以下简称导板模型)和导孔stl文件，用户通过人机交互记录导板的三维模型在标记位置的三维坐标。然后控制机械系统上的已标定过内参数的相机平移拍摄左中右三幅图像，用来进行双目测量，提取三幅图红色标记的顶点，计算红色标志点在机械系统的坐标系下的三维坐标。通过导板三维模型的一组三维坐标和导板实际位置的一组三维坐标计算三维坐标的变换矩阵，由此可将三维模型按此矩阵进行变换，达到三维模型和导板实际位置的对齐。

B、导孔路径计算阶段，对经过变换后的导板三维文件和导孔三维文件进行提取导孔法向量和中心点的三维坐标工作，并根据法向量和中心坐标按照机械系统五个运动轴的运动方向进行运动数值的计算，得到检测及试穿的运动路径。

C、导孔检测阶段，按步骤B中的路径移动，每移动到一个导孔位置时，停止移动，采集一幅图像，取以图像中心为中心大小为300*300的图像，提取图像轮廓，求各个轮廓的长度c和面积s，并求轮廓的长宽比k，取k最接近1和c²/4πs最大的轮廓，求轮廓中心到图像中心的坐标差(x，y)，单位为像素，控制平台移动x*靶标平面dp，平台移动距离单位为毫米，同理，操作y，重复上述步骤，使轮廓中心与图像中心坐标差小于0.1mm，再次检测轮廓的k与c²/4πs，若k与c²/4πs均大于0.8且轮廓调整距离少于0.1mm时，则认为该孔通过检测，判别为合格。

所述步骤A具体包括：

A1、将相机移至拍摄画面能够完全容纳导板放置平台的高度，对准焦距，然后对所用CCD相机进行单目标定，采用张正友的棋盘格标定法。得到相机焦距f，并测量此时相机所拍摄画面的实际宽度d，本专利采用相机分辨率为5120*3840，故可求得此时相机靶标平面像素宽为dp＝d/5120，步骤A1只用做一次；

A2、将相机平移到机械系统转轴中心，即使相机所拍摄图像中心为圆形转台的圆心，然后先将相机向机械系统x轴即左右平移轴负向移动50mm拍摄图像，再向正向移动100mm拍摄图像，以此构建一个左右视图平行的双目视觉系统，根据双目视觉公式：

式中x，y，z为点的三维坐标，X_l，Y_l为点在左视图下的图像坐标，X_r，Y_r，为点在右视图下的图像坐标，f_lf_r为左右两个相机的焦距，构成两个相机的相对旋转矩阵r，(t_x，t_y，t_z)构成两个相机间的相对平移向量t。由于两相机是由同一相机平移构成的系统，故f_l与f_r为同一值f，r为单位矩阵t为(-100,0,0)。可求得机械系统中心在左相机坐标系下的三维坐标，x轴减50即能得到平移之前的相机坐标系下的机械系统中心坐标，即得到机械系统坐标系的原点在相机坐标系下的坐标，记为(Xc，Yc，Zc)。

A3、将导板用红色标记纸做上三个标记,按从上至下从左至右的顺序记为1、2、3。将导板放置在平台上，并用定位销卡住。输入导板stl文件(以下简称导板模型)和导孔stl文件，用户通过人机交互按顺序记录导板的三维模型在导板红色标记位置的三维坐标(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)。

A4、通过控制机械系统上的已标定过内参数的相机平移拍摄左中右三幅图像，用来进行双目测量，提取三幅图红色标记的顶点，由于导板太大，平移相机后拍不下，故拍左中右三幅图，左中、中右为一组，相机间隔为100mm。对三幅图像做二值化处理，像素值红色分量是绿色分量和蓝色分量的两倍的像素点为1，其余为0。对二值化后的图像做轮廓提取，得到红色标记的轮廓，1号标记提取x值最大、y值最小的点，2号标记提取x值最小、y值最大的点，3号标记提取x值和y值均最大的点。由此，按步骤A2中的双目视觉公式，已左中、中右各位一组，计算红色标志点在相机坐标系下的坐标(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)，令X不变，Y＝Z，Z＝-Y求得在机械系统的坐标系下的三维坐标。

A5、通过A3步骤的(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)和步骤A4的(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)求出两者之间的变换矩阵。首先根据3点确定一个平面，求(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)所构成平面的法向量N1，同理求步骤A4的(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)构成平面的法向量N2，通过向量的叉乘公式构建N1旋转到N2的旋转矩阵R1。用(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)分别乘以R1，得到(X4，Y4，Z4)、(X5，Y5，Z5)、(X6，Y6，Z6)。通过(x2，y2，z2)、(x3，y3，z3)两点构建向量v1,(X5，Y5，Z5)、(X6，Y6，Z6)两点构建向量v2，求v1和v2的夹角，并构建旋转矩阵R2，用(X4，Y4，Z4)、(X5，Y5，Z5)、(X6，Y6，Z6)分别乘以R2，得到(X7，Y7，Z7)、(X8，Y8，Z8)、(X9，Y9，Z9)。用向量(x1，y1，z1)减去(X7，Y7，Z7)得到向量T，最后构建变换矩阵把三维模型乘以矩阵P，使模型与导板实际位置对齐。

所述步骤B具体包括：

B1、对A3步骤中输入的导孔stl文件，选定导板的正方向(导板贴合病人一面为背面)a，由向量a过滤与导板反方向的三角面，对剩下的三角面进行最大边过滤，将最大边长大于5的三角面过滤，最后计算三角面内心间距，间距小于3的三角面聚为一类，每类三角形顶点坐标的均值即为一个导孔中心坐标，每类三角形法向量的均值即为一个导孔的法向量。

B2、对B1步骤中获得的导孔法向量进行角度分解，将分解出由该法向量绕x轴旋转角α和z轴旋转角β旋转到向量(0,1,0)的两个角度，根据这两个角度对导孔法向量进行分类，当两个法向量的α和β相差小于0.5时分为一类，然后在同类中进行再进行角度差和位移差的计算，所有的导孔进行完角度差和位移差的计算后，得到检测所有的导孔的移动路径。