一种基于辅助标记点的图像特征快速提取方法

摘要

本发明属于光学测量技术领域，具体涉及一种基于辅助标记点的图像特征快速提取方法，其包括获取带有辅助标记的被测物体图像、建立激光光条截面灰度分布模型、特征点快速定位、特征点高精度提取等步骤。本发明提供的基于辅助标记点的图像特征快速提取方法解决复杂物体表面有效特征难提取，精度效率难兼顾，实时性较差等特征信息有效提取问题。本方法充分利用各相邻网格交点间连接关系，通过周围相邻交点信息对待提取网格交点拟合过程进行约束，从而实现数据重复使用，减少数据量提高提取精度和鲁棒性。该方法兼顾提取精度和提取效率，实时性较好。

说明书

技术领域

本发明属于光学测量技术领域，具体涉及一种基于辅助标记点的图像特征快速提取方法。

背景技术

在三维立体视觉中，特征信息的有效提取是三维重构的前提。但是，物体表面的自然特征往往表现得不够明显，使得有效特征信息的提取非常困难，比如飞机蒙皮表面光滑，自然特征较少且不明显导致特征提取存在较大困难，这种无标记的测量方式就受到很大的限制，要提高测量的精确性和可靠性，必须把物体表面的特征凸显出来，因此需要对物体表面进行标记。

传统的标记方法是通过向表面光滑无特征的物体发射具有各种特定样式的点、线、面等图案的辅助激光，依据投射到物体表面激光的立体信息辅助提取物体的深度信息。常用的方法包括点激光法、线激光法、网格激光法等。

点激光法是将单个或点云激光打在物体表面，由摄像机摄取其反射光点。来获得物体表面特征信息进而提取物体表面特征，例如中国发明专利“一种双目散斑激光三维重建方法及系统”(201911379891.5)提出了一种双目散斑激光三维重建方法及系统，该系统采用投影设备投射一幅随机生成的散斑图案，利用双目摄像头采集被物体表面调制后的散斑图案，通过逐点匹配，得到高密度的三维深度信息。

线激光法通过投射源投射出平面狭缝光，每次投射一个或多个激光条纹于物体表面，由摄像机拍摄相应图像，每幅图像可得到一个截面的深度，通过改变投射狭缝光的角度以及拍摄角度，获得更多截面的深度，进而获得物体的深度。例如中国发明专利“一种基于双目视觉激光的复杂表面形状检测方法”(202010238668.5)提出了一种基于双目视觉激光的复杂表面形状检测方法，该方法用于检测复杂工件表面的台阶、凹槽等对象的形状特征，通过向零部件表面投射线激光，利用双目视觉中的任一成像单元在激光的辅助下可实现三维重建。

使用网格激光向物体表面附加网格便也是其中一种常用方法。该方法首先通过提取激光网格直线，求出激光网格直线的交点作为显著点。然后通过对显著点的立体匹配等处理，得到物体的三维信息。例如“一种基于多台激光辅助靶标的特征点提取方法”(201510169317.2)提出一种基于多台激光辅助靶标的特征点提取方法，该方法将采用多台激光器构成激光器阵列投射激光网格，将网格各个交点作为特征点，通过分别在每个特征点所在水平竖直光条上提取10个光条横截面中心点坐标组成激光光条中心点集，拟合竖直、水平方向的直线,以两激光光条拟合直线的交点作为特征点的精确坐标。该方法具有适应性好，提取精度高的优点，但每个激光点的提取都需要提取20个激光光条截面中心点来拟合曲线，计算量比较大，提取效率低，难以实现实时性，同时对于投射在曲面上的曲线提取难度较大。

上述方法中点激光技术对点状光斑逐个进行处理，算法简单，计算复杂度小，但是如果投射在物体表面的激光特征点部分遮挡则会导致特征点信息不完整难以获得特征点精确位置降低测量精度，且点与点之间缺少连接性，一旦中间部分点被遮挡难以通过其余点恢复遮挡部分信息。线激光较为简单，精度也比较高，在工业中广泛用于物体体积测量、三维成像等领域。但是如果被测物体表面形貌复杂，曲率变化较大，就有可能造成相机视野范围丢失了线激光光条信息，导致最终三维测量数据不完整。网格激光法中网格是由顶点，边，面来描述3D物体的，具有轻量、形状细节丰富的特点，重要是相邻点之间有连接关系即使缺失部分信息也可根据周围剩余网格信息进行还原。但由于空间物存在一个或多个复杂物体表面，将网格激光线投射在空间物体表面如曲面、折面、平面上会产生不同的曲线、折线、直线等；单纯提取激光网格直线不能满足复杂环境特征提取要求导致投射在曲面、折面甚至部分平面上的特征信息难以获取，极大影响测量精度和可靠性。

由于特征提取方法存在以上局限性，导致待测复杂环境物体表面特征提取精度和效率难以兼顾，实时性差。因此寻找一种新型针对环境中复杂表面特征提取方法对于物体表面特征检测问题，提高三维立体视觉中三维重构精度和效率具有重要意义。

发明内容

本发明主要解决复杂物体表面有效特征难提取，精度效率难兼顾，实时性较差等特征信息有效提取问题，提供一种基于辅助标记点的图像特征快速提取方法。本发明的目的在于提供一种新型复杂物体表面有效特征准确快速提取方法，其能实时快速完成多个复杂物体表面有效特征快速高精度提取。具体是指利用激光网格形状细节丰富，交点间连接关系强，可以准确表征待测物体表面轮廓特征等优点，将激光网格投射在待测物体表面，对被投射物体上网格信息进行图像采集，采用“近点回归，远点修正”的拟合策略以待提取网格交点临近插值点为核心点，周围网格交点临近插值点为修正点，对核心点赋予较大权重，基于加权最小二乘法构建损失函数评价模型，分别拟合待提取网格交点处横纵光条曲线，进而求取两条曲线交点坐标，完成复杂物体表面特征提取。本方法充分利用各相邻网格交点间连接关系，通过周围相邻交点信息对待提取网格交点拟合过程进行约束，从而实现数据重复使用，减少数据量提高提取精度和鲁棒性。该方法兼顾提取精度和提取效率，实时性较好。

本发明采取的技术方案是一种基于辅助标记点的图像特征快速提取方法其特征是该方法采用激光网格法作为辅助特征，将激光网格投射至待测物体表面，把网格各个交点作为特征点，采用先快速定位，后高精确提取两步法，先通过二值化，腐蚀等操作快速定位特征点初始位置，以该位置为中心r

步骤1：获取带有辅助标记的被测物体图像

激光网格投射器将符合一阶高斯分布的激光网格投射至空间中被测场景物体表面，在空间中被测场景物体表面形成网格状辅助标记，利用双目视觉系统进行拍摄，获得带有辅助标记点的灰度特征图像。

步骤2：建立激光光条截面灰度分布模型

针对步骤1)中投射的网格激光，由于激光网格光条截面灰度分布符合一阶高斯分布，故光条截面中心点提取采用一阶高斯分布拟合方法进行提取。

高斯拟合方程为：

其中x

lny

整理得：

根据激光网格光条截面方向的灰度分布，将光条一阶高斯拟合后中心点定义为光条截面的中心点进行提取。

步骤3：特征点快速定位

将步骤1)得到的带有辅助标记点的灰度特征图像采用高斯滤波加中值滤波对图像进行预处理，对预处理后图像进行二值化处理和腐蚀操作，以去除网格交点间的联通，分离网格交点，获取各个网格交点孤立的联通区域，将联通区域的灰度中心作为特征点初始位置K

得到特征点初始位置K

步骤4：特征点高精度提取

在步骤3)获得的特征点初始位置及感兴趣区域基础上，通过近点插值、取点拟合、建立模型、求取交点，实现特征点高精度提取；

4.1近点插值

纵向方向上：在步骤3)得到感兴趣区域中，获取纵向上的插值点以特征点初始位置K

利用最小二乘法进行求解得到(U

在横向方向上，获得距离初始位置坐标K

对各特征点初始位置进行近点插值后得到插值点集。

4.2取点拟合

经步骤4.1)插值后在纵向光条横截面中心点集内，对于任意特征点初始位置K

进行纵向曲线拟合。

在横向光条截面中心点集内，特征点初始位置K

进行横向曲线拟合。

4.3构建损失函数评价模型

首先构建1到5次拟合多项式：

取基函数为φ

f(x)＝a

其中，x为自变量；y＝f(x)为因变量；a

根据4.2)在每个特征点初始位置K

其中，

建立纵向损失函数L(a

其中，W

根据4.2)在每个特征点初始位置K

其中，

建立横向损失函数L(a

其中，W

4.4获取拟合交点

通过获取特征点初始位置K

f(x)＝a

同理，获得横向拟合多项式：

f(x)＝a

针对每个特征点K

求出横纵两条拟合曲线的交点坐标K

在一个具体的实施方案中，对于投射在平面或曲面上产生直线或曲线先采用直线拟合，即多项式次数为1时，计算直线拟合最小误差函数，若最小值仍不符合要求，说明此时拟合的为投射在曲面上的曲线，便采用多项式拟合网格交点处横纵方向两条曲线。对于空间物体表面上多个特征点拟合时，由于物体表面上特征点的连续性可将前一点拟合参数作为下一点拟合初值减少计算量提高多个特征点提取效率。

本发明有益效果是：

采用更好描述物体表面形状的网格激光辅助标记法，将网格交点作为物体表面特征点进行快速高精度提取。在提取方法中采用先快速定位后精确提取策略，快速锁定特征点大大减小计算量提高提取速度；在特征点精确提取过程中采用“近点回归，远点修正”策略即保证特征点的拟合精度又通过相邻插值点约束避免拟合偏差同时对已有插值点多次利用减少计算量提高鲁棒性，在拟合过程中通过合理设置权重突出重点提高局部拟合精度；并将上一点拟合参数作为下一点拟合初值充分利用特征点之间的渐进性进一步减少计算量提高提取速度；本发明兼顾特征提取效率和精度，对多个复杂物体表面实时性特征提取具有重要意义。

附图说明

图1是本发明所涉及的带有辅助标记点的灰度特征图像。其中：1-1为平面及折面被测物体，1-2为曲面被测物体，1-3被投射在物体表面的网格辅助标记。

图2为本发明所涉及的激光网格纵向光条横截面灰度分布图。其中：U

图3是本发明所涉及的感兴趣区域内特征点初始位置提取图。其中：K

图4是本发明所涉及的插值点示意图。其中：K

图5是本发明所涉及的经插值后的示意图，其中：K

图6是本发明所涉及的特征点取两点拟合产生偏差时图，其中：K

图7是本发明所涉及的特征点纵向拟合曲线图，其中：K

图8是本发明所涉及的特征点选取拟合点示意图，其中：K

图9是本发明所涉及的横纵向拟合曲线示意图，其中：其中：K

图10是本发明所涉及的基于辅助标记点的图像特征快速提取方法流程图。

图11是本发明所涉及的基于辅助标记点的图像特征快速提取系统，其中：11-1为平面及折面被测物体，11-2为曲面被测物体，11-3被投射在物体表面的网格辅助标记，11-4为激光网格投射器，11-5为摄像机，11-6为工作站显示器，11-7为数据处理中心。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

应当了解，所附附图并非按比例地绘制，而仅是为了说明本发明的基本原理的各种特征的适当简化的画法。本文所公开的本发明的具体设计特征包括例如具体尺寸、方向、位置和外形将部分地由具体所要应用和使用的环境来确定。

在所附多个附图中，同样的或等同的部件(元素)以相同的附图标记标引。

本实施例中，基于网格激光的图像特征快速提取方法是一种采用激光网格辅助点标记法和曲线拟合法对复杂物体表面特征提取新方法，其利用空间物体表面特征点在图像上信息不变性，利用激光网格相邻点间具有曲线，直线，折线等连接关系，分别对横向纵向网格线进行拟合，最终求取拟合线交点，对特征点进行提取，

首先，结合待测量物体表面几何形状及表面反射特性投射符合一阶高斯分布的网状激光于被测物体表面构造基于视觉辅助点测量系统；结合激光光条截面灰度分布特性建立激光光条截面灰度分布模型，实现光条截面中心点获取；其次，基于二值化、腐蚀等方法快速定位特征点初始位置确定感兴趣区域，在距离每个特征点初始位置上下左右b个像素位置上选取激光条纵横截面中心点作为插值点组成截面中心点集，采用“近点回归，远点修正”策略选取特征点所在位置横纵向插值点组成拟合点集，根据拟合过程中插值点重要性基于加权最小二乘法，建立损失函数评价模型，合理设置权重提高局部拟合精度。最后，拟合横纵两条曲线，求取两条曲线交点作为特征点高精度位置实现特征点快速高精度提取。该方法无需大量计算，兼顾提取效率和精度，方法简单方便。

第一步网格激光设计

激光网格投射器将符合一阶高斯分布的激光网格投射至空间中被测场景物体表面，在空间中被测场景物体表面形成网格状辅助标记，利用双目视觉系统进行拍摄，获得带有辅助标记点的灰度特征图像。如附图1所示。

第二步建立激光光条截面灰度分布模型

针对第一步中投射的网格激光，由于激光网格光条截面灰度分布符合一阶高斯分布如图2所示，所以光条截面中心点提取采用一阶高斯分布拟合方法进行提取。

高斯拟合方程为：

其中x

lny

整理得：

根据激光网格光条截面方向的灰度分布,将光条一阶高斯拟合后中心点定义为光条的中心点进行提取。

第三步特征点快速定位

将第一步得到的带有辅助标记点的特征图像采用高斯滤波加中值滤波对图像进行预处理，预处理后的图像不仅去除图像脉冲噪声，而且在一定程度上保留有用的细节信息，为了快速定位特征点位置使用腐蚀方法，先对图像进行二值化处理和腐蚀操作，以去除网格交点间的联通，分离网格交点，获取各个网格交点孤立的联通区域，将联通区域的灰度中心作为特征点初始位置K

得到特征点初始位置K

在带有激光网格辅助标记的特征图像中快速获取网格交点即特征点的粗略位置,并鉴别出感兴趣区域能够有效减小搜索区域，减少计算量提高特征点提取速度和实时性。

第四步特征点高精度提取

在第三步获取特征点初始位置基础上，分四步：近点插值；取点拟合；建立模型；求取交点；从而采用改进局部拟合法将特征点提取精度提高到亚像素精度，同时通过插值数据点重复利用；合理设置拟合模型权重；将上一点拟合参数作为下一点拟合初值等方法在保证精度同时大大提高提取效率减少计算量，特征点高精度提取方法具体详细步骤如下

由于特征点精确提取方法采用处理网格纵向光条获得纵向点集，处理网格横向光条获得横向点集，最终拟合激光网格横纵方向光条求取交点坐标方法，横纵方向处理方法相同，为方便理解，以下均从纵向方向说明为主。

4.1近点插值

在第三步得到感兴趣区域中，为了在特征点初始位置K

其中，距离b的取值应尽量接近网格交点位置以最大程度提高特征点精确位置求取精度，同时避免离交点过近造成横纵光条交织部分对光条截面灰度分布影响。

纵向上：插值点选取(如图4所示)以特征点初始位置K

利用最小二乘法进行求解得到(U

同样，K

同理，在横向方向上，获得距离初始位置坐标K

经插值后得到插值点集(如图5所示)。

4.2取点拟合

经步骤4.1)插值后在截面中心点集内，对于每个特征点初始位置感兴趣区域内(如图6所示)，在纵向上对特征点初始位置K

进行纵向曲线拟合，其中离特征点初始位置K

同理特征点初始位置K

进行横向曲线拟合(如图9所示)。

采用“近点回归，远点修正”策略即保证特征点的拟合精度又通过相邻点约束避免拟合偏差；同时在每个特征点拟合过程中充分利用已有插值点，使得插值点在拟合不同特征点时均被重复使用多次，插值数据点的重复使用提高了速度和鲁棒性减少计算量提高提取效率。

4.3构建损失函数评价模型

纵向上：根据步骤4.2)在每个特征点初始位置K

对于多项式拟合函数次数选取，拟合次数选取过低则导致拟合精度不够，过高则导致过拟合现象，故多方考虑确定拟合次数为1到5次，取基函数为φ

f(x)＝a

其中，x为自变量；y＝f(x)为因变量；a

根据4.2)在每个特征点初始位置K

其中，

如图8在纵向上离特征点初始位置K

其中，W

同理，横向上构建1到5次拟合多项式为：

其中，

建立横向损失函数L(a

其中，W

4.4获取拟合交点

在步骤4.3)基础上，对特征点初始位置K

f(x)＝a

同理，获得横向拟合多项式：

f(x)＝a

针对每个特征点K

求出横纵两条拟合曲线的交点坐标K

对于空间物体表面上多个特征点拟合时，由于物体表面上特征点的连续性可将前一点拟合参数作为下一点拟合初值减少计算量提高多个特征点提取效率。

以上示例性实施方式所呈现的描述仅用以说明本发明的技术方案，并不想要成为毫无遗漏的，也不想要把本发明限制为所描述的精确形式。显然，本领域的普通技术人员根据上述教导做出很多改变和变化都是可能的。选择示例性实施方式并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员便于理解、实现并利用本发明的各种示例性实施方式及其各种选择形式和修改形式。本发明的保护范围意在由所附权利要求书及其等效形式所限定。