基于刚体运动学的AR参考物体特征点修正方法

摘要

本发明公开了一种基于刚体运动学的AR参考物体特征点修正方法。本发明一种基于刚体运动学的AR参考物体特征点修正方法，其特征在于，包括：图像序列中前后两帧的特征点向量集合分别为

说明书

技术领域

本发明涉及AR领域，具体涉及一种基于刚体运动学的AR参考物体特征点修正方法。

背景技术

增强现实(Augmented Reality，简称AR)，是一种通过实时计算摄影机影像的位置及角度将虚拟的三维物体叠加到真实场景中的技术。为了将虚拟物体精确稳定地融合到真实场景中，需要实时地识别真实场景中参考物体及其位置，从而计算出虚拟物体应当出现的相对位置。目前商用的较为稳定的技术主要有：基于机器视觉识别方案，如：苹果AR Kit、谷歌AR Core以及Vufroia的方案；基于三维空间标定的方案，如：微软Hololens、Oculus的方案。国内也有一些自主方案，但是适用性和稳定性均略逊于前者。

传统技术存在以下技术问题：

如下技术方案(I)对要求参考物体边缘尖锐，或者表面纹理含有丰富的细节。在实际场景中容易受到光照阴影等的影响，导致参照坐标识别产生误差从而导致叠加的虚拟物体或场景产生抖动。这使得技术方案(I)的应用受到了很大的限制。技术方案(II)要求使用专门的传感器进行额外的空间标定。一旦空间场景、场景内物体或者标定传感器位置发生变化，都会导致整个虚拟空间位置错位。需要重新进行标定才能够恢复。缺点在于需要专门的标定仪器、需要进行标定动作、并且标定后不能对空间场景进行调整。

(I)现有技术中(基于AR Kit、AR Core还是Vufroia的方案)均需通过实时识别视频流每一帧图像中参考物体及其特征点位置作为整个虚拟场景的参考坐标。如果前后帧序列图像中参考物体特征点识别有误差，就会造成整个参考坐标的不规则抖动，从而导致在此参考坐标系中叠加的虚拟物体也产生抖动。使得虚拟物体或者场景无法很好地与现实场景进行融合。

如图1所示，AR设备通过一个摄像头获取视频(图像帧序列)，通过识别参考物体的特征点(▲所示)，来确定参考面所示的位置)。进而可以计算出放置在参考面上的虚拟物体Obj的相对位置。当AR设备发生移动时，(例如：图1中所示，转过一个角度θ时)，可以认为相当于参考平面向相反的方向旋转了相同的角度，记为进而可以推得，放置在其上的物体Obj也旋转了角度此时只要将虚拟物体旋转角度即可保持Obj与参考平面的相对位置不变，从而达到将虚拟物体Obj与现实中的参考平面相融合的效果。平移的处理方式类似，不再赘述。

然而，在实际应用中，由于参考物体形状轮廓、表面纹理的差异，识别出来的特征点经常会出现误差。如图2中所示，有两个点出现误差时，识别出来的参考平面出现了扭曲，与现实世界中的参考平面出现了误差。导致计算出来的虚拟物体的位置也会产生相应的偏差。最终导致虚拟物体并没有贴合在真实世界的参考平面上。这样的情况在每一帧图像序列的参考面特征识别中都有一定的几率(τ)发生。从而导致计算出来的虚拟物体也会以τ几率发生偏移，从而导致虚拟物体产生抖动。导致观看者看到的虚拟物体不是稳当地放在参考面上，而是在参考面上不断地抖动。

(II)现有技术中(基于三维空间标定的方案如：微软Hololens、Oculus 的方案)则需要预先对三维虚拟空间进行标定。空间虚拟坐标一旦标定，不能更改。并且，空间标定需要额外传感器分布在房间内，这极大地限制了其应用范围。

发明内容

本发明要解决的技术问题是提供一种基于刚体运动学的AR参考物体特征点修正方法。

为了解决上述技术问题，本发明提供了1.一种基于刚体运动学的AR参考物体特征点修正方法，其特征在于，包括：图像序列中前后两帧的特征点向量集合分别为与根据经典刚体运动原理，参考物体运动因符合刚体运动模型，如式(1)所示。

其中，表示前一帧参考物体各特征点的位置，表示移动后特征点的位置；A是旋转矩阵θ_x，θ_y，θ_z分别代表刚体绕x,y,z轴的旋转角度；是位移系数；

通过前后两帧特征点拟合刚体运动方程Equ.(1)得到旋转系数A_c与位移系数得到当前运动方程，如式(2)所示。

将前一帧特征数据代入式(2)，根据当前刚体运动特征计算下一帧的位置，记为

计算特征点误差Δ_ui如式(3)所示；当偏差Δ_ui超过阈值δ_s时，认为特征点发生了偏差，则将特征点从原特征点集合U中剔除，

重新拟合运动方程(1),得到准确的旋转系数A_{c_corr}与位移系数

使用准确的旋转系数A_{c_corr}与位移系数通过式(2)计算误差特征点的准确位置并将其替换错误的特征点位置，即：

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一项所述方法的步骤。

一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任一项所述的方法。

本发明的有益效果：

采用基于刚体运动学的AR参考物体特征点修正算法修正识别偏差的特征点，避免参考坐标因为识别误差而产生抖动，从而提升AR应用中虚拟物体与现实世界融合的稳定性。

附图说明

图1是传统技术的原理示意图。

图2是本发明基于刚体运动学的AR参考物体特征点修正方法的原理示意图。

图3是本发明基于刚体运动学的AR参考物体特征点修正方法的流程示意图。

其中，图1中▲代表识别的特征点，代表识别的特征平面，代表 AR图像(视频截取设备)，θ设备移动角度，θ’代表虚拟物体移动角度

代表识别有误差的特征点，δ_Δi代表误差；

图2中，▲代表原始(前一帧)特征点，▇代表移动后征点(可见U'₂、>3发生了偏差标记为通过本算法修正后，回到正确位置，标记为▇。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

本专利提出了一种基于刚体运动学的AR参考物体特征点修正算法。

采用基于刚体运动学的AR参考物体特征点修正算法修正识别偏差的特征点，避免参考坐标因为识别误差而产生抖动，从而提升AR应用中虚拟物体与现实世界融合的稳定性。

原理：由于现实世界中的参考物体是刚体，不会产生扭曲和形变。所以，在AR应用将虚拟物体和现实世界融合的过程中，参考物体上的所有特征点，均应当满足统一的刚体运动特征。

算法：假设图像序列中前后两帧的特征点向量集合分别为与根据经典刚体运动原理，参考物体运动因符合刚体运动模型，如式(1) 所示。

其中表示前一帧参考物体各特征点的位置，表示移动后特征点的位置。A是旋转矩阵θ_x，θ_y，θ_z分别代表刚体绕x,y,z轴的旋转角度。是位移系数。

Step1:通过前后两帧特征点拟合刚体运动方程Equ.(1)得到旋转系数A_c与位移系数得到当前运动方程，如式(2)所示。

Step2:将前一帧特征数据代入式(2)，根据当前刚体运动特征计算下一帧的位置，记为

Step3：计算特征点误差Δ_ui如式(3)所示。当偏差Δ_ui超过阈值δ_s时，认为特征点发生了偏差，则将特征点从原特征点集合U中剔除，

Step4：重新拟合运动方程(1),得到准确的旋转系数A_{c_corr}与位移系数

Step5：使用准确的旋转系数A_{c_corr}与位移系数通过式(2)计算误差特征点的准确位置并将其替换错误的特征点位置。即：

至此，所有均符合统一的刚体运动特征，因此保证了参考平面和虚拟物体运动的稳定性，消除了虚拟物体抖动现象。

算法的修正过程示意图如图3所示。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。