增强现实几何一致性相关问题研究

摘要

增强现实技术是一种虚实融合技术。基于视频的增强现实技术通过将虚拟物体或辅助信息叠加到现实场景的影像中而扩展人类对现实环境的视觉感知。为实现具有照片品质的虚实融合效果，增强现实技术需要所嵌入的虚拟场景与现实环境在几何、光照等属性上保持一致。其中，几何一致性要求虚拟物体按照正确的空间位置、透视投影和虚实遮挡关系实时渲染到真实场景的视频影像中，是保证真实感效果的基本因素。增强现实系统中的几何一致性问题包含场景几何重建、摄像机跟踪和虚实遮挡等众多子问题，各子问题之间又相互交织。例如，摄像机跟踪算法可以使用到场景几何重建的信息，而场景的几何重建问题又可在摄像机跟踪过程中并行完成。因此，高效的几何一致性算法往往是这些子算法的有机组合。
　　增强现实算法中摄像机定标的失败可导致虚拟物体在视频影像中的漂移、抖动等现象，而由于人眼对运动物体的敏感性，这类虚假效果极易被用户察觉，因此鲁棒性是几何一致性算法的重要考量因素。增强现实系统是实时在线的系统，视频图像处理、设备参数求解和虚拟物体渲染等操作都需要在线完成，因此对算法的实时性要求极高。传统增强现实系统为保证系统的实时性使用了简化的模型去描述现实场景，这类方法可以尽可能降低算法的时间复杂度，在有限的计算资源下保持系统的实时性。但其缺点也非常明显，简化的模型和受控的场景限制了系统的应用条件，并使系统丧失了处理复杂环境信息的能力。使用复杂的几何一致性算法可提高系统的灵活性和可用性，但也会增加系统时延、降低系统实时性。因此，优秀的几何一致性算法通常需要在算法的鲁棒性、灵活性和实时性之间进行有效折衷。
　　本文对几何一致性问题中的特征点匹配、摄像机实时跟踪算法和场景深度数据优化等问题的国内外研究现状进行了充分调研和论述，并针对这些问题提出了新的解决方案。本文的主要研究内容和创新点如下:
　　1.提出基于GPU的图像特征点快速跟踪匹配技术。图像的特征点可用于场景的三维重建和摄像机的实时跟踪。但常见的KLT等特征点跟踪算法涉及到大量的图像处理和浮点运算，算法的时间复杂度较高，不利于实时的增强现实应用。本文总结了特征点跟踪匹配算法在像素和特征点两个层次上的并行性，利用GPU并行运算技术对KLT算法进行加速，将算法效率提高200到300倍，极大减小了算法时耗。
　　2.提出基于混合特征点的摄像机实时跟踪算法。基于特征点匹配的摄像机跟踪算法具有更高的灵活性，对场景内容的限制较低，可以极大提升系统可用性。但可选的特征点跟踪算法在稳定性和效率上各有优劣，本文对SIFT和KLT等特征点匹配算法的性能进行了比较，利用实时视频流的时间连续性提出了SIFT和KLT的混合特征点跟踪策略，在保证算法精度的同时将相邻帧的摄像机跟踪时耗控制在15ms以下，在鲁棒性和实时性之间维持了有效平衡。
　　3.提出基于颜色和深度一致性的深度图增强算法。近年来Kinect等廉价深度传感器的发展为场景数据获取提供了快速简便的途径，但受硬件成本和精度所限，这类设备采集的深度图受噪声和数据缺失的困扰。本文提出了基于颜色和深度一致性的深度图增强算法，利用原始深度图的置信度估计结果以及彩色图像的颜色、边缘和分割结果为线索对深度图进行优化求解，可有效降低深度图噪声并对数据缺损区域进行修复。
　　4.提出并实现了视觉遥在和增强现实系统。在以上工作的基础上，本文构建了基于视觉的遥在和增强现实原型系统，该系统是遥在技术与增强现实技术的结果，并使用了本文相关章节的算法做支撑，其稳定性和实时性都非常高，且相比于传统遥在系统而言对硬件要求更低。这些原型系统的优异表现也反向印证了本文上述工作的有效性。