立体匹配

摘要： 针对通过立体匹配直接得到视差图存在空洞等失真点(区域)的问题,本文提出一种基于自适应窗的视差优化方法.该方法先通过左右图像的视差一致性,检测出非零视差失真和黑洞失真区域,然后将所在像素点与周围像素点作视差代价比较,并针对由环境、光照以及其他噪声因素造成的误匹配所导致的黑洞区域,通过采用自适应窗填充黑洞失真区域,进而利用中值滤波平滑图像,最终实现对由立体相机左右图像匹配所获得的视差图的优化.通过与3种现有的视差优化方法进行对比,结果表明:本文方法具有更好的视差优化效果,且实现更为简便.

摘要： 基于图像的三维重建硬件约束小、成本低、灵活度高,在实际中得到广泛应用,但物体各部分之间存在遮挡,导致由图像生成的三维点云数据稀疏和密度不均等问题,一直是处理的难点和热点。文中提出一种基于遮罩的稀疏点云滤波算法。首先计算点云的包围盒,并在包围盒中根据点云的稀疏度自适应地划分栅格;其次,利用深度优先搜索,递归求出所有由栅格组成的自定义连通域;然后基于量化重要性指标来自适应计算阈值,通过该自适应阈值选择应保留的连通域,将所有保留的连通域集合定义为遮罩,用于描述稀疏点云的全局空间拓扑信息;最后,保留遮罩覆盖区域的点云,剔除遮罩未覆盖区域的点云,从而达到滤除离群点的目的。该方法能很好地处理由于遮挡生成的、空间疏密程度有较大差异的点云数据,可以有效去除原始三维点云数据中的离群点,同时较好地保持点云的细节信息。

摘要： 为了解决城市卫星遥感影像中存在大量阴影以及大量的视差阶跃区域导致立体匹配效果不佳的问题,提出一种适应于城市遥感影像对的立体匹配算法。对算法所使用的匹配代价函数、代价聚合方法和视差优化方法等进行研究,改进了匹配代价函数,利用多阶加权Census算法减小噪声等因素的影响。在代价聚合中加入建筑边缘信息的约束条件,在视差细化部分充分考虑城市建筑的形态特点,对视差图进行优化。实验结果表明:在MiddleBury数据集上,本文算法的准确率比经典SGM算法提升4.54%;在城市区域WorldView-2立体影像对上,建筑屋顶的高程方差为0.71,满足基于城市卫星遥感影像对获取高精度视差图的要求,能够为城市三维重建提供良好的条件。

摘要： 针对特征立体匹配方法只能得到稀疏视差以及弱纹理匹配率低以及视差精度不足导致视差连续处不平滑而呈阶梯状等问题,提出一种改进的特征立体匹配算法.对预处理后的左右图像提取特征并进行特征匹配,再经过筛选获取准确的匹配点对;将得到的稀疏匹配点对作为种子点,依据视差连续性与极线约束准则建立一维搜索空间,利用积分图简化的快速零均值归一化互相关系数作为相似度量函数,通过双向匹配策略实现区域生长,大大提升匹配准确性的同时降低算法复杂度;通过亚像素拟合和加权中值滤波后处理提升视差精度,去除视差阶梯分层、噪声和条纹现象.Middlebury数据集实验结果表明,本算法得到了准确性更高且稠密的视差,提高了弱纹理区与深度不连续处的匹配效果以及整体视差精度,同时具有很强的鲁棒性,能抑制一定亮度差异和噪声的影响.

摘要： 现有的立体匹配算法通常采用深层卷积神经网络提取特征,对前景物体的检测更加精细,但对背景中的小物体及边缘区域匹配效果较差。为提高视差估计质量,构建一个基于视差优化的立体匹配网络CTFNet。分别提取浅层与深层特征,并基于深层特征构建全局稀疏代价卷,从而预测初始视差图。在预测的初始视差图和浅层特征的基础上构建局部稠密代价卷并进行视差优化,以细化预测视差值邻域的概率分布,提高特征不明显区域的匹配精度。此外,引入新的概率分布损失函数,监督softmax函数计算的视差值概率分布在真实视差值附近成单峰分布,提高算法的鲁棒性。实验结果表明,该网络在SceneFlow和KITTI数据集上的误匹配率分别为0.768%和1.485%,在KITTI测评网站上的误差率仅为2.20%,与PSMNet网络相比,精度和速度均得到一定提升。

摘要： 研究将深度学习立体匹配模型HSM模型应用于卫星影像密集匹配。尽管HSM模型运行速度极快,但输出的视差图分辨率较低,细小地物的轮廓不清晰。通过在HSM模型的特征提取模块增加一个分辨率更高的特征提取层,相应地在代价体正则化金字塔中增加一个分辨率更高的解码器,此外,在特征提取阶段应用了更多的空间金字塔池化层以捕获更广泛的全局上下文信息,构建了HSM-deep模型。实验结果表明,HSM-deep模型的各项精度指标优于其他测试的模型。相比于HSM模型,HSM-deep模型的1PE精度提升明显,能够输出更高分辨率的视差图、更准确地恢复细小结构。

摘要： 稠密匹配是基于立体视觉重建密集三维点云的关键技术,其中误匹配点的剔除是保证匹配准确率的重要手段.针对稠密匹配过程中搜索空间大,易出现误匹配的问题,提出了基于局部光照一致性约束的准稠密匹配方法.该方法将已知匹配点作为种子点,根据种子点及其邻域提供的影像约束进行匹配扩散,从而得到种子点邻域内的匹配点,进而实现图像之间的准稠密匹配.在匹配扩散过程中,首先使用邻域像素差异置信度来去除无明显特征区分的区域,然后基于Retinex理论,在局部范围内引入种子点与其邻域内待匹配像素的光照分量关系,从而约束种子点邻域内待匹配像素的颜色分量,以提前剔除不可能匹配的点,最后使用零均值归一化相关系数进行图像间的匹配相似性度量,从而在保证匹配准确性的同时减少匹配相似性度量的次数,提高了匹配效率.实验表明,算法在Middlebury 2014的training集上取得了较小的平均视差误差;在DTU数据集的scan114及拍摄的图像数据上,算法能够有效地减少稠密匹配的时间,并降低三维重建的重投影误差.

摘要： 针对整流罩分离过程中的空间目标三维位姿跟踪测量,设计了双目视觉测量系统,完成整流罩关键点的空间三维坐标测量。基于各特征点的图像处理、识别及跟踪测量算法,结合极线约束匹配,实现目标点的精确立体匹配,可完成不同目标特征点的三维空间坐标解算,进而获取不同运动姿态时的速度、加速度等关键信息,为整流罩机械设计与动力学设计提供参考依据。

摘要： 立体匹配是计算机视觉的一项关键技术,它能够模拟人类视觉的方法,通过左右影像匹配快速获取三维场景深度信息。近年来,国内外学者针对立体密集匹配开展了广泛而深入的研究,但由于各种因素的影响,仍然存在着具有挑战性的研究问题。论文针对传统立体匹配方法,在弱纹理区域、视差不连续区域、遮挡区域存在的匹配困难和误匹配问题,设计了一个基于全卷积神经网络的端到端立体匹配网络,将传统密集立体匹配问题转化成一个视差学习和优化的任务问题。论文主要研究内容和研究结论如下。

摘要： 电力塔倾斜检测对电力系统安全运行具有至关重要的作用.针对传统电力塔倾斜检测方法效率低的问题,设计了一种基于双目视觉的塔倾斜检测系统,该系统具有远程智能、准确且便捷的特点.通过张氏标定法进行双目摄像机的标定与校正,基于DeepLab V3+对电力塔图像区域进行分割并提出融合低阶特征的DeepLab V3+网络结构.由极线立体匹配算法得到电力塔侧棱视差,通过该侧棱特征点的三维坐标拟合侧棱空间直线方程,建立倾斜度计算模型估计电力塔倾斜度.最后和经纬仪测量结果进行对比,平均测量误差为0.020°,在技术标准的允许误差之内,实验说明该系统可以准确便捷地计算出电力塔倾斜度.

摘要： 为了进一步提升非局部代价聚合立体匹配算法获得的视差图质量,本文将多尺度引入到非局部代价聚合中,提出了一种基于多尺度非局部代价聚合的立体匹配算法.首先通过强度+梯度方法来计算匹配代价,接着利用多尺度非局部代价聚合获得各尺度的匹配代价,然后采取“赢者通吃”的策略计算视差,最后使用左右一致性检测和双边加权中值滤波进行视差细化.实验结果表明,该算法有效地提升了视差图质量,获得了令人满意的视差图效果,具有很好的应用价值.

摘要： 立体匹配是计算机视觉研究中最基本的关键问题之一.计算机视觉的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息.立体匹配问题作为立体视觉核心技术之一,它的研究和发展,对目标的跟踪、识别、形状恢复及三维重建均具有重要意义.

摘要： 交通事故现场的勘察取证要求还原某时刻的真实场景,这可以通过双目立体视觉技术实现.针对其核心过程—双目立体匹配,研究了常用的层次式置信度传播算法并提出一种改进方法.方法包含两个模块,层内优化模块与相邻层代价传递模块,通过在层内和层间增强消息传递的影响估计未匹配点的视差和纠正错误视差,以达到提高优化能力的目的.实验结果表明,改进方法的优化能力得到了提高,为交通事故现场勘察等应用场景建立更加准确完整的三维模型提供了借鉴.

摘要： 针对双目视觉立体匹配中的视差优化问题,提出了一种基于稳定树形结构的视差优化算法.在双目匹配问题中,视差可以通过检测左右眼2张视觉成像图片中的对应点的信息来计算得出,以生成三维深度图像,继而通过视差优化这一步骤提高三维深度图像的质量.从计算视差中支持域的角度出发,用稳定度的概念来衡量支持域的特征;通过基于稳定度的树结构来评估和重构支持域,用于之后的代价聚合,以减少视差错误.除了室内图片,文中方法还被拓展到了真实路面的数据集,其在移除大块视差错误和整合碎片上取得了明显优于其它方法的效果;与传统的基于树结构的方法相比,在保持精确度的同时降低了70％的聚合时间,极大地提高了视差优化的速度.

摘要： 近年来立体视觉技术不断发展,尤其是双目视觉.通过研究基于特征的立体匹配方法、局部立体匹配方法、全局立体匹配方法近几年的研究进展,对双目视觉立体匹配方法进行了概述和总结,通过对几种立体匹配方法的综述可以看出，近年来出现了许多新的算法，尤其以多种算法融合使用来提高匹配精确度、计算效率的居多。基于全局的立体匹配方法误匹配率最低，但是由于计算量大导致计算时间较长，因此不能使用在对实时性要求较高的领域。不过随着计算机硬件的不断发展，计算速度的大幅提升，使得对于以往不能保证实时性的方法，比如全局立体匹配，可以进行更加深入的研究，从而实现精确度与实时性并重的方法。

摘要： 针对Sift算法存在特征提取复杂度高及误匹配特征较多的缺点,提出一种基于亚像素Harris-Sift算法的图像立体匹配方法.算法先对Harris检测的特征点进行亚像素提取,并对提取的亚像素特征点建立Sift特征矢量及特征点描述;接着利用最近与次近欧式距离比例法完成图像的粗匹配;最后采用带基础矩阵极线约束的RANSAC法及运动距离法相结合的方法消除误匹配对,实现特征点对的精确匹配.试验结果表明该算法能快速获取稳定的特征匹配点,并有效剔除误匹配点,进而实现双目视觉超近距离空间非合作目标模拟卫星的高精度特征匹配。

摘要： 自动导航是现代民用飞机的必备功能,获得导航图像深度信息对于自动导航系统具有重要意义.立体匹配是获取深度图像的最有效率和应用前景的方法.本文介绍了立体匹配的基本原理,对比分析了现有算法的优缺点,对于失配率低、效果好但速度慢的置信度传播算法进行了优化改进,并和原始算法对比分析,结果表明改进算法在牺牲少量精度情况下,提高了算法的执行速度,能够更好地应用于自动导航场景中.

摘要： 针对SIFT算法用于立体匹配时误匹配率高且运行时间长的这一问题,提出一种基于SIFT算子与区域标记的立体匹配算法.本文介绍的算法是在双目立体视觉平台采集图像对,并经过预处理和极线矫正后,根据SIFT算法生成尺度空间,实现特征点的定位和其方向的确定,得到所有的特征点描述子;再结合均值偏移算法对图像进行区域分割,获得图像对的标签信息;根据对应的标记区域对实拍图像进行立体匹配,并根据获取的视差图进行了三维重建.本文对自采集图像和标准图像分别进行了匹配及三维重建实验,实验表明,本文算法不仅能够有效地降低立体匹配的误匹配率,而且在算法的运行速度上也有较大提升.

摘要： 倾斜影像是通过具有一定倾角的倾斜航摄相机获取的，针对倾斜影像的特点,提出了一种对称匹配策略和随机抽样一致性(RANSAC)算法相结合的影像立体匹配算法.首先,分别对使用SIFT和SURF算子提取的图像特征点集进行初始匹配并运用对称匹配策略移除非对称匹配,然后运用RANSAC方法鲁棒地识别优质匹配结果并返回基础矩阵,最后利用基础矩阵移除不满足核线约束条件的匹配点并获得最终匹配结果.通过实验综合对比分析了两种特征提取算子在倾斜影像多视角立体匹配中的性能和优缺点,总结了两种算子在倾斜影像立体匹配中的适用情况.

摘要： 针对农业采摘机器人自主导航和采摘过程中的障碍物树枝定位问题,为了得到树枝障碍的空间三维信息,主要对障碍树枝的三维视觉定位方法进行研究.首先,通过基于形态学细化的方法对树枝骨架进行提取,并经去除假分支以及遮挡恢复处理,得到树枝的特征骨架,然后提取骨架上的端点和分支点作为匹配特征点,并采用基于特征的立体匹配算法进行立体匹配,继而根据三角测量原理,获取树枝障碍的深度信息.最后,对苹果树树枝的定位实验结果显示,定位误差在±6.2mm以内,其中,在距离目标1000mm～1060mm范围内进行定位时,误差仅为±1.5mm,可满足采摘机器人对目标定位精度的要求.

摘要： 本发明公开了一种双目立体匹配算法的匹配代价计算方法和一种基于可变权重MST的非局部立体匹配算法，所述匹配代价计算方法包括：S1)色彩空间归一化步骤：按照下述方法对原图像进行RGB色彩空间归一化处理获得归一化色彩空间，归一化色彩空间的像素点的R、G、B色彩值分量r、g、b满足：S2）匹配代价计算步骤：利用归一化色彩空间对图像的匹配代价进行评价。相对于现有技术，本发明的方法具有更强的鲁棒性。

摘要： 当操作者进行操作输入相互关联的左图像上的辅助线(A2)以及右图像上的辅助线(A1)，以及相互关联的左图像上的辅助线(B2)以及右图像上的辅助线(B1)时，立体匹配处理系统在搜索面上关联左图像上的扫描线与辅助线(A2)之间的交点的坐标(a2)与右图像上的扫描线与辅助线(A1)之间的交点的坐标(a1)，以及左图像上的扫描线与辅助线(B2)之间的交点的坐标(b2)与右图像上的扫描线与辅助线(B1)之间的交点的坐标(b1)。由此，立体匹配处理系统(1)可以对搜索面上错误的关联进行矫正，并且可以正确地对左图像和右图像上的一致位置进行关联。

摘要： 图像数据输入单元(10)获取从多个不同位置拾取的预定区域的多幅图像的图像数据。参考视差设定单元(12)设定适用于该多幅图像的参考视差。搜索范围设定单元(13)通过参考其间提供了由参考视差设定单元(12)设定的参考视差的图像中的点而将小于图像范围的预定范围设定为用于立体匹配的搜索范围。立体匹配单元(11)针对该多幅图像之一中的任意点，通过参考提供由参考视差设定单元(12)设定的参考视差的另一图像中的点，从由搜索范围设定单元(13)设定的搜索范围中搜索出另一图像中与该任意点匹配的点。

摘要： 本发明公开了一种双目立体匹配算法的匹配代价计算方法和一种基于可变权重MST的非局部立体匹配算法，所述匹配代价计算方法包括：S1)色彩空间归一化步骤：按照下述方法对原图像进行RGB色彩空间归一化处理获得归一化色彩空间，归一化色彩空间的像素点的R、G、B色彩值分量r、g、b满足：S2）匹配代价计算步骤：利用归一化色彩空间对图像的匹配代价进行评价。相对于现有技术，本发明的方法具有更强的鲁棒性。

摘要： 本发明提供了一种基于多尺度信息的立体匹配网络及立体匹配方法，立体匹配网络包括金字塔编码器、特征体构造模块、视差生成约束模块、特征体解码器。其中金字塔编码器包括两组带有跳层连接的编码器‑解码器模块；特征体解码器内设有多个解码器模块，所述解码器模块输出端连接有多尺度特征自适应融合模块，所述多尺度特征自适应融合模块输出两个红外图像融合后的立体图像。本发明设计的立体匹配网络及立体匹配方法，解决红外成像存在可用信息少，大面积弱纹理、无纹理的问题。

摘要： 本公开揭露了一种立体匹配方法及相应立体匹配装置。立体匹配方法包括接收场景的左图像的第一数据和场景的右图像的第二数据；以及执行左图像和右图像的立体匹配以生成场景的深度图，其中，图案化的红外光投射到场景上以点亮场景，以及其中图案化的红外光满足一个或多个特征要求。本发明的立体匹配方法及相应立体匹配装置可以降低成本。

摘要： 本发明涉及一种立体匹配系统和立体匹配方法，可以得到更准确的距离测算结果。该立体匹配系统包括：图像特征提取单元，用于提取基准图中的特定目标的图像特征；候选匹配选取单元，根据图像特征的相似度，在匹配图中选取所述特定目标的一系列候选匹配；反向匹配选取单元，针对所述候选匹配，根据图像特征的相似度，在基准图中反向寻找匹配目标；最终匹配确定单元，将反向寻找的匹配目标与基准图中的所述特定目标相比较，当两者一致时，将该反向寻找的匹配目标所对应的候选匹配确定为所述特定目标的最终匹配。

摘要： 图像数据输入单元(10)获取从多个不同位置拾取的预定区域的多幅图像的图像数据。参考视差设定单元(12)设定适用于该多幅图像的参考视差。搜索范围设定单元(13)通过参考其间提供了由参考视差设定单元(12)设定的参考视差的图像中的点而将小于图像范围的预定范围设定为用于立体匹配的搜索范围。立体匹配单元(11)针对该多幅图像之一中的任意点，通过参考提供由参考视差设定单元(12)设定的参考视差的另一图像中的点，从由搜索范围设定单元(13)设定的搜索范围中搜索出另一图像中与该任意点匹配的点。

摘要： 当操作者进行操作输入相互关联的左图像上的辅助线(A2)以及右图像上的辅助线(A1)，以及相互关联的左图像上的辅助线(B2)以及右图像上的辅助线(B1)时，立体匹配处理系统在搜索面上关联左图像上的扫描线与辅助线(A2)之间的交点的坐标(a2)与右图像上的扫描线与辅助线(A1)之间的交点的坐标(a1)，以及左图像上的扫描线与辅助线(B2)之间的交点的坐标(b2)与右图像上的扫描线与辅助线(B1)之间的交点的坐标(b1)。由此，立体匹配处理系统(1)可以对搜索面上错误的关联进行矫正，并且可以正确地对左图像和右图像上的一致位置进行关联。

摘要： 本发明提供了一种采用代价融合与分层匹配策略的半全局立体匹配方法，属于计算机视觉领域。本方法针对半全局立体匹配算法在户外场景下精度低以及在CPU设备上运行效率低的问题提出解决办法。首先，使用融合的匹配代价作为立体匹配的初始匹配代价，更加鲁棒；然后采用4路径聚和的方法优化匹配代价，使得匹配代价更加精确；接着，使用视差计算、视差优化等步骤计算生成视差图；最后，通过分层迭代优化的方式优化匹配精度和匹配效率，在每一层的具体匹配当中，针对具体的CPU，引入并行计算策略，大幅度提高计算效率。本发明提供的方法不仅提高了半全局立体匹配算法在户外场景下的立体匹配精度，更提高了其在CPU平台上的运算效率，这使得它在边缘CPU设备上的应用更具有现实意义。