视差估计

摘要： 三维重建技术常用于自动驾驶、机器人、无人机和增强现实等领域。视差估计是三维重建的关键步骤,随着数据集的增加、硬件和网络模型的发展,深度学习视差估计模型被广泛使用并取得良好效果。然而,这些方法常用室外场景的物体,很少使用在室内场景的数据集中。回顾了双目视差估计的深度学习方法,选用5种深度学习网络:PSMNet(pyramid stereo matching network)、GA-Net(guided aggregation network)、LEAStereo(hierarchical neural architecture search for deep stereo matching)、DeepPruner(learning efficient stereo matching via differentiable patchmatch)、BGNet(bilateral grid learning for stereo matching networks),将其运用在一套真实世界的街景数据集(KITTI2015)和两套室内场景数据集(Middlebury2014、Instereo2K);分析各模型搭建方法,评估深度学习在室内场景影像视差估计中的性能,并与传统的SGM方法进行比较。针对深度学习视差估计方法的研究内容,指出其面临的问题及挑战。

摘要： 目的 双目视觉是目标距离估计问题的一个很好的解决方案.现有的双目目标距离估计方法存在估计精度较低或数据准备较繁琐的问题,为此需要一个可以兼顾精度和数据准备便利性的双目目标距离估计算法.方法 提出一个基于R-CNN(region convolutional neural network)结构的网络,该网络可以实现同时进行目标检测与目标距离估计.双目图像输入网络后,通过主干网络提取特征,通过双目候选框提取网络以同时得到左右图像中相同目标的包围框,将成对的目标框内的局部特征输入目标视差估计分支以估计目标的距离.为了同时得到左右图像中相同目标的包围框,使用双目候选框提取网络代替原有的候选框提取网络,并提出了双目包围框分支以同时进行双目包围框的回归;为了提升视差估计的精度,借鉴双目视差图估计网络的结构,提出了一个基于组相关和3维卷积的视差估计分支.结果 在 KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute)数据集上进行验证实验,与同类算法比较,本文算法平均相对误差值约为3.2％,远小于基于双目视差图估计算法(11.3％),与基于3维目标检测的算法接近(约为3.9％).另外,提出的视差估计分支改进对精度有明显的提升效果,平均相对误差值从5.1％下降到3.2％.通过在另外采集并标注的行人监控数据集上进行类似实验,实验结果平均相对误差值约为4.6％,表明本文方法可以有效应用于监控场景.结论 提出的双目目标距离估计网络结合了目标检测与双目视差估计的优势,具有较高的精度.该网络可以有效运用于车载相机及监控场景,并有希望运用于其他安装有双目相机的场景.

摘要： 为了快速理解图像信息,提高可视化识别分类效果,提出视差估计下VR图像几何特征数字化提取.将图像几何特征分为面积、周长、质心与延伸方向等类型,利用视差估计法获取图像相邻块间相似尺度,设定阈值,选取最佳参考视点;根据参考视点,引入高斯卷积核确定空间内核,构建尺度空间,保留图像边缘信息;定义候选点,初步划分关键点区间,针对候选点空间函数值,通过阈值比较,过滤出对比度较低的点,建立关键点集合;利用离散Gabor小波变换方法,得出Gabor变换系统数均值和方差,组成几何特征向量;结合最大能量值实现所有特征空间的向量排序,完成几何特征数字化提取.仿真结果表明,上述方法可利用较少的特征点准确提取出几何特征,更有利于图像识别分类.

摘要： 利用航空影像已经成为获取DSM(digital surface model)等测绘数字产品及快速三维建模的重要手段之一.而作为其中关键技术之一的密集匹配则是其中的重点和难点.近几年来随着计算机硬件的快速发展,深度学习方法在图像处理等领域取得了巨大的成功.基于深度学习的影像密集匹配算法层出不穷,并且相较于传统方法取得了更好的效果,但提高匹配精度、提升匹配效率仍是未来研究的目标.通过对目前具有代表性的技术方法进行回顾,按照基于图像块的相似性度量学习和端对端生成视差图两类研究思路,叙述了深度学习在影像密集匹配中的研究进展与趋势,总结了现有方法的优点与不足,以期为影像匹配的研究提供具有参考价值的文献综述.

摘要： 针对立体视频单个视点中的整帧丢失问题,提出基于平面运动视差不变性的差错隐藏方案.该方案主要包括两个部分:1)利用两个视点的运动一致性,根据视差定位目标位置,把正确接收视点的当前帧与前一帧的帧差投影到丢失帧所在视点,作为当前帧与前一帧的帧差,再由帧差及前一帧的像素值重建丢失的帧;2)根据空洞特征自适应地选择基于邻域的方法或基于运动向量的方法进行空洞填补.实验结果表明,所提算法能够高质量地重建丢失的帧,其重建质量优于现有算法.

摘要： 传统基于块的立体视频视差估计算法计算复杂、效率较低,难于以硬件实现.为此,提出一种基于三维自组织映射的视差模式识别算法.根据图像块均值的大小,为视差序列建立高、底亮度模式库,输入块根据均值大小在不同的库中匹配模式块,从而实现视差估计.在模式库训练时引入频率敏感方法,以提高矢量利用率,减少死神经元,降低获胜矢量响应频率.实验结果表明,与基于块的视差估计算法相比,该算法的视差预测图像的平均峰值信噪比提高了1.78 dB.

摘要： 针对多视点视频编码中视差估计运算量大的问题,提出一种用Kalman滤波器预测运动矢量和Mean Shift算法视差匹配的视差估计方法.对宏块的运动模型建立Kalman滤波器,预测了宏块的运动矢量.分析视差矢量和运动矢量的几何关系进而确定宏块预测视差矢量.计算得到的预测视差矢量为下一步的视差匹配提供了初始搜索位置,用Mean Shift迭代计算完成宏块的最佳视差匹配.实验表明,该方法和全搜索方法相比,在率失真性能几乎不变的情况下编码时间减少了93％以上.与其他方法相比,率失真性能和编码效率获得提高.

摘要： 为了提高无纹理区域视差计算结果,在利用光场子孔径图像立体匹配估计无纹理区域的视差时,采用量化的光场子孔径图像之间的几何关系代替像素值进行立体匹配。根据光场子孔径图像之间的几何关系,计算像素点的极线分割比,用极线分割比代替子孔径图像像素值,提高了像素可区分性。实验结果表明,利用分割比图像得到的视差图结果明显优于利用子孔径图像得到的结果。

摘要： In order to deal with the problem that the traditional algorithms for disparity estimation has the big matching error ,and a disparity estimation algorithm based on mean shift and graph cut is proposed by fusing the chromaticity of the low texture region of an input image . In this algorithm ,the left view image and the right ones are preprocessed by means of mean shift theory ,and then the obtained images are dealt with a graph cut way to get a disparity map . Experimental results show that the proposed algorithm can effectively improve the accuracy of disparity estimation compared with the traditional disparity estimation approach .%针对传统视差估计方法匹配误差较大的问题,将输入图像低纹理区域的色度进行融合,提出了一种均值漂移与图割相结合的视差估计算法.先采用均值漂移原理对左右视点图像进行预处理,再将处理后的图像利用图割法进行视差估计.实验结果表明,与传统视差估计算法相比,所提出算法能有效提高视差估计的准确性.

摘要： 精确稠密视差估计是立体视觉系统恢复观测场景三维信息的关键.从立体视觉在机器人环境感知的实际应用角度出发,提出了对于弱纹理、阴影和遮挡等关键影响因素,具有良好鲁棒性、精度和处理速度的稠密视差图估计算法.针对弱纹理、阴影和深度不连续的问题,设计了基于灰度相似度概率的置信度传播算法,结合视差平滑约束,以期实现较高精度的视差初值快速估计.由视差级数定义的消息向量通过异向平行迭代进行传播,消息向量包含表征像素点灰度相似性和平滑性的能量信息,通过全局能量函数的迭代收敛,快速获得视差初始估计.根据独立连通区域通常具有相似纹理特征和视差一致性的先验知识,提出了基于Mean-Shift聚类分割算法和参数空间投票自适应视差近似面估计算法,进行稠密视差的精细优化估计.利用具有不同弱纹理特征的5组标准测试图像、4组室内环境实际图像、4组室外环境实际图像和4组月面模拟特殊光照环境的实际环境图像进行了测试实验,实验结果表明了本文算法的良好鲁棒性和有效性.%Precise dense disparity estimation is the key for stereo visual system to recover three-dimensional information of observation scene.From practical application perspective of stereo vision in robot environment perception,a dense disparity figure estimation algorithm having good robustness, accuracy and processing speed to key influence factors (texturelessness, shadow and blocking etc.) was proposed.Aimed at texturelessness, shadow and uncontinuous, belief propagation algorithm based on gray-scale similarity probability had been designed to realize rapid and accurate estimation of initial value of disparity by combining with disparity smoothness constraint.The message vector defined by disparity class was propagated through anisotropic diffusion and parallel iteration.Message vector included energy information representing gray-scale similarity and smoothness of pixel point.Initial estimation of disparity could be gained rapidly through iteration convergence of global energy function.According to the priori knowledge that independent connected area generally had similar textural features and disparity conformance, parameter space voting self-adaption disparity approximation surface estimation algorithm on the basis of Mean-Shift clustering partitioning algorithm was proposed to perform fine optimization estimation of dense disparity.5 groups of standard test image having different textureless features, 4 groups of actual image under indoor environment, 4 groups of actual image under outdoor environment and 4 groups of actual environment image under special lighting environment through selenographic simulation were utilized to perform test experiment and experimental result shows that the proposed algorithm has good robustness and effectiveness.

摘要： 随着计算机视觉和图形学的发展,多视点视频技术已为新的研究热点。视差估计是多视点视频编码的一个重要环节,是附加视频通道压缩效率的关键。传统视差估计的匹配算法在处理平坦或含噪声区域时往往因匹配误差最小多值问题而导致误匹配。本文针对平行相机系统提出一种基于块的视差估计改进算法,将视差的顺序约束引入到视差估计算法中,在一定程度上减少了计算复杂度,提高了视差的平滑性,绘制性能PSNR同比略有提高0.2dB左右。

摘要： 鉴于运用固定窗口进行视差估计的不足,本文提出了一种基于可变窗口的视差估计方法,并通过在最终代价函数中引入视差约束项来修正视差值.本方法计算开销不大,相对于固定窗口法有更好的准确性与鲁棒性.

摘要： 视差估计技术能有效消除多视点图象间的冗余性,达到对多视点视频数据有效编码与中间视点绘制的目的.本文研究了多视点视差估计中多参考视点问题,提出了一种基于视点相似度判断的多参考视点选择策略算法,实验证明本算法能在保证编码质量的前提下,减少视差估计的计算复杂度.

摘要： 多视点视差估计是多视点视频系统中的关键技术之一,它能有效消除各个视点间的冗余性.但是多视点视差估计的计算复杂度非常高,是限制多视点视频系统应用的一个瓶颈,本文针对多视点视差估计巨大的计算量,提出了一种基于视差插值与相似度函数的多视点视差估计快速算法,实验证明本算法能在保证编码质量的前提下,大大减少视差估计计算复杂度,提高多视点编码系统性能.

摘要： 视差信息是进行对象分割、实现各通道间视差补偿预测(DCP)和构造中间视点图像的重要特征.本文就立体视频编码中的视差估计问题进行研究,提出了采用特征点配准和插值技术的视差估计算法、基于分级块匹配视差估计算法.可以获得较为精确的视差场,能够提高重建后的图像质量.实验结果说明了本文算法的有效性.

摘要： 对象提取在多视点视频领域有了越来越广泛的应用，本文提出一种自由视点电视的对象提取方法。首先，我们用Birchfield算法进行快速的视差估计方法得到一个较为平滑的视差图；接着，对初始的分割结果用形态学滤波。实验结果证明了我们方法的有效性和可靠性。

摘要： 针对传统多视点系统中存在的问题,面向用户端的多视点系统可以极大地减少用户端的复杂度.rn 本文提出一种面向用户端多视点系统中的快速视差求精算法.首先在服务端采用基于平滑约束的8×8块匹配视差估计得到初始视差传输到用户端,然后在初始视差基础上利用视差矢量的空间相关性和物体边缘区域视差不连续的性质,快速将初始视差求精得到用于虚拟视点绘制的像素精度视差图.跟已有快速算法相比,本文快速算法不仅重建图像的PSNR提高了0.02dB,而且计算复杂度降低超过20%.

摘要： 多视点视频是一种即将出现的交互式多媒体应用,它的提出体现了下一代多媒体应用网络化、交互性和真实感的发展方向。本文综述了多视点视频编码的一些关键技术:视差估计,预测编码,中间视图合成等,最后并给出了多视点视频编码的应用前景。

摘要： 本研究针对平行结构立体摄像机存在较大的遮挡边界区域问题,提出了一种基于可信图的遮挡边界检测算法。首先通过采样计算立体图像对中几条扫描线的可信值,从而得到遮挡边界的若干采样点；然后通过RANSAC算法得到遮挡边界。理论和实验分析表明，该算法对复杂背景的立体图像有好的检测精度；对人肩像等简单背景图像的检测精度不好,但通过校正后仍可得到较准确的遮挡边界。

摘要： 本研究针对平行结构立体摄像机存在较大的遮挡边界区域问题,提出了一种基于可信图的遮挡边界检测算法。首先通过采样计算立体图像对中几条扫描线的可信值,从而得到遮挡边界的若干采样点；然后通过RANSAC算法得到遮挡边界。理论和实验分析表明，该算法对复杂背景的立体图像有好的检测精度；对人肩像等简单背景图像的检测精度不好,但通过校正后仍可得到较准确的遮挡边界。

摘要： 在本发明的各个实施例中，立体内容中字幕之间沿时间的视差的差受到时间和视差的函数约束。这保证了两个连续的字幕如果在时间上接近，那么它们将会具有相似的视差。更具体地，一种用于在立体内容中定位字幕的方法包括：估计在立体内容的至少一帧中的字幕位置以及使用时间和视差的函数约束在至少两帧的字幕之间的视差的差。在这样的一个实施例中，所述估计可以包括使用在待插入所述字幕的至少一帧中的区域内的对象的视差来计算字幕的视差值。然后，字幕被调整为位于对象的前面或后面。

摘要： 提供一种对多视角运动图像进行编码和解码的方法和设备。一种估计视差矢量以对多视角运动图像进行编码的方法包括：为预定数量的编码的宏块估计视差矢量；以及使用估计的视差矢量计算与编码的宏块相邻的宏块的视差矢量。因此，可快速执行多视角运动图像的编码并提高多视角运动图像的可压缩性。

摘要： 在本发明的各个实施例中，立体内容中字幕之间沿时间的视差的差受到时间和视差的函数约束。这保证了两个连续的字幕如果在时间上接近，那么它们将会具有相似的视差。更具体地，一种用于在立体内容中定位字幕的方法包括：估计在立体内容的至少一帧中的字幕位置以及使用时间和视差的函数约束在至少两帧的字幕之间的视差的差。在这样的一个实施例中，所述估计可以包括使用在待插入所述字幕的至少一帧中的区域内的对象的视差来计算字幕的视差值。然后，字幕被调整为位于对象的前面或后面。

摘要： 适应性调整估计搜寻范围的运动估计方法及视差估计方法。在多视点视频编码(MVC)技术中，动态适应性调整运动估计和/或视差估计的搜寻范围的方法，以一初始搜寻范围做为第一搜寻范围，对第一图帧的第一搜寻视窗内的多个第一区块进行估计流程，取得一向量分布，根据此向量分布，取得至少一第一候选搜寻范围。选择第一候选搜寻范围，作为对第二图帧的第二搜寻视窗内的多个第二区块进行估计流程的第二搜寻范围，得到估计流程对应的一估计向量，提供做为视频编码。

摘要： 本发明公开了一种快速视差估计和运动估计方法，利用了与当前宏块的边缘属性一致的相邻宏块与当前宏块同属同一对象的概率较大，因而其视差矢量或运动矢量也较为一致的特点，用当前宏块的已编码相邻宏块的视差矢量或运动矢量来预测当前宏块的视差矢量或运动矢量，在此基础上自适应地减少了多视点视频编码过程中视差估计和运动估计的搜索范围，从而达到了降低多视点视频编码的计算复杂度，提高多视点视频编码速度的目的；此外，本发明方法对运动剧烈的对象采用了精细搜索的策略，保证了编码后重建视频信号的质量。

摘要： 一种引入彩色分割的视差估计方法，将彩色分割与像素显著性估计结合起来，通过利用彩色分割的结果来改善像素显著性估计的精度，通过利用彩色分割得到的彩色区域信息来减少像素视差估计的搜索范围。在运算精度方面，相比精度较高的局部法如自适应彩色权重法、基于自适应权重的DSM视差估计算法，能够更准确地获取参考像素和更准确地进行像素显著性估计，从而得到更精确的视差匹配结果。特别是在物体的边缘区域、遮挡区域和同质区域，有更高的估计精度；在运算速度方面，通过利用彩色分割得到的彩色区域信息，减小了视差匹配的搜索范围，提高了视差匹配的效率。

摘要： 公开了一种用于视差估计的系统及用于系统的视差估计的方法。用于视差估计的系统包括：一个或多个特征提取器模块，被配置为从一个或多个输入图像提取一个或多个特征图；以及一个或多个语义信息模块，连接在所述一个或多个特征提取器模块的一个或多个输出处，其中，所述一个或多个语义信息模块被配置为：生成将在下一训练时期被提供给所述一个或多个特征提取器模块用于视差估计的一个或多个前景语义信息。

摘要： 适应性调整估计搜寻范围的运动估计方法及视差估计方法。在多视点视频编码(MVC)技术中，动态适应性调整运动估计和/或视差估计的搜寻范围的方法，以一初始搜寻范围做为第一搜寻范围，对第一图帧的第一搜寻视窗内的多个第一区块进行估计流程，取得一向量分布，根据此向量分布，取得至少一第一候选搜寻范围。选择第一候选搜寻范围，作为对第二图帧的第二搜寻视窗内的多个第二区块进行估计流程的第二搜寻范围，得到估计流程对应的一估计向量，提供做为视频编码。

摘要： 本发明公开一种图像校正与视差估计相融合的深度估计方法，包括在待测目标物一侧设置相机阵列，获得各相机与中心相机间的旋转矩阵与平移向量；通过目标识别将每个相机所获取图像中的待测目标物进行分割，并将背景黑色处理；之后对待测目标物的图像进行预处理操作；采用SuperGlue匹配算法完成中心相机视角下图像与其他相机视角下图像的特征点匹配工作；对每组特征匹配点进行坐标转换；根据视差与深度之间的三角几何关系，结合平移向量，对每组特征匹配点进行重聚焦操作；根据可靠度因子的计算式求得每组特征匹配点的可靠度因子的大小，根据可靠度因子的大小依次对每组特征匹配点的深度估计质量进行评价，实现对深度估计精度的提升。

摘要： 一种引入彩色分割的视差估计方法，将彩色分割与像素显著性估计结合起来，通过利用彩色分割的结果来改善像素显著性估计的精度，通过利用彩色分割得到的彩色区域信息来减少像素视差估计的搜索范围。在运算精度方面，相比精度较高的局部法如自适应彩色权重法、基于自适应权重的DSM视差估计算法，能够更准确地获取参考像素和更准确地进行像素显著性估计，从而得到更精确的视差匹配结果。特别是在物体的边缘区域、遮挡区域和同质区域，有更高的估计精度；在运算速度方面，通过利用彩色分割得到的彩色区域信息，减小了视差匹配的搜索范围，提高了视差匹配的效率。