深度图

摘要： 在智能养殖中,常常会利用深度摄像头来进行猪只测重和活体测膘任务。针对深度摄像头受限位栏遮挡导致采集的深度图不完整这一问题,使用了彩色图像修复的办法,并通过引入门限卷积改进了现有神经网络。算法分为分割网络和修复网络。首先用分割网络找到缺损位置的掩膜,然后将掩膜和待修复深度图叠加后输入到改进后的修复网络中,最后得到完整的深度图。修复网络解决了深度图在缺损较大情况下难以补全的问题,并通过消融实验和与其他方法的对比实验,验证了改进后网络修复效果的优越性。

摘要： 随着煤掘进技术的不断提高,煤矿开采深度的不断加大,井下地形条件也越来越复杂,对地形的估计与实际距离无法准确测量,对井下工作带来不便,导致开采煤炭的效率降低,开采的环境不确定性影响了井下工作的安全和工作的效率。随着深度图迅速的发展,深度图像也成为获取三维场景信息的一种方法,并且运用的很广泛,把深度相机位于井下拍摄井下的深度图,通过深度图可以测得三维场景信息,方便我们了解井下的环境以及工作计划,这样就提高安全系数和工作效率。但是深度相机或多或少会造成深度图的缺失,测得的深度图不完整,含有孔洞和深度丢失,本文通过算法修复深度图使其更加平滑和完整。

摘要： 人类在认识事物时往往是从粗到细再到精,受认识过程的启发,根据手的拓扑结构设计了一种新的手势估计网络。该方法首先从手的角度提取全局特征,然后从手指角度提取局部特征,最后从关节点的角度提取点的细化特征,并融合三个不同阶段特征回归出每一关节点的3D空间坐标值,从而改善了回归精度。由于深度图只保存了目标点到相机的深度信息,以深度图作为神经网络的输入不利于卷积核获取其他两个方向的坐标信息;为了能在2D卷积核中直接利用空间坐标的全部信息,利用相机成像原理对深度图进行转换,将深度图转换为3通道的图像,这样提高了神经网络的回归精度。最后在公开数据集NYU和MSARA上进行训练和测试,测试结果表明,提出的网络结构及输入数据的转变都取得了良好的效果。

摘要： 针对视障人士出行辅助中可通行区域地面障碍物实时检测问题,提出一种基于RGB-D和惯性传感器融合的地面障碍物检测技术.首先建立地面障碍物空间模型,并融合惯性传感器参数计算相机倾角以校正地面障碍物世界坐标;其次针对视障人士实际使用场景和需求,使用阈值分割算法将深度图像中距离较远的检测像素去除,并将深度图划分4个区域,通过融合惯性传感器数据实现ROI的动态划分;最后通过改进RANSAC算法设计了基于地面区域生长的障碍物检测算法,并采集真实数据进行实验验证.实验结果表明,所提技术的准确率和召回率分别达到90.87%和89.33%,并在执行时间效率上优于已有地面障碍物检测算法,满足了视障人士对算法的实时性要求.

摘要： 现有基于深度学习的显著性检测算法主要针对二维RGB图像设计,未能利用场景图像的三维视觉信息,而当前光场显著性检测方法则多数基于手工设计,特征表示能力不足,导致上述方法在各种挑战性自然场景图像上的检测效果不理想。提出一种基于卷积神经网络的多模态多级特征精炼与融合网络算法,利用光场图像丰富的视觉信息,实现面向四维光场图像的精准显著性检测。为充分挖掘三维视觉信息,设计2个并行的子网络分别处理全聚焦图像和深度图像。在此基础上,构建跨模态特征聚合模块实现对全聚焦图像、焦堆栈序列和深度图3个模态的跨模态多级视觉特征聚合,以更有效地突出场景中的显著性目标对象。在DUTLF-FS和HFUT-Lytro光场基准数据集上进行实验对比,结果表明,该算法在5个权威评估度量指标上均优于MOLF、AFNet、DMRA等主流显著性目标检测算法。

摘要： 深度学习在目标识别、自然语言处理取得了很大的成功,利用其进行辅助决策近年来成为研究热点。以采用深度学习进行无人机航迹辅助决策为研究背景,提出了一种深度残差网络模型F-RESNET。首先,网络模型主要由去除批处理化的四个残差块构建而成,通过以RGB图像数据完成训练后,对网络输入进行优化调整,将双目摄像头采集处理得到的深度图进行F-RESNET的迁移训练。F-RESNET预测的分类结果可确定无人机偏移的方向,从而辅助自主确定飞行方向。和普通卷积网络仅输入RGB图训练的方法进行比较后发现,上述方法扩展了无人机室内室外的飞行感知范围,提高了无人机对飞行方向的判断能力,在无人机的航迹规划研究中具有一定的实用价值。

摘要： 将目标检测框架应用于水下声呐图像处理是近期的高热度话题,现有水下声呐目标检测方法多基于声呐图像的纹理特征识别不同物体,难以解决声呐图像中由于形状畸变造成的几何特征不稳定问题。为此,该文提出一种基于YOLOv3的水下物体检测模型YOLOv3F,该模型将从声呐图像中提取的纹理特征和从深度图中提取的空间几何特征相融合,利用深度图中相对稳定的空间几何特征弥补纹理特征表述能力的不足,再将融合后的特征用于目标检测。实验结果表明,所提改进模型的检测性能相较于3个基线模型在识别精度方面具有明显提升;在对单个类别的物体进行检测的情况下,与YOLOv3相比,改进模型也表现出了更出色的检测效果。

摘要： 针对多目标检测主流方法仅能表示目标间像素距离,未能真正表示目标间真实距离的问题,提出融合深度信息的多层次图关系网络的多目标检测方法,以多尺度候选框为节点构建多尺度图关系网络,节点间的关系不仅融合像素距离还增加了目标的深度信息。相比主流方法在像素层构建单一图网络,该模型可以均衡不同远近和大小的目标,更能体现目标间真实关系,从而提升图像多目标检测效果。实验结果显示:在“识别佩戴手套”数据集上,本文方法的mAP50指标比YOLOv3和YOLOX均提升了5%;在大规模数据集Visual Genome上,本文方法比传统方法检测效果提升了约10%。

摘要： 在虚拟地理环境中生成数字表面模型时,传统射线求交法存在速度慢、精度差、易受模型异构影响等问题,本研究提出一种基于深度图来构建数字表面模型的新方法,利用GPU来加速数字表面模型的生成,能较好地解决传统方法在速度及效率方面存在的问题,从而充分利用虚拟现实环境的计算资源,将计算机图形学的优势融入虚拟地理环境中,从而扩大虚拟地理环境的应用范围。测试结果表明,本研究提出的方法能大幅提高数字表面模型的生成效率和图形精度,研究结果可用于测绘工程、地理信息工程以及其他三维虚拟环境中。

摘要： 3维高效视频编码(3D-HEVC)标准是最新的3维(3D)视频编码标准,但由于其引入深度图编码技术导致编码复杂度大幅增加。其中,深度图帧内编码单元(CU)的四叉树划分占3D-HEVC编码复杂度的90%以上。对此,在3D-HEVC深度图帧内编码模式下,针对CU四叉树划分复杂度高的问题,该文提出一种基于深度学习的CU划分结构快速预测方案。首先,构建学习深度图CU划分结构信息的数据集;其次,搭建预测CU划分结构的多分支卷积神经网络(MB-CNN)模型,并利用构建的数据集训练MB-CNN模型;最后,将MB-CNN模型嵌入3DHEVC的测试平台,通过直接预测深度图帧内编码模式下CU的划分结构来降低CU划分复杂度。与标准算法相比,编码复杂度平均降低了37.4%。实验结果表明,在不影响合成视点质量的前提下,该文所提算法有效地降低了3D-HEVC的编码复杂度。

摘要： 本文提出一种有效的基于深度学习的深度图超分辨方法.不同于现有的基于深度学习的图像超分辨方法,本文使用深度网络来学习滤波器核,从而构造数据驱动的滤波器.本文提出方法主要包括有效的数据预处理、深度网络预测滤波器核以及基于滤波器的深度图超分辨三个过程.数据预处理过程将稠密/高分辨率色彩信息和稀疏/低分辨率深度信息进行有效的融合;深度网络预测滤波器核过程是以稠密/高分辨率色彩信息和稀疏/低分辨率深度信息的融合结果作为网络的输入,通过逼近最佳滤波器来估计滤波器参数;基于滤波器的深度图超分辨过程将低分辨深度图使用双三次插值放大到期望的分辨率大小,然后使用深度网络学习得到的滤波器对插值结果进行滤波操作,从而得到高分辨且锐利的深度图.实验结果表明,对于场景中不可避免的色彩图和深度图的边缘、纹理不匹配的问题,本文提出算法具有更好的鲁棒性.在Middlebury和ToFMark数据集上的实验评估表明,本文提出的算法取得了最好的深度图超分辨性能.

摘要： 现有的深度图超分辨率增强方法大多借助于同场景彩色图像提供的辅助信息.然而,不同传感器信号间的结构差异将会引入质量损伤.本文将图像引导的深度近邻关系视为误差,并利用重新下降M估计子进行误差的测度,从而有效抑制彩色图像和深度图像间结构差异的问题.首先根据相似颜色具有相似深度的假设,建立深度近邻约束;其次利用重新下降M估计子度量深度邻域约束,将深度超分辨率增强转换成一个最优化问题;最后通过广义迭代重新加权最小二乘法予以求解.实验结果表明本文方法可有效保持深度图的对象边缘,定性和定量指标均优于现有的代表性方法.

摘要： 基于图像的三维建模中图像的弱纹理区域因其颜色单一和局部反光现象,使得该区域内难以有效的检测和匹配特征点以及进行鲁棒的三维点云扩展,容易产生空洞现象和大量的噪声三维点,影响三维建模的精度和完整性.运用松弛变量约束对误匹配特征点滤波并优化相机矩阵,在稠密点云扩展阶段运用张量投票原理,滤波点云扩展中与周围三维点法向不一致的噪声点,运用多尺度离散-连续深度图法重构三维模型.实验结果表明:提出的方法与PMVS(patch based multi view stereo),MVE(multi view environment),MeshRecon等重构方法相比,具有更好的建模精度和完整度.

摘要： 传统基于RGB图像的可视外壳能恢复物体的外围轮廓却无法还原物体的凹面部分,而基于深度图像的可视外壳虽然可以还原凹面域,但其结果的边缘粗糙,轮廓不明晰.深度图像与RGB图像的可视外壳融合的计算方法,是为解决单一方式的可视外壳不足而提出的,它基于体素剖分的思想,根据深度图和RGB图像分别构建可视外壳,根据两种可视外壳的计算结果进行凹面分析和可视外壳融合,利用CUDA基于GPU实现并行加速.实验表明:融合算法能够还原出具有复杂凹面域物体的可视外壳,并且有良好的精度及实时性.

摘要： 针对蔬果二维投影图像因包含形状信息量少而影响蔬果分级精度的问题,本文提出了一种基于深度图像的蔬果形状特征描述方法,以番茄的形状特征提取作为案例,对该方法进行了探讨.首先利用彩色图像信息将番茄从背景中分割出;其次通过三维机器视觉测量设备获取番茄的点云,并对待检测番茄的点云深度值进行归一化处理;然后通过关联被分割出的番茄区域信息与深度信息得到了番茄的深度图,并对该深度图进行极坐标采样.通过在笛卡儿直角坐标下对采样结果进行傅立叶变换,获得了基于深度图像的通用傅立叶形状描述子,该描述子不仅能有效的描述番茄在深度和横向上的形状特征,同时还具有平移、旋转和缩放的不变性.将基于深度图的通用傅立叶描述子和基于一般二维投影图像的通用傅立叶描述子先后用于番茄的分级实验中,结果表明前者分级精度达到 94％,精度高于后者.

摘要： 本文主要内容包括反欺诈趋势和问题、图计算解决手段、大规模图模式查询以及深度图:Graph Embedding等。

摘要： 提出了一种基于双目立体视觉和SVM算法的行人检测方法.采用行人样本的头肩HOG特征训练分类器,通过双目视觉系统获取待检测目标左右图像,经过摄像机标定和立体匹配之后,计算图像共轭点的视差生成深度图,以基于距离的阈值分割确定运动目标所在的ROIs,有效去除背景信息;提取分割图像的HOG特征,投入SVM分类器训练得到检测子;加载分类器在前景图像中做多尺度检测,标记检测出来的运动目标.实验表明:该方法能对复杂场景下不同尺度和姿态的行人进行有效检测,具有较高的鲁棒性和检测率,且具有很好的实时性.

摘要： 在三维电视(3DTV)系统中,纹理图加深度图的系统架构具有减少传输数据量和便于在接收端利用纹理和深度信息绘制自由视点图像等优点.其中深度估计是前端处理中的关键技术.然而,目前深度估计软件由于算法复杂,需要耗费大量的CPU运算时间,很难达到实时处理,这也制约着三维视频系统的实时性应用.本论文提出一种高效的实时深度估计的硬件解决方案.充分利用FPGA的大规模并行能力,并采用流水线设计提高数据通路的数据吞吐量,提升整个设计的时钟频率.实验和仿真表明提出的方案可在1920x1080分辨率下,帧率最高可达131fps,符合三维视频系统实时性要求,可以作为功能模块嵌入到立体采集设备中,实现实时的深度估计.

摘要： 基于深度图像的绘制(depth based image rendering,D1BR)是利用彩色图像与对应深度图计算得到空间中任意虚拟视点图像的技术。相比于基于模型对虚拟视图的绘制(model based rendering).DIBR技术不必构建复杂的真实场景模型，只需通过深度映射即可得到对应的虚拟视点图像。由于其信源数据量小，计算复杂度低，该技术在立体视频编解码、平面视频立体化以及立体视频渲染显示等方面被广泛地应用。rn 基于深度图的渲染是"彩色+深度"立体视频格式应用的关键技术,但在传统的绘制过程中缺乏对观看环境等因素的考虑,产生深度畸变,不利于立体视频观看.本文提出了一种改进的渲染方法,综合考虑屏幕物理尺寸、观看距离、零平面等因素对观看着深度感知的影响,加以量化并优化渲染效果,解决了深度感知中的畸变效应,提高了立体视频的观看质量.rn 本文对双目立体显示系统成像原理进行了深入分析，提出了一种基于DIBR技术的双目立体视频渲染方法。该方法针对两种立体显示模式，引入了显示器尺寸、观看距离、及零平面等因素对立体图像的影响，使观看者能够体会到真实的深度感受。该方法在平面视频立体化、立体视频播放、虚拟现实等应用场合都可以有效地提升立体图像质量。

摘要： 中文摘要应在文章总字数的5％左右，一般不超过300字。摘要应涵盖全文。摘要内容包括研究目的、方法、结果等，注意不是标题的罗列，能独立成文，不能出现公式号和文献号。针对多视点视频存在的三维视觉感知冗余，提出基于感兴趣区域的多视点视频编码方法提高压缩效率。先根据人们对多视点视频的感兴趣程度定义感兴趣区域(ROI)和非感兴趣区域(non-ROI)，然后提出低复杂度全自动的ROI提取算法，利用接近于语义的深度信息，有效保证了ROI提取得速度和准确性。最后，基于提取ROI和多视点视频加深度的数据格式提出基于ROI的多视点视频编码框架，为ROI区域分配较多的码率以提高视频质量，而为non-ROI区域分配较少码率以提高压缩比。结果表明在保证主观质量一致的前提下，提高压缩效率达11.34％至21.41％。

摘要： 本发明提供了一种深度图增强方法和一种深度图增强装置，其中，深度图增强方法包括：对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征；对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征；基于第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程结合高频信息、低频信息和梯度信息，得到增强后的测试集图像。通过本发明的技术方案，可以有效地增强深度图的结构和细节，提升深度图的视觉质量。

摘要： 本发明公开了一种用以融合多深度图的深度图产生装置。所述深度图产生装置包含二图像获取器、一深度图产生器及一混合器。所述二图像获取器是用以产生二第一图像；所述深度图产生器耦接于所述二图像获取器，其中所述深度图产生器根据所述二第一图像，产生一第一深度图和一第二深度图；所述混合器耦接于所述深度图产生器，用以融合所述第一深度图和所述第二深度图以产生一最终深度图，其中所述第一深度图和所述第二深度图具有不同的特性。因此，相较于现有技术，本发明可扩展所述最后深度图的范围，或可增加所述最后深度图的准确度。

摘要： 一种用于对多视点视频数据的深度图进行编码的方法和设备以及对多视点视频数据的深度图进行解码的方法和设备。所述对多视点视频数据的深度图进行编码的方法包括：基于被预测编码并恢复的多视点彩色视频帧的块的像素值，将恢复的多视点彩色视频帧的块划分为至少一个分区；针对恢复的多视点彩色视频帧的块分区中的每个，通过使用多视点彩色视频帧的块分区的外围像素值和与多视点彩色视频帧的块分区相应的深度图帧的块分区的外围像素值，获得指示多视点彩色视频帧的块分区中的每个与深度图帧的块分区中的每个之间的相关性的参数；通过使用获得的参数，从恢复的多视点彩色视频帧的块分区获得深度图帧的相应块分区的预测值。

摘要： 本公开实施例公开了一种深度图预测模型生成方法和装置、深度图预测方法和装置，其中，该方法包括：获取预设数量个训练样本图像对集合；对于预设数量个训练样本图像对集合中的每个训练样本图像对集合，将该训练样本图像对集合中的训练样本图像对包括的全景图作为初始模型的输入，将与输入的全景图对应的深度图作为初始模型的期望输出，训练初始模型，得到该训练样本图像对集合对应的深度图预测模型。本公开实施例可以使用这些深度图预测模型对各种纬度跨度的全景图进行深度图预测，提高模型的泛化能力以及预测的准确性。

摘要： 本发明实施例提供了一种深度图矫正方法、深度图矫正装置和机器人，通过将图像矫正设备初始化，并将图像矫正设备保持头部水平，且在头部的正前方的预设距离点上设置标定板；将干扰源设置在图像矫正设备和标定板之间，并采用预设标定方法对图像矫正设备进行标定，得出标定结果，干扰源为使采集图像发生畸变的物体；根据标定结果以及预设的矫正算法对采集到的图像进行矫正。通过在图像矫正设备的正前方设置标定板，并采用预设标定方法对所述图像矫正设备进行标定得出标定结果，最后再根据标定结果以及预设的矫正算法对采集到的图像进行配准和矫正，将畸变图像配准和矫正为正确的图像，从而避免了干扰源对检测结果的干扰。

摘要： 本发明提供一种深度图处理装置及深度图处理单元，所述深度图处理装置包括：图像采集单元、深度图像处理单元和应用处理单元；所述深度图像处理单元与所述图像采集单元相连，从所述图像采集单元接收图像序列；所述深度图像处理单元与所述应用处理单元相连，对接收到的所述图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元。本发明中通过深度图处理单元和应用处理单元实现对图像采集单元的双控制，两者既可以单独对图像采集单元进行控制，又可以相互配合，由应用处理单元来控制图像采集单元进行采集图像数据，再由深度图处理单元对图像数据进行深度图处理，从而有效提高了深度图获取的效率，提高了系统性能。

摘要： 本发明提供了一种深度图增强方法和一种深度图增强装置，其中，深度图增强方法包括：对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征；对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征；基于第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程结合高频信息、低频信息和梯度信息，得到增强后的测试集图像。通过本发明的技术方案，可以有效地增强深度图的结构和细节，提升深度图的视觉质量。

摘要： 本发明公开了一种用以融合多深度图的深度图产生装置。所述深度图产生装置包含至少三图像获取器、一深度图产生器及一混合器。所述至少三图像获取器用以形成至少二图像获取对；所述深度图产生器耦接于所述至少三图像获取器，用以根据所述至少二图像获取对中每一图像获取对所撷取的图像对产生对应所述每一图像获取对的一深度图；所述混合器耦接于所述深度图产生器，用以融合对应所述至少二图像获取对的至少二深度图以产生一最终深度图，其中所述至少二深度图具有不同的特性。因此，相较于现有技术，本发明可扩展所述最终深度图的范围，或可增加所述最终深度图的准确度。

摘要： 本发明公开了一种用以融合多深度图的深度图产生装置。所述深度图产生装置包含二图像获取器、一深度图产生器及一混合器。所述二图像获取器是用以产生二第一图像；所述深度图产生器耦接于所述二图像获取器，其中所述深度图产生器根据所述二第一图像，产生一第一深度图和一第二深度图；所述混合器耦接于所述深度图产生器，用以融合所述第一深度图和所述第二深度图以产生一最终深度图，其中所述第一深度图和所述第二深度图具有不同的特性。因此，相较于现有技术，本发明可扩展所述最后深度图的范围，或可增加所述最后深度图的准确度。

摘要： 本发明提供一种保留深度图边缘的深度图帧内编码方法，首先将深度视频帧进行分块，对每个宏块进行边缘检测，并将不含边缘的块标与含有边缘的块分别进行标记；然后采用拉格朗日率失真优化策略选择帧内预测模式；最后写相应分割块的边缘检测标志位，对量化后的系数进行编码。该方法在深度图块编码之前先使用边缘检测方法确定当前块中是否有目标边缘，并保留深度图中的目标边缘，保持深度图的结构，提高深度图解码后的精确度，从而提高还原视图的质量。