单目视觉

摘要： 为解决传统工业机器人定位不精确、不灵活的问题,对机器视觉引导的工业机器人定位进行研究,提出以KUKA机械臂和嵌入式ZYNQ开发板为硬件平台的低成本系统方案.首先对工业机器人视觉定位抓取过程建立数学模型;然后研究基于机器视觉的图像处理技术,采用轮廓特征参数为辨识条件对预处理后的工件轮廓进行识别和定位;最后,经过坐标转换,将工件真实位姿发送给工业机器人控制系统进行抓取引导.实验结果表明,该系统对目标工件能够实现有效、精准的定位.

摘要： 为解决未标定摄像头监控视频中行人安全社交距离的估计问题,提出将行人检测、单应性与尺度估计相结合的方法,对单目相机中行人是否处于安全社交距离进行二分类。首先基于YOLOv5s框架,采用MSCO⁃CO数据集中只含有行人的数据训练得到鲁棒性较好的行人检测器;然后根据相机成像模型假设,推导出从场景地面到图像平面的单应性矩阵,再通过人类平均身高和图像行人检测框高度估计从场景地面到图像中行人局部区域的尺度信息,从而在图像上投影出行人椭圆形安全区域;最后通过计算图像中行人安全区域的重叠情况判断其是否违反安全社交距离。实验结果表明,当IoU=0.5时,该方法在MSCOCO只含行人数据的验证集上的行人检测准确率、召回率和AP分别达到81.39%、82.39%和76.52%;在OTC数据集上行人安全社交距离二分类的准确率、召回率和F1值分别达到98.99%、89.12%和93.79%。所提方法在一般监控场景下对行人安全社交距离违反情况的检测性能较佳。

摘要： 为了利用单目视觉实时监测船舶行驶过程中与周围船舶之间的距离,首先分析单目视觉测距现状及其成功应用实例,基于小孔成像原理建立单目相机模型,通过几何推导,得到世界坐标系、相机坐标系、图像坐标系及像素坐标系之间三层坐标转换关系。随后通过实验验证pitch俯仰角与yaw水平角对单目视觉测距的影响程度,从而分析出动态船舶行驶场景下包括相机姿态、船舶在水面摇晃等实时单目测距误差。进而在引入包含俯仰角、水平角的相似三角形测距算法的基础上,采用高精度陀螺仪相机姿态补偿策略提出改进的基于单目视觉的相似三角形目标船舶测距算法。实验结果表明,该算法能在动态船舶行驶过程中较为准确地测量周围水域目标船舶之间的距离,可以满足船舶实时安全监测系统的要求。

摘要： 车距测量是高级驾驶辅助系统(ADAS)的关键技术,是前碰撞预警和自适应巡航等功能的基础,单目摄像头相比于毫米波雷达等传感器价格低廉,获取图像信息量丰富,在ADAS系统中应用广泛,很多学者对单目测距技术进行了深入研究。论文主要介绍了四种基于单目视觉的车距测量方法,详细阐述了几何关系法、成像模型法、数据回归建模法和逆透视变换法的原理及测距模型,通过分析基本测距方法的不足,逐步介绍其改进形式。最后给出了每一种方法的特点,并对发展趋势进行展望。

摘要： 机器视觉以其非接触式测量、精度高、实时性好、成本低等优点,越来越广泛的被应用于工件和产品的尺寸测量中,其中利用单目相机测量零件的几何尺寸是机器视觉的重要部分。在利用单目相机测量时,当被测物在相机光轴方向移动后需要重新对焦,获得被测物的清晰图像,并重新标定相机参数,再根据像素坐标计算被测物体尺寸。针对单目定焦相机测量时需要频繁对焦标定的问题,提出了一种直接根据相机对焦环刻度值计算被测物体尺寸的方法。在不同物距下,调整相机对焦环获得清晰图像,并记录对焦环刻度值t,计算不同物距下物体像素尺寸与实际尺寸的比值k,拟合t值与比值k的函数关系,不需要重新标定相机,即根据像素尺寸直接进行物体尺寸测量。实验表明,该测量方法操作简单,避免了复杂的相机标定,相对误差小于2%。具有一定的实用价值。

摘要： 针对基于视觉传感器的微小卫星大视距交会对接中,合作目标难以被相机清晰识别的问题,本文设计了一种一体化新型合作靶标,在100 m~100 mm测量范围内,实现由远及近高精度双星相对位姿解算。首先,建立合作目标模型,确定合作目标类型;其次,采用PnP(Perspective-n-Point)算法设计合作目标特征点的个数与尺寸;然后,根据相机视场、焦距与合作靶标的约束关系,确定合作目标模型尺寸;最后,通过理论与实验相结合的手段进行验证。仿真实验结果表明,在双星相对距离为100 m时,姿态误差小于4.01°,位置误差小于7.57 mm。在相对距离为100 mm时,姿态误差小于0.06°,位置误差小于0.02 mm。

摘要： 本文提出了一种基于机器人视觉导航传感器技术的电力设备运行采集系统。利用单目视觉算法完善机器人的导航定位功能,进而实现电力设备运行状态的采集,还设计了电力设备运行分析系统,包括用户管理模块、检测电池性能模块、检测变电设备模块、检测输电设备模块、电力设备信息管理模块,采用Hadoop中的关键技术HDFS和Map Reduce,实现电力设备运行数据的分析。实验结果表明,本文研究的系统对电力设备运行采集的速率达到了2450条/min,并且采集数据更新频率在47 s/次,能够实现电力设备运行采集的实时性。

摘要： 针对自动驾驶中的前车位置识别及安全车距监测问题,提出了基于单目视觉的解决方案:首先,通过图像中前车轮廓与本车道及同向车行道分界线是否相交判断前车是否为监测车辆;其次,根据图像中像素坐标系与空间坐标系的对应关系构建转换模型,计算前方监测车辆与本车的真实车距;最后,根据可跨越的同向车行道分界线在连续图像帧中的位置变化计算本车的行驶速度,并依据交通法规判断本车与前方监测车辆之间是否为安全距离.实验结果表明,该解决方案可以有效地识别前车位置、监测安全车距并降低系统成本.

摘要： 针对人工垃圾分拣效率低、工作环境恶劣且成本高的问题,提出了一套智能可回收垃圾分拣系统,该系统采用RGB图像作为视觉信息输入,通过目标检测算法获取垃圾在传送带上的位置坐标信息,并通过机械臂对垃圾进行分拣操作。可回收垃圾形态各异、种类繁多,为提高检测算法的泛化能力,建立了一个含36572帧图片的可回收垃圾数据集,并基于此数据集上训练目标检测算法。基于YOLOv4提出了嵌入注意力机制的目标检测算法Attn-YOLOv4,经实验验证,Attn-YOLOv4算法的mAP比原始YOLOv4算法高0.16个百分点。在静态识别功能的基础上,提出基于多线程的目标跟踪算法实现了对运动垃圾的快速稳定跟踪,在20 mm误差范围内达到了0.945的精确度。此外,后处理模块对图像进行形态学处理并获取垃圾的世界坐标以及放置角度,供机械臂进行分拣操作。分别对目标检测和跟踪算法进行验证,在实际分拣流水线上验证并评估了该智能可回收垃圾分拣系统的可行性、精度及分拣的成功率。

摘要： 几何相似法隶属于单目视觉测量方法,单目视觉测量方法具有结构简单、计算速度快、稳定性好等优点,越来越多的应用于计算机视觉测量领域;依据几何相似法测量原理,提出一种基于几何相似法的单目视觉光学测速方法,主要用于弹丸类高速目标的初速度测量,相比于雷达、激光等测速方法具有可视化优势,目标飞行过程中状态细节可见,相比于其它单目视觉测量方法更加快捷、稳定,并且布站简单;经过试验测试,结果表明利用该方法进行速度测量,能够有效的给出弹丸类高速目标的初速度,测速误差在1%以内,验证了采用单相机进行弹丸类高速目标出筒初速度测量方法的可行性。

摘要： 针对室内未知环境下的机器人定位导航问题,研究了一种基于单目视觉惯性里程计的机器人定位算法.该算法将采集到的视觉数据和惯性测量单元数据进行紧耦合处理,交给后端构建最小二乘问题,用于求解位姿估计得到实时的运动轨迹.在后端位姿估计方法中,引入信赖域优化算法,该算法具有强收敛性和稳定性.最后利用公开数据集与传统方法对比进行实验,评价了算法的实时性和定位精度,实验结果表明该算法具有更高的准确性和实时性.

摘要： 针对室内条件下传统视觉、地磁、WiFi等方法很难实现亚米级定位精度的不足,提出了一种WiFi辅助下基于单目视觉的室内精密定位与构图方法,该方法通过WiFi锚节点估计出单目视觉尺度因子并结合视觉传感参数,获取真实尺度空间下的定位位置,并利用因子图模型对WiFi定位和单目视觉定位结果进行最大后验概率准则下数据融合,从而获得精确的位置和构图信息.实验表明,本文所提出的方法较好地解决了传统单目视觉定位中的尺度不确定问题,定位精度达到分米级,扩展了单目视觉SLAM在真实尺度空间中的应用,在移动机器人、室内外混合导航等领域具有很好理论研究和工程实用价值.

摘要： 构建了基于无目标计算机单目视觉的三维变形测量系统.提出快速优化阈值的方法,开发阈值优化的图像滤波器检测变形边缘;改进Canny算法.用二次灰度赋值去除剩余的少量噪声,用霍夫圆变换算法计算凸曲参数.并对圆环样本进行精度测量对比试验,验证系统的设计精度和可行性.最后用视觉系统完成低周反复荷载作用后钢管组件表观变形的测量试验.结果表明,视觉系统可快速检测凸曲变形、准确计算变形参数,计算效率高,误差小,其相对误差平均值为0.306％.因此其具有无目标非接触式测量、复杂工况操作方便、成本低等优点,为结构震损变形检测提供快速有效的评估方法.

摘要： 由于关乎到大工件的产品质量和后期产品的在线加工,大工件尺寸的测量结果尤为重要.为了实现工业大尺寸工件几何形状的测量,提出了基于单目视觉和激光测距的原理,通过将极坐标转化为直角坐标系的方法,构建大尺寸工件测量系统.采用单目视觉测量技术和激光测距,对目标物进行连续的实时拍摄和实时处理,提取激光线上像素点的二维坐标,利用已经建立的模型将二维坐标转化成3D坐标.通过对该系统的分析以及实验的验证,体现了大尺寸测量系统的应用前景.

摘要： 工业机器人在运动工件的抓取上得到了广泛的应用,但在线工件三维位姿与运动轨迹的定位方法仍不能满足工业现场需求.为此,介绍了单目视觉的基本原理,并在此基础上建立了三维工件的视觉测量几何模型,包括平面点在Y方向的纵向定位模型、平面点在X方向的横向定位模型、空间点在Y方向的纵向定位模型以及空间点在X方向的横向定位模型,最后搭建了单目视觉引导的机器人抓取硬件平台和软件环境.实验结果表明,工件位姿可在线快速识别且精度较高,机器人能成功地抓取工作,验证该方法的有效性和实用性.

摘要： 本文研究仅使用单目视觉系统的非合作目标航天器的相对位姿估计和逼近控制问题.对于相对位姿估计,以连续图像测量信息为输入条件,采用光流法实现相对运动状态的估计;对于逼近控制,以相对运动状态估计信息为输入条件,采用经典的PD(比例+微分)控制律实现相对位姿的跟踪保持控制.最后搭建了航天器逼近控制过程完整的MATLAB/Simulink以及STK仿真模型并开展了仿真验证,仿真结果表明服务航天器能够从数十米距离处收敛控制到目标航天器附近,这也说明了本文所提逼近控制方法的正确性.

摘要： 针对轮式仓储物流机器人的自主定位问题,提出了一种基于视觉信标和里程计数据融合的室内定位方法.首先,通过建立相机模型巧妙地解算信标与相机之间的旋转和平移关系,获取定位信息;然后,针对信标定位方式更新频率低、定位信息不连续等问题,在分析陀螺仪和里程计角度误差特点的基础上,提出一种基于方差加权角度融合的方法实现角度融合;最后,设计里程计误差模型,使用Kalman滤波器融合里程计和视觉定位信息弥补单个传感器定位缺陷.在差分轮式移动机器人上实现算法并进行实验,实验结果表明上述方法在提高位姿更新率的同时降低了角度误差和位置误差,有效地提高了定位精度,其重复位置误差小于4cm,航向角误差小于2°.同时该方法实现简单,具有很强的可操作性和实用价值.

摘要： 石油化工火灾火势发展快,火情易变,且时有突发险情,后果难以预料.因此,需要充分利用耐高温高压的移动机器人,进行内部侦查,查找有无人员伤亡,查明燃烧位置、形式以及面积,然后再投入充足的救援力量,以快制快,确定进攻和撤退路线.针对危险现场复杂环境,噪声大,救援迫切性要求,本文提出一套具有高鲁棒性、快速定位的单目视觉SLAM系统.主要内容是,首先,为减少危险环境中图像存在大噪声,论文提出一种基于双向匹配机制的SURF方法,在快速提取图像的点特征的同时保证了稳定可靠性.然后,在这些提取得点特征基础上,因为救援任务的迫切性,论文设计了一种融合互信息和图像信息的路标和位置更新方法,它通过不同时刻路标的互信息增益判断是否进行状态更新,来提高定位的快速性.在此基础上,设计和实现基于扩展卡尔曼滤波技术(Extended Kalman Filter,EKF)的单目视觉SLAM系统.最后,通过实验验证了本文所设计的SLAM系统具有较高可靠性和定位速度快等优点.

摘要： 果实的分级水平能够提高果实的附加值,也是国内外农产品市场竞争的重要因素.我国猕猴桃种植面积占世界的55.6％,但出口量远远不及新西兰70％的国际市场占有量.原因之一是目前的国内猕猴桃分级生产线仅以果重为单一指标,不符合国际标准中以果重和厚宽比进行果形分级的要求.本文以国内现有的分级生产线为基础,增加一个摄像头,提出相关图像处理算法,实现了符合国际标准的分级要求.首先参照猕猴桃国际分类标准,选取了368个样本:特级158个、一级150个、二级60个,测量每个样本的重量、长、宽、厚、体积,同时获取其自然放置时的俯视图.然后,利用图像处理获取样本的长、短、自然放置时的投影面积等图像属性,采用逐步回归选择变量,建立了厚度与自然放置时的投影面积比重量、长、长的3次方的多元线性回归模型,误差仅为4.3％,再根据重量和预测的宽厚比对果实进行分类,正确率达到91.0％,实验证明该系统能够较好的预测猕猴桃的等级,可低成本地实现在线检测.

摘要： 针对大尺寸、长距离、非接触条件下的目标定位技术需求,提出了一种基于视觉测量的目标定位技术.许多视觉测量方法寻求在PnP算法改进上得到更高精度,而没有考虑到特征点数目增加对测量精度造成的影响,基于此,通过引入测量基线的概念设计出一种精度可定量提高的合作式靶标.首先通过测量模型的建立和精度分析,利用误差传播理论得出了n点式靶标测量精度的函数解析式,进一步详细分析与验证了各影响项所带来的影响,并讨论了合作靶标特征点排布形式对精度的影响情况,在此基础上进行了靶标布局以及结构参数的优化以进一步提高测量精度.实验结果表明,以所设计的16点环阵式靶标为例,其重投影误差较同尺寸P4P靶标减少了约50.3％,立体靶标则进一步将重投影误差降低了39.2％.该技术不仅可用于特殊环境下的目标定位识别,更适用于复杂系统中的单元状态监测.

摘要： 本发明公开了一种基于单目视觉与双目视觉相结合的垂直度检测方法，其利用单目和双目视觉相结合，以双目视觉的方式检测平面上MARK点的三维坐标，并根据MARK点三维坐标获得平面与相机的位姿关系，然后通过两个单目视觉，即双目视觉相机分开使用来检测直线在相机成像中的角度，结合平面与相机的位姿关系，计算直线与平面在两个垂直维度的角度偏差，最后根据两个垂直维度的角度偏差计算直线与平面的垂直度。

摘要： 本发明属于机器视觉领域，公开了一种基于全景与单目视觉的混合视觉定位方法，包含如下步骤：组成混合垂直立体视觉，使用平面棋盘格标定，得到全景相机与普通视觉相机的内部参数；在混合垂直立体视觉中，统一化为球面统一投影模型，根据全景与普通视觉的共同方位对全景有效坐标系转换得到新的全景方位坐标系；根据立体标定结果，得到旋转矩阵与平移矩阵；利用旋转矩阵与平移矩阵对混合垂直立体视觉立体校正，得到垂直视差，再根据混合垂直立体视觉系统的三角测量公式确定目标点的三维位置坐标信息。本发明保证全景视觉的大视场，弥补了全景相机分辨率低且不均匀的劣势，解决了混合视觉中立体标定的问题并将混合视觉定位通用化。

摘要： 本发明公开了一种基于单目视觉的多行人目标空间连续定位方法及系统，完成相机的标定，获取相机内参数和畸变系数值；训练行人检测模型并部署于服务器；在室内场景中布设相机并建立室内世界坐标系，在平面直角坐标系统上设立若干参考点用于求解对应场景下的相机外参数值；将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界坐标系的坐标转换模型代码部署于服务器；将相机获取的实时视频数据传输至服务器；行人检测模型获得视频帧图像数据中行人的足底像素坐标信息，多行人跟踪算法获得每个行人的像素定位坐标值，经过坐标变换模型得到各行人的世界坐标系结果值，完成对多行人的实时定位。本发明实现了单目相机下的多行人连续跟踪定位。

摘要： 本发明公开了全向单目视觉装置、全向双目视觉装置及跟踪方法，全向单目视觉装置包括：上转镜模组、下转镜模组以及相机模组；其中，上转镜模组包括上转镜，下转镜模组包括下转镜；上转镜模组中的上转镜的旋转范围在0‑360度之间，用于通过旋转上转镜的角度，将入射光反射进入下转镜模组；下转镜模组用于通过偏转下转镜的角度，将入射光反射进入相机模组，以使相机模组对目标物体成像。本发明相机始终保持不动，从而减少了机械运动产生的振动对图像的影响。相机光轴的变化由上下两转镜切换，实现了高速自由灵活切换相机视角，实现了对高动态目标的连续追踪。

摘要： 本发明公开了一种基于单目视觉与双目视觉相结合的垂直度检测方法，其利用单目和双目视觉相结合，以双目视觉的方式检测平面上MARK点的三维坐标，并根据MARK点三维坐标获得平面与相机的位姿关系，然后通过两个单目视觉，即双目视觉相机分开使用来检测直线在相机成像中的角度，结合平面与相机的位姿关系，计算直线与平面在两个垂直维度的角度偏差，最后根据两个垂直维度的角度偏差计算直线与平面的垂直度。

摘要： 本发明提出了一种小型机器人的单目视觉与双目视觉转换装置，由无线通讯摄像头、传动组件、动力组件和控制组件组成；传动组件由回转运动转直线运动组件和导轨组成，相机固定板固定在传动组件的直线运动部件上，传动组件两侧有挡板、挡板上安装有控制组件的触发开关，传动组件的回转运动部件两端通过轴承与挡板连接，回转运动部件一端穿过挡板通过联轴器与动力组件连接；控制组件包括控制电路板和分别安装在传动组件两侧挡板上的第一通路触发开关及第二通路触发开关。本发明实现小型机器人上单目双目的相互转换，从而使小型机器人的应用将更加广泛；并且双目间基线距离可调，通过调节基线距离可以获得更好的重建效果。

摘要： 本发明属于机器视觉领域，公开了一种基于全景与单目视觉的混合视觉定位方法，包含如下步骤：组成混合垂直立体视觉，使用平面棋盘格标定，得到全景相机与普通视觉相机的内部参数；在混合垂直立体视觉中，统一化为球面统一投影模型，根据全景与普通视觉的共同方位对全景有效坐标系转换得到新的全景方位坐标系；根据立体标定结果，得到旋转矩阵与平移矩阵；利用旋转矩阵与平移矩阵对混合垂直立体视觉立体校正，得到垂直视差，再根据混合垂直立体视觉系统的三角测量公式确定目标点的三维位置坐标信息。本发明保证全景视觉的大视场，弥补了全景相机分辨率低且不均匀的劣势，解决了混合视觉中立体标定的问题并将混合视觉定位通用化。

摘要： 本发明公开了一种基于单目视觉的砂石骨料装车视觉系统及其控制方法，包括视觉模块、系统控制模块、系统执行模块、实时图像分析模块和视觉反馈控制模块。本发明利用实时图像分析方法，通过工业相机在图像中检测出卸料口下方一定范围内的料堆轮廓线，结合视觉系统标定结果得到与目标料位的实际偏差，再根据一定的控制律计算出消除该偏差所需的卸料闸门开度，并据此对卸料闸门的开度进行实时调节。通过本发明提供的装车系统和方法能够取得更高的作业效率，在尽可能短的时间内实现平稳装车，同时避免随着车厢料位越来越高或剩余容积越来越小导致的撒料情况。并可实现操作人员远程实时调节，实现对砂石骨料装车的智能控制。

摘要： 本申请涉及了一种单目视觉定位方法、装置、存储介质和电子设备，其中，该单目视觉定位方法包括：确定采集图像中目标对象的第一检测框；根据所述第一检测框，通过点对模型获取所述目标对象在当前帧中的第一维度，其中，所述点对模型为基于像素坐标系和世界坐标系的点对差建立的映射关系；根据所述第一维度结合采集图像装置的内外参，确定所述目标对象的位置。本发明解决了以至少解决现有技术中测距硬件成本高和位置检测精度低的技术问题，并通过时序信息提高了鲁棒性。

摘要： 本实用新型提出了一种小型机器人的单目视觉与双目视觉转换装置，由无线通讯摄像头、传动组件、动力组件和控制组件组成；传动组件由回转运动转直线运动组件和导轨组成，相机固定板固定在传动组件的直线运动部件上，传动组件两侧有挡板、挡板上安装有控制组件的触发开关，传动组件的回转运动部件两端通过轴承与挡板连接，回转运动部件一端穿过挡板通过联轴器与动力组件连接；控制组件包括控制电路板和分别安装在传动组件两侧挡板上的第一通路触发开关及第二通路触发开关。本实用新型实现小型机器人上单目双目的相互转换，从而使小型机器人的应用将更加广泛；并且双目间基线距离可调，通过调节基线距离可以获得更好的重建效果。