光流

摘要： 针对水产养殖中的精准投喂问题,以大西洋鲑(Salmo salar)为研究对象,提出一种基于鱼体运动特征和图像纹理特征的鱼群摄食活动强度量化方法,进行鱼类摄食行为识别研究.利用自适应背景差分及光流法得到运动鱼体的速度、转角,并通过信息熵统计速度和转角的分布,之后通过灰度共生矩阵提取能量、熵、对比度、相关性和逆差距5个图像纹理特征值.最后,结合鱼体运动特征及图像纹理特征,对鱼类摄食行为进行识别和检测.实验结果表明,该方法的识别准确率达到了94畅17％,相较于单一特征检测本研究的检测精度更高.

摘要： 为解决多目标跟踪任务中复杂场景下因检测器漏检或频繁遮挡导致特征表达信息不足和数据关联不正确的问题。文章提出了一个双线多目标跟踪方法;使用外观与运动的多特征信息解决特征表达信息不足的问题;而数据匹配采用端到端的图网络(GNN)进行图最优匹配,并结合传统匈牙利算法优化数据关联。实验在MOT数据集上与近年来经典跟踪方法进行了比较,在MOT17数据集上综合性能指标MOTA、IDF1均高于该性能指标排名第二的方法,MOTA提高了3%,IDF1提高了5%;并通过消融实验验证了多特征信息对多目标跟踪性能提高的有效性。

摘要： 影像拼接是生成大规模数字正射影像的关键技术之一,但现有的影像拼接方法在进行多个影像拼接时存在拼接线穿过明显地物导致的鬼影现象。光流是观察者和场景间相对运动引起的影像边缘等的相对运动,其中,大光流对应影像间的变化区域,可用于检测正射影像间的明显地面区域。提出一种基于光流引导的新型影像拼接方法,通过超像素的密集光流提取影像中明显的地物信息,以避免接缝穿过明显的地面物体。采用由粗到细的接缝线优化策略,并在超像素级别上利用Dijkstra算法进行最佳拼接区域检测,从而提高接缝线检测的效率。在此基础上,结合归一化互相关成本函数在像素级别上进行拼接线的像素级优化,获得最优的接缝线。实验结果表明,该方法从主观视觉上能够生成高质量的接缝线,在保证拼接效率的情况下,SSIM质量评价指标较Dijkstra方法、图割方法以及商业软件OrthoVista得到明显提高。

摘要： 设计了一个基于四旋翼飞行器的巡线机器人,巡检电力线路及杆塔状态,发现异常时拍摄并存储,任务结束后数据传送到地面显示装置上显示。视觉部分使用3个摄像头,其作用分别为:基于树莓派搭载OpenCV环境,使用稠密光流算法,采集正下方图像,在避免摩尔纹干扰的前提下得到光流数据,进而得到四旋翼飞行器的速度;基于OpenMV,使用霍夫变换算法检测起点圆用于定点起飞,使用MicroPython里的morph函数通过过滤器内核对条纹图像进行卷积得到飞行路径;基于OpenMV,通过色块信息对黑杆距离进行计算以实现绕杆转180°的要求,使用MicroPython里的函数检测条形码和二维码。经测试,3个摄像头协同工作实现了四旋翼飞行器对当前位置和状态的判断,完成电力线路及杆塔状态检测。

摘要： 微表情是指当人们想要隐藏其真实情绪时,所自发产生的表情,持续时间在1/5 s之内,其面部肌肉运动短暂、幅度微小,有限的数据集使得特征提取变得困难,给其识别带来巨大的挑战。针对这些问题,本文提出一种基于图像预处理技术和双分支网络的识别方法,首先利用先进的人脸对齐网络获取有效的面部表情区域,再采取欧拉视频放大技术捕捉面部动作的微弱变化,以及提取光流信息作为视频序列的特征,然后将光流信息不同组合的特征图输入到双分支分类网络中得到表情标签输出。在SMIC和CASMEⅡ两个公开的数据集上进行实验,采用留一法交叉验证,准确率分别达到0.545和0.584,实验结果的定量分析和定性分析均验证了所提出识别模型的有效性。

摘要： 针对相机在未知环境中定位及其周围环境地图重建的问题,本文基于拉普拉斯分布提出了一种快速精确的双目视觉里程计算法.在使用光流构建数据关联时结合使用三个策略:平滑的运动约束、环形匹配以及视差一致性检测来剔除错误的关联以提高数据关联的精确性,并在此基础上筛选稳定的特征点.本文单独估计相机的旋转与平移.假设相机旋转、三维空间点以及相机平移的误差都服从拉普拉斯分布,在此假设下优化得到最优的相机位姿估计与三维空间点位置.在KITTI和New Tsukuba数据集上的实验结果表明,本文算法能快速精确地估计相机位姿与三维空间点的位置.

摘要： 皮带检测是工业生产中需求量大且标准较高的技术,开发高精度、可实时检测、适用于低光照的皮带检测算法是工业应用中亟需解决的难点问题,本文提出了改进RAFT算法的皮带检测模型及其应用。RAFT提取各像素特征,建立所有像素对的多尺度4D相关矩阵,并通过一个循环单元的输出对其进行查找,迭代更新一个流场。通过设计的数据预处理步骤处理低光照等复杂环境,在原RAFT的基础上使用相似性搜索算法选取top-k值降低参数,从而提高检测速度。针对小目标大位移的情况,结合皮带检测目标的刚性先验引入新的光流初始方法与距离权重,最终得到改进的RAFT算法。使用该算法在皮带数据集上进行实验,结果表明:该方法能适应不同场景数据集并取得较高精度,优于现有方法。

摘要： 在裸眼3D显示中,传统的多视点采集方式为均匀采集。研究表明,因柱透镜光栅存在畸变,所以显示器构建的视点分布并不均匀,进而导致显示器视点和采集视点不匹配,产生了视点图像错位、透视关系错误等问题,影响最终的观看体验。针对上述问题,本文提出了一种多视点图像分布校正方案,该方案由一种视点筛选算法和中间视点生成网络构成:结合空间视点真实分布规律,针对均匀采集的多视点图像进行视点筛选,以指导中间视点预测网络生成对应位置的虚拟视点,使之匹配显示器构建视点位置。实验证明该方案为显示器视点填充了正确的视差图,有效地解决了显示器空间视点和采集视点的位置不匹配问题,提升了光栅立体显示器的观看质量。

摘要： 针对无人机(UAV)的航向角解算问题,提出了一种基于光流的航向角解算算法。首先,对传统光流算法的块匹配方式进行改进,提出了圆形块匹配方式;然后,基于圆形块匹配方式与反三角函数设计了一种航向角解算算法。实验结果表明:在图像旋转超过1.5°时,93.3%的相邻帧圆形块匹配结果优于方形块匹配,圆形块匹配方式有效提升了匹配效果;基于圆形块匹配的航向角解算算法静态解算结果实现了零漂移、几乎无噪声,有效解决了航向角的静态漂移与易受干扰问题。

摘要： 为了提高化学实验室的智能化水平,本文对双流卷积网络进行研究,提出一种应用在化学分析实验领域的行为识别网络。本文网络将输入视频分为RGB和光流,通过改进的EfficientNetv2网络加深网络结构提取特征信息,同时探究双流网络的融合位置,改进损失函数,确定网络的最佳策略。经验证在自制的数据集中改进的双流卷积神经网络模型准确率可以达到92.4%,相比常规的行为识别算法具有更高的识别率。

摘要： 本文提出一种基于光流和水平集方法的多相运动对象分割方法,目的是分割出图像序列或视频图像中的多个运动对象.首先改进传统光流模型的光滑项,使光流场具有更好的鲁棒性;然后改进Chan-Vese分割模型,使其根据光流场分割,这是由于可以依据光流场的有效信息检测运动对象;最后采用水平集方法,将不同区域的光流场信息有机地结合在一起,实现多个运动对象的分割.在水平集求解过程中,为了避免水平集函数重新初始化,引入新的能量项,从而节省迭代时间.实验结果表明,新算法能有效地进行多相运动对象分割.

摘要： 提出一种基于AdaBoost和光流的融合算法实现视频人脸的实时检测,利用AdaBoost算法对人脸进行检测,结合光流算法对视频图像帧间的连续性进行估计,获得人脸在图像中的位置.实验证明,本文介绍的人脸检测和追踪的方法利用了Ada-Boost和光流算法各自的优点,一定程度上解决了人脸偏转、部分遮挡、表情变化以及光照等因素对人脸检测的影响.

摘要： 光流是动态景象分析的重要步骤,光流是指图像亮度模式的视在运动。多数光流算法依赖于亮度恒定原则,然而由于传感器噪声和不一致的亮度条件,常常不满足亮度恒定要求,为此,提出一种基于鲁棒亮度特征的伪Zernike矩的光流算法,鲁棒亮度特征比亮度更能保持恒定,伪Zernike矩反映局部图像亮度分布,作为光流方程的不变特征。实验结果表明算法性能优于其他经典算法。

摘要： 提出了一种改进的Lucas-Kanade光流算法,将这种算法应用于步态识别中,并引入了高阶梯度的光流场约束方程,计算出其Hessian矩阵.将Hessian矩阵条件数的倒数作为Lucas-Kanade光流法的加权阵,可有效地消除局部邻域中不可靠约束点,并大大提高基本约束方程解的稳定性.实验结果表明,此方法能精确地描述出运动人体的光流场.

摘要： 针对传统的光流估计方法不适用于在环境亮度不均匀变化情况下,在无显著特征动态图像模型(GDIM)基础上,提出了一种处理不均匀亮度变化问题的光流计算方法.通过建立纹理图像滤波器对原始图像进行预处理,获得纹理图像;然后在GDIM中应用反复加权最小二乘方方法抑制不稳定的流约束获得鲁棒光流估计.对于Yosemite基准图像序列,通过使用该算法和传统算法进行实验比较,证明其具有较好的性能.

摘要： 图像光流的计算不需要在图像序列中建立特征之间的对应关系,因此光流法在计算机视觉的众多领域,包括运动物体的参数估计和目标跟踪有广泛的应用.由于红外图像的噪声相对较大,光流法很少用于红外图像中目标的运动参数估计和跟踪.这里,使用几种常用的光流计算方法对部分实际红外图像进行了光流场计算.结果表明,当然择合适的方法或对计算方法进一定的改进,对这些红外图像可以得到比较接近实际情况的目标光流场,进而应用于红外图像中的目标分割、运动状态分析与跟踪等领域.

摘要： 该文针对应用Ｓｎａｋｅｓ模型进行动态图象轮廓追迹时存在的前后帧目标变形较大则易发生追迹失误的问题，提出了利用光流预测Ｓｎａｋｅｓ模型的初期轮廓，然后进行动态图象轮廓追迹的方法。实验证明，改进后方法与原来Ｓｎａｋｅｓ模型相比具有更好的轮廓动态跟踪能力。

摘要： 识别和跟踪是确定吸尘器在其工作环境所处状态的过程,通过传感器感知信息实现可靠的识别和跟踪是智能吸尘器最基本的功能之一。其中全局视觉具有比其他传感器定位方式更优越的性能。本文设计了一个基于金字塔结构的光流算法的识别与跟踪系统,为了减少由于图像抖动、光照变化引起的误判,加入了卡尔曼滤波预测状态。实验结果表明,该全局视觉识别与跟踪系统具有较好的准确性和鲁棒性。

摘要： 提出一种新的主运动估计算法。该算法是基于光流方程的，采用基于直方图和基于块两种方法有效地去除噪声点，在迭代计算中抽取重要的点进行计算，而且结合了Ｇａｕｓｓ－Ｎｅｗｔｏｎ迭代方法。该文算法比传统的ＬＭ方法要快，而且参数估计比较准确。

摘要： 提供了比特深度表示方法、装置和非暂时性计算机可读存储介质。解码器获得与视频信号内的视频块相关联的参考图片I。解码器从参考图片I中的参考块获得视频块的预测样本I(i,j)。解码器通过基于用于达到预设精度的比特移位值对PROF导出过程的内部PROF参数应用右移来控制内部PROF参数。解码器根据PROF导出过程基于预测样本I(i,j)被应用于视频块，获得视频块中样本的预测细化值。解码器基于预测样本和预测细化值的组合获得视频块的预测样本。

摘要： 本发明公开了一种光流估算模型的构建方法、装置及光流估算方法，所述方法包括：将仿真域图像对、仿真域图像对的光流真值及真实域图像对输入至初始神经网络模型中进行迭代训练，得到光流估算模型；在对初始神经网络模型进行训练时，以仿真域图像对及真实域图像对为输入对生成对抗网络进行对抗训练，以使生成对抗网络生成第一转换域图像对及第二转换域图像对；以仿真域图像对、第一转换域图像对及仿真域图像对的光流真值为输入对光流计算网络进行有监督训练，以第二转换域图像对为输入，对光流计算网络进行无监督训练。通过实施本发明能降低构建光流估算模型的人力成本，并提高对真实域图像的光流值的估算准确性。

摘要： 本发明公开了一种光流交换网络调度方法及光流交换系统，系统中的每个节点主要由一个IP交换机和一个光交叉连接模块组成，每个IP交换机设置一个光流交换模块，光流交换模块中包含虚拟输出队列、链路‑波长‑时间资源表、源路由表、调度模块、控制包收发模块、电/光转换模块、交换控制模块以及时钟模块。源节点在发送光数据流的同时，为虚拟输出队列中的光数据流请求提前启动光路预约，检测多个目的节点对应光路的可用情况，并结合队头请求优先级和光数据流传输时长，找出最早的可用光路并为光路预约一个时间段。本发明的有益效果为：1、网络中不需要集中调度节点，各节点执行分布式调度，计算复杂度低；2、光路调度计算和数据传输同时进行，缩短了数据传输的头部时间，能够提高网络吞吐量和降低平均排队等待时间，优化带宽利用率；3、在链路波长资源的调度分配中加入时间维度，能够提高算法的性能；4、可以基于现有网络设备进行部署，应用条件成熟。

摘要： 本发明公开了一种像素采集电路，至少包括：光电探测单元、光流信息计时触发单元、光流信息计时控制单元、光流信息计时单元和行选输出单元。本发明一并公开了包含上述像素采集电路的光流传感器和光流及图像信息采集系统。

摘要： 本公开实施例公开一种光流确定方法、用于确定光流的模型训练方法及装置。该方法中，基于目标道路分别对应的点云数据集和图像，确定第一光流的真值；再基于第一光流的真值，确定第一光流的预测值；基于第一光流的预测值，以及第一光流与第二光流之间的对应关系，确定第二光流的预测值；第一光流为正向光流或反向光流，正向光流为从拍摄图像的成像装置的视角到虚拟视角的光流，反向光流为从虚拟视角到成像装置的视角的光流。第一光流的预测值比第一光流的真值稠密，即通过本方案可确定较稠密的第一光流的预测值。而且由于第一光流的预测值较稠密，确定的第二光流的预测值也较稠密。因此通过本方案，能够得到稠密的第一光流和第二光流。

摘要： 本发明公开了一种光流估算模型的构建方法、装置及光流估算方法，所述方法包括：将仿真域图像对、仿真域图像对的光流真值及真实域图像对输入至初始神经网络模型中进行迭代训练，得到光流估算模型；在对初始神经网络模型进行训练时，以仿真域图像对及真实域图像对为输入对生成对抗网络进行对抗训练，以使生成对抗网络生成第一转换域图像对及第二转换域图像对；以仿真域图像对、第一转换域图像对及仿真域图像对的光流真值为输入对光流计算网络进行有监督训练，以第二转换域图像对为输入，对光流计算网络进行无监督训练。通过实施本发明能降低构建光流估算模型的人力成本，并提高对真实域图像的光流值的估算准确性。

摘要： 提供了视频解码方法、装置和非暂时性计算机可读存储介质。解码器接收序列参数集SPS中的三个控制标志，其中，第一控制标志指示是否启用双向光流BDOF以用于解码当前视频序列中的视频块，其中，第二控制标志指示是否启用利用光流的预测细化PROF以用于解码当前视频序列中的视频块，并且其中，第三控制标志指示是否启用解码器侧运动矢量细化DMVR以用于解码当前视频序列中的视频块。

摘要： 本公开实施例公开了一种人脸光流估计网络的训练以及人脸光流估计方法和装置，其中，方法包括：将在视频中相邻两帧图像对应的第一人脸图像和第二人脸图像输入人脸光流估计网络，得到第一人脸图像对应的预测人脸光流值；分别对第一人脸图像和第二人脸图像进行高斯模糊处理，得到第一平滑图像和第二平滑图像；基于第一平滑图像、第二平滑图像和预测人脸光流值，确定人脸光流估计网络的网络损失；基于网络损失，监督人脸光流估计网络的训练。本公开实施例通过基于第一平滑图像、第二平滑图像和预测人脸光流值，确定人脸光流估计网络的网络损失，不需要获取人脸光流真值，实现在无监督的条件下训练人脸光流估计网络，降低了标注代价。

摘要： 本公开实施例公开了一种人脸光流估计及光流值预测模型的训练方法和装置，其中，人脸光流估计方法包括：对在视频中相邻的第一图像帧和第二图像帧分别进行人脸关键点识别，得到第一关键点组和第二关键点组；基于第一关键点组和第二关键点组，确定第一图像帧对应的第一面片组和第二图像帧对应的第二面片组；基于第一面片组中多个第一面片与第二面片组中多个第二面片之间的对应关系，确定每个第一面片中多个第一像素点与第一面片对应的第二面片中多个第二像素点之间的对应关系；基于每个第一像素点和对应的第二像素点之间的位移信息，确定第一图像帧对应的人脸光流值。本实施例得到的人脸光流值精细度高、准确性好。

摘要： 本发明公开了一种光流交换网络调度方法及光流交换系统，系统中的每个节点主要由一个IP交换机和一个光交叉连接模块组成，每个IP交换机设置一个光流交换模块，光流交换模块中包含虚拟输出队列、链路‑波长‑时间资源表、源路由表、调度模块、控制包收发模块、电/光转换模块、交换控制模块以及时钟模块。源节点在发送光数据流的同时，为虚拟输出队列中的光数据流请求提前启动光路预约，检测多个目的节点对应光路的可用情况，并结合队头请求优先级和光数据流传输时长，找出最早的可用光路并为光路预约一个时间段。本发明的有益效果为：1、网络中不需要集中调度节点，各节点执行分布式调度，计算复杂度低；2、光路调度计算和数据传输同时进行，缩短了数据传输的头部时间，能够提高网络吞吐量和降低平均排队等待时间，优化带宽利用率；3、在链路波长资源的调度分配中加入时间维度，能够提高算法的性能；4、可以基于现有网络设备进行部署，应用条件成熟。