时空上下文

摘要： 传统极轨卫星观测频次低和观测时间固定,难以对一个区域进行实时监测。因此,基于Himawari-8(H-8)静止卫星提出了一种能持续监测输电线路山火的时空上下文火点自动识别算法。该算法首先根据中红外和热红外波段对火点的敏感度差异,采用固定阈值法快速实现绝对火点识别和潜在火点提取,然后在空间上利用中红外和热红外的通道值、平均值和标准差之间的比值关系对潜在火点进行细判。在时间上利用H-8的高观测频次并融合火点发生概率进行持续性火点识别。所提技术已应用于南方某省级电网输电线路山火监测,并且准确率达72.5%,漏报率为43.9%。监测结果明显优于固定阈值法与传统的上下文法。

摘要： 研究基于改进卷积神经网络的舰船实时目标跟踪识别技术,满足复杂背景下舰船目标跟踪识别的高精度需求。利用时空上下文算法确定舰船图像中,舰船目标与周围区域的时空对应关系,依据对应关系构建舰船图像目标置信图,将置信图中具有最大似然概率的区域,作为舰船目标的初定位区域;利用卷积神经网络搜索初定位区域,通过卷积层和下采样层的运算,识别舰船目标的精确位置;依据舰船目标精确位置识别结果,选取相关滤波算法,设置相关图中最大响应值位置作为舰船目标最新位置,输出舰船目标实时跟踪结果。实验结果表明,该技术在云雾遮挡、弱光照等复杂背景下,均可以精准跟踪识别舰船目标,舰船目标跟踪识别的平均覆盖率高于95%。

摘要： 针对高实时性要求、低计算能力的小型嵌入式平台的应用背景,本文提出一种低时间复杂度、高鲁棒性的目标跟踪算法.首先,构建基于时空上下文贝叶斯概率模型的跟踪算法架构,然后提出低时间复杂度的灰度特征尺度池策略实现尺度自适应更新,最后利用基于置信图最大似然概率的目标模型更新策略来提高抗遮挡性能.利用基准数据集OTB2013对本文算法进行测试,跟踪精度为58.9％,成功率为51.3％,优于时间复杂度相近的STC(Spatio-Temporal Context)和CSK(Circulant Structure with Kernels)算法.搭建以DSP为核心的小型目标跟踪平台对算法进行测试,可实现对视场中目标的实时稳定跟踪.当目标波门为64×64 Pixel时,稳定跟踪帧率可达42 frame/s,能够满足实时性和工程实用性的应用需求.

摘要： 为了实现更为精确的视频目标跟踪,提出一种以时空上下文模型为基础的RGB-D序列目标跟踪算法.通过引入更新模板的深度信息,该模型精准地区分了输入序列的目标区域与背景区域,实现了深度权值和颜色权值的融合;基于目标序列的深度及目标动量计算,该模型有效地实现了尺度更新与遮挡处理.通过在RGB-D图像序列数据集上的详细实验评估,该时空上下文模型相对于其他先进的同类方法表现出更好的性能.因此,该方法实现了更为精确可靠的视频目标跟踪.

摘要： 连续图片序列中的运动对象与其局部背景保持相对稳定.相邻图像序列的目标局部灰度分布具有相似性.针对红外小目标跟踪杂波干扰与运动模糊问题,设计了基于局部相似的目标增强方法,并提出一种基于局部相似和运动估计的跟踪算法.该算法根据目标的局部相似性构建搜索空间,采用运动估计机制缩小搜索域,然后利用时空上下文学习跟踪算法产生跟踪结果.实验表明,本文方法能够有效应对杂波干扰和运动模糊情况,实现红外小目标的稳健跟踪,且具有较好的实时性.

摘要： 由于运动目标变形、 无规律运动等特性,现有跟踪方法在进行动态目标实时检测与分割时存在着较大困难,自适应跟踪精度较低.针对复杂背景下视频目标稳健跟踪问题,提出了一种融合深度学习和时空预测的鲁棒单目标跟踪方法.在传统基于SiamMask网络的深度学习框架内引入兴趣区域检测方法,提升动态目标的在线检测与分割精度;在跟踪系统中融入时空上下文目标跟踪算法,根据目标时空关系的在线学习,预测新的目标位置并对SiamMask模型进行算法校正,实现视频序列中的目标快速识别与跟踪,较好地改善了环境干扰、 目标遮挡等复杂环境对跟踪精度的影响.验证结果表明,与传统方法相比,所提方法在精准度和鲁棒性方面有着较大提高,并且能保持较高的实时性.

摘要： 为了提高实时RGB–D目标遮挡跟踪精确度,解决多目标遮挡跟踪容易发生模型漂移和跟踪丢失等问题,本文提出一种基于RGB–D时空上下文模型的多目标遮挡跟踪算法.首先获取多目标检测定位区域,再通过目标时空上下文特征提取,建立目标时间上下文模型、目标空间上下文模型构成目标RGB–D时空上下文模型;然后在跟踪器判别跟踪状态时通过计算时间一致性进行颜色和深度特征自适应融合确定目标在当前帧位置;最后,当跟踪器判别多目标遮挡时引入深度概率,利用深度概率信息特征进行约束,通过最大后验概率(MAP)关联模型有效解决目标遮挡跟踪问题.在公用数据集clothing store dataset和princeton tracking benchmark dataset上进行定性对比实验和定量结果分析表明,本文提出的算法具有良好的遮挡跟踪性能,能较好解决多目标遮挡跟踪问题,提高目标遮挡跟踪的精确性和鲁棒性.

摘要： 当前基于计算机视觉的动位移测量研究通常要求高速高分辨率摄像机和理想拍摄环境,以保证测量的性能和精度.然而高速相机成本较高,目标成像需要较高对比度,且实际拍摄过程中环境条件也难以保持稳定,导致应用受限.结合时空上下文算法和光流算法,提出一种无需人工标靶点、鲁棒的多目标位移监测方法,通过智能手机实现干扰环境下的结构多点动位移同步测量.开展悬臂小球模型的扫频实验,检验方法在一定频率范围内的测量效果.其中,使用智能手机对激振小球进行拍摄,并在实验中保留复杂背景和模拟光照变化.分别采用所提方法和常用的特征光流算法对视频进行处理,得到动位移结果,并与位移传感器测量值进行对比.结果表明,在有光照变化干扰下,所提方法具有更强的抗干扰性,各监测点的最大位移偏差在5％以内.

摘要： 为了提高实时RGB-D目标遮挡跟踪精确度,解决多目标遮挡跟踪容易发生模型漂移和跟踪丢失等问题,本文提出一种基于RGB-D时空上下文模型的多目标遮挡跟踪算法.首先获取多目标检测定位区域,再通过目标时空上下文特征提取,建立目标时间上下文模型、目标空间上下文模型构成目标RGB-D时空上下文模型;然后在跟踪器判别跟踪状态时通过计算时间一致性进行颜色和深度特征自适应融合确定目标在当前帧位置;最后,当跟踪器判别多目标遮挡时引入深度概率,利用深度概率信息特征进行约束,通过最大后验概率(MAP)关联模型有效解决目标遮挡跟踪问题.在公用数据集clothing store dataset和princeton tracking benchmark dataset上进行定性对比实验和定量结果分析表明,本文提出的算法具有良好的遮挡跟踪性能,能较好解决多目标遮挡跟踪问题,提高目标遮挡跟踪的精确性和鲁棒性.

摘要： 为了解决基于时空上下文目标跟踪算法中低级特征不能很好地适应目标外观变化,在线更新容易产生漂移的问题,在其基础上提出了一种基于在线检测的时空上下文目标跟踪算法.首先利用朴素贝叶斯分类器构建了一个随机蕨分类器,使用随机蕨分类器进行分类并筛选候选样本;然后使用最近邻分类器计算这些样本的置信度,并计算其中最大者的置信图;最后将得到的置信图与时空上下文跟踪器的置信图融合成一个新的置信图来判定目标.实验结果表明,该算法在复杂场景下能够适应目标外观的变化,具有较好的跟踪效果和实时性.

摘要： 目的:单一的跟踪算法往往不能同时处理光照变化、运动模糊、目标变形等各种情况,时常出现跟偏、跟丢的情况.本文提出了一种联合的跟踪框架,能应对各种复杂视频的挑战.方法:提出的算法主要包括两个部分,查找部分采用基于多实例的思想对目标区域进行大致寻找,定位部分利用时空上下文对目标进行精确定位.结果:联合模型利用了各自的优点,并互补不足,使得目标不仅能跟踪得到,而且跟踪得准.实验表明目标跟踪的定位精确度和成功率得到了很大的提高.即使在快速运动、变形等各种挑战下,本文的方法仍然比传统的算法优越.结论:本文提出了一种新的跟踪框架,实验结果表明,在各种有挑战性的视频中,本文的算法都能有效的跟踪到目标,具有较好的定位精确度和实时的跟踪速度.

摘要： 本发明公开了一种基于特征点辅助的时空上下文目标跟踪方法，包括如下步骤：S1，在初始帧选择目标框，并初始化时空上下文模型和目标特征点模型S2，在下一帧中利用特征点匹配和光流跟踪方法进行目标特征点追踪，并通过聚类得到目标特征点集，获得目标预估位置区域；S3，在目标预估位置区域建立局部上下文外观模型，再计算与时空上下文模型的相关性获得置信图，在置信图最大值位置获得目标最终位置；S4，根据跟踪结果，结合目标特征点数变化率来判断目标遮挡程度，控制时空上下文模型更新。本发明在背景干扰、遮挡、目标旋转和快速运动情况下，依然具有稳定的跟踪效果，具有较好的鲁棒性。

摘要： 一种基于时空上下文分析的在线视频行为检测方法，该方法采用深度学习框架并结合时空上下文分析技术实现了输入视频中发生行为的在线检测，且该检测是在时间域和空间域联合进行的。本发明包括两个部分：视频片段内的行为检测和视频片段间的链接。在视频片段内算法利用编码‑解码模型，结合当前帧和时空动态信息，产生候选动作区域；视频片段间链接把候选动作区域链接成行为链，该链持续关注指定的动作对象，从它出现直到结束，同时以在线的方式预测出行为的类别。

摘要： 本发明提供一种通过时空上下文进行视觉跟踪的方法，包括如下步骤：步骤1：初始化参数；步骤2：训练上下文感知滤波器得到位置模型；步骤3：训练尺度相关滤波器的最大尺度响应值得到尺度模型；步骤4：分类器输出响应图；判别相关滤波器生成与响应图峰值对应的峰值旁瓣比；步骤5：对比响应图峰值与峰值旁瓣比，如果响应图峰值大于峰值旁瓣比，则引入在线随机蕨分类器进行重检测；如果响应图峰值小于峰值旁瓣比，则更新步骤2的位置模型和步骤3的尺度模型；如果响应图峰值等于峰值旁瓣比，则继续维持当前视觉跟踪状态；步骤6：将更新好的位置模型与尺度模型作用于下一帧跟踪；返回步骤4。

摘要： 一种基于时空上下文兴趣学习模型的个性化智能推荐方法，使用图神经网络建模用户历史签到行为序列，通过创新图消息传播与聚合的拉普拉斯范数，融合兴趣点之间的交互关联性及空间关联性来获取兴趣点的高阶特征表示。同时编码日模式创新性的获取到了用户的长期兴趣，并使用长短期记忆网络捕获用户短期行为模式作为短期兴趣，通过层间注意力获取长短期兴趣。在此基础上进行候选兴趣点的概率计算作为推荐依据。通过图卷积的方式提高了兴趣点的特征提取效果，充分利用时空上下文挖掘用户的兴趣，以此进行推荐提高准确率，解决用户的出行需求。

摘要： 本发明涉及昆虫行为识别技术领域，公开了一种基于时空上下文的昆虫行为识别方法、装置以及计算机存储介质，包括以下步骤：获取昆虫行为视频，获取所述昆虫行为视频中经人工标注后的原始图像；从原始图像中提取目标昆虫所在区域得到昆虫图像，将原始图像转换成灰度图像；通过时间窗口从昆虫图像中生成空间图像，通过时间窗口从灰度图像中生成时间图像；根据空间图像以及时间图像生成特征图像，对特征图像中的昆虫行为进行标注，并按行为分类；以分类后的特征图像作为训练样本对神经网络进行训练，得到昆虫行为识别模型；通过昆虫行为识别模型对待测视频中昆虫行为进行识别。本发明具有昆虫行为识别准确度高、训练数据获取简单的技术效果。

摘要： 本发明公开了一种基于时空上下文特征感知的三维人体姿态估计方法，从视频每一帧中提取相应的二维人体姿态，并组成二维人体姿态骨架数据序列，利用空间上下文感知模块依次处理二维骨架序列从中获取人体结构隐含的几何约束信息特征，通过时间上下文感知模块从整个二维人体骨架序列数据中提取内在的时间特征，最后利用回归模块从前述模块生成的特征中回归出相应的三维人体姿态。本发明显著地提升三维人体姿态估计精度，并且消耗的计算资源更少，有较强的鲁棒性。

摘要： 本发明公开了一种基于时空上下文的视频全景分割方法，包括以下步骤：将待全景分割的视频处理为连续的图像序列；获取图像序列间的光流；获取图像序列中每幅图像的图像全景分割结果；基于光流所蕴含的视频时间上下文信息和图像序列所蕴含的空间上下文信息，对图像序列中每幅图像的图像全景分割结果进行分割边缘精细化优化，获得优化后的图像全景分割结果；基于光流所蕴含的视频时间上下文信息和优化后的图像全景分割结果，将图像序列中出现的每个物体进行一致性关联，获得视频全景分割结果。本发明的视频全景分割方法，可获得更准确的视频全景分割结果。

摘要： 一种基于时空上下文兴趣学习模型的个性化智能推荐方法，使用图神经网络建模用户历史签到行为序列，通过创新图消息传播与聚合的拉普拉斯范数，融合兴趣点之间的交互关联性及空间关联性来获取兴趣点的高阶特征表示。同时编码日模式创新性的获取到了用户的长期兴趣，并使用长短期记忆网络捕获用户短期行为模式作为短期兴趣，通过层间注意力获取长短期兴趣。在此基础上进行候选兴趣点的概率计算作为推荐依据。通过图卷积的方式提高了兴趣点的特征提取效果，充分利用时空上下文挖掘用户的兴趣，以此进行推荐提高准确率，解决用户的出行需求。

摘要： 本申请公开了一种基于时空上下文的行为检测方法、装置、设备及介质，涉及计算机技术领域，包括：对视频序列进行检测得到所有目标的位置信息；对视频序列进行特征提取得到第一特征图，并基于时间维度对其进行池化得到第二特征图，通过中间检测帧的位置信息及第二特征图确定所有目标的动作特征；基于位置信息确定所有目标的绝对位置特征及每两个目标间的相对位置特征；对所有目标的动作特征、绝对位置特征及每两个目标间的相对位置特征进行注意力运算得到所有目标的时空行为特征，并对其进行分类得到行为检测结果。由此可见，本申请通过学习多目标之间的位置信息的相关性，降低样本依赖以及运算复杂度。

摘要： 本发明公开了一种基于视频时空上下文的视频人物关系分析方法，通过时序和空间信息分析来挖掘视频中的人物关系网络，来从新的角度和深度分析视频内容。该方法首先对视频数据进行预处理，包括进行视频镜头和场景的切分、人物特征提取和聚类。其次，根据预处理的结果使用基于上下文高斯加权的方法来计算人物的某个视频镜头的共生关系。最后，融合空间位置对视频人物关系的贡献信息，判断和计算更具体和准确的共生关系，修正时序共生关系方法的量化结果，提高视频人物关系分析的准确率。本发明可有效提高视频用户对感兴趣目标查询的效率，降低人物查询的工作量，提高人物关系挖掘的准确性。