视频序列

摘要： 基于内窥镜的微创手术机器人在临床上的应用日益广泛,为医生提供内窥镜视频中精准的手术器械分割信息,对提高医生操作的准确度、改善患者预后有重要意义.现阶段,深度学习框架训练手术器械分割模型需要大量精准标注的术中视频数据,然而视频数据标注成本较高,在一定程度上限制了深度学习在该任务上的应用.目前的半监督方法通过预测与插帧,可以改善稀疏标注视频的时序信息与数据多样性,从而在有限标注数据下提高分割精度,但是这些方法在插帧质量与对连续帧时序特征方面存在一定缺陷.针对此问题,提出了一种带有时空Transformer的半监督分割框架,该方法可以通过高精度插帧与生成伪标签来提高稀疏标注视频数据集的时序一致性与数据多样性,在分割网络bottleneck位置使用Transformer模块,并利用其自我注意力机制,从时间与空间两个角度分析全局上下文信息,增强高级语义特征,改善分割网络对复杂环境的感知能力,克服手术视频中各类干扰从而提高分割效果.提出的半监督时空Transformer网络在仅使用30%带标签数据的情况下,在MICCAI2017手术器械分割挑战赛数据集上取得了平均DICE为82.42%、平均IoU为72.01%的分割结果,分别超过现有方法7.68%与8.19%,并且优于全监督方法.

摘要： 端到端的CNN-LSTM模型利用卷积神经网络(Convolutional Neural Network,CNN)提取图像的空间特征,利用长短期记忆网络LSTM提取视频帧间的时间特征,[JP2]在视频表情识别中得到了广泛的应用。但在学习视频帧的分层表示时,CNN-[JP]LSTM模型复杂度较高,且易发生过拟合。针对这些问题,提出一个高效、低复杂度的视频表情识别模型ECNN-SA(Enhanced Convolutional Neural Network with Self-Attention)。首先,将视频分成若干视频段,采用带增强特征分支的卷积神经网络和全局平均池化层提取视频段中每帧图像的特征向量。其次,利用自注意力(Self-Attention)机制获得特征向量间的相关性,根据相关性构建权值向量,主要关注视频段中的表情变化关键帧,引导分类器给出更准确的分类结果。最终,该模型在CK+和AFEW数据集上的实验结果表明,自注意力模块使得模型主要关注时间序列中表情变化的关键帧,相比于单层和多层的LSTM网络,ECNN-SA模型能更有效地对视频序列的情感信息进行分类识别。

摘要： 目前许多矿山对于矿卡司机的不安全行为监督仍依赖于人为监管,无法及时准确地发现问题,利用计算机技术识别不安全行为是替代人工检测的一条高效途径.本文利用深度学习来解决视频序列的矿卡司机不安全行为识别,深度学习方法不依赖人工设计特征,而是自适应地学习更好的高维特征,具有稳健性更好、速度更快及准确率更高的优点.首先,对帧图像采用翻转、旋转和添加噪点等方法进行数据增强,以降低样本的不均衡性;其次,利用本文优化的模型训练数据.结果表明:网络测试准确率达到93.445％,相比原始双流网络模型提高了15％.将本文模型与不考虑时序动态信息的深度学习模型进行试验比较,证明了时域特征信息对于行为识别的重要性.综上,本文提出的网络模型对于矿卡司机不安全行为的识别率较高,对矿卡司机不安全行为的识别及采矿生产作业安全具有重要实践意义.

摘要： 为更加全面、准确地评价织物保形性,开发了能够模拟织物在日常使用中被压皱后展平的恢复过程动态检测系统.通过检测系统获取织物折痕回复的视频序列,利用程序提取出各时刻的单帧视频图像,然后依次对图像进行预处理、二值化处理与细化处理,最后提取出反映织物保形性的指标,包括顶角、顶高、保形面积.实验结果表明:在折痕回复阶段,随时间延长各指标变化速率逐渐降低,在压力为10 N,加压时间为10 s的条件下,试样在60 s后趋于平稳;60 s时的顶角与现有标准方法测得的折皱回复角存在线性函数关系,顶高、保形面积与标准方法测得的悬垂系数之间存在线性函数关系.该系统可以通过顶角、顶高、保形面积3项指标预测织物折皱回复角与悬垂系数,并能够精确描述织物保形性动态变化过程,可实现对织物保形性精确、全面的评价.

摘要： 针对传统显著性图像区域提取方法存在目标提取不准确、结果不稳定等问题,提出一种融合局部与全局特征的视频序列中图像显著性区域提取方法.首先对视频序列图像进行互不重叠的分块,当所有图像块都经过分块并投影到高维空间后,依据单独特征对应显著性区域的规律得到基于全局特征的显著性区域.根据邻域内中心块与其它图像块的灰度差异性,获得基于局部特征的图像显著性区域.最后计算这两个显著图的对比度特征和分布性特征,实现对原始视频序列图像的显著性区域提取.实验结果证明,能够准确提取出视频序列中的图像显著性区域,提取结果更稳定.

摘要： 高色彩饱和度视频中存在大量相似运动轨迹矢量帧,实际合成仿真优化时,形成大量的冗余帧数据,导致最终仿真优化的时间增加,针对该问题,设计一种高色彩饱和度视频序列过渡帧合成仿真优化方法.定义视频内的起始关键帧,获取高色彩饱和度视频序列过渡帧,综合过渡帧集合的大小,设定一个灵活尺寸的仿真窗口,使用全搜索运动估计对过渡帧中所有的点进行搜索,消除仿真形成的冗余过渡帧数据,在仿真参数内设定一个固定的范数,将其参数作为仿真优化参数,最终完成仿真优化方法的设计.选取一定时长的高色彩饱和度视频后,设定过渡帧的采集方式后,利用不同方法进行实验,结果表明,文中设计的仿真优化方法实际仿真优化所需的时间最短.

摘要： 为满足高清及超高清视频兴起后,人们的生活社会需求,2020年发布的多功能视频编码(Versatile Video Coding,VVC)在高效率视频编码(High Efficiency Video Coding,HEVC)的基础上进行了改进.VVC实现了在相同图像质量的条件下提升视频压缩率的目标.本文针对HEVC以及VVC中的帧内预测部分进行研究比较,并进行视频帧内编码对比测试.最后,通过测试得到以下结论:VVC较HEVC有22.21％的码率节省,可进一步提升视频压缩性能.

摘要： 针对传统光流法处理视频序列时存在运行效率低及跟踪偏移问题,结合粒子滤波模型提出一种改进光流法的视频目标跟踪技术.该技术首先通过遍历法搜索运动点,采用质心定位方式捕获目标质心坐标,然后将得到的视频序列进行光流处理,最后经粒子滤波求解质心运动信息,以实现对视频中目标的精确检测与追踪.在不同场景下对不同数量、不同类型目标进行仿真跟踪试验,并与光流法、ViBe算法及YOLO算法进行比较.仿真结果表明,该跟踪技术可使目标跟踪的精准率有效提高5.2%,跟踪效率提高13.7%,同时表现出较好的鲁棒性.

摘要： 本文提出一种基于运动信息与背景信息相结合的视频序列配准方法.传统的方法在对视频特征进行描述时,仅仅考虑了图像间的对极几何信息或者是轨迹本身的形状信息.与此不同,本算法首先将运动目标与背景特征的空间位置关系作为一种描述符引入轨迹点的描述,同时考虑了背景图像间的对极几何约束,从而使得轨迹点的描述具有更高的区分性.实验结果表明,本算法与基于时间线约束和基于轨迹射影不变表示的方法相比,能够获得更加精确的配准结果,尤其对于场景中运动目标的轨迹近似是直线并与其对极线重合或者轨迹中存在大量局部特征相似的轨迹段的视频序列,提出的算法依然能够获取很好的配准效果.

摘要： 针对现有测试织物折皱回复性能方法仅停留在静态测量某时刻织物折皱回复角度值的阶段,本文提出了以动态测量织物折皱回复角度的方法全面反映织物折皱回复全过程.按AATCC66-2008标准要求,以SDL-M003折皱回复角试验机的负载装置压试样,再将试样置于视频序列采集系统中,对采集到的单帧图像进行二值化、细化预处理,采用Hough变换检测图像中织物折皱回复2翼对应的角度,进而获得折皱回复角.结果证明,文章方法与现有人工方法的结果接近,证明了视频序列方法的可行性,并且该动态测量法可直观地看出织物折皱回复角度随时间的变化情况,有助于更全面表征织物折皱回复性能.

摘要： 针对现有织物折皱回复性能测量方法存在仅能静态测量某时刻织物折皱回复角度值的不足,本文提出了基于视频序列的织物折皱回复角度动态测量方法.按AATCC66-2008标准要求,以SDL-M003折皱回复角试验机的负载装置压试样,再将试样置于视频序列采集系统中,对采集到的单帧图像依次进行二值化、细化预处理,采用Hough变换检测图像中织物折皱回复两翼对应的角度,进而获得折皱回复角.试验结果显示,基于视频序列的方法与AATCC66-2008测量方法的结果接近,表明了基于视频序列方法的可行性,并且该方法可以精确描述织物折皱回复的动态过程,为实现新的折皱回复性能指标的提出奠定了实验基础.

摘要： 针对视频序列图像拼接自身具有帧间图像高重叠率高及序列数量多的特性，为更加合理利用视频序列图像帧间重复信息，本文提出一种基于时空域流形的视频序列图像拼接算法，首先对视频序列各帧输入图像进行Gaussian分层迭代计算Lucas-Kanade光流，得到较高精度的相邻帧间运动偏移量，对齐时空域序列图像，同时结合光流计算结果消除前后帧间的亮度差异，然后对整体亮度均匀一致的视频序列图像采用时空域流形拼接技术合成高分辨率大视场图像，实验表明本算法对视频序列图像拼接十分有效，拼接结果良好。

摘要： 视频序列往往会由于摄像机及其栽体的运动产生扰动,一些过量的扰动即视频序列的抖动会严重影响视频图像的质量,对于视频序列抖动问题的研究也因而逐渐兴起。文章立足于分析抖动产生的机理及在抖动的分类和建模方面进行研究,企图对抖动进行更为细致、系统地研究以期得到更好的稳像效果。

摘要： 目的:针对目前流行的基于线性随机测量的实时目标跟踪算法在目标发生遮挡时易导致错误累积而产生漂移现象的问题,提出了一种基于加权分块的改进算法.方法:首先对被跟踪目标进行区域划分,利用稀疏测量矩阵提取各部分的低维多尺度特征,并训练得到各自的分类器.然后,在下一帧中使用训练好的分类器对候选目标的相应部分进行判别,计算各部分的分类得分值.最后,根据得分值赋予不同的权重,得分值高的其相应的权值大,并对分类器进行相应更新.结果:这种方法可有效地降低被遮挡区域对目标跟踪的影响.结论:在多种视频序列中的测试结果表明,改进后的算法在不过量增加计算负荷的情况下,当目标发生大面积或者持续遮挡时仍能准确实时跟踪目标.

摘要： 本文建立了交通车流量统计的数学模型，从视频序列中提取出背景图像及前景图像后，采用将虚拟线圈方法与背景差分相结合的方法，以获得较为准确的车流量数据。利用背景差法提取出运动目标—车辆，再用虚拟线框勾画出感兴趣区域加以处理，这样能减少处理的时间，从而加快统计的速度。对虚拟线框中产生的信息进行处理，能真实地反映出车辆的信息。本文采用在车辆驶入虚拟线框时计数的方式，对二值化的目标图像进行分析，把车辆驶入线框时与车辆离开线框时作为车辆信息变化的规律，对此规律进行统计分析，从而统计出通过虚拟线框的车流量信息。此系统能统计出某一路段的车流情况，通过对花溪大道的一小段车流视频的测试，准确率达到91.7%。由于本文是选用每150帧背景自动更新一次，对于背景单一的场景是适用的，但同时也会造成误检，利用本文的背景更新方法统计出来的车辆会比实际情况多出9%左右。

摘要： TLD(Tracking-Learning-Detection)目标跟踪算法是视频序列跟踪中一种有效的跟踪方法,本文在此方法基础上提出了一种比较新颖的自动检测跟踪失败的方法,即向前向后产生的轨迹误差(Forward-Backward Errors),该方法基于在时间上的向前一向后产生的两条轨迹具有偏差、并且可以测量的理论基础.通过对传统自动检测跟踪失败方法的研究,本文提出了一个改进的方法对目标跟踪中的物体有更好的探测能力,提取更多有效的特征点.实验证明该算法对目标的跟踪更鲁棒、更有效.

摘要： 提出了一种结合词袋法的3维尺度不变特征转换(3D-SFIT)算子，并应用于人的动作识别。将运动的人从图像背景分割出来并计算特征算子，用词袋法表征视频，最后采用支持向量机(SVM)对动作进行分类。采用Weizmann动作数据库对本方法进行测试，实验结果表明：3D-SFIT算子能很好地描述视频序列的本质,比传统的描述算子更为高效；同时能更好地适应光照变化和施动者的穿着和动作差异等环境因素的影响，取得更好的识别效果。

摘要： 基于视频的车辆排队长度检测是智能交通系统（ITS）的一个重要方向，在城市交通控制和高速公路收费中有着良好的应用前景。本文通过分析固定摄像头得到的视频序列，基于伸缩虚拟线圈实现对左转、直行、右转的每个车道内车辆运动情况的判断，综合利用车辆运动检测和车辆存在检测来计算车辆排队长度。在此基础上，对车辆排队算法进行优化，着重对阈值设定进行研究，最终在DM642 视频板平台上进行车辆排队长度的实时检测。应用实验证明，该方案能较准确地检测出车辆队列长度，满足实际应用对检测精度和稳定性的要求。

摘要： 本发明涉及从源视频序列生成摘要视频序列。本发明涉及一种用于从源视频序列生成摘要视频序列的方法。方法包括：在源视频序列中识别事件视频序列，其中每个事件视频序列包括连续的视频帧，在该连续的视频帧中存在一个或多个感兴趣对象；从事件视频序列中的一个或多个事件视频序列的视频帧提取描绘相应的一个或多个感兴趣对象的像素；在保持所提取的像素的空间关系和时间关系与在源视频序列中一样时，将一个或多个事件视频序列的视频帧的所提取的像素叠加至事件视频序列的主事件视频序列的视频帧上，由此生成摘要视频序列。本发明还涉及一种被配置为生成摘要视频序列的视频处理装置。

摘要： 本发明提供了一种视频序列处理方法、视频序列处理装置、电子设备及计算机可读存储介质，其中，视频序列处理方法包括：获取第一视频序列，所述第一视频序列包括第一视频，所述第一视频序列中的视频数量大于1；将目标推广信息穿插于所述第一视频序列中，形成第二视频序列；所述第二视频序列中，所述目标推广信息与所述第一视频相邻，且所述目标推广信息的情感表征参数和所述第一视频的情感表征参数之间的变化幅度小于或等于预设幅度；输出所述第二视频序列。本发明能够降低推广信息与视频之间的反差，提高推广信息与视频之间的匹配度，从而提高视频序列的输出效果。

摘要： 重构应用基于视频源内容裁剪视频源的子部分。重构应用包含产生显著性图的视觉关注模型、和基于显著性图推断裁剪窗口的专用重构算法。裁剪后，只有每个视频图像的重构部分保持可见。处理视频序列的图像的方法包括以下步骤：确定（21）视频序列的参数、视频序列的先前解码的子序列的参数和用户设置，根据所确定的参数确定（22）要裁剪的部分，在重构步骤剪裁（23）所确定的部分以供显示。本发明的优点是提供了基于视频内容自动调整重构参数的先进自动方法。

摘要： 本发明涉及通信领域，提供了一种视频序列的生成及对视频序列进行编码的方法。所述对视频序列进行编码的方法包括以下步骤：A.接收端对接收到的视频序列进行丢包率检测，并将丢包率反馈至发送端；B.发送端根据所述丢包率设定以帧内编码帧作为参考的映射帧的插入位置；C.发送端基于插入的映射帧进行编码，重构视频序列。本发明在对视频序列进行编码的过程中，与现有技术的区别在于根据视频序列传输过程中的丢包率设定以帧内编码帧作为参考的映射帧的插入位置，并基于插入的映射帧进行编码，从而既保证了视频图像质量，也降低了延时，保证了视频图像的流畅。

摘要： 本发明提供了一种视频序列处理方法、视频序列处理装置、电子设备及计算机可读存储介质，其中，视频序列处理方法包括：获取第一视频序列，所述第一视频序列包括第一视频，所述第一视频序列中的视频数量大于1；将目标推广信息穿插于所述第一视频序列中，形成第二视频序列；所述第二视频序列中，所述目标推广信息与所述第一视频相邻，且所述目标推广信息的情感表征参数和所述第一视频的情感表征参数之间的变化幅度小于或等于预设幅度；输出所述第二视频序列。本发明能够降低推广信息与视频之间的反差，提高推广信息与视频之间的匹配度，从而提高视频序列的输出效果。

摘要： 本发明涉及从源视频序列生成摘要视频序列。本发明涉及一种用于从源视频序列生成摘要视频序列的方法。方法包括：在源视频序列中识别事件视频序列，其中每个事件视频序列包括连续的视频帧，在该连续的视频帧中存在一个或多个感兴趣对象；从事件视频序列中的一个或多个事件视频序列的视频帧提取描绘相应的一个或多个感兴趣对象的像素；在保持所提取的像素的空间关系和时间关系与在源视频序列中一样时，将一个或多个事件视频序列的视频帧的所提取的像素叠加至事件视频序列的主事件视频序列的视频帧上，由此生成摘要视频序列。本发明还涉及一种被配置为生成摘要视频序列的视频处理装置。

摘要： 重构应用基于视频源内容裁剪视频源的子部分。重构应用包含产生显著性图的视觉关注模型、和基于显著性图推断裁剪窗口的专用重构算法。裁剪后，只有每个视频图像的重构部分保持可见。处理视频序列的图像的方法包括以下步骤：确定（21）视频序列的参数、视频序列的先前解码的子序列的参数和用户设置，根据所确定的参数确定（22）要裁剪的部分，在重构步骤剪裁（23）所确定的部分以供显示。本发明的优点是提供了基于视频内容自动调整重构参数的先进自动方法。

摘要： 一种视频序列编译码方法，该视频序列编译码方法包括如下步骤：划分多个图像成图像组；划分该图像组成至少包含二时间层的分层结构中；对每一图像组中的图像进行编码，编码成I图像或者低延迟B图像，其中，低延迟B图像使用的参考图像来源于列表0及列表1，该列表0及该列表1中的图像的显示顺序均优先于该低延迟B图像；其中，该I图像仅设置于最低时间层，至少一个低延迟B图像设置在高于该最低时间层的时间层，该最低时间层的第一个图像不能参考任何高于该最低时间层的其它时间层内的图像。该方法能实现较高的编译码效率。

摘要： 本发明涉及通信领域，提供了一种视频序列的生成及对视频序列进行编码的方法。所述对视频序列进行编码的方法包括以下步骤：A.接收端对接收到的视频序列进行丢包率检测，并将丢包率反馈至发送端；B.发送端根据所述丢包率设定以帧内编码帧作为参考的映射帧的插入位置；C.发送端基于插入的映射帧进行编码，重构视频序列。本发明在对视频序列进行编码的过程中，与现有技术的区别在于根据视频序列传输过程中的丢包率设定以帧内编码帧作为参考的映射帧的插入位置，并基于插入的映射帧进行编码，从而既保证了视频图像质量，也降低了延时，保证了视频图像的流畅。

摘要： 解码部分从第一视频编码视频序列产生解码图像和编码参数集。编码参数集变换部分首先基于相应宏块的编码结构为上宏块和下宏块的对设置编码结构，并且基于所述编码结构变换诸如运动向量的剩余参数。编码参数集生成部分生成帧内编码参数等的编码参数，编码参数集选择部分选出最佳参数集，以及编码部分进行重新编码处理。