孪生网络

摘要： 单目标跟踪是计算机视觉领域中的研究热点.传统算法如相关滤波的跟踪速度较快,但由于提取到的颜色、灰度等手工特征较为粗糙,跟踪精度往往不高.近年来随着深度学习理论的发展,使用深度特征的跟踪方法能够在跟踪的精度和速度方面达到很好的平衡.本文首先介绍单目标跟踪的相关背景,接着从相关滤波单目标跟踪、深度学习单目标跟踪两个阶段对单目标跟踪领域发展过程中涌现出的多个算法进行梳理,并详细介绍目前主流的孪生网络算法.最后通过大型数据集对近年来优秀算法进行对比分析,针对其缺点与不足,对该领域未来的发展前景做出展望.

摘要： 由于现在缺乏多语言教学中的主观题自动评分,针对这一问题提出了一种基于孪生网络和BERT模型的主观题自动评分系统.主观题的问题文本和答案文本通过自然语言预处理BERT模型得到文本的句向量,BERT模型已经在大规模多种语言的语料上经过训练,得到的文本向量包含了丰富的上下文语义信息,并且能处理多种语言信息.然后把问题文本和答案文本的句向量再通过深度网络的孪生网络进行语义相似度的计算,最后连接逻辑回归分类器,完成主观题的自动评分.实验所使用数据集由Hewlett基金提供的英文数据集以及翻译后的中文数据集,并以二次加权Kappa系数作为模型的评估指标.实验结果表明,对比其他基准模型,基于孪生网络和BERT模型的自动评分系统在各个数据子集得到的结果最好.

摘要： 针对跟踪过程中因尺度变化、遮挡及运动模糊等造成的目标定位不准确问题,在SiamFC(fully-convolutional siamese network)的跟踪框架基础上提出了一种具有高置信度模板更新机制的深层孪生网络目标跟踪算法.首先,主干网络采用ResNet-50残差网络进行特征提取,并融合多层特征图进行目标预测;其次,为避免模板频繁更新带来的模板漂移问题,构建了高置信度的模板更新模块.在OTB100数据集上的实验结果表明,相比基准算法,文中算法的跟踪成功率和精确度分别提高了3.4%和2.6%;在多种挑战因素下的对比实验表明,文中算法可以较好地抵抗目标遮挡、尺度变化、运动模糊等多种复杂因素带来的影响,有很好的鲁棒性.

摘要： 针对传统孪生网络目标跟踪算法在相似物干扰、目标形变、复杂背景等跟踪环境下无法进行鲁棒跟踪的问题,提出了注意力机制指导的孪生网络目标跟踪方法,以弥补传统孪生跟踪方法存在的性能缺陷。首先,利用卷积神经网络ResNet50的不同网络层来提取多分辨率的目标特征,并设计互注意力模块使模板分支与搜索分支之间的信息能够相互流动。然后,在分类与回归网络中,将主干网络提取的每块特征信息权重参数通过神经网络自动学习、更新并加权融合每块特征的分类与回归信息。最后,根据响应图的峰值位置计算目标的预估位置和尺度信息。在UAV123数据集上,所提算法相比主流跟踪算法Siam-BAN,准确率提升了1.7个点,成功率提升了0.7个点;在VOT2018数据集上,相比SiamRPN++算法,所提算法在EAO指标上提高了2.5个点,实时跟踪速度保持在35FPS。

摘要： 基于区域候选网络(RPN)与孪生网络的框架可以快速的回归位置、形状信息,展现出了良好的跟踪速度和准确性.然而,采用的单阶段SiamRPN跟踪器不能有效地处理相似性干扰和大尺度变化等复杂情况.针对上述问题,本文提出了一个基于特征金字塔(FPN)的级联RPN网络(简记为CF-RPN)的多阶段的跟踪框架.该框架的基础网络由一对孪生的FPN构成,其深高层到浅低层特征分别输送到级联的RPN模块中.相对于传统RPN网络,级联RPN网络具有多个锚点框,其锚点受前一级RPN的影响.与现有的算法相比,其一,多尺度特征的提取使得目标的高层语义信息以及底层空间信息都能充分利用;其二,级联RPN网络能够对难负样本(hard negative samples)进行采样,保证训练样本更加均衡;其三,级联的RPN可实现锚点框逐级更新,从而细化每一个RPN中目标的位置和形状,提高定位的准确性,使得跟踪更加精确.通过测试,本文提出的CF-RPN算法在OTB50,OTB100上能达到62.36%和66.18%的准确率,相对于SiamMask算法,其精度分别提高了2.14%和1.9%;在VOT2016,VOT2018,VOT2019数据集上分别能达到65.5%,61.3%,60.0%,相对于SiamMask算法,其精度分别提高了3.4%,2.1%和1.8%.

摘要： 目标跟踪是计算机视觉方向上的一项重要课题,其中尺度变化、形变和旋转是目前跟踪领域较难解决的问题。针对以上跟踪中所面临的具有挑战性的问题,基于已有的孪生网络算法提出多层特征融合和并行自注意力的孪生网络目标跟踪算法(MPSiamRPN)。首先,用修改后的ResNet50对模板图片和搜索图片进行特征提取,为处理网络过深而导致目标部分特征丢失,提出多层特征融合模块(multi-layer feature fusion module,MLFF)将ResNet后三层特征进行融合;其次,引入并行自注意力模块(parallel self-attention module,PSA),该模块由通道自注意力和空间自注意力组成,通道自注意力可以选择性地强调对跟踪有益的通道特征,空间自注意力能学习目标丰富的空间信息;最后,采用区域提议网络(regional proposal network,RPN)来完成分类和回归操作,从而确定目标的位置和形状。实验显示,提出的MPSiamRPN在OTB100、VOT2018两个测试数据集上取得了具有可竞争性的结果。

摘要： 半监督视频目标分割是计算机视觉领域中的一个研究热点.传统半监督视频目标分割方法的网络模型缺乏对相似目标的判别力,且传统的掩码传播方式对模型的指导能力较弱.本文提出一种基于前景感知视觉注意的半监督视频目标分割方法.三流孪生编码器将输入图像映射到同一特征空间,使得相同目标具有相似的特征.基于前景感知的视觉注意将编码器输出的特征进行相似度匹配,并利用分割掩码突显前景特征,形成前景感知视觉注意,以此关注给定的分割目标,提升模型对待分割目标的判别力.基于残差细化的解码器采用残差学习的思想,融合当前帧图像的低阶特征,逐步改善分割细节.在公开基准数据集上的实验结果表明,本文方法可以较好地解决相似目标容易产生混淆等问题,并能较为准确地跟踪给定的分割目标.

摘要： 近年来,孪生网络在视觉目标跟踪的应用给跟踪器性能带来了极大的提升,可以同时兼顾准确率和实时性。然而,孪生网络跟踪器的准确率在很大程度上受到限制。为了解决上述问题,该文基于通道注意力机制,创新地提出了关键特征信息感知模块来增强网络模型的判别能力,使网络聚焦于目标的卷积特征变化;在此基础上,该文还提出了一种在线自适应掩模策略,根据在线学习到的互相关层输出状态,自适应掩模后续帧,以此来突出前景目标。在OTB100,GOT-10k数据集上进行实验验证,所提跟踪器在不影响实时性的前提下,准确率相较于基准有了显著提升,并且在遮挡、尺度变化以及背景杂乱等复杂场景下具有鲁棒的跟踪效果。

摘要： 由于示教型焊接机器人在进行汽车薄板件连续焊工艺时存在装夹误差和热变形等问题,导致焊缝实际轨迹与示教轨迹存在较大误差。为提高焊接质量,基于焊接机器人构建激光视觉焊缝检测跟踪系统,提出基于目标估计准则的焊缝跟踪算法,实时跟踪焊缝中心点三维位置变化。以传统图像处理法提取初始帧焊缝特征点,通过改进的孪生神经网络对强干扰下的焊缝特征点进行跟踪提取。通过坐标转换得到机器人基坐标系下的焊缝中心特征点三维坐标。结果表明:该算法能精确提取跟踪焊缝特征点,平均误差为0.48 mm,平均帧率为90帧/s,优于传统图像处理方法和基于相关滤波的方法,能够实现快速准确的跟踪。

摘要： 基于全卷积孪生网络的视频目标跟踪算法由于在跟踪过程中使用单一模板,在运动目标外观发生变化时容易出现跟踪漂移并导致精度下降。因此,提出了一种基于孪生网络融合多模板的目标跟踪算法。该算法可在特征级上建立模板库,并使用平均峰值相关能量和模板相似度来保证模板库中各个模板的有效性,从而对多个响应图进行融合以获得更高的跟踪精度。OTB2015和VOT2016数据集上的测试结果表明,在运动目标外观发生变化的复杂环境下,所提算法不但具有较快的跟踪速度,而且相比现有的其他算法能取得更为优异的跟踪性能。

摘要： 随着自动大规模语音识别的不断发展,以自动语音识别为基础的计算机辅助发音教学也随之进步,作为传统教学方法的补充,它极大地弥补了传统教育资源不足以及传统教育方法无法及时给学习者反馈的缺陷.二语学习者的发音偏误确认和评价在计算机辅助发音训练中是较为重要的研究课题之一.针对二语者发音偏误的确认任务中缺少二语偏误发音标注问题,本文提出了一种基于声学音素向量和孪生网络的方法,将带有配对信息的成对的语音特征作为系统输入,通过神经网络将语音特征映射到高层表示,期望将不同的音素区分开.训练过程引入了孪生网络,依照输出的两个音素向量是否来自于同一类音素来调整和优化输出向量之间的距离,并通过相应的损失函数实现优化过程.结果表明使用基于余弦最大间隔距离损失函数的孪生网络获得了89.93％的准确率,优于实验中其它方法.此方法应用在发音偏误确认任务时,不使用标注的二语发音偏误数据训练的情况下,也获得了89.19％的诊断正确率.

摘要： 由于基于孪生网络和相关滤波器的方法CFnet在精度和效率方面有着竞争性的表现,所以其在视觉实时追踪中的任务中很流行.在此基础上,由于观察到在图像分类任务中学习到的语义特征和相似度匹配任务中学习到的外观特征可以形成互补,产生意想不到的结果,于是对原有的网络结构进行补充,加入了语义网络构成双重孪生网络,用于实时目标跟踪.整个网络由语义特征分支和外观特征分支构成,该网络的一个重要设计思想是分别训练两个分支以保持两种特征的异质性.同时,本文提出了语义分支的通道关注机制,通道的权重根据目标周围的通道激活进行计算.这样基于SiamFC结构的CFnet虽然因为引入了相关滤波器(CF)而不可避免地产生边界效应,但是经过采用双重网络设计和通道关注机制,CFnet的精度和跟踪性能得到了一定的补偿.在OTB-2013/2015基准测试中,该算法的表现要优于大部分其他实时目标跟踪算法.

摘要： 基于多重孪生神经网络与区域神经网络的目标跟踪方法，涉及计算机视觉技术。通过使用预训练的多重孪生神经网络，将目标跟踪问题转化为可更新的实例检索问题。同时采用预训练的区域神经网络，以解决目标丢失后的重检测问题。首先在大型视觉识别数据库上训练多重孪生神经网络对目标进行实例检索，然后在目标跟踪过程中运用预训练的区域神经网络对丢失目标进行重新检测，进一步辅助获取最终目标的位置，实现实时的目标跟踪。首先在大型视觉识别数据库上训练多重孪生神经网络对目标进行实例检索，然后在目标跟踪过程中运用预训练的区域神经网络对丢失目标进行重新检测，进一步辅助获取最终目标的位置，实现实时的目标跟踪的。

摘要： 本发明公开了一种基于孪生神经网络和固定解析树的网络日志解析方法及装置，方法包括：首先将通过基于领域知识的简单正则表达式对其进行预处理；按照编码在树内部节点中通过孪生神经网络确定合适的日志事件列表(即树的叶子节点)；如果找到合适的日志事件，则该日志消息将与存储在该日志事件列表中的日志事件相匹配；否则，将根据该日志消息创建一个新的日志事件并添加到日志事件列表中；当所有日志消息匹配完成，最后根据日志事件情况合并相似日志事件；本发明中的解析方法能够准确提取网络日志中的日志事件，在精确性、实时性要求较高的日志解析任务中具有良好的实用性。

摘要： 本发明涉及计算机网络和网络数据记录领域。因此，本发明提供了一种用于处理和记录网络数据的集成电路(100)，其中，所述集成电路(100)包括：第一处理器(101)，用于处理从所述集成电路(100)的一个或多个输入端口(103)获得的多个网络数据包(102)，并向所述集成电路(100)的一个或多个输出端口(104)转发所述多个网络数据包(102)；与所述第一处理器(101)分离的协处理器(105)，用于从所述第一处理器(101)和/或从所述集成电路(100)获得所述多个网络数据包(102)的副本(106)，并基于所述多个网络数据包(102)的所述副本(106)聚合网络信息记录(107)，其中，所述网络信息记录(107)包括关于所述多个网络数据包(102)的信息(108)。

摘要： 本发明提供一种基于网络孪生的6G网络渐近出价资源拍卖方法及系统，所述基于网络孪生的6G网络渐近出价资源拍卖方法包括以下步骤：步骤S1，各网络孪生根据用户需求与预算制定资源组合投标信息；步骤S2，各网络孪生以渐进出价方式对单一资源进行竞拍；步骤S3，各网络孪生以渐近出价的方式对复合资源进行竞拍，所述复合资源包括用户所需且资源总数不大于当前阶段的资源包与前一阶段复合资源投标中的资源块；步骤S4，各网络孪生根据最终竞拍结果获得竞拍获胜资源并支付相应费用。本发明实现了分布式的6G网络资源拍卖，无需第三方参与，能够保护用户私有信息，安全可靠，透明公正，还能够有效避免因用户恶意出价而造成的资源浪费等问题。

摘要： 本发明一种基于孪生神经网络的网络交易欺诈检测系统，所述网络交易欺诈检测系统的输入数据是由一组数据对组成其特征在于，所述网络交易欺诈检测系统由两个结构相同的神经网络模型构成，两个神经网络模型间通过共享权值达到孪生的目的。本发明所构建基于孪生神经网络的网络交易欺诈方法有着很好的实验效果，该方法针对网络交易中时序性稀疏和数据不均衡问题，利用孪生结构来处理不均衡数据，并利用LSTM结构使网络具有记忆功能，以此来提高网络对于欺诈交易的检测能力。

摘要： 一种基于孪生卷积网络和长短期记忆网络的实时视觉目标跟踪方法，首先对于待跟踪的视频序列，采用前后连续的两帧图像作为网络每次获取的输入；然后通过孪生卷积网络对输入的连续两帧图像进行特征提取，经过卷积操作后获取不同层次的外观和语义特征，再通过全连接层级联组合高低层次的深度特征；再将深度特征传输至包含两个LSTM单元的长短期记忆网络进行序列建模，由LSTM遗忘门对序列中不同位置的目标特征进行激活筛选，并通过输出门输出当前目标的状态信息；最后接收LSTM输出的全连接层用以输出目标在当前帧的预测位置坐标，并更新下一帧目标的搜索区域。在保证一定跟踪稳定性和准确性的同时大幅提高跟踪速度，令跟踪实时性得到较大改善。

摘要： 本发明属于神经网络模型压缩技术领域，具体为一种基于伪孪生网络的网络剪枝方法。本发明在传统的三值神经网络的基础上，提出了一种通用的裁剪大型卷积神经网络中冗余连接的方法，具体为：构造一个与被裁减网络N一样架构的三值网络Ternary‑N，用相同的图片进行每一步的训练，训练过程中采用知识蒸馏算法，训练完成后用Ternary‑N中的权值对N中相对应位置的权重进行裁剪，最后对N进行微调，微调后的网络连接数相比于原网络大大减少。

摘要： 本发明提供一种数字孪生网络的流量模拟方法及数字孪生网络，所述数字孪生网络包括：物理网络和孪生网络，所述物理网络的各个物理网元在所述孪生网络均设置有对应的孪生网元；所述孪生网络还包括孪生数据管理单元，该方法包括：孪生数据管理单元采集物理网元的数据集，所述数据集包括：第一流量信息，物理网元标识和流量采样率；其中，所述孪生数据管理单元与所述物理网元之间采用时延确定性网络；所述孪生数据管理单元根据基准传输时间，将所述数据集发送至所述物理网元标识对应的孪生网元；所述孪生网元根据所述数据集生成孪生流量，能够实现物理网元的实际流量和孪生网元的孪生流量的精确模拟。

摘要： 本发明涉及一种基于孪生网络和稠密网络的服装检索方法，属于人工智能领域。包括如下步骤：将第一图片的像素矩阵、第二图片的像素矩阵输入到稠密网络中提取特征，得到第一特征向量、第二特征向量；以及步骤S2，将第一特征向量与第二特征向量输入头部网络层，进行预处理后，得到检索结果，其中，步骤S2包括如下子步骤：步骤S2‑1，将第一特征向量与第二特征向量经过多种运算并进行向量拼接后，得到拼接第一特征向量与第二特征向量的联合特征向量；步骤S2‑2，将拼接后的联合特征向量依次经过卷积层、全连接层，从而计算得到两张图片是否相似的结果。所以本发明的方法可以帮助用户快速定位心仪的服装款式、节约时间，提高了检索效率。

摘要： 本发明公开了一种基于孪生网络的未知类别网络流量的检测与识别方法，其步骤包括：1)对于待检测的未标签的数据流i，将该数据流i中的数据包删除以太网头部信息，然后选择每个数据包从IP头部开始的n字节并模糊掉IP层头部的IP地址信息；2)将处理后的该数据流i与已知类别的每类K个数据流组成K个流量对，将每个流量对分别输入训练后的孪生网络，得到每个流量对中数据流的高维特征，判断该数据流i是否为未知类别；3)对检测到的所有未知类别流量的高维特征进行聚类，得到若干聚类簇；4)对所得聚类簇进行人工识别，确定每一聚类簇是否属于新的类别；如果属于新的类别，则将其加到原有已知类别中，训练更新该孪生网络。