您现在的位置: 首页> 研究主题> 自注意力机制

自注意力机制

自注意力机制的相关文献在2013年到2023年内共计3395篇,主要集中在自动化技术、计算机技术、机械、仪表工业、电工技术 等领域,其中期刊论文307篇、会议论文3篇、专利文献88576篇;相关期刊146种,包括计算机工程、计算机工程与科学、计算机工程与设计等; 相关会议3种,包括第六届中国计算机学会大数据学术会议、香山科学会议第S42次学术会议、第十七届全国计算语言学学术会议暨第六届基于自然标注大数据的自然语言处理国际学术研讨会(CCL 2018)等;自注意力机制的相关文献由10048位作者贡献,包括王军、余正涛、张伟等。

自注意力机制—发文量

期刊论文>

论文:307 占比:0.35%

会议论文>

论文:3 占比:0.00%

专利文献>

论文:88576 占比:99.65%

总计:88886篇

自注意力机制—发文趋势图

自注意力机制

-研究学者

  • 王军
  • 余正涛
  • 张伟
  • 徐晓刚
  • 刘杰
  • 李磊
  • 王健
  • 王鹏
  • 张新钰
  • 焦李成
  • 期刊论文
  • 会议论文
  • 专利文献

搜索

排序:

年份

作者

    • 胡怡然; 夏芳
    • 摘要: 现有短文本匹配方法更多关注于句子之间的交互方式,而较少考虑短文本自身关键特征的提取,为此本文提出一个融合自注意力机制和双向长短期记忆网络(BiLSTM)的短文本匹配模型。首先利用BiLSTM和自注意力机制进行特征编码,通过残差连接缓解信息丢失问题;然后利用双向注意力网络进行特征交叉,得到考虑了两个短文本之间交互影响的编码形式;最后将自注意力编码与双向注意力编码进行拼接,既能保留句子本身的重要特征,又能得到交互的特征信息。在两个公开数据集Quora和MRPC上进行对比实验,结果表明,该模型能有效改善短文本匹配性能,特别是在Quora数据集上的准确率达到87.59%,明显优于其他6种常见的同类模型。
    • 潘嘉; 翟江涛
    • 摘要: 针对目前已有文献中深度网络无法依据流量样本自适应选择网络层的问题,提出一种基于自蒸馏的自适应恶意流量分类算法。该方法首先将原始流量预处理后作为主干网络的输入,经自注意力网络层构建流量的权重分布,然后利用一维卷积神经网络提取流量分布中的显著特征作为后续网络输入。分支网络计算流量样本的熵值自适应选择网络层,若小于设定阈值则提前返回,否则由主干网络继续进行推理。经实验验证,该方法对于正常流量的平均检测率为99.9%,恶意流量的平均检测率为99.96%。恶意流量检测率较现有深度学习典型算法的检测率提升了2%,难样本检测率提升5%,且分支网络具有自适应功能,可避免后续的网络推理。
    • 刘婕; 王娆芬; 邓源
    • 摘要: 人类操作员的生理疲劳状态对其作业效率与安全性存在很大的影响,本研究提出了一种基于自注意力(SA)机制的双向门控循环(BiGRU)网络疲劳检测模型,研究基于心电信号的疲劳检测方法。首先采集了模拟不同负荷水平的过程控制任务环境下操作人员的心电数据,以一维心电数据作为输入,经过去噪预处理后,使用改进的BiGRU神经网络进行特征提取,BiGRU在保留GRU优点的同时可以更加充分学习心电信号前后时序的特征联系,并通过SA机制筛选显著相关特征信息,最后将所获得的特征信息经过softmax分类器,得到疲劳分类结果。与传统的GRU模型和BiLSTM模型进行了比较,经过改进后的SA-BiGRU模型的疲劳分类性能整体提高2%~5%,总体准确率达83%。
    • 刘志华; 陈文洁; 陈爱斌
    • 摘要: 目前深度学习模型大都难以应对复杂背景噪声下的鸟鸣声分类问题。考虑到鸟鸣声具有时域连续性、频域高低性特点,提出了一种利用同源谱图特征进行融合的模型用于复杂背景噪声下的鸟鸣声分类。首先,使用卷积神经网络(CNN)提取鸟鸣声梅尔时频谱特征;然后,使用特定的卷积以及下采样操作,将同一梅尔时频谱特征的时域和频域维度分别压缩至1,得到仅包含鸟鸣声高低特性的频域特征以及连续特性的时域特征。基于上述提取频域以及时域特征的操作,在时域和频域维度上同时对梅尔时频谱特征进行提取,得到具有连续性以及高低特性的时频域特征。然后,将自注意力机制分别用于得到的时域、频域、时频域特征以加强其各自拥有的特性。最后,将这三类同源谱图特征决策融合后的结果用于鸟鸣声分类。所提模型用于Xeno-canto网站的8种鸟类音频分类,并在分类对比实验中取得了平均精确率(MAP)为0.939的较好结果。实验结果表明该模型能应对复杂背景噪声下的鸟鸣声分类效果较差的问题。
    • 姜克鑫; 赵亚慧; 崔荣一
    • 摘要: 针对目前自然语言句子匹配方法未能融合公共语义信息以及难以捕获深层次语义信息的问题,提出了一种融合高低层语义信息的自然语言句子匹配算法。该算法首先采用预训练词向量GloVe和字符级别的词向量获取句子P和句子Q的词嵌入表示;其次,使用双向LSTM(long-short term memory)对P和Q进行编码,再初步融合P和Q获取低层语义信息;然后,计算P与Q的双向注意力,拼接得到语义表征,再计算其自注意力获取高层语义信息;最后,采用启发式的融合函数将低层语义信息和高层语义信息进行融合,得到最终的语义表征,使用卷积神经网络预测得到答案。在文本蕴涵识别和释义识别两个任务上评估了该模型。在文本蕴涵识别任务SNLI数据集和释义识别任务Quora数据集上进行了实验,实验结果表明该算法在SNLI测试集上的准确率为87.1%,在Quora测试集上的准确率为86.8%,验证了算法在自然语言句子匹配任务上的有效性。
    • 吴军; 崔玥; 赵雪梅; 陈睿星; 徐刚
    • 摘要: 为增强捕捉细粒度局部特征能力以进一步提高复杂场景点云语义分割精度,将自注意力机制引入PointNet++构建点云语义分割网络SSA-PointNet++.首先将采样点邻域的自注意力明确分为中心自注意力和邻域自注意力两部分,综合两者并结合不同空间编码方式增强网络模型对采样点邻域拓扑结构的学习;然后构建注意力池化模块以强化重要信息在网络的有效传递,并通过差异性池化函数整合注意力池化、最大池化提取的多个全局特征以提高点云语义分割结果的鲁棒性.对公开数据集S3DIS,Semantic3D的场景语义分割实验表明,所提网络模型数据集分割精度mIoU较基准模型提升效果显著,在室内数据集S3DIS上的mIoU较PointNet++提升达6.6%,在室外数据集Semantic3D上的mIoU高出MSDeepVoxNet约3%;与公开数据集上其他网络模型的分割结果相比,所提模型性能均有不同程度的提升,具有更强的泛化性能和良好的应用价值.
    • 郑阳雨; 蒋洪伟
    • 摘要: 对于方面级情感分析,目前的深度学习方法未能充分利用方面词的相近上下文中隐含的情感信息,基于此,提出一种基于局部上下文和门控卷积网络(gated convolutional network,GCN)的方面级情感分类模型。利用对上下文特征动态加权的方法捕捉与方面语义相关的局部上下文;采用门控卷积网络获取与方面相关的情感特征;通过多头自注意力机制捕捉句子内部的语义关联;使用Softmax识别出最终的情感极性。实验结果表明,该模型具有良好的情感分类性能,较已有的情感分类模型准确率和F_(1)值更高,能更好地掌握用户评论的情感倾向。
    • 李亚鸣; 邢凯; 邓洪武; 王志勇; 胡璇
    • 摘要: 针对卷积结构的深度学习模型在小样本学习场景中泛化性能较差的问题,以AlexNet和ResNet为例,提出一种基于小样本无梯度学习的卷积结构预训练模型的性能优化方法。首先基于因果干预对样本数据进行调制,由非时序数据生成序列数据,并基于协整检验从数据分布平稳性的角度对预训练模型进行定向修剪;然后基于资本资产定价模型(CAPM)以及最优传输理论,在预训练模型中间输出过程中进行无需梯度传播的正向学习并构建一种全新的结构,从而生成在分布空间中具有明确类间区分性的表征向量;最后基于自注意力机制对生成的有效特征进行自适应加权处理,并在全连接层对特征进行聚合,从而生成具有弱相关性的embedding向量。实验结果表明所提出的方法能够使AlexNet和ResNet卷积结构预训练模型在ImageNet 2012数据集的100类图片上的Top-1准确率分别从58.82%、78.51%提升到68.50%、85.72%,可见所提方法能够基于小样本训练数据有效提高卷积结构预训练模型的性能。
    • 何津民; 张丽珍
    • 摘要: 为提高对虾饲料的利用率,减少养殖成本,提高养殖效益,提出了一种基于自注意力机制(self-attention,ATTN)和卷积神经网络(convolutional neural network,CNN)-长短期记忆网络(long short term memory,LSTM)的对虾投饵量预测模型(CNN-LSTM-ATTN),以水温、溶解氧、对虾的数量与质量作为预测模型的输入数据,通过CNN挖掘输入数据间的内在联系,提取出数据特征信息,利用LSTM的长期记忆能力保存数据特征信息,使用ATTN突出不同时间节点数据特征的重要性,进一步提升模型的性能。结果表明,本研究中提出的CNN-LSTM-ATTN预测模型的均方根误差、平均绝对误差和平均绝对百分误差分别为0.816、0.681和0.018,均小于BP(back propagation)神经网络、LSTM和CNN-LSTM 3个基准模型,其模型预测能力和稳定性优于其他模型。研究表明,本研究中构建的模型能较好地实现对虾投饵量的准确预测,可为对虾养殖投饵量的管理调控提供参考依据。
    • 李艳; 金小峰
    • 摘要: 针对基于Transformer框架的图像标注任务中提取视觉特征容易引入噪声问题且为了进一步提高视觉的上下文信息,提出了一种基于综合几何关系稀疏自注意力机制的图像标注方法。首先通过结合图像区域的绝对位置、相对位置和空间包含关系提取详细全面的视觉表示,获取图像中潜在的上下文信息;其次提出了注意力层权重矩阵的稀疏化方法,该方法解决了Transformer忽略图像区域的局部性并引入噪声信息的问题;最后,采用了强化学习方法作为指导策略,实现模型在句子级别优化目标序列。通过在MS-COCO数据集上进行的对比实验结果表明,提出的方法在BLEU1、BLEU4、METEOR、ROUGE-L、CIDEr和SPICE指标上分别比基线模型提升了0.2、0.7、0.1、0.3、1.2和0.4,有效提升了图像自动标注的性能。
  • 查看更多

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号