您现在的位置: 首页> 研究主题> 微调

微调

微调的相关文献在1981年到2023年内共计9905篇,主要集中在财政、金融、自动化技术、计算机技术、世界各国经济概况、经济史、经济地理 等领域,其中期刊论文833篇、会议论文2篇、专利文献9070篇;相关期刊548种,包括共产党员:上半月、瞭望、经济技术协作信息等; 相关会议2种,包括中国内燃机学会测试技术分会学术交流会、中国钢铁年会等;微调的相关文献由16571位作者贡献,包括不公告发明人、黄雄关、吴海全等。

微调—发文量

期刊论文>

论文:833 占比:8.41%

会议论文>

论文:2 占比:0.02%

专利文献>

论文:9070 占比:91.57%

总计:9905篇

微调—发文趋势图

微调

-研究学者

  • 不公告发明人
  • 黄雄关
  • 吴海全
  • 师瑞文
  • 余新
  • 张伟
  • 杨念记
  • 王勇
  • 李明
  • 徐静
  • 期刊论文
  • 会议论文
  • 专利文献

搜索

排序:

年份

作者

    • 王小宇; 陆鑫
    • 摘要: 社交媒体极大地改变了人们的社交和协作方式,然而在社交媒体蓬勃发展的同时,谣言也在滋生。检测识别在社交媒体中传播的谣言,对于社会的长治久安的有序发展有着非常重要的意义。选择新浪微博为研究对象,提出了基于微调通用语言模型BERT的方法进行谣言检测。使用通用语言模型,来捕获文本的深层语言含义,避免繁杂的特征提取过程,并通过预训练的方法,避免了语言模型的重复训练。实验结果表示,基于微调通用语言模型BERT的谣言检测效果在公开数据集Rumdect达到94.1%,且在Rumdect数据集上的表现较为先进的LSTM和GRU的检测模型分别提升了4.6%和3.2%。验证了微调通用语言模型在谣言检测任务中的可行性和有效性。
    • 杨莉; 万旺根
    • 摘要: COVID-19的世界性大流行对整个社会产生了严重的影响,通过数学建模对确诊病例数进行预测将有助于为公共卫生决策提供依据。在复杂多变的外部环境下,基于深度学习的传染病预测模型成为研究热点。然而,现有模型对数据量要求较高,在进行监督学习时不能很好地适应低数据量的场景,导致预测精度降低。构建结合预训练-微调策略的COVID-19预测模型P-GRU。通过在源地区数据集上采用预训练策略,使模型提前获得更多的疫情数据,从而学习到COVID-19的隐式演变规律,为模型预测提供更充分的先验知识,同时使用包含最近历史信息的固定长度序列预测后续时间点的确诊病例数,并在预测过程中考虑本地人为限制政策因素对疫情趋势的影响,实现针对目标地区数据集的精准预测。实验结果表明,预训练策略能够有效提高预测性能,相比于卷积神经网络、循环神经网络、长短期记忆网络和门控循环单元模型,P-GRU模型在平均绝对百分比误差和均方根误差评价指标上表现优异,更适合用于预测COVID-19传播趋势。
    • 赵章焰; 刘璧钺
    • 摘要: 起重机具有诸多类型,不同类型的起重机具有不同的分析或保养方法,因此对起重机类型进行识别意义重大。针对深度卷积神经网络中存在的数据需求量大、训练时间长、计算成本高等问题,提出一种基于迁移学习和微调的起重机类型识别策略。通过搭建不包含分类层的预训练InceptionV3模型并连接自定义的分类层,利用迁移学习和微调技术,训练出适用于起重机类型识别任务的卷积神经网络。实验结果表明,相较于从头搭建并训练深度卷积神经网络,利用迁移学习和微调方法对预训练模型进行训练可得到较高的识别准确率,并且训练速度更快,训练时间显著缩短。验证集和测试集的识别准确率分别为98.24%和97.67%。
    • 高永兵; 黎预璇; 高军甜; 马占飞
    • 摘要: 微博是个人和组织用户分享或获取简短实时信息的重要社交平台,微博文本自动生成技术能帮助用户在微博平台上快速实现各种社交意图。为辅助用户发表博文并表达社交意图,提出一种基于用户意图的微博文本生成技术,以挖掘提取微博文本特征,并在给定微博主题的条件下生成与用户意图相一致的微博文本。采用预训练语言模型与微调相结合的方法,在预训练语言模型GPT2上实现联合主题和用户意图的文本控制生成,以及具备用户对话功能的文本预测生成。实验结果表明,该技术生成的文本具有较高的可读性且符合微博文本语言风格,结合主题和5类用户意图的生成样本人工评分达77分以上。
    • 刘桂雄; 黄坚
    • 摘要: 面向机器视觉检测鉴别的语义分割卷积神经网络(Convolutional Neural Network,CNN)模型能识别、测量被测对象的零部件、尺寸等特征,针对机器视觉检测鉴别增加识别零部件或关键部位的需求,以及进一步迁移学习会损失CNN模型部分权值的问题,提出一种基于标签预留Softmax算法的语义分割迁移学习技术。研究了机器视觉检测鉴别语义分割迁移学习建模方法,分析指出可尝试选定模型所有权值的微调迁移学习,有助于减小模型初始损失;提出了基于标签预留Softmax算法的微调迁移学习方法,可实现检测对象略有不同的模型所有权值微调迁移学习。在自建数据集上的实验表明,标签预留微调迁移学习技术训练模型达到机器视觉检测鉴别要求的时间由42.8 min减少到30.1 min,算法有效、效果明显;应用实验表明,迁移学习技术可实现标准件安装、漏装、误装情况检测与装配质量鉴别的半监督学习,新机箱迁移学习的训练时间不超过20.2 min,检测准确率达到100%,能满足机箱标准件装配质量检测鉴别的需求。
    • 王倩; 李茂西; 吴水秀; 王明文
    • 摘要: 探索将XLM-R跨语种预训练语言模型应用在神经机器翻译的源语言端、目标语言端和两端,提高机器翻译的质量。提出3种网络模型,分别在Transformer神经网络模型的编码器、解码器以及两端同时引入预训练的XLM-R多语种词语表示。在WMT英语-德语、IWSLT英语-葡萄牙语以及英语-越南语等翻译中的实验结果表明,对双语平行语料资源丰富的翻译任务,引入XLM-R可以很好地对源语言句子进行编码,从而提高翻译质量;对双语平行语料资源匮乏的翻译任务,引入XLM-R不仅可以很好地对源语言句子进行编码,还可以对源语言端和目标语言端的知识同时进行补充,提高翻译质量。
    • 林佳瑞; 程志刚; 韩宇; 尹云鹏
    • 摘要: 社交媒体已成为当前发布和传播突发灾害信息的重要媒介,有效识别并利用其中的真实信息对灾害应急管理具有重要意义。针对传统文本分类模型的不足,提出一种基于BERT预训练模型的灾害推文分类方法。经数据清洗、预处理及算法对比分析,在BERT预训练模型基础上,研究构建了基于长短期记忆-卷积神经网络(LSTM-CNN)的文本分类模型。在Kaggle竞赛平台的推文数据集上的实验表明,相比传统的朴素贝叶斯分类模型和常见的微调模型,该分类模型性能表现优异,识别率可达85%,可以更好地应对小样本分类问题。有关工作对精准识别真实灾害信息、提高灾害应急响应与沟通效率具有重要意义。
    • 冯琳慧; 乔林波; 阚志刚
    • 摘要: 深度学习在事件检测任务上取得了显著的成果,但模型严重依赖于大量的标注数据.由于事件结构化的信息和丰富的标签表示,使得获取注释的成本很高,难以大量获得.针对事件检测任务,为了提高语料标注效率,减少训练过程所需的标注样本数量,提出一种联合主动学习和预训练模型的事件检测模型.针对主动学习模型存在的冷启动问题,设计了基于融合不确定性的特殊样本选择策略,估计样本在微调下游事件检测任务方面的潜在贡献.一方面,结合预训练模型从原始任务中带来的丰富的语义信息,避免了重新设计网络结构或从零开始训练;另一方面,利用主动学习选择信息丰富的样本能更好地微调预训练模型,减少数据标注成本.在ACE 2005语料上进行数值实验验证,结果证明了所提出的EDPAL算法的有效性.
    • 孙布勒; 杨昂; 孙鹏; 姜大洁
    • 摘要: 人工智能(Artificial Intelligence,AI)技术在未来无线通信中将发挥重要作用,其中信道估计是一个典型的AI与无线通信的结合点。基于AI的信道估计技术可以显著提高估计性能,尤其是针对低信噪比和非线性信道的估计问题。然而,基于AI的方案具有泛化能力不足的通病,尤其是在信道估计这种变化频繁、标签难获得的场景。针对泛化问题,提出了结合迁移学习、联合训练和模型无关的元学习(Model-Agnostic Meta-Learning,MAML)的基于AI的信道估计方案,并以信道场景变换为例验证了上述三种方案的泛化以及迁移性能。结果表明,相比于不做任何处理,三种方案均可以提高信道估计的泛化性能,且随着微调次数的增加,性能增益也会变大。其中,基于MAML的方案以最少的微调次数实现了最高的信道估计精度,是一种非常有潜力的训练方案。
    • 亢文倩
    • 摘要: 问句分类(Question Classification,QC)对提高问答系统的质量和性能有着重要的作用。目前,现有的问句分类方法面临着数据稀疏的问题。双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)微调可以实现跨领域问句分类,是一种很好的解决新领域带标签问句稀疏的措施。然而,这种方法往往忽略了自然语言类标签提供的显式语义信息。如果要扩展问句分类器以预测新类,且只有少数训练示例,则可以利用该类标签提供的语义信息,预测问句与标签之间的关联。本文将类别标签的特征引入BERT微调模型,简称为L-BERT-FiT。实验结果表明,相较于BERT微调,改进后模型的平均分类精度提升了约2.86%。
  • 查看更多

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号