序列标注

摘要： 针对民事裁判文书区别于新闻文本的文本结构和重要信息分布的特点,基于BERT提出了一种结合粗粒度和细粒度抽取方法的结构化民事裁判文书摘要生成方法。首先通过粗粒度抽取方法对裁判文书进行重要的模块信息抽取,以保留文本结构;然后采用基于BERT的序列标注方法构建细粒度的抽取式摘要模型,从句子级别对重要模块的信息进行进一步抽取,以构建最终摘要。实验表明,相比于单一的粗粒度抽取或者细粒度抽取,本文方法均获得了更好的摘要生成性能。

摘要： 针对特定的银行产品评论业务场景,从自然语言处理(natural language processing,NLP)的角度出发,将产品评论观点提取和评价任务分别转化为自然语言处理技术中的序列标注问题和情感分类问题,使用ERNIE(enhanced language representation with informative entities)模型进行微调来实现对银行产品评论中的银行名称、产品名、用户观点等实体的自动提取以及对评论文本的自动评价。通过在真实数据集上的验证,微调后的模型能够实现对银行产品评论观点文本中实体进行自动提取和评价且效果良好。

摘要： 针对交通事故文本因果关系抽取过程中因果事件边界难以识别及连锁因果关系难以抽取的问题,将抽取问题转化为序列标注问题,提出了相对逗号位置特征及基于该特征与字词向量混合的多头注意力卷积双向长短时记忆网络的因果关系抽取方法。首先将字词分别编码后与相对逗号位置特征拼接,其次通过卷积神经网络(convolutional neural network,CNN)、双向长短时记忆网络(bidirectional long and short-term memory networks,Bi-LSTM)及多头注意力机制(multihead self-attention,MHSA)提取深层次的语义信息及长距离特征信息,最后采用条件随机场(conditional random field,CRF)分类器进行分类,得到最终的输出结果。在我们创建的交通事故文本数据集上将本模型与主流模型进行比较,结果表明:本模型抽取结果的召回率与F_(1)值分别提高了5.75%和2.54%,可以更有效地抽取交通事故文本中的因果关系。较完整地抽取因果关系有利于人们分析交通事故的成因,从而为如何有效地预防和避免交通事故的再次发生提供参考。

摘要： 是指对文本信息内容进行概括、提取主要内容进而形成摘要的过程。现有的文本摘要模型通常将内容选择和摘要生成独立分析,虽然能够有效提高句子压缩和融合的性能,但是在抽取过程中会丢失部分文本信息,导致准确率降低。基于预训练模型和Transformer结构的文档级句子编码器,提出一种结合内容抽取与摘要生成的分段式摘要模型。采用BERT模型对大量语料进行自监督学习,获得包含丰富语义信息的词表示。基于Transformer结构,通过全连接网络分类器将每个句子分成3类标签,抽取每句摘要对应的原文句子集合。利用指针生成器网络对原文句子集合进行压缩,将多个句子集合生成单句摘要,缩短输出序列和输入序列的长度。实验结果表明,相比直接生成摘要全文,该模型在生成句子上ROUGE-1、ROUGE-2和ROUGE-L的F1平均值提高了1.69个百分点,能够有效提高生成句子的准确率。

摘要： 使用人工稽查方法判别纸质工单的业务异常情况,数据积压过大,导致异常工单判别结果不精准。面对该问题,提出了基于序列标注的业务异常工单判别方法。使用注意力机制作为业务管控规则,指引业务异常问题的稽查。使用语义消歧中的柱状搜索方法进行解码,完成知识融合。采用序列标注方法构建业务管控规则知识图谱,消除积压数据。解析新增的稽查目标,确定稽查主体。设计稽查核实步骤,实现业务管控支撑智能化。采用深度学习技术,智能解析稽查工单原始信息,判断导致异常的原因,实现稽查工单智能判别。由实验结果可知,该方法用电数据幅值波动范围与实际统计结果一致,且判别结果最高为0.99,具有较高的判别准确度。

摘要： 中医古文献蕴藏着丰富的临床经验,是古代中医在行医过程中对临床诊疗的经验性总结,体现了中医学形成和发展的理论框架和思想基础.然而这些宝贵的临床经验不仅量大,而且分散在不同的文献中,使得中医从业者手工很难快速全面地获取它们,文献检索工具也只能提供文档级别的信息筛选,无法为这种细粒度的信息获取提供支持.此外,古汉语相对于现代汉语的不同特点也限制了主流文本分析工具的使用效果.为此本文提出面向临床经验获取的中医古文献信息抽取任务,用于识别古文献中描述临床经验的文本片段,手工标注了样本数据用于这种抽取模型的训练和测试,并设计了基于深度学习的序列标注器用于完成该任务.考虑到标注数据量小可能带来的过度拟合问题,本文引入对抗训练和虚拟对抗训练来增强模型的泛化能力.一系列充分的实验验证了模型的有效性,表明利用信息抽取技术从古文献获取中医临床经验具有可行性,为这一新的信息抽取任务提供了有希望的研究基线和可复用的标注数据集.

摘要： 基于句子级别的抽取方法不足以解决中文事件元素分散问题。针对该问题,提出基于上下文融合的文档级事件抽取方法。首先将文档分割为多个段落,利用双向长短期记忆网络提取段落序列特征;其次采用自注意力机制捕获段落上下文的交互信息;然后与文档序列特征融合以更新语义表示;最后采用序列标注方式抽取事件元素并匹配事件类型。与其他事件抽取方法在相同的中文数据集上进行对比,实验结果表明,该方法能有效抽取文档中分散的事件元素,并提升模型的抽取性能。

摘要： 融合多种嵌入表示的中文命名实体识别模型FMER-CNER,将百度ERNIE预训练模型生成的字句嵌入与拼音、五笔和四角码嵌入进行融合,得到增强语义特征的融合嵌入表示,再利用BiLSTM-CRF模型进行特征提取和标签解码。模型在MSRA数据集上进行了对比实验,证明了模型的有效性。

摘要： 序列标注任务是利用模型将非结构化的文本序列进行提取,并完成模型的训练和预测。基于对条件随机场(condition random fi eld,CRF)和深度神经网络中长短期记忆网络(long short term memory,LSTM),提出了栈式双向的长短期记忆网络(stacked bidirectional long short term memory,Stack Bi-LSTM)和考虑语法结构的神经半马尔可夫条件随机场(neural semi-markov condition random fi eld,NSCRF)的Stack Bi-LSTM-NSCRF模型,本模型底层堆叠式的Bi-LSTM分为两层,下层用来对非结构化的文本进行分词,上层用来进行语块和命名实体的提取工作。顶层NSCRF用来对提取的特征添加限制,以此过滤掉不符合语法的语块和命名实体。通过对本模型进行训练,提高了F1测度,因此本模型对序列标注有很好的效果。

摘要： 针对中文分词序列标注模型很难获取句子的长距离语义依赖,导致输入特征使用不充分、边界样本少导致数据不平衡的问题,提出了一种基于机器阅读理解模型的中文分词方法。将序列标注任务转换成机器阅读理解任务,通过构建问题信息、文本内容和词组答案的三元组,以有效利用句子中的输入特征;将三元组信息通过Transformer的双向编码器(BERT)进行预训练捕获上下文信息,结合二进制分类器预测词组答案;通过改进原有的交叉熵损失函数缓解数据不平衡问题。在Bakeoff2005语料库的4个公共数据集PKU、MSRA、CITYU和AS上的实验结果表明:所提方法的F_(1)分别为96.64%、97.8%、97.02%和96.02%,与其他主流的神经网络序列标注模型进行对比,分别提高了0.13%、0.37%、0.4%和0.08%。

摘要： 本文从准确率、速度两个方面分别对三种不同的分词词性标注模型进行了比较。这三种模型分别为一个序列标注串行模型，一个基于字分类的联合模型和一个将这两种模型使用Stacked Leam—ing框架进行集成的融合模型。通过在人民日报、CoNLL09、CTB5.0和CTB7.0四个数据集上上对这三种模型进行比较分析，实验最终结果表明，分类联合模型能取得比较好的速度，融合模型能取得比较好的准确率，而普通串行模型处于速度和准确率的平衡位置。最后本文将准确率最好的融合模型和相关前沿工作在CTB5.0和CTB7.0上进行了对比，该融合模型均取得了最好的结果。

摘要： 由于汉语组词的多变性和中文分词的不成熟，使得分词后统计处理与词序列标注等两种常用的关键词抽取方法均存在较大问题。本文以某大学图书馆的所有馆藏书目为研究对象，在对图书关键词标引信息进行分析的基础上，总结了中文关键词的基本特点及其抽取规律，构建了一 个基于字序列标注的中文关键词抽取模型，提出了中文关键词抽取的基础思路和实现方案，并通过实验论证了模型了合理性、正确性和实用性，认为字序列标注方法优于词序列标注，基本上解决了分词情况下的中文关键词抽取问题。

摘要： 否定表达作为自然语言文本中常见的语言现象,对自然语言处理上层应用,如情感分析、信息抽取等,具有十分重要的意义.否定聚焦点识别任务是更细粒度的否定语义分析,其旨在识别出句子中被否定词修饰和强调的文本片段.本文将该任务作为序列标注问题,提出了一种基于双向长短期记忆网络结合条件随机场(BiLSTM-CRF)的否定聚焦点识别模型,其中,BiLSTM网络能够充分利用上下文信息并抓取全局特征,CRF层能够有效学习输出标签之间的前后依赖关系.在*SEM2012评测任务数据集上的实验结果表明,基于BiLSTM-CRF的否定聚焦点识别方法的准确率(Accuracy)达到69.58％,与目前最好的系统相比,性能提升了2.44％.

摘要： 句间引用关系自动识别是篇章分析中一项重要内容.句间引用关系影响着对句群篇章的分析,而目前自然语言处理中对引用这一句间关系的研究较少.句间引用关系主要体现在引语中的引用句上.引语由引导句和引用句组成,一般分为直接引语和间接引语,其中间接引语的识别难度最大,引导句和引用句相对位置不定、不同领域语料的引语与非引语比例极不均衡等进一步增加引语自动识别的难度.论文主要尝试对引用这一句间关系进行初步探索,采用条件随机场(CRF)以及深度神经网络与条件随机场相结合(BLSTM-CRF)的方法对引语进行自动识别,并引入引导句中管领词特征进行实验对比.实验结果表明,CRF模型和BLSTM-CRF模型对引语的识别精确率分别达到85.49％和80.19％,F值分别达到78.75％和79.60％.

摘要： 如何在资源匮乏的大规模数据(如互联网纯文本数据)上识别命名实体是一个重要的问题。为解决该问题，我们使用简单的词典资源自动标注数据，然后将命名识别问题转化为基于最大熵马尔可夫模型的序列标注问题。我们使用两种方法搜索结果：1)输出标注序列，并使用重排序方法对k.Best结果进行重排序；2)使用变种的前向.后向算法计算出候选命名实体的概率，并使用阈值过滤。实验表明，使用后种方法可以极大地提高命名实体识别的召回率和F值，并可以更加灵活地根据需求控制准确率与召回率。

摘要： 条件随机域模型通过计算标注序列在观测序列下的条件概率进行标注,解决了传统模型(如隐马尔科夫模型和最大熵马尔科夫模型等)中存在的标注偏差问题,得到了更好的标注效果.时间信息识别是文本序列标注的一个典型代表,本文旨在通过CRF在英文时间信息识别的应用,从理论上深入分析,以及进行对比实验比较条件随机域与其他标注模型的效果,结果验证了理论和实验的一致性,CRF更适合解决序列标注问题.

摘要： 在电商网站评论文本中,评价对象和评价属性的缺省识别对文本情感分析具有重要的作用.针对电商网站评论文本中评价对象和评价属性缺省问题,本文提出了一种基于条件随机场的评价对象缺省项识别方法.首先利用情感词典识别观点句,将缺省项识别问题转换成序列标注问题,综合词法特征和依存句法特征,使用条件随机场模型进行训练,并在测试集上对待识别的观点句进行序列标注,通过标注结果判定缺省项的位置.实验结果表明,本文提出的方法具有较高的准确率和召回率,验证了该方法的有效性.

摘要： 语义角色标注的研究方法中使用最频繁的一类是基于特征工程，将任务转化成分类问题使用机器学习的方法来解决，而且几乎所有的有指导语义角色标注采用的标注语料都是宾州大学命题库标注体系。近年来，北京大学开发出—套新的标注语料-北大网库，本文的目的在于测试这类研究方法在新语料的效果，验证之前所使用的特征是否对标注语料具有依赖性。通过实验我们发现前人方法中的一些不足，尤其个别特征在北大网库上作用更关键。

摘要： 语义角色标注的研究方法中使用最频繁的一类是基于特征工程，将任务转化成分类问题使用机器学习的方法来解决，而且几乎所有的有指导语义角色标注采用的标注语料都是宾州大学命题库标注体系。近年来，北京大学开发出—套新的标注语料-北大网库，本文的目的在于测试这类研究方法在新语料的效果，验证之前所使用的特征是否对标注语料具有依赖性。通过实验我们发现前人方法中的一些不足，尤其个别特征在北大网库上作用更关键。

摘要： 语义角色标注的研究方法中使用最频繁的一类是基于特征工程，将任务转化成分类问题使用机器学习的方法来解决，而且几乎所有的有指导语义角色标注采用的标注语料都是宾州大学命题库标注体系。近年来，北京大学开发出—套新的标注语料-北大网库，本文的目的在于测试这类研究方法在新语料的效果，验证之前所使用的特征是否对标注语料具有依赖性。通过实验我们发现前人方法中的一些不足，尤其个别特征在北大网库上作用更关键。

摘要： 本说明书实施例提供一种基因序列的权利要求保护范围标注、检索及信息标注方法、系统，其中，所述方法包括：从当前专利申请的权利要求书中识别基因序列；根据预设关键词从所述权利要求书中提取所述基因序列的描述文字；根据提取的所述描述文字，确定所述基因序列的相似度信息，并基于所述相似度信息标注所述基因序列的权利范围。本说明书实施例提供的技术方案，能够在专利库中进行序列检索，并提高基因序列的检索准确度。

摘要： 本发明涉及一种音频帧序列到事件标签序列的声音事件标注方法，包括如下步骤：步骤S1:从给定音频文件中提取梅尔能量特征，并将其处理成特征序列；步骤S2:根据得到的特征序列，使用三层卷积神经网络提取每帧的抽象特征，并通过双向门限递归单元神经网络提取帧综合特征序列；步骤S3:根据得到的综合特征序列，通过Softmax前馈神经网络层作为注意力机制层，得到注意力特征,并进一步得到事件标签序列；步骤S4:将得到的所有音频片段的声音事件标签序列联合，并进行合并和平滑处理,得到检测结果。本发明使用多任务损失机制，在降低误检测的同时提高事件检出率，改善定位准确度，最后对模型输出进行平滑和合并处理，以显著提高音频文件中声音事件的标注精度。

摘要： 本发明公开了一种基于位置感知自注意力机制的序列标注模型与标注方法，该序列标注模型将自注意上下文融合层作为BiLSTM‑CRF模型的扩展，构造新的序列标注模型；该模型包括自注意上下文融合层和BiLSTM组成的编码器，以及作为解码器的CRF层；所述自注意上下文融合层，用于以词的特征向量表示序列作为输入，通过位置感知自注意力机制建立结合位置信息后序列中各词语与设定特定词语间的关联，得到序列中所有词语特征向量表示的加权和作为该特定词的输出特征。本发明提出的方法通过引入自注意上下文融合层，能够充分提取单词之间的潜在关系，从而可以在Bi‑LSTM的基础上提供互补的上下文信息。

摘要： 本发明公开了一种基于异构标注数据的快速序列标注方法及装置。该方法包括以下步骤：获取两个归属于不同标注数据库的初始标记集；根据预设的在线剪枝策略，建立两个初始标记集之间的耦合标记集；针对包含耦合标记集的训练数据，训练基于条件随机场的标注模型；利用标注模型对待标注的样本数据进行标注。应用本发明实施例所提供的技术方案，达到了将不同标注数据库结合起来应用的目的，扩大了训练数据规模，提升了标注模型的性能。

摘要： 序列标注系统及序列标注模型的训练系统，序列标注系统包括：待处理数据获取模块适于获取待处理数据，所述待处理数据包括待处理语料；语义提取模块适于提取所述待处理数据的语义特征；逻辑运算模块适于将提取得到的语义特征和所述待处理数据进行逻辑运算，得到所述待处理数据的融合特征；概率计算模块适于根据所述待处理数据的融合特征，计算各候选预测标签标注序列的概率值；序列获取模块适于根据各候选预测标签标注序列的概率值，获取概率值符合预设的第一选取条件的候选预测标签标注序列，得到所述待处理数据的标签标注预测序列。采用上述方案，可以提高序列标注预测结果的准确率。

摘要： 本发明提供了一种序列标注模型及序列标注方法，包括输入层，BiLSTM网络层和CRF层。利用该模型进行序列标注任务时，首先在输入层加入ELMo字向量作为额外特征，使每个字符的表示是其字符向量和ELMo表示的拼接，其次在BiLSTM网络层中除了使用正向LSTM网络学习每个字符的历史特征，也以逆序将序列输入到反向LSTM网络中学习每个字符的后续特征，将字符的上下文特征拼接输入到CRF层，最后使用条件随机场进行联合建模得到全局最优的标签序列。本发明提供的方法在中文命名实体识别的数据集如Boson、LDC2009等上取得了良好的性能，其平均性能F1值提高了4.95％。

摘要： 本申请公开了一种序列标注方法、装置、序列标注模型的训练方法、设备及计算机可读存储介质，该方案中序列标注模型的得分层包括与标注规范一一对应的第二得分层，还包括与全部标注规范对应的第一得分层，由于该模型中的得分层的独特设计，因此可以利用多种标注规范的异构数据作为该模型的训练集，扩充训练语料规模，而且该模型能够学习不同标注规范的语料之间的共性，从而提升模型在单一标注规范下的标注性能。此外，该模型的输出结果为捆绑标签序列，相当于直接得到多种标注规范下的标签序列，方便文本在不同标注规范之间的转化。

摘要： 本申请属于人工智能领域，涉及在线序列标注模型的训练方法及相关设备，所述方法包括:根据预先标记的数据量不大于第一阈值的第一数据集对预设的序列标注模型进行离线训练，得到离线标注模型；从至少一个数据源中获取未标记的数据输入至离线标注模型中进行离线标注得到第二数据集，第二数据集的数据量大于第一数据集的数据量，且不低于第二阈值；将第二数据集中的数据输入CRF++工具中进行模型训练，得到在线序列标注模型。本申请还提供在线文本标注方法及相关设备。此外，本申请还涉及区块链技术，第一数据集和第二数据集中包含的隐私数据可存储于区块链中。本申请方案可得到高效且高精确度的在线序列标注模型，给在线文本的处理带来很大的效率提升。

摘要： 本发明公开了一种基于位置感知自注意力机制的序列标注模型与标注方法，该序列标注模型将自注意上下文融合层作为BiLSTM‑CRF模型的扩展，构造新的序列标注模型；该模型包括自注意上下文融合层和BiLSTM组成的编码器，以及作为解码器的CRF层；所述自注意上下文融合层，用于以词的特征向量表示序列作为输入，通过位置感知自注意力机制建立结合位置信息后序列中各词语与设定特定词语间的关联，得到序列中所有词语特征向量表示的加权和作为该特定词的输出特征。本发明提出的方法通过引入自注意上下文融合层，能够充分提取单词之间的潜在关系，从而可以在Bi‑LSTM的基础上提供互补的上下文信息。

摘要： 本发明公开了一种基于异构标注数据的快速序列标注方法及装置。该方法包括以下步骤：获取两个归属于不同标注数据库的初始标记集；根据预设的在线剪枝策略，建立两个初始标记集之间的耦合标记集；针对包含耦合标记集的训练数据，训练基于条件随机场的标注模型；利用标注模型对待标注的样本数据进行标注。应用本发明实施例所提供的技术方案，达到了将不同标注数据库结合起来应用的目的，扩大了训练数据规模，提升了标注模型的性能。