未登录词

摘要： 成词信息是一种对中文分词任务十分重要的文本特征。最新中文分词模型之一的WMSEG就是通过引入成词信息来获得最顶尖的分词性能。然而这类模型在建模时并未考虑标签之间的依赖关系,导致其分词性能特别是对未登录词的识别有所欠缺。针对这一问题,通过在学习过程中引入标签嵌入的注意力机制,提出了一种带标签注意力的成词记忆网络来增强标签之间的依赖关系以及标签和字符之间的相关性。实验结果表明,该模型在四个常用数据集上都取得了不弱于WMSEG的分词性能,同时提高了对未登录词的识别能力。

摘要： 分词是自然语言处理的基础任务,本文针对藏文分词中的特殊问题及其研究成果进行了梳理,为今后学者开展该领域的相关研究提供参考和借鉴。重点阐述和分析了藏文自身语法带来的分词难点和藏文分词时的歧义和未登录词问题,并分析了目前藏文领域研究的最新方法和发展趋势。结果表明,藏文分词的重难点在各种方法中得到了一定程度的解决,但各种单一方法都存在不足,必要时可多种方法结合使用。

摘要： 基于语料库构建词语语义性向量的词嵌入模型,可以定量刻画词语的上下文语义。然而,传统的词嵌入模型在揭示一词多义词汇的语义时,存在着语义空间向量维度不确定或缺乏直观可解释性等局限,此外,对于词汇表外未登录新词语的语义性嵌入识别,尚缺乏有效的途径。针对一词多义问题和未登录词问题,可将词嵌入的优势和词共现的优势相融合,以弥补传统词嵌入模型的语义空间维度不确定、语义维度不可解释及未登录词忽略等方面的不足。主要创新工作包括:基于训练后的词嵌入矩阵与单词归一化的共现矩阵,构建全局性语料词向量;为未登录词创建语料词向量,并与全局性语料词向量进行权重融合,以提高词嵌入的精确率。通过公开数据集的两项实验结果表明,基于词共现的一词多义及未登录词嵌入模型,可有效提升词嵌入的精确度,并可缩短词嵌入的进程时间。

摘要： 未登录词是影响命名实体识别效果的重要因素,现有分词工具在处理未登录词时不仅识别效果欠佳,且存在识别时间较长等问题.为提高分词效果,在现有分词器基础上结合未登录词识别模型,提出了一种基于改进双数组Trie的混合信息未登录词动态识别模型MIDAT,将双数组Trie扩展为字符双数组与概率双数组,利用字符双数组存储字符串词段信息,概率双数组存储字符串节点间的成词概率信息,通过不断识别未登录词,动态更新两个双数组Trie.实验结果表明,在相同的数据集下,结合MIDAT的分词器后对于未登录词的分词效果要优于结巴等常用分词器,同时在时间效率上相比传统的未登录词识别模型提升约8倍.

摘要： 汉盲翻译是把汉字源文本自动翻译为对应的盲文文本,目前存在着多音字混淆、未登录词不能增加、不符合盲文分词连写规则等挑战.构建一个基于逆向最大匹配分词算法的汉盲翻译系统,能够较好识别多音字,自主添加未登录词,得到较正确的分词连写结果,有效提高了汉盲翻译的准确率.该系统基于词库可以区分出大多数多音字,能够得到较符合盲文分词连写规则的分词结果,并可向词库自主添加未登录词,进而提高中文分词的准确率.实验结果表明该系统能够降低因中文分词错误引起的语句歧义,减少因多音字混淆引起的翻译错误,避免因音节结构分散导致的盲文方数繁多,具有一定的开放性和实用性.

摘要： 针对现有漏洞代码切片方法评估过程存在的切片信息抽取不完全、模型复杂度高且泛化能力差、评估过程开环无反馈的问题,提出了一种双粒度轻量级漏洞代码切片方法评估模型(VCSE).针对代码片段,构建了轻量级的TF-IDF与N-gram融合模型,高效绕过了OOV问题,并基于词、字符双粒度提取了代码切片语义及统计特征,设计了高精确率与泛化性能的异质集成分类器,进行漏洞预测分析.实验结果表明,轻量级VCSE的评估效果明显优于当前应用广泛的深度学习模型.

摘要： 在互联网数据急剧扩张和深度学习技术高速发展的背景下,自动文本摘要任务作为自然语言处理领域的主要研究方向之一,其相关技术及应用被广泛研究.基于摘要任务深化研究需求,以研究过程中存在的关键问题为导向,介绍现有基于深度学习的生成式文本摘要模型,简述定义及来源、数据预处理及基本框架、常用数据集及评价标准等,指出发展优势和关键问题,并针对关键问题阐述对应的可行性解决方案.对比常用的深度预训练模型和创新方法融合模型,分析各模型的创新性和局限性,提出对部分局限性问题的解决思路.进一步地,对该技术领域的未来发展方向进行展望总结.

摘要： 基于字词联合的中文命名实体识别模型能够兼顾字符级别与词语级别的信息,但受未登录词影响较大且在小规模数据集上存在训练不充分等问题.在现有LR-CNN模型的基础上,提出一种结合知识增强的中文命名实体识别模型,采用相对位置编码的多头注意力机制提高模型上下文信息捕捉能力,通过实体词典融入先验知识降低未登录词的影响并增强模型学习能力.实验结果表明,该模型在保持较快解码速度和较低计算资源占用量的情况下,在MSRA、People Daily、Resume、Weibo数据集上相比SoftLexicon、FLAT等模型F1值均有明显提升,同时具有较强的鲁棒性和泛化能力.

摘要： 未登录词语义预测是自然语言处理研究的难点.该文基于知识库的语素构词知识,采用了分阶段的算法自动预测未登录词的语素构词知识,以此实现对未登录词的语义预测.基本思路是通过语素义组合或语素义类组合的匹配,先预测语义层面的知识,再确定相应语素项,最终获得未登录词多层面的语素构词知识.该算法简单、直观、合理,在首素性类、首素义类、首素义、尾素性类、尾素义类、尾素义、构词方式这七项预测内容全部正确的标准下,实验结果的预测正确率为62.32％,召回率为61.72％.

摘要： 神经机器翻译(NMT)为机器翻译系统提供了一种全新的方法,它与传统的统计机器翻译系统(SMT)相比,翻译结果具有更加流畅的优势.但是NMT系统也有着其自身的缺点:翻译精准度的问题,尤其是对未登录词的翻译.2016年,Rico Sennrich和Barry Haddow等人提出了Byte Pair Encoding(BPE)的方法,将原有的单词拆解成了更小单元的高频词进行翻译.现如今,这种方法已经被广泛用于各种开源的神经机器翻译系统中.本文主要针对BPE方法在中英神经机器翻译中的应用,分析BPE方法在多大程度上解决了未登录词翻译的问题.实验表明,与传统的NMT系统相比,BPE方法获得了1.02BLEU值的提升,对未登录词的翻译精准度达到了45％左右,与SMT系统翻译精准度相似.因此可以得出结论:BPE的方法是一种对NMT系统中未登录词问题的行之有效的解决方法.

摘要： 简述了中文未登录词识别研究现状,结合中文生物医学领域词长分布和构词特点,提出以n-gram为基础,综合利用领域词典、语料和规则的中文生物医学领域未登录词识别方案,并以中文生物医学文献数据库CBM中药学期刊数据作为样本集进行了实验,效果表现良好.

摘要： 未登录词自动辨识是中文文本切分中的基础问题。在对大语料进行统计分析的基础上，提出了一种数据驱动的通用辨识方法。该方法利用Bi-gram来刻划单字词之间的共现信息，引入HMM(隐Markov模型)来计算汉字的单字成词能力和在未登录词中成词的概率分布，并将未登录词的辨识转换成网格中的路径寻优问题。为此基于动态规划设计了一种有效的搜索算法。试验结果显示该方法可获得91%以上的精度和90%以上的召回率，具有较强的推广能力。

摘要： 语言监测必然要面对大量的未登录词。本文依据词汇的时间分布信息，提出了未登录词提取的新方法。词汇的时间分布信息是语料本身所蕴含的基本分布信息，但常常被忽略或者说难以运用。本文从语言符号的线性特点出发，研究了如何词汇的时间分布信息建模，并提出了新的度量指标——同步衰减频率，以自动提取未登录词。实验结果表明该方法不受词长限制，对低频词尤其具有良好的鲁棒性，同时验证了词汇的时间分布信息在词汇处理中的有效性。

摘要： 针对汉语分词中的未登录词识别和歧义消除这两个瓶颈问题和目前方法的不足,将类型论的思想引入到汉语分词领域中,提出了类型匹配模型,以类型论函数贴合为主要算法,融合了全切分、统计,前后缀识别信息等多种技术手段,将分词、未登录词识别、歧义消除,词典的动态扩充有机的融合到一个统一的理论模型当中.在此理论框架的基础上,最后实现了基于类型论的汉语分词系统TTCS.

摘要： 为了更准确地得到互联网新闻主题词,本文在研究中,借鉴了基于二元自动切分的索引机制。在新闻主题词提取时,选用二元切分,并充分利用新闻自身的文体特性,弱化了对字典的依赖,强化了对二元词的位置信息的处理。实验证明该方法是一种简单有效的获取新闻主题词,包括未登录词的方法。

摘要： 根据人名、地名和组织名的自身用字规律和人名、地名和组织名在上下文环境中对应的指示词来作为度量专有名词类别的特征,从而对从文本中抽取出的未登录词中的各类专有名词进行归类。基于对Internet新闻文本的开放测试,精度和识别率的宏平均分别达到87.8％和92.0％,而微平均则分别达到89.8％和94.4％。

摘要： 产品属性抽取是产品意见挖掘的重要任务之一,直接影响着产品意见挖掘的性能.本文提出了一种基于语言依存分析和语料库统计相结合的未登录(OOV)产品属性挖掘算法.该算法基于一个小规模基本产品属性集,从依存分析结果中提取与已有属性相关的统计特征,从而实现从生语料中抽取OOV产品属性,并对OOV产品属性进行排队,将可信度较高的OOV产品属性优先推荐.本文对抽取算法和排序方法的正确率进行了实验评测,并对比了不同统计特征的有效性.实验结果证明,在排队后的前200个产品属性中能取得87.5%的抽取正确率.

摘要： 产品属性抽取是产品意见挖掘的重要任务之一,直接影响着产品意见挖掘的性能.本文提出了一种基于语言依存分析和语料库统计相结合的未登录(OOV)产品属性挖掘算法.该算法基于一个小规模基本产品属性集,从依存分析结果中提取与已有属性相关的统计特征,从而实现从生语料中抽取OOV产品属性,并对OOV产品属性进行排队,将可信度较高的OOV产品属性优先推荐.本文对抽取算法和排序方法的正确率进行了实验评测,并对比了不同统计特征的有效性.实验结果证明,在排队后的前200个产品属性中能取得87.5%的抽取正确率.

摘要： 本发明公开了未登录词识别方法、装置、计算机设备及存储介质，其中方法包括：获取解析异常的第一查询；获取第一查询中的实体；从历史查询中筛选出第一查询的相似查询；根据相似查询确定出该实体是否为未登录词。应用本发明所述方案，能够节省人力成本，并提高处理效率等。

摘要： 本发明提供了一种基于统计规律的中文词汇表未登录词比率的估计方法，利用本发明提供的估计方法，解决了无法直接计算中文词汇表未登录词比率的技术问题；相比于采用字错误率(CER)衡量方法，本发明的估计方法通过采用中文词汇表未登录词比率来衡量中文识别系统性能，不仅省去了解码语音数据的时间，从而缩短评价某个特定中文语音识别系统所需的时间，而且可以在中文语音识别系统搭建之初选择性能最佳的中文词汇表，进而得到性能最佳的中文语音识别系统。

摘要： 本申请实施例提供了一种未登录词的识别方法、装置和电子设备，在识别待处理文本中的未登录词时，可以先对待处理文本进行切分处理，得到多个词汇；分别获取多个词汇各自对应的词向量，并对多个词汇各自对应的词向量进行取模处理，得到多个词汇各自对应的时域信号；对多个时域信号进行变换处理，得到多个词汇各自对应的频域信号；鉴于频域可以有效地表达词汇与词汇之间的密切关系，因此，基于多个词汇各自对应的频域信号，可以准确地从待处理文本中确定出未登录词，实现了对未登录词的识别，且提高了识别结果的准确度。

摘要： 本发明提供了一种基于无监督未登录词识别的自媒体语言情感分析方法。该方法包括：模拟字符间的组合构造无监督未登录词识别器，利用无监督未登录词识别器对待分析的自媒体语言进行无监督未登录词识别，得到待分析的自媒体语言的表征；使用自媒体多模态情感分析模型对所述待分析的自媒体语言的表征进行分析，得到待分析的自媒体语言的情感倾向。本发明实现了未登录词识别及表情符语义融合，将提高情感模型面向自媒体平台的分析性能，并适应自媒体平台的发展趋势。同时在分析平台用户语义情感方面，准确率等指标优于现有技术。

摘要： 本申请实施例提供一种未登录词发现方法、装置、电子设备及存储介质。在本申请实施例中，在未登录词发现过程中，同时考虑词语的内部凝聚度和外部自由度；在考虑词语内部凝聚度时，不仅考虑词语的互信息，同时考虑词语的长度信息的影响，使得未登录词发现不再受词语长短的限制，对长短词都具有较好的发现能力，有效解决现有方案对较短词语发现能力较差的问题，提高未登录词发现的覆盖度；在考虑词语外部自由度时，对左右邻接信息熵进行融合，考虑左右自由度之间的平衡性，不再是基于单侧自由度，有利于发现语义更加完整的未登录词，有效解决现有方案存在的词语不完整的问题，提高未登录词的准确度。

摘要： 本申请公开了一种未登录词的判断方法、系统、电子设备及介质，未登录词的判断方法包括：字集合获取步骤：将出现在候选词左右的字总结成左邻字集合与右邻字集合；信息熵计算步骤：计算所述候选词的左邻字信息熵与右邻字信息熵；候选词自由运用程度获取步骤：从所述左邻字信息熵与所述右邻字信息熵中选取信息熵值小的信息熵作为所述候选词的自由运用程度值；未登录词判断步骤:设置所述候选词的自由运用程度预设阈值，当所述自由运用程度值大于所述自由运用程度预设阈值时，判断结果为所述候选词是未登录词。本发明通过信息熵来衡量候选词的自由运用程度，识别未登录词准确度更高、更有逻辑性。

摘要： 本发明公开了一种基于流形排序的未登录词处理方法、装置及存储介质，包括：获取语料训练集和未登录词；根据所述语料训练集构建代价词典；根据所述代价词典和所述未登录词生成子词序列；使用流形排序法对所述子词序列进行排序，以获取最优子词；输出所述最优子词作为所述处理结果。本发明的技术效果：通过使用动态规划的方法对未登录词进行分词得到子词序列，之后通过对子词序列使用流形排序算法进行排序，得到最优子词，使用该子词的向量来表示此未登录词，有效减小智能问答中未登录词信息流失的问题。

摘要： 本申请提供了一种未登录词词向量生成方法及装置，该方法包括：获取预训练字向量模型和未登录词；针对所述未登录词进行分字处理，得到至少两个分字，并通过所述预训练字向量模型，得到各分字的字向量；从构词贡献库中获取各分字的构词贡献值；根据所述各分字的字向量和构词贡献值，通过预设词向量加权算法，计算得到所述未登录词的词向量。本申请实施例所提出的一种未登录词词向量生成方法为针对中文文本的NLP应用中的词嵌入模型提供了未登录词的词向量生成解决方案，进而提高了词嵌入模型的分词效率和精确度。

摘要： 本发明公开了一种未登录词进行向量化的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：将待向量化的未登录词进行拆分，得到未登录词的待向量化字符；根据每个待向量化字符在未登录词中的位置，确定每个待向量化字符相对于未登录词的位置标记；根据所述位置标记，确定每个待向量化字符所在参与成词的词向量；根据确定的参与成词的词向量，确定未登录词的词向量。该方法考虑构成未登录词中每个字符的位置信息，根据该待向量化字符所在参与成词的词向量，得到了未登录词更合理的向量化表示。

摘要： 本发明涉及一种基于实体类型匹配的未登录词替换方法，包括步骤：步骤1、数据准备和评价指标指定:指定数据集、训练集、验证集和测试集，并进行人工标注；步骤2、ETC语义空间模型训练：将基于实体类型匹配训练的语义空间称为ETC语义空间，训练ETC语义空间模型；步骤3、在构建的ETC语义空间上进行未登录词替换；步骤4、命名实体识别。本发明的有益效果是：仅对测试文本进行替换，而不针对预测模型做任何改动，因而ETC语义空间模型具有较好的通用性和较短的训练时间；不仅提高了现有模型在社交媒体文本上的命名实体识别性能，而且在几种诸如斯坦福NLP的传统命名实体识别工具上具有通用性。