语言模型

摘要： 为扩大面向铁路旅客服务的语音识别应用,文章研究适用于铁路旅客服务应用的语音识别模型,使用基于卷积增强的Conformer编码结构和RNN-T模型结构,构建基于Conformer-Transducer的语音识别模型。由于卷积网络容易忽视输入信号整体与局部间关联,在Conformer结构中的卷积模块加入注意力机制,用以修正卷积模块的计算结果。构建铁路旅客服务语音数据集,对改进的语音识别模型进行测评;结果表明:改进后的语音识别模型准确率达到92.09%,相较于一般的Conformer-Transducer模型,语音识别字错误率降低0.33%。鉴于铁路旅客服务涉及铁路出行条例、旅客常问问题等众多文本信息,在语音识别模型中融入语言模型与热词赋权2种文本处理机制,使其在铁路专有名词的识别上优于通用的语音识别算法;文章研究提出的语音识别模型已应用于旅客常问问题查询设备和车站智能服务机器人,有助于提高铁路旅客服务水平,改善铁路旅客出行体验,促进铁路旅客服务工作实现减员增效。

摘要： 从语音识别系统前端信号处理出发研究了语音信号特征的提取方法。对4种语音识别主流算法模型进行部署,构建了不同车载应用场景,并选择字错误率和实时率两种主流评价指标对算法模型进行了效果测试,开展了算法评价与分析,同时运用开源二维网格搜索法优化了百度DeepSpeech2模型,并对其进行硬件适配,使得模型识别精度、识别速率得到小幅度提升。此外,基于以上研究结果提出了合理的算法优化建议,为模型算法的稳健性研究提供理论参考。

摘要： 在大规模无监督语料上的BERT、XLNet等预训练语言模型,通常采用基于交叉熵损失函数的语言建模任务进行训练。模型的评价标准则采用困惑度或者模型在其他下游自然语言处理任务中的性能指标,存在损失函数和评测指标不匹配等问题。为解决这些问题,该文提出一种结合强化学习的对抗预训练语言模型RL-XLNet(Reinforcement Learning-XLNet)。RL-XLNet采用对抗训练方式训练一个生成器,基于上下文预测选定词,并训练一个判别器判断生成器预测的词是否正确。通过对抗网络生成器和判别器的相互促进作用,强化生成器对语义的理解,提高模型的学习能力。由于在文本生成过程中存在采样过程,导致最终的损失无法直接进行回传,故提出采用强化学习的方式对生成器进行训练。基于通用语言理解评估基准(GLUE Benchmark)和斯坦福问答任务(SQuAD 1.1)的实验,结果表明,与现有BERT、XLNet方法相比,RL-XLNet模型在多项任务中的性能上表现出较明显的优势:在GLUE的六个任务中排名第1,一个任务排名第2,一个任务排名第3。在SQuAD 1.1任务中F 1值排名第1。考虑到运算资源有限,基于小语料集的模型性能也达到了领域先进水平。

摘要： 为使题注生成模型生成流畅、连贯和信息丰富的特定信息题注,在Transformer架构的基础上提出了Transformer Chart to Text(TransChartText)模型。通过筛选各种科研论文和新闻文章网站,制作了基于图表的题注描述数据集,该数据集的英语题注描述涵盖了丰富的数据类别和逻辑推理。引入数据变量替换图表数据值,有效提高了模型生成题注的内容选择,促使模型生成了连贯的题注内容。为进一步增强模型学习词与词之间位置关系的能力并降低错误词序频率,模型分别对编码器和解码器引入空间位置嵌入编码和集束搜索算法。实验结果表明,TransChartText模型在内容选择(CS)、内容排序(CO)、ROUGE、BLEU指标上取得了更好的分数,生成了高质量的基于图表的英语题注。

摘要： 政策文本的量化研究近年来受到了政策研究学者的广泛关注,其研究结论以客观数据为依据,在很大程度上可以克服以往对政策定性分析的主观性和随机性。已有定量政策文本分析方法主要存在两方面的不足:一方面,对于政策文本的采集主要依靠手工收集,其数据规模较小;另一方面,在政策识别方面主要依靠人类经验,在小规模数据集上进行偏置归纳。针对以上问题,该文提出基于预训练语言模型的政策识别方法,从而克服以上问题,在较大规模的政策文本数据集上取得了较好的效果。

摘要： 近年来,预训练语言模型的出现给自然语言处理领域带来了一场变革,成为人工智能技术发展的前沿和热点。大规模预训练可以有效缓解传统技术在特征工程方面面临的压力。通过学习通用语言表示,模型具备了语言理解和生成能力,几乎在所有自然语言处理任务上都取得了突破。因此,各类基准测试任务的效果显著提高,这展示了大规模预训练广阔的应用前景。庞大的参数规模使得模型具备了更强的能力,同时也对模型的构建、训练和应用落地提出了挑战。

摘要： 基于大规模语料训练的语言模型,在文本生成任务上取得了突出性能表现。然而研究发现,这类语言模型在受到扰动时可能会产生攻击性的文本。这种不确定的攻击性给语言模型的研究和实际使用带来了困难,为了避免风险,研究人员不得不选择不公开论文的语言模型。因此,如何自动评价语言模型的攻击性成为一项亟待解决的问题。针对该问题,该文提出了一种语言模型攻击性的自动评估方法。它分为诱导和评估两个阶段。在诱导阶段,基于即插即用可控文本生成技术,利用训练好的文本分类模型提供的梯度方向更新语言模型的激活层参数,增加生成的文本具有攻击性的可能性。在评估阶段,利用训练好的文本分类模型的判别能力,估计诱导产生的攻击性文本的占比,用以评估语言模型的攻击性。实验评估了不同设置下的预训练模型的攻击性水平,结果表明该方法能够自动且有效地评估语言模型的攻击性,并进一步分析了语言模型的攻击性与模型参数规模、训练语料以及前置单词之间的关系。

摘要： 图像描述(Image captioning)是一个融合了计算机视觉和自然语言处理这两个领域的研究方向,本文为图像描述设计了一种新颖的显著性特征提取机制(Salient feature extraction mechanism,SFEM),能够在语言模型预测每一个单词之前快速地向语言模型提供最有价值的视觉特征来指导单词预测,有效解决了现有方法对视觉特征选择不准确以及时间性能不理想的问题.SFEM包含全局显著性特征提取器和即时显著性特征提取器这两个部分:全局显著性特征提取器能够从多个局部视觉向量中提取出显著性视觉特征,并整合这些特征到全局显著性视觉向量中;即时显著性特征提取器能够根据语言模型的需要,从全局显著性视觉向量中提取出预测每一个单词所需的显著性视觉特征.本文在MS COCO(Microsoft common objects in context)数据集上对SFEM进行了评估,实验结果表明SFEM能够显著提升基准模型(baseline)生成图像描述的准确性,并且SFEM在生成图像描述的准确性方面明显优于广泛使用的空间注意力模型,在时间性能上也大幅领先空间注意力模型.

摘要： 针对调度语音识别过程中单遍解码词图生成算法所生成词图精度较差的问题,研究基于语言模型的调度语音智能识别方法。构建由训练过程和识别过程组成的调度语音智能识别模型,训练过程中该模型提取语音数据的语音向量序列构建声学子模型,利用语言子模型训练文本数据构建语音词图,识别过程中对声学子模型、语音词图以及发音词典实施语音解码与搜索获取最优词序列,基于最优词序列完成调度语音智能识别。测试结果显示研究方法所生成的词图精度较高,可准确识别调度语音。

摘要： 语音识别使声音变得"可读",让计算机能够"听懂"人类的语言并做出反应,是人工智能实现人机交互的关键技术之一.本文介绍了语音识别的发展历程,阐述了语音识别的原理概念与基础框架,分析了语音识别领域的研究热点和难点,最后,对语音识别技术进行了总结并就其未来研究进行了展望.

摘要： 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向,它研究如何能让计算机去理解和使用人类的语言从而实现人机之间的信息交互,继而从大量的文本信息中提取出有效的信息.但自然语言处理领域仍然还处于起步阶段,其中文本数据的表示一直是机器学习领域的一个重要的研究方向.论文主要对传统文本表示的方法和基于深度学习的文本表示方法进行了阐述和分析,并且研究了最近十年语言模型的发展历程,最后对自然语言处理在文本表示中的应用难点进行展望.

摘要： 传统语言模型是基于正确的词序列历史预测下一个单词的概率.而将语言模型应用于语音识别过程中,一般要对多条可能的词序列进行得分估计,这些词序列历史中包含了各种由于语音识别产生的错误,从而导致传统语言模型的预测产生偏差.本文在基于神经网络的语言模型上,提出了一种引入预训练词嵌套的改进方法,并在得分重估任务上进行了实验.实验结果表明,本文提出的语言模型考虑了词序列历史中的错误特征,在一定程度上提升了语言模型在语音识别应用中的容错性.

摘要： 神经网络被广泛应用于智能语音、自然语言处理、图像识别等各个领域,并应用小批量梯度下降法对其进行训练.然而该训练方法对初始学习率非常敏感,如果无法通过大量实验得到较好的初始学习率,会严重影响训练结果.本文将探究在LSTM语言模型中自适应地调整学习率和加入自适应稳定算子的L2范数优化对训练结果、收敛速度、初始学习率的敏感程度上的影响.最后得出结论,在语言模型中加入学习率的自适应稳定算子会降低初始学习率的敏感度,加快收敛速度,加入L2范数能小幅度提升模型性能.

摘要： 针对特定的语言模型建模任务而言,领域相关的语料往往非常稀缺.针对此问题,本文提出了一种基于状态子空间共享的多任务学习模型,并将其应用于多个低资源的递归LSTM神经网络语言模型建模任务中.实概证明,相比于单任务建模方法,本文提出的方法使得语言模型的困惑度在全部任务上均有不同程度的下降.将本文提出的模型与传统的共享隐含层多任务学习模型融合后,在各个任务上,语言模型的困惑度进一步下降.此外,在语音识别任务中,本文提出的方法可以进一步降低识别错误率.

摘要： 双语语料不足,语法结构的特殊性使得蒙汉机器翻译在大范围、长距离的语序差异问题上没有足够的描述能力,不能有效的对语序问题进行预测.针对这一问题,提出一种基于循环神经网络(Recurrent Neural Network RNN)的蒙汉机器翻译语言模型,该模型利用RNN能够动态的对语言中长距离历史和递归结构学习抽象表示的结构特点,从语料库中快速构建高性能翻译候选集,利用当前词的历史信息来预测下一个词出现的概率,解决了传统n-gram语言模型无法利用语句中长距离上下文的问题,同时高维的历史信息能够映射到低维的连续空间,并针对蒙古语黏着语特性通过语义相似度来对词语聚类,将蒙汉双语语料库少而不能有效训练的问题最小化.实验表明,基于RNN的蒙汉机器翻译语言模型在鲁棒性和可扩展性方面明显优于传统n-gram模型.

摘要： 由于传统蒙古文字符编码及显示的特殊性,人工录入文本时,经常会出现拼写错误.针对传统蒙古文的拼写错误问题,本文提出了一种通用的基于层次语言模型的拼写检查方法.该方法使用字符级和词级两个层次的统计语言模型,分别检查非词错误和真词错误.使用本文方法,结合正字词典以及少量的正字法规则,利用SRILM开源工具包实现了一个简单的拼写检查系统,并对20000个蒙文词汇进行了测试.实验结果表明,使用本文方法可以有效地检查出传统蒙古文中的拼写错误,拼写检查的查准率可达91.93%.

摘要： 关系抽取任务是对句子中的实体对进行关系分类.远程监督用于关系抽取是用预先构建的知识库来对齐朴素文本,自动标注数据,在一定程度上减少了人工标注的成本,因而可以用在缺少训练语料的藏文领域.但是基于远程监督的实体关系抽取还存在错误标记,提取特征时出现噪声等问题.本文用远程监督方法进行藏文实体关系抽取,基于已经构建的藏文知识库,利用分段卷积神经网络结构,加入语言模型和注意力机制来改善语义歧义问题以及学习句子的信息;在训练过程中加入联合得分函数来动态修正错误标签问题.实验结果表明改进的模型有效提高了藏文实体关系的准确率,且优于基线模型效果.

摘要： 本文首先介绍了连续语音识别系统的基本组成及HTK工具箱的原理与应用,然后利用HTK工具箱搭建了一个连续语音识别系统,并在TIMIT—一个非特定人的大词汇量连续语音数据库上进行了实验.在实验的过程中,讨论了如何选择不同的语言模型,如何选择不同的声学模型进行建模,并且对模型的高斯混合度等参数进行了一系列的改进.通过实验,可知语言模型选择统计语言模型,声学单元选择三音素进行建模及模型的混合高斯度适当增加,都会提高连续语音识别的识别率.

摘要： 随着微博的快速发展,其在社交领域的地位也越来越重要.基于满足用户从海量微博中获取信息的需求,微博检索已经成为一个重要的研究课题.微博文本具有文本内容短、更新快、融合社交网络等特点,这些特点决定了微博检索不同于传统的Web检索.该文主要介绍了微博检索与传统文本检索的不同点及微博本身的多种特征,同时介绍了语言模型的构建的相关工作,主要包括几种主流的语言模型以及三种平滑技术,最后分别介绍了微博用户和微博消息的网络特性,微博文本的研究以及基于微博时间敏感性特征的微博检索的研究成果.

摘要： 本文针对术语生成方式和结构特点，提出了一种基于词部件扩展和神经网络相结合的术语抽取方法。利用语言模型抽取出可能的候选术语集，利用神经网络的词向量计算方法计算出每个词扩展部件的向量空间模型，利用余弦相似度判断各个词扩展部件间的内部关联强度，实现对候选词集的初步过滤，结合PageRank算法，来统计候选集中的领域代表性，借此对领域内的术语词汇完成精确提取。经过实验，也得到了相对较好的结果。但由于实验采集的数据集的限制，词扩展部件的向量计算和词领域代表性计算可能不精确，随着训练数据集的加大，实验得到的准确率和召回率可以进一步提升。

摘要： 本发明的语言模型生成装置具有：替换语句生成部，其使用由多个句子构成的学习用的例文中包含的语句的各词素、和词素的原始表述的近义词，来生成由词素的原始表述与词素的原始表述的近义词的组合和各词素的原始表述的近义词彼此间的组合构成的多个替换语句；以及语言模型生成部，其根据生成的多个替换语句和学习用的例文生成作为N元模型的语言模型，因此，能够获得即使是学习用的例文中不存在的单词链也会减少语音识别的误识别的语言模型。

摘要： 本公开提供一种预训练语言模型的训练方法、语言模型的训练方法及装置，包括：获取样本文本，根据样本文本执行预训练任务中的至少两种，得到预训练语言模型，其中，预训练任务包括：前向因果语言建模任务、反向因果语言建模任务以及掩码语言建模任务，前向因果语言建模任务为由样本文本中在前的词预测样本文本中在后的词的建模任务，反向因果语言建模任务为由样本文本中在后的词预测样本文本中在前的词的建模任务，掩码语言建模任务为由样本文本中非掩码位置的词预测样本文本中掩码位置的词的建模任务，可以实现从多个维度进行预训练，从而实现训练的多样性和灵活性，且可以使得从多个维度训练得到的预训练语言模型具有较高的准确性和可靠性。

摘要： 本说明书实施例提供一种语言模型的训练及分词预测方法和装置、语言模型，采用分词及其笔画集合来训练语言模型以及预测目标分词，由于提取出分词级以及笔画级的特征，特征粒度更小，因此，训练出的语言模型准确度较高，预测目标分词的准确性也越高。

摘要： 公开了一种利用语言模型预测词出现概率的方法和装置、语言模型训练方法和装置、存储介质以及电子设备。其中的利用语言模型预测词出现概率的方法包括：通过语言模型的输入层获取待预测数据中的各词的词向量；通过所述语言模型中的每一隐层对本隐层的与所述词向量对应的输入向量进行扩张卷积以及非线性变换，得到本隐层的输出向量；通过所述语言模型的输出层对与该输出层相邻的隐层的输出向量进行预测，得到所述待预测数据中的各词在相应历史词后的出现概率。本公开提供的上述技术方案有利于提高语言模型的预测效率和训练效率，并有利于提高语言模型预测结果的准确性，且使语言模型能够利用较长长度的历史词对目标词进行出现概率预测。

摘要： 本发明的语言模型生成装置具有：替换语句生成部，其使用由多个句子构成的学习用的例文中包含的语句的各词素、和词素的原始表述的近义词，来生成由词素的原始表述与词素的原始表述的近义词的组合和各词素的原始表述的近义词彼此间的组合构成的多个替换语句；以及语言模型生成部，其根据生成的多个替换语句和学习用的例文生成作为N元模型的语言模型，因此，能够获得即使是学习用的例文中不存在的单词链也会减少语音识别的误识别的语言模型。

摘要： 一种通过使用语言模型得分前瞻值来执行帧同步集束搜索的话音识别装置防止了正确答案假设的删减，同时抑制假设数目的增长。一种语言模型得分前瞻值赋值设备108被设置有定义词语音素串的词语词典203、赋值词语的出现容易度得分的语言模型202、以及平滑化语言模型得分前瞻值计算装置201。平滑化语言模型得分前瞻值计算装置201从由词语词典203定义的词语的音素串以及由语言模型202定义的语言模型得分获得词语中每个音素处的语言模型得分前瞻值，使得防止语言模型得分前瞻值集中在词语的开头。

摘要： 本发明提供一种为句子获得语言模型概率的方法和装置、构建语言模型的方法和装置以及基于语料库的机器翻译方法和系统。该为句子获得语言模型概率的方法，包括：通过对于句子中的各个单词，尝试将其与后面的单词组成通常被作为一个词使用的组合词，而确定与该句子的语言模型概率的计算有关的各个词及其概率；以及基于所确定的与该句子的语言模型概率的计算有关的各个词及其概率，获得该句子的语言模型概率。在本发明中，通过尝试将句子中的各个单词与其后面的单词组合，能够确保在语言模型概率的计算中复合词不被拆分，从而为句子获得准确的语言模型概率，准确地体现句子的质量。

摘要： 本发明提供一种为句子获得加权语言模型概率的方法和装置、构建加权语言模型的方法和装置以及基于语料库的机器翻译方法和系统。该为句子获得加权语言模型概率的方法，包括：对于句子中与语言模型概率的计算有关的各个单词组，利用该单词组的权重对该单词组的概率进行加权；以及根据上述与语言模型概率的计算有关的各个单词组的加权后的概率，为上述句子获得加权语言模型概率；其中，上述各个单词组的权重是根据句子的结构设定的、用于反映该单词组对于句子流利度的影响程度的权重。在本发明中，通过根据句子的结构，对句子中与语言模型概率的计算有关的各个单词组指派反映该单词组对于句子流利度的影响程度的权重，能够基于句子的结构更准确地体现句子的流利度。

摘要： 本申请公开了一种语言模型的预训练方法、语言文本的处理方法及装置，涉及自然语言处理领域。该方法在对初始模型进行预训练的过程中，能够通过知识探针对预训练后的初始模型的准确度进行检测，并能够在检测到准确度收敛时停止预训练，得到语言模型。由此，可以避免语言模型在预训练的过程中出现过拟合或者欠拟合的现象，确保预训练得到的语言模型的性能较好。并且，通过知识探针对初始模型进行检测，可以较为准确地确定出初始模型对训练样本集合中各个训练样本的学习情况，进而能准确地确定预训练的较佳停止点。

摘要： 公开了一种用于预训练语言模型的处理方法和口语语言理解系统。所述方法包括：获取对样本中的字进行掩码处理的掩码训练样本；将掩码训练样本输入所述预训练语言模型，获得所述预训练语言模型针对被掩码字输出的损失值；在所述预训练语言模型将被掩码字预测为所述被掩码字同音或近音字时，降低所述损失值；以及根据所述损失值，调整所述预训练语言模型中神经网络模型的参数。由此，通过在预训练期间在输入文本的某些部分被同音字或近音字替换时减少语言表示的波动来得到对自动语音识别错误具有鲁棒性的预训练模型，即，得到能够容忍自动语音识别模型错误的预训练模型。