短文本分类

摘要： 针对短文本没有足够的上下文信息、短文本语义比较模糊,导致短文本分类困难的问题,提出一种新的基于外部知识注意的中文短文本分类模型。通过将单词和字符特征与可训练矩阵相乘,生成具有两级对齐特征矩阵的方式捕捉深层语义信息以解决上下文信息不足等问题;并从外部知识库中检索知识以增强短文本的语义表示,同时引入面向短文本的概念注意和面向概念集的概念注意两种注意力机制。实验结果表明,通过添加对齐特征矩阵方式,同时使用外部知识库检索知识对数据进行训练,该模型准确率优于现有模型准确率。基于外部知识注意的中文短文本分类模型证明了引入对齐特征矩阵和外部知识注意的有效性。

摘要： 由于word2vec、Glove等静态词向量表示方法存在无法完整表示文本语义等问题,且当前主流神经网络模型在做文本分类问题时,其预测效果往往依赖于具体问题,场景适应性差,泛化能力弱。针对上述问题,提出一种多基模型框架(Stacking-Bert)的中文短文本分类方法。模型采用BERT预训练语言模型进行文本字向量表示,输出文本的深度特征信息向量,并利用TextCNN、DPCNN、TextRNN、TextRCNN等神经网络模型构建异质多基分类器,通过Stacking集成学习获取文本向量的不同特征信息表达,以提高模型的泛化能力,最后利用支持向量机(support vector machine,SVM)作为元分类器模型进行训练和预测。与word2vec-CNN、word2vec-BiLSTM、BERT-TexCNN、BERT-DPCNN、BERT-RNN、BERT-RCNN等文本分类算法在网络公开的三个中文数据集上进行对比实验,结果表明,Stacking-Bert集成学习模型的准确率、精确率、召回率和F_(1)均为最高,能有效提升中文短文本的分类性能。

摘要： 中文短文本具有长度短以及上下文依赖强的特点。目前主流的基于词向量的双向循环神经网络分类方法依赖于词向量语义表达以及上下文特征提取能力,其分类准确率有待进一步改善。针对此问题,论文提出融合语义增强的中文短文本分类方法,该方法提出融合语义增强的思想,在词向量表示阶段,引入Bert生成融合字、文本以及位置的向量作为训练文本的词表征进行文本语义增强,接着输送到Bi-GRU网络中提取上下文关系特征,并通过多头注意力机制调整权值强化重要特征表达,最后使用softmax分类器进行文本分类。通过与其他主流方法进行对比论证,实验表明,论文提出的方法在短文本分类效果上有显著提升。

摘要： 针对短文本缺乏足够共现信息所产生的词与词之间弱连接,且难以获取主题词的情况,导致面向短文本分类工作需要人工标注大量的训练样本,以及产生特征稀疏和维度爆炸的问题,提出了一种基于注意力机制和标签图的单词共生短文本分类模型(WGA-BERT)。首先利用预先训练好的BERT模型计算上下文感知的文本表示,并使用WNTM对每个单词的潜在单词组分布进行建模,以获取主题扩展特征向量;其次提出了一种标签图构造方法捕获主题词的结构和相关性;最后,提出了一种注意力机制建立主题词之间,以及主题词和文本之间的联系,解决了数据稀疏性和主题文本异构性的问题。实验结果表明,WGA-BERT模型对于新闻评论类的短文本分类,比传统的机器学习模型在分类精度上平均提高了3%。

摘要： 随着图神经网络技术在自然语言处理领域中的广泛应用,基于图神经网络的文本分类研究受到了越来越多的关注,文本构图是图神经网络应用到文本分类中的一项重要研究任务,已有方法在构图时通常不能有效捕获句子中远距离词语的依赖关系。短文本分类是待分类文本中普遍较短的一类特殊文本分类任务,传统的文本表示通常比较稀疏且缺乏丰富的语义信息。基于此,文中提出了一种融入远距离词语依赖关系进行构图的图卷积短文本分类方法。首先结合词语共现关系、文档和词语之间的包含关系、远距离词语依赖关系为整个文本语料库构建一个文本图;然后将文本图输入到图卷积神经网络,通过2层卷积后,对每个文档节点进行类别预测。在on_line_shopping_10_cats、中文论文摘要和酒店评论3个数据集上的实验结果表明,所提方法相比已有基线模型取得了更好的效果。

摘要： 针对短文本信息量少导致隐藏的信息难以充分挖掘和深度学习模型易受干扰导致分类准确度下降的问题,提出一种融合对抗训练自注意力多层双向长短期记忆网络(Con-Att-BiLSTMs)短文本分类模型。将文本训练集按不同比例进行分类对抗训练,通过对抗训练提升模型的健壮性;利用多层双向长短期记忆网络对语义进行提取,利用自注意力机制层对语义信息进行加权强化;经过softmax函数使损失率极小化。将该方法与其它模型方法比较,实验结果表明,该方法有效提高了短文本分类的准确度。

摘要： 在文本分类任务中,由于短文本具有特征稀疏,用词不规范等特点,传统的自然语言处理方法在短文本分类中具有局限性.针对短文本的特点,本文提出一种基于BERT(bidirectional encoder representations from Transformers)与GSDMM(collapsed Gibbs sampling algorithm for the Dirichlet multinomial mixture model)融合和聚类指导的短文本分类算法,用以提高短文本分类有效性与准确性.本算法一方面通过BERT与GSDMM融合模型将短文本转化为集成语义向量,集成的向量体现了全局语义特征与主题特征,解决了短文本特征稀疏与主题信息匮乏的问题.另一方面在分类器前端训练中通过引入聚类指导算法实现对标注数据的扩展,同时也提升了结果的可解释性.最后利用扩展后的标注数据集训练分类器完成对短文本的自动化分类.将电商平台的差评数据作为验证数据集,在多组对比实验中验证了本算法在短文本分类方面应用的有效性与优势.

摘要： 短文本分类是自然语言处理(NLP)中的重要研究问题,广泛应用于新闻分类、情感分析、评论分析等领域。针对短文本分类中存在的数据稀疏性问题,通过引入语料库的节点和边权值特征,基于图注意力网络(GAT),提出了一个融合节点和边权值特征的图注意力网络NE-GAT。首先,针对每个语料库构建异构图,利用引力模型(GM)评估单词节点的重要性,并通过节点间的点互信息(PMI)获得边权重;其次,为每个句子构建文本级别图,并将节点重要性和边权重融入节点更新过程。实验结果表明,所提模型在测试集上的平均准确率达到了75.48%,优于用于文本分类的图卷积网络(Text-GCN)、TL-GNN、Text-ING等模型;相较原始GAT,所提模型的平均准确率提升了2.32个百分点,验证了其有效性。

摘要： 短文本分类是自然语言处理中一项具有挑战性的任务。目前利用外部知识处理短文本稀疏性和歧义性的传统方法取得了较好的效果,基于RNN的方法在并行化方面表现不佳,导致效率较低。基于CNN的方法可以捕捉局部特征,但由于忽略上下文相关的特征以及一词多义等问题,准确率还有待提高。针对以上问题,提出基于CNN与TCN相结合,并加入权重优化与注意力机制的短文本分类模型。使用Probase作为外部知识来丰富语义表示,解决特征稀疏和语义不足的问题,通过BERT训练词向量,引入词性和词语权重对词向量优化,将优化的词向量作为输入层信息,经过CNN和TCN相结合的方法提取特征,最后结合注意力机制拼接向量,突显关键信息,获得文本特征表示。实验表明,与几种常用的基于CNN和RNN的短文本分类方法相比,该方法在短文本分类中更加准确高效。

摘要： 原始TextCNN深度神经网络模型在短文本分类过程中,首先将Embedding经过卷积后直接使用最大池化操作将词向量调整成1的长度,虽然保留了最显著的特征也会损失掉一部分信息。针对直接使用maxpool造成的信息丢失问题,首先利用全局注意力机制对词向量中的每个元素进行权重赋值,从而突出显著特征抑制无用特征。继而融合了平均池化和最大池化操作,使用MLP层进一步提取平均池化和最大池化产生的特征,提升特征的全局表示能力。最后通过两者相加,融合平均池化和最大池化产生的特征,并经过softsign激活后得到最终的词向量表示特征。所提出的方法在精确率、准确率、召回率、和F1值上均有所提升,其值分别是0.9145、0.9140、0.9129和0.9131,优于原始TextCNN、TextRNN、DPCNN,能在短文本分类中较好的识别。

摘要： 本文讨论了基于Word2vec和长短期记忆(LSTM)网络的维吾尔短文本分类技术.使用基于词-词素平行语料的稳健词素切分和词干提取方法,从噪声文本中提取词干后分别建立词和词干集合,并通过word2vec工具映射到实数向量空间.然后采用LSTM网络作为特征选择和文本分类算法进行维吾尔短文本分类实验.结果显示,在基于词干向量的分类实验中得到95.48％的分类准确度.从实验结果看,对于派生类语言而言,特别是对于带噪声的文本,基于词干的分类方法有更多优异性能.

摘要： 基于机器学习的文本分类技术能够自动对给定的文本分门别类,具有广泛的应用前景,因此得到了学者的广泛的关注.本文在基于论文标题和摘要的等数据基础上,采用不同的分类方法对学术论文的学科分类进行了深入的对比研究,旨在找出适合学术论文这一短文本分类问题的最佳分类方案组合和参数组合.此外,提出一种基于分类置信度的超短文本级联分类器,进一步提高分类精度,并采用实验验证了其有效性.

摘要： 本文提出了基于规则的个人便签短文本分类的方法，将个人便签分为日程、备忘、活动、目标、财务、联系人、收藏、健康等类型。首先将个人便签信息进行中文分词，通过已经建立的个人便签规则库对个人便签进行识别，对于不能识别的个人便签再通过对其时间的计算进行分类，最终将不能进行分类的个人便签归为其他类型。在基于规则的个人便签的短文本自动分类的实验中，微平均F值取得了75.64％。

摘要： 短文本具有特征非常稀疏和上下文依赖性强的特点，这为短文本分类带来了困难.为了综合考虑这两个问题，在隐含狄列克雷分配模型的基础上提出了一种短文本分类新方法，不但将共有词通过主题来区分上下文，而且将可区分词通过主题关联来减少稀疏性.采用K近邻分类方法对自动抓取的网易页面标题数据进行分类，并与已有的两种方法进行对比，实验表明所提出的方法取得了相对更好的分类效果.

摘要： 随着社交媒体的普及,短文本分类已经成为越来越重要的课题.短文本的简短和稀疏性,阻碍了常规机器学习和文本挖掘算法的应用.近年来,深度学习方法得到了研究界和业界的许多关注,因为这些方法能够自动学习给定任务的最佳特征表示,在自然语言处理的许多任务中有着最佳表现.目前应用于短文本分类的深度学习方法主要有基于卷积神经网络、循环神经网络、深层神经网络、多层神经网络融合及多种模型与其他传统方法相结合的建模方法.文中对以上方法进行了系统的分析和总结,给出了各类方法的基本思想和模型框架,最后提出了短文本分类方法未来可能的发展趋势.

摘要： 本发明公开了一种基于领域知识的文本分类系统及文本分类方法，用于信息技术领域，以解决传统文本分类方法不能较好的对短文本进行分类的缺点，并针对短文本描述概念信号比较弱，文本特征严重不足的特点，提出一种适用于像商品网页数据这样的短文本数据的分类方法及文本分类系统，本发明实施例对传统分类器加以改造，注入新的元素和致力于算法和数据的匹配应用，得到分类效果优异的商品分类器。其中新的元素包括：引入了领域词语的概念并将其注入到分类器中，有效的增加了短文本的信息量；其次，对短文本数据特别是网页商品数据做基于不同词项集的语义分析，并将语义分析的结果注入到分类器中，为商品数据信息注入了新的信息，从而提高文本分类的准确率。

摘要： 本申请提供一种文本分类模型的训练方法、文本分类方法、装置和设备，该方法包括：获取多条浏览器的历史弹窗内的文本信息；对每个文本信息进行分词处理，根据分词结果确定出每个文本信息对应的第一特征向量；对第一特征向量进行聚类，得到至少一个文本信息组；从每个文本信息组中，分别选出至少一条目标文本信息，并对每个目标文本信息添加类型标识，以形成至少一个文本信息模板；根据至少一个文本信息模板，对初始文本分类模型进行训练，得到文本分类模型。通过该方法，能够解决现有技术中无法对浏览器弹窗日志进行分析的问题，基于训练得到的文本分类模型对系统进行监测和分析，能够提高系统运维效率。

摘要： 本发明涉及一种短文本分类模型的生成方法、分类方法、装置及存储介质，包括：获取短文本训练集；获得每篇短文本的词集合；获得每个关键词的语义相关的词集合；计算每个关键词和语义相关的词集合中的每个词的相关度和相似度；获得每个关键词的语义扩展的词；将每个关键词的语义扩展的词添加到所述关键词所在的短文本的关键词集合内，获得每篇短文本的关键词扩展集合；根据每篇短文本的关键词扩展集合训练分类模型，获得短文本分类模型。通过关键词的语义相关的词集合，实现了对关键词的语义扩展；通过综合考虑相关度和相似度，获得每个关键词的扩展的语义词，减少了语义歧义，丰富了语义效果，实现了快捷准确地对短文本进行自动分类。

摘要： 本发明公开了一种基于贝叶斯分类的短文本分类方法，涉及智慧城市和电子政务领域，该方法包括有以下步骤：(1)数据预处理与类别标注；(2)完成短文本数据的分词和增量特征向量提取，主要分为以下两个核心步骤；(3)建立基于贝叶斯的短文本分类模型；(4)对已处理的数据集合划分为训练集和测试集，进行分类模型训练，并根据训练集的结果进行模型的优化；(5)根据已训练好的模型，输入未知类别的短文本数据，输出为当前输入文本属于每个类别的概率，选取概率最大的类别作为最终分类类别的结果，该种基于贝叶斯分类的短文本分类方法能够高效、智能、自动的对短文本内容进行有效的分类。

摘要： 本发明一种基于CHI和分类别关联规则算法的短文本分类方法，将不同类别文本的频繁词集出现频繁度进行了度量，引入了类别频繁因子（LFF），通过LFF合理分配了各文本类别的最小支持度阈值，克服了传统的FP‑Growth算法挖掘出的频繁词集类别出现偏斜的情况，同时在对频繁词集进行类别倾向判断上，采取了CHI检验算法去衡量特征词与类别之间的关联程度，而非采取简单的词语频率统计去衡量，避免了人工设参和实验确定最佳参数的步骤，增强了分类系统的可控制性。同时还提出了基于Hadoop/MapReduce大数据计算平台的并行特征扩展短文本分类算法，对类别频繁因子的计算和特征扩展方法进行了MapReduce并行化设计，提升了短文本分类准确率以及分类效率，提高了系统的可控性。

摘要： 本发明公开了一种基于文本哈希向量化表示的海量极短文本分类方法，其步骤包括：1数据集向量化的前期分词预处理；2模型设计和实现；3应用Signed Hash Trick算法映射得到的包含文本词频特征的稀疏矩阵；4特征提取完后，用随机森林分类模型在训练集上训练分类器；5用训练集上的分类器在测试集上做分类预测；6完成在测试集上的分类，得到最终文本分类的准确度。本发明解决现有极短文本分类中存在的分类精度低、分类时间过长的问题，从而能提高极短文本的分类效果，并降低硬件的内存消耗，具有较高的鲁棒性和实用性。

摘要： 本发明涉及一种短文本分类模型的生成方法、分类方法、装置及存储介质，包括：获取短文本训练集；获得每篇短文本的词集合；获得每个关键词的语义相关的词集合；计算每个关键词和语义相关的词集合中的每个词的相关度和相似度；获得每个关键词的语义扩展的词；将每个关键词的语义扩展的词添加到所述关键词所在的短文本的关键词集合内，获得每篇短文本的关键词扩展集合；根据每篇短文本的关键词扩展集合训练分类模型，获得短文本分类模型。通过关键词的语义相关的词集合，实现了对关键词的语义扩展；通过综合考虑相关度和相似度，获得每个关键词的扩展的语义词，减少了语义歧义，丰富了语义效果，实现了快捷准确地对短文本进行自动分类。

摘要： 本发明公开了一种基于贝叶斯分类的短文本分类方法，涉及智慧城市和电子政务领域，该方法包括有以下步骤：(1)数据预处理与类别标注；(2)完成短文本数据的分词和增量特征向量提取，主要分为以下两个核心步骤；(3)建立基于贝叶斯的短文本分类模型；(4)对已处理的数据集合划分为训练集和测试集，进行分类模型训练，并根据训练集的结果进行模型的优化；(5)根据已训练好的模型，输入未知类别的短文本数据，输出为当前输入文本属于每个类别的概率，选取概率最大的类别作为最终分类类别的结果，该种基于贝叶斯分类的短文本分类方法能够高效、智能、自动的对短文本内容进行有效的分类。

摘要： 本发明一种基于CHI和分类别关联规则算法的短文本分类方法，将不同类别文本的频繁词集出现频繁度进行了度量，引入了类别频繁因子（LFF），通过LFF合理分配了各文本类别的最小支持度阈值，克服了传统的FP‑Growth算法挖掘出的频繁词集类别出现偏斜的情况，同时在对频繁词集进行类别倾向判断上，采取了CHI检验算法去衡量特征词与类别之间的关联程度，而非采取简单的词语频率统计去衡量，避免了人工设参和实验确定最佳参数的步骤，增强了分类系统的可控制性。同时还提出了基于Hadoop/MapReduce大数据计算平台的并行特征扩展短文本分类算法，对类别频繁因子的计算和特征扩展方法进行了MapReduce并行化设计，提升了短文本分类准确率以及分类效率，提高了系统的可控性。

摘要： 本发明涉及一种基于词矢量的短文本分类模型生成方法，包括：采集数据，并对所采集的数据进行领域标注，将这些已标注的数据作为训练数据；对训练数据做预处理；查询词矢量词典，将训练数据中所包含的文本数据转化为向量数据，并且将所述向量数据按照领域进行分隔；对每一个领域内的向量数据采用高斯模型进行模型训练，得到高斯模型参数的最优值，从而得到该领域所对应的高斯模型；所有训练数据的各个领域所对应的高斯模型组成分类模型。