文本表示

摘要： 针对传统文本表示方法无法准确表达文本信息、稀疏维度高等问题,提出基于特征权重的词向量文本表示模型。通过Glove模型获得词向量,然后分别与TF-IDF、N-Gram模型相结合,分析考虑了文本的全局信息,解决了传统表示方法中稀疏维度高的问题,更好地捕捉了文本的语义和语序等局部信息,提高了文本特征表达能力。最后,通过20NewsGroup和5AbstractsGroup测试,分类准确率分别为85.93%、87.02%,验证了文本表示模型的有效性。

摘要： 随着大数据技术的快速发展,多标签文本分类在司法领域也催生出诸多应用.在法律文本中通常存在多个要素标签,标签之间往往具有相互依赖性或相关性,准确识别这些标签需要多标签分类方法的支持.因此,文中提出融合标签关系的法律文本多标签分类方法.方法构建标签的共现矩阵,利用图卷积网络捕捉标签之间的依赖关系,并结合标签注意力机制,计算法律文本和标签每个词的相关程度,得到特定标签的法律文本语义表示.最后,融合标签图构建的依赖关系和特定标签的法律文本语义表示,对文本进行综合表示,实现文本的多标签分类.在法律数据集上的实验表明,文中方法获得较好的分类精度和稳定性.

摘要： 现实世界的大量应用,比如文档归类、网页分类、专利分类等,其类别信息(标签)是一个具有层次关系的体系,对它们进行自动分类涉及到在此层次标签体系中选择多个正确的标签,因此形成了一类层次多标签文本分类问题.如何学习和利用这些不同层级的关系、并对分类结果从层级关系遵循性的角度进行评价成为层次多标签分类问题的难点和挑战.本文对层次多标签文本分类的研究现状进行了系统化的总结.目前的方法从是否使用层次结构可以分为平面方法和层次方法,而层次方法又可以分为局部方法、全局方法和混合方法.这些方法包含了使用不同技术的多种模型.文中还分析了层次多标签文本分类任务的挑战和难点,并对本领域未来的研究方向进行了展望.

摘要： 针对Spark平台下文本分类中文本表示方法不够完善,导致分类准确率低的问题,结合SparkML下的TF-IDF算法和Word2vec模型,提出一种基于SparkML的加权词向量文本表示方法。首先对文本进行分词,去停用词等预处理,基于SparkML计算出每个词语的词频和逆文档频率,同时计算词语的词向量。使用词语的TF-IDF值作为词向量的权重,将文本表示为加权词向量,再使用SVM分类器进行分类。在THUNews数据集上进行实验。实验结果表明,该方法相比于传统的TF-IDF算法、平均Word2Vec词向量文本表示,可以提升分类的精度。

摘要： 法院系统中主要有人工指定分案和简单随机分案两种模式。这两种模式无法做到人案的自动匹配,存在金钱案、关系案等弊端。目前分案方法的相关研究主要存在法官表示和案件匹配两个难点。结合法官历史审判数据,在法官表示中融合法官擅长的审判领域,提出一种融合审判质量的法官表示方法。然后,通过卷积神经网络学习案件表示和法官表示中不同粒度的抽象语义特征向量,计算案件和多个法官的特征向量间的余弦相似度,用向量相似度表示案件与法官的匹配度,输出匹配值较高的前N个法官作为案件的推荐法官。在贵州省某法院真实数据下进行实验,结果表明该方法推荐法官的正确率比传统方法高80%。

摘要： 自然语言处理是人工智能的核心技术,文本表示是自然语言处理的基础性和必要性工作,影响甚至决定着自然语言处理系统的质量和性能.探讨了文本表示的基本原理、自然语言的形式化、语言模型以及文本表示的内涵和外延.宏观上分析了文本表示的技术分类,对主流技术和方法,包括基于向量空间、基于主题模型、基于图、基于神经网络、基于表示学习的文本表示,进行了分析、归纳和总结,对基于事件、基于语义和基于知识的文本表示也进行了介绍.对文本表示技术的发展趋势和方向进行了预测和进一步讨论.以神经网络为基础的深度学习以及表示学习在文本表示中将发挥重要作用,预训练加调优的策略将逐渐成为主流,文本表示需要具体问题具体分析,技术和应用融合是推动力.

摘要： 针对文本聚类时文本特征维度高,忽略文档词排列顺序和语义等问题,提出了一种基于句向量(Doc2vec)和卷积神经网络(convolutional neural networks,CNN)的文本特征提取方法用于文本聚类。首先利用Doc2vec模型把训练数据集中的文本转换成句向量,充分考虑文档词排列顺序和语义;然后利用CNN提取文本的深层语义特征,解决特征维度高的问题,得到能够用于聚类的文本特征向量;最后使用k-means算法进行聚类。实验结果表明,在爬取的搜狗新闻数据上,该文本聚类模型的准确率达到了0.776,F值指标达到了0.780,相比其他文本聚类模型均有所提高。

摘要： 文本表示需要解决文本词语的歧义性问题,并能够准确界定词语在特定上下文语境中的语义特征。针对词语的多义性及语境特征问题,提出了一种文本语义消歧的SCDVAB模型。其基于分区平均技术,将场景语料库转换为文档嵌入,并引入各向异性,改进了软聚类的稀疏复合文档向量(SCDV)算法,以提高BERT的语境化表示能力;将调整各向异性后的BERT词语嵌入,作为静态词语向量的文档嵌入,以提升文本语义消歧的能力。通过大量实验进一步证明,SCDVAB模型的效果明显优于传统的文本消歧算法,可有效提高文本语义消歧的综合性能。

摘要： 为了提高文本分类的准确率并解决文本图卷积神经网络对节点特征利用不足的问题,提出了一种新的文本分类模型,其内在融合了文本图卷积和Stacking集成学习方法的优点。该模型首先通过文本图卷积神经网络学习文档和词的全局表达以及文档的语法结构信息,再通过集成学习对文本图卷积提取的特征进行二次学习,以弥补文本图卷积节点特征利用不足的问题,提升单标签文本分类的准确率以及整个模型泛化能力。为了降低集成学习的时间消耗,移除了集成学习中的k折交叉验证机制,融合算法实现了文本图卷积和Stacking集成学习方法的关联。在R8、R52、MR、Ohsumed、20NG等数据集上的分类效果相对于传统的分类模型分别提升了1.5%、2.5%、11%、12%、7%以上,该方法在同领域的分类算法比较中表现优异。

摘要： 随着网络和各类社交媒体的盛行,越来越多的文本信息通过互联网呈现在人们面前。对于海量的文本数据,自然语言处理技术变得越来越实用,新闻文本分类便是其中一项重要的任务,其对制定新闻检索策略、新闻推荐、社会舆情监控等具有积极作用。文章通过分析文本表示模型与分类模型的研究现状,提出一种基于加权Word2Vec和TextCNN的新闻文本分类方法,在新闻文本多分类数据上进行实验。从实验结果上来看,在文本表示模型中,该文方法比TF-IDF模型、Word2Vec模型以及随机词嵌入模型在精确率、召回率和F1值上均有提高;在文本分类模型中,文章使用的TextCNN模型要比传统的机器学习模型以及循环神经网络模型在分类效果以及模型性能方面表现更出色。

摘要： 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向,它研究如何能让计算机去理解和使用人类的语言从而实现人机之间的信息交互,继而从大量的文本信息中提取出有效的信息.但自然语言处理领域仍然还处于起步阶段,其中文本数据的表示一直是机器学习领域的一个重要的研究方向.论文主要对传统文本表示的方法和基于深度学习的文本表示方法进行了阐述和分析,并且研究了最近十年语言模型的发展历程,最后对自然语言处理在文本表示中的应用难点进行展望.

摘要： 本文通过可比语料聚类实验以比较三种不同的文本表示方法,分别是空间向量模型(VSM),潜在语义索引(LSI),深度学习(DL).将可比语料中的源语言文本翻译为目标语言文本,然后和可比语料中的目标语言文本归为一个文本集合中.分别利用VSM,LSI和DL,三种方法来表示文本并进行聚类.实验结果显示:根据聚类得到测评数据中净相似度与可识别的类簇数量,用深度学习表示文本的方法比其他的几种表示方法聚类效果要好.三种方法的实验数据表明,新文本集合为英语的语料比新文本集合为汉语的聚类效果要好.基于LSI文本表示的方法随着文本表示维度的增加,识别出的类簇数量会逐渐减小并最终趋于稳定.

摘要： 传统的基于"词袋"的文本表示方法假定词的权重只和它本身的出现频率有关,而忽略上下文信息.本文提出了一种基于上下文的图模型文本表示方法,使用一种类似PageRank的图模型来建立词和词之间的相互推荐关系,该方法克服了传统文本表示认为词和词之间相互独立,忽略词的上下文环境的缺陷.在复旦中文文本分类和20newsgroup英文文本分类的语料库上的实验表明,我们的方法可以有效地提升文本分类的性能.

摘要： 文本表示是NLP与IR相融合的关键技术之一，通过在文本表示中引入NLP技术可以减小查询与文档集之间的匹配空间；目前文本表示方法中使用的要么是局部信息，要么是全局信息，这两者的结合有可能使一些深层次的NLP技术引入IR；随着计算机硬件性能的不断提高，新的IR模型将会出现，从文本表示来看，现有的SVM IR，LM IR模型将有可能被以LDA Model为代表的图模型所取代。本文现对NLP与IR；文本表示；IR模型；文本表示下的融合方案做一介绍。

摘要： 为了能在海量的文本中及时准确地获取有效的知识和信息,本文对多类别分类方法进行了研究,设计并实现了一个中文文本分类器.该分类器主要包括预处理模块、特征处理模块、文本表示模块和分类器模块.重点研究了特征提取部分和文本表示部分.分类器包括训练过程和测试过程.在训练过程中,采用了计算机、艺术、教育、交通、环境、经济、医药、军事、政治、体育等10个类别的近千篇文本进行训练,为了测试分类器的性能,选用了不同类别的上百篇文本进行测试,实验结果表明该分类器的分类准确率在90％左右,分类效果较为理想.

摘要： 本文提出了基于维基百科类别体系的文本特征表示方法，该方法将文本中的词映射到维基百科的类别体系中，使用类别作为特征来对文本进行表示。基于维基类别的文本特征表示方法可以增强文本特征表示能力，降低文本特征空间维数。针对维基百科条目在语料中覆盖度不足的问题，本文提出了一种基于全局信息自学习维基百科类别的方法。本文构造基于维基百科类别为文本表示的分类系统，实验结果证明，基于维基百科类别作为文本表示特征，相对于词袋模型，具有明显的降维效果，在特征数为700个时，分类的F1值提高了5.14％。

摘要： 由于语言模型的复杂性，现阶段无法构造出该模型的明确形式，而非线性时间序列分析方法可以通过隐含系统长期演化的任一单变量时间序列来研究系统的非线性行为，获得系统的运动特征。本文将文本表示为由确切的概念组成的有序序列，尝试将非线性时间序列分析的方法对文本内容进行分析处理，计算其非线性特征，并对语言模型的规律特征进行分析。

摘要： 本文在理论分析的基础上,并通过基准实验验证,提出一种多向量表示模型,该模型在尽量不丢失新闻报道信息的情况下,对特征集合尽可能细的划分,在模型比较时采用支持向量机对多个向量相似度进行整合.并在此基础上实现了话题发现与追踪中的话题关联识别系统。试验表明相对于基准系统,该系统的检测代价有明显降低,很大的提高了系统性能。

摘要： 文本表示是文本信息处理的基础问题，目前常用的文本表示模型没有考虑文本中词汇间的关系,在表示文本时损失了大量的文本结构信息,而这些文本结构信息对于理解文本是至关重要的。本文提出了用词汇网络来表示文本,保留了文本结构,并根据词汇间关系的不同层次,依次介绍了共现网络-语法网络-语义网络。将文本网络表示方法应用在文本分类中,检验了模型的表示能力。实验结果表明，文本网络表示方法要优于向量空间模型。

摘要： 在分析了文本中重要事件识别和文本分类方法的基础之上,提出了一种基于重要事件的文本分类方法。重点研究了该方法涉及到的两个关键技术：以重要事件表示文本和获取文本类别的模板。在中文事件语料CEC上,使用本文介绍的文本分类方法得到的平均准确率达到80%，而使用传统的以词为特征的文本分类方法得到的平均准确率为72%。

摘要： 本发明公开了一种基于文本和用户表示学习的文本立场检测方法，从社交媒体平台上获取文本数据集，生成用户社交关系图并获取对应的拉普拉斯矩阵，并确定每个文本的立场标签向量，采用预训练的BERT模型获取每个文本的文本向量，构建并训练立场检测模型，当需要对用户文本进行立场检测时，生成用户社交关系图并获取对应的拉普拉斯矩阵，将文本向量输入立场检测模型得到立场检测结果。本发明分别获取文本和用户两个模态特征并进行跨模态融合，从而实现准确的文本立场检测。

摘要： 本发明公开了一种基于文本和用户表示学习的文本立场检测方法，从社交媒体平台上获取文本数据集，生成用户社交关系图并获取对应的拉普拉斯矩阵，并确定每个文本的立场标签向量，采用预训练的BERT模型获取每个文本的文本向量，构建并训练立场检测模型，当需要对用户文本进行立场检测时，生成用户社交关系图并获取对应的拉普拉斯矩阵，将文本向量输入立场检测模型得到立场检测结果。本发明分别获取文本和用户两个模态特征并进行跨模态融合，从而实现准确的文本立场检测。

摘要： 本发明公开了一种基于文本哈希向量化表示的海量极短文本分类方法，其步骤包括：1数据集向量化的前期分词预处理；2模型设计和实现；3应用Signed Hash Trick算法映射得到的包含文本词频特征的稀疏矩阵；4特征提取完后，用随机森林分类模型在训练集上训练分类器；5用训练集上的分类器在测试集上做分类预测；6完成在测试集上的分类，得到最终文本分类的准确度。本发明解决现有极短文本分类中存在的分类精度低、分类时间过长的问题，从而能提高极短文本的分类效果，并降低硬件的内存消耗，具有较高的鲁棒性和实用性。

摘要： 本发明为一种增强文本特征表示的短文本主题挖掘方法，提供一种在短文本进行高效主题建模的方法，属于数据挖掘中的文本挖掘领域。本发明首先将模式挖掘算法引入到文本的特征空间构建中，使用频繁模式挖掘算法在真个语料库级别上挖掘能表征文本特征的频繁模式，然后提出一种基于模式集合的特征表示方法(PSTR)。该表示法克服了基于词袋假设的一元表示的语义间隔问题，以及在短文本的主题挖掘中该表示方法会遭遇的共现模式不足问题。基于在新的模式空间中的表示，提出一种主题同一性指定的建模方法(PSTR‑LDA)，在同主题推论阶段中，表示文本特征的模式中的构成词会共享同一个主题指定，该假设更加真实的反应了表示文本的模式间的主题。实施例的结果表明本发明比起其模型，能挖掘更加一致和解释性更好的主题。

摘要： 本发明公开一种科技项目文本语义抽取与表示分析方法，包括：步骤S1，根据结构化表示的语义，输出与输入语义一致的自然语言文本；步骤S2，对所述自然语言文本采用分词算法将连续的字序列重新组合成词序列，形成待处理文本；步骤S3，分析待处理文本中句子各个语言单位之间的语义关联，并将语义关联以依存结构呈现；步骤S4，利用有监督或无监督的机器学习方法对语料进行训练，获得一个分类模型，用于对未知类别的文档进行分类，得到预先定义好的一个或多个类别标签。本发明使科技项目立项评审工作更加高效、智能。

摘要： 本发明提供了一种文本向量表示方法、装置及电子设备，涉及数据处理技术领域，在对待处理文本进行文本向量表示时，先获取待处理文本中的多个词语；然后根据预先建立的词汇的嵌入向量表示矩阵，获取每个词语对应的嵌入向量；再根据预先获得的知识图谱和基于知识图谱建立的实体表示信息，获取每个词语对应的先验知识向量；进而根据各个词语对应的嵌入向量和先验知识向量，确定待处理文本对应的文本向量表示。这样通过引入根据知识图谱和实体表示信息得到的先验知识向量，增加了文本向量表示的语义信息和常识信息，从而扩展了文本向量的特征空间，降低了语言噪声的影响。

摘要： 一种用于处理用中文表示的非结构化医学文本的方法，该方法包括：使用基于注意力的命名实体识别(NER)模型来识别用中文表示的非结构化医学文本中的医学实体；使用多维实体理解框架对所识别的医学实体进行结构化；使用医学知识图对结构化的医学实体进行归一化；以及输出归一化的医学实体。

摘要： 本公开涉及一种文本表示方法、词表示方法、相应装置、介质及设备，该文本表示方法包括：获取文本并对文本进行分词，获得词序列；生成文本的文本向量，并对文本向量进行至少一轮迭代，每轮迭代包含多次子迭代；在每轮迭代的第i次子迭代中，基于长度为k的滑动窗口，在将词序列上的上一次子迭代的滑动窗口向后滑动后，将当前滑动窗口中的k个词的真实词向量以及上一次子迭代优化后的文本向量进行加权组合，将加权组合后的向量作为当前滑动窗口外的下一个词的预测词向量；根据下一个词的预测词向量和真实词向量，优化文本向量；在完成该至少一轮迭代后，得到用于表示文本的最终文本向量。本公开能够准确得到文本的向量表示。

摘要： 本申请公开了一种文本表示方法。该文本表示方法包括获取待识别文本；将待识别文本输入至少一个自然语言处理模型，得到文本特征；将待识别文本输入特征提取模型，得到非文本特征；基于文本特征和非文本特征得到文本表示结果。本申请还提出了一种文本分类方法、一种文本表示装置、一种计算机可读存储介质以及一种电子设备。本申请解决了之前文本表示过程中深度学习和特征工程无法很好进行融合的技术问题。

摘要： 本发明涉及一种基于多词的文本表示策略的文本分类方法，包括以下步骤：选取公开文本分类数据集并进行处理；对数据集中的文本进行多词提取，储存到语料库；用不同的文本表示策略对多词处理，形成文本完整的特征集，最后评估多词在不同策略中表征的有效性。本发明利用正则表达式匹配以提取多词和提取重复模式的技术，减少了文本分类的计算量。