文本相似度

摘要： 为了提高备品备件管理的效率,将文本相似度算法如余弦相似度、TF-IDF相似度算法应用于备品备件管理中,通过将文本映射成空间向量后对向量进行运算,将文字比较转换为数值比较,实现了相似备件识别、同类型备件分类以及备件检索功能,为备品备件管理提供了新思路。

摘要： 【目的】整合多种教学资源,并在此场景下设计和实现一种高效准确的搜索策略,帮助用户获取丰富的教学内容。【应用背景】教学资源类型众多,数量庞大,用户对于准确检索的需求日益增长,仅基于ElasticSearch进行搜索的效果不尽人意。【方法】在对用户输入的Query进行预处理和分词后,通过ER-BERT语义相似度模型在Query库中匹配出n条近似结果,将其输入到ElasticSearch并构建相关度计算公式,最后按照综合评估的最终得分将匹配结果进行排序。【结果】利用知识图谱技术整合复杂的教学资源,并在此基础上实现了一种基于ElasticSearch和语义相似度匹配的教学资源搜索策略,在保证检索速度的同时可以根据用户检索Query的语义信息进行检索。【结论】实验结果表明使用该教学资源搜索策略增加了检索结果的数量,并在保证检索速度的同时提升了结果的准确性,显著改善了用户的搜索体验。

摘要： 目前,应急桌面演练系统已经有很多设计方案,但着力解决人工评估效率偏低、主观性较强等局限的方案较少。为此,提出一种基于自然语言处理的应急桌面演练系统设计,在构建有向无环图演练方案基础上,计算参演人员提出措施和标准措施的文本相似度,为过程评估和分支推理提供依据。

摘要： 为了能够更好的帮助求职者选择合适的岗位信息,提出了基于文本相似度的简历匹配推荐算法。通过对简历和岗位信息进行特征提取及特征处理,将数据文本划分为两类。在结构化文本中,利用偏好权重因子α消除求职者与企业之间由于不同因素带来的相似度计算偏差。对于非结构化文本,利用机器学习模型doc2vec训练,并计算两者之间的相似度,提出修正参数χ来解决doc2vec缺乏考虑段落长度差异性的问题。实验结果表明,上述方法具有更高的准确率、召回率以及F1值。

摘要： 针对中文主观题自动评分准确率低的问题,提出一种基于doc2vec算法的主观题自动评分方法。利用doc2vec算法计算出参考答案文本和考生答案文本的文本向量,计算出两文本向量之间的相似度,然后根据相似度计算考生得分。将主观题试题作为实验数据集,用doc2vec算法进行评分,并采用方差及偏差率作为衡量标准,对基于doc2vec算法的评分结果进行验证,并与基于TextRank算法的主观题自动评分结果及人工评分进行对比,实验表明基于doc2vec算法的评分结果的方差及偏差率都较小,稳定性较好,为后期研究主观题评分有一定的参考意义。

摘要： 将textrank、word2vec和MMR3种语言模型用于基于文本相似度的新闻自动摘要提取。实验结果表明textrank算法得到的摘要语句可读性较差,理解困难;在textrank算法基础上增加word2vec模型后对整篇新闻的概括度较高,但却不能很好地解决信息冗余和效率低的问题;MMR可以有效去除信息冗余,体现语义的多样性。

摘要： 利用人民银行《货币政策执行报告》文本分析数据,本研究从银行贷款损失准备计提的角度讨论了商业银行能否反应中央银行的货币政策立场变化。结果发现,银行贷款损失准备计提与报告中的货币政策立场宽松程度显著正相关。在宽松货币政策立场时,随着政策文本相似度上升,银行贷款损失准备计提的幅度会进一步上升。此外,报告中与货币相关的内容更受银行关注。这些结果表明商业银行能较好地反应央行沟通传递出的政策信号。本研究从文本分析的角度,为中国央行沟通预期管理效应的理论和实践提供了新的证据和思路。

摘要： 随着互联网时代的到来,移动视频市场迅速发展,相关媒体技术应运而生,从而出现了弹幕这种新兴的视频评论方式,并在许多在线视频网站得到应用。弹幕是典型的短文本,能够允许用户在观看视频时实时评论视频内容和表达自身情感,具有刺激用户互动、帮助后续观看者理解视频的功能。弹幕评论和传统视频评论共同覆盖了用户观看视频前后的全过程情感,对二者进行情感分析可以对视频内容质量进行相对全面的预估,能够弥补视频网站缺乏用户对视频评分的空缺。因此,本文提出一种基于双层情感分析的视频推荐算法,首先借助隐含狄利克雷分布(Latent Dirichlet Allocation,LDA)主题模型筛选用户偏好的视频主题,其次通过对视频评论进行情感极性分析来对视频打分,最后利用视频弹幕计算待推荐视频与用户历史视频的情感相似度,生成视频推荐列表。实验表明,该方法能够充分利用弹幕和评论的情感信息,提升了视频推荐的准确率。

摘要： 本文基于默认效应和信号理论,借助文本挖掘技术,从2009—2018年中国A股上市公司年报中提取管理层讨论与分析(MD&A)文本,构建企业年报MD&A纵向文本相似度指标,并研究纵向文本相似度是否有助于预测股票超额收益率。研究结果表明,企业年报MD&A同上一年的相似度与年报公布后的股票超额收益率显著正相关,即企业年报MD&A的纵向相似度越高,股票未来的超额收益率越高。进一步分析表明,在外界关注度高、信息披露质量高的上市公司,文本相似度与股票超额收益率之间的正向关系会减弱。本文的研究丰富了默认效应和信号理论在行为金融学领域的应用,为政府部门进行信息披露监管以及投资者进行风险投资评估提供了有益借鉴。

摘要： 在数据对标等实际业务中,需要从大量数据表中找出相似的数据表,这时需要有经验的人工进行筛选,费时费力。基于能够自动化识别并推荐相似数据表的目的,采用了多种文本相似度算法自动识别并推荐相似表及表中相似字段的思路,从数据表名和数据项两方面综合考虑,对于中英文字段分别处理,并引入核心字段来推荐相似表中的相似字段项。通过与专家预设结果的比较,推荐准确率达到81%以上。

摘要： 文本相似度的计算作为其它文本信息处理的基础和关键，其计算准确率和效率直接影响其它文本信息处理的结果。本文提出改进的DF算法和TD-IDF算法，一方面利用了DF算法具有线性的时间复杂度，比较适合大规模文本处理的特点，另一方面弥补了其对在某一篇文章中大量出现，而在整个训练集中出现较少且对分类有用的信息的错误过滤的不足。此外，还利用特征项在特征选择阶段的权重对TD-IDF方法进行了改进，消除了训练集与文档集分离的状态，提高了相似度计算的精确度。

摘要： 作文跑题检测任务的核心问题是文本相似度计算.传统的文本相似度计算方法一般基于向量空间模型,即把文本表示成高维向量,再计算文本之间的相似度.这种方法只考虑文本中出现的词项(词袋模型),而没有利用词项的语义信息.本文提出一种新的文本相似度计算方法:基于词扩展的文本相似度计算方法,将词袋模型(Bag-of-Words)方法与词的分布式表示相结合,在词的分布式表示向量空间中寻找与文本出现的词项语义上相似的词加入到文本表示中,实现文本中单词的扩展.然后对扩展后的文本计算相似度.本文将这种方法运用到英文作文的跑题检测中,构建一套跑题检测系统,并在一个真实数据中进行测试.实验结果表明本文的跑题检测系统能有效识别跑题作文,性能明显高于基准系统.

摘要： 从文献计量学角度对相关文献检索进行分类,分析其在具体实现过程中涉及到的关键技术,重点阐述了PubMed和CBM相关文献检索的文本相似度计算方法、主要研究历程及最新研究进展,在对相关文献检索的评价方法和评价指标进行概述的基础上,从正反两方面对其效用进行分析,最后简要论述了未来的发展方向。

摘要： 如何从网络上获取真正需要的信息是企业信息服务所面临的一个重要问题.通过信息过滤技术,可以获取企业需要的信息.为了提高企业信息过滤的准确性,文章给出了文本相似度的混合算法,减轻了干扰特征项对分类结果的影响,并在此基础上提出了多层次过滤模糊聚类方法,主要解决处于聚类边缘点信息的分类模糊性问题.rn 仿真结果显示采用多层次过滤模糊聚类方法提高了文本信息过滤效果.

摘要： 仿生模式识别是一种不同于传统模式识别的理论方法，其理论基点是特征空间中同源样本的连续性原理，并通过对同类样本在高维空间中的最佳覆盖来达到认识和区分样本的目的。本文对仿生模式识别算法进行了深入的研究与学习，将仿生模式识别的思想应用在文本分类当中，并在此基础上提出了基于文本相似度的神经元生成算法。该算法的基本思想是从训练集当中选择最相似的样本，使用这样的样本来生成多权值神经元，进而构成多权值神经元网络。本文在基于仿生模式识别的文本分类系统中，实现了基于文本相似度的神经元生成算法。实验表明，基于文本相似度的神经元生成算法在文本分类当中取得了较好的性能，而且要优于传统的中心法、近邻法、Winnow法以及贝叶斯等文本分类算法。

摘要： 译者可用译入语建设的单语种专门语料库，比如合同英语语料库，辅助进行其翻译工作。但在翻译合同条文时，译者更想参考的应当是与汉语合同条文的理想译文相同或最相似的合同英语语料库中的条文。这时，仅依据关键词检索等手段远不能达此目的。我们可以利用相关计算机理论和技术深化合同英语语料库在翻译工作中的辅助作用。所以，本研究建设了合同英语语料库，应用“文本相似度”理论，用可视化编程语言Visual Basic.NET开发了计算机检索程序。该程序能检索出与汉语合同条文具有“最大相似度”的英语合同条文，供汉语合同条文汉译英时参考。

摘要： 本文运用概率论原理和计算机编程手段,在《元朝秘史》电子版本的基础上,对原文中出现的大量相似的人名进行了统计、比较和考证,根据文本相似度原理和相似度模型,对相似人名按照不同相似度进行了分组并设定了相似度。本研究为《元朝秘史》传统的校勘和研究方法提供了一个新的、高效的辅助手段和实现机制。

摘要： 中文地址分析技术在本地搜索服务已经得到广泛应用,其实其在医院管理特别是医院病人来源性分析、病案地址标准化上报也存在重要的作用.该技术就是把自然语言描述的地址转化成机器可识别可定位的信息.基于正则表达式匹配无语义的方法,识别效果较差,全文的最大相似度计算方法虽然效果好,但是需要占用大量的计算资源和完整的基础资料,而利用分词和基于命名实体识别的思想来对地址进行分析,使得整体效果有了明显改善.

摘要： 中文地址分析技术在本地搜索服务已经得到广泛应用,其实其在医院管理特别是医院病人来源性分析、病案地址标准化上报也存在重要的作用.该技术就是把自然语言描述的地址转化成机器可识别可定位的信息.基于正则表达式匹配无语义的方法,识别效果较差,全文的最大相似度计算方法虽然效果好,但是需要占用大量的计算资源和完整的基础资料,而利用分词和基于命名实体识别的思想来对地址进行分析,使得整体效果有了明显改善.

摘要： 中文地址分析技术在本地搜索服务已经得到广泛应用,其实其在医院管理特别是医院病人来源性分析、病案地址标准化上报也存在重要的作用.该技术就是把自然语言描述的地址转化成机器可识别可定位的信息.基于正则表达式匹配无语义的方法,识别效果较差,全文的最大相似度计算方法虽然效果好,但是需要占用大量的计算资源和完整的基础资料,而利用分词和基于命名实体识别的思想来对地址进行分析,使得整体效果有了明显改善.

摘要： 本发明公开一种文本相似度评估系统及文本相似度的评估方法，所述评估系统包括语料获取模块、分词模块、词向量训练模块、孪生biLSTM网络模块、注意力模块及相似概率计算模块。本发明提出了一种基于注意力机制的孪生网络结构，能够寻找决定两个文本相似程度的重要信息，相较于现有的技术，本发明提出的网络结构更加注重局部信息，排除全局信息的干扰，提升在不同场景中文本相似度计算的准确度。

摘要： 本发明涉及一种基于文本相似度改进的电网档案相似度计算方法，属于文件管理技术领域。该方法包括以下步骤：S1：属性分类及相似度定义；S2：定义全属性综合相似度；S3：同义词转换；S4：获得文本相对相似度。本发明利用系统间的共有属性的数据，快速、简单、有效地得到电网档案中文本的相似度，更有利于对电网档案的管理。

摘要： 本发明公开了一种文本相似度、词义相似度计算方法和系统及应用系统。该方法包括下列步骤：根据词汇数据库进行初始化，计算得到所述词汇数据库中词汇间的初始词义相似度，并根据初始词义相似度计算文本间的初始语义相似度；根据初始化得到的词汇间的词义相似度和文本间的初始语义相似度，交替迭代计算文本集中的各个文本间的语义相似度和词汇间的词义相似度直至收敛，根据迭代计算的收敛结果，以最终词义相似度构造所有词汇间的最终词义相似矩阵；根据所述最终词义相似矩阵，将原始文本的文本词频向量变换为新的文本词频向量，计算出所述文本集中文本相似度。其能够显著提高现有的文本相关的，特别是有关短文本的信息检索技术的性能。

摘要： 本发明实施例涉及计算机技术领域，公开了一种文本相似度的计算方法及系统、相似文本的查找方法及系统。其中，该文本相似度的计算方法包括：获取需要进行文本相似度计算的第一文本和第二文本；分别将第一文本、第二文本进行词汇分割，获得第一词汇集合和第二词汇集合；分别将所述第一词汇集合和所述第二词汇集合中的停用词删除，获得第三词汇集合和第四词汇集合；分别将所述第三词汇集合和所述第四词汇集合中的高频词汇提取出来组成第五词汇集合和第六词汇集合；根据所述第五词汇集合和第六词汇集合计算所述第一文本和所述第二文本。实施本发明实施例，可以提高文本相似度计算的准确度，提高相似文本查找的效率。

摘要： 本申请涉及一种基于文本相似度算法的相似问题生成方法、系统、电子装置和存储介质，其中，该基于文本相似度算法的相似问题生成方法包括：获取交互场景文本数据，生成问答对文本；计算问答对文本中的答案文本与行业问答对中的答案文本的文本相似度，确定相似度最大的行业问答对；计算问答对文本中的问题文本与相似度最大的行业问答对中的问题文本的文本相似度，确定问题文本相似度最大值；将问题文本的相似度最大值与预设阈值进行比对，若满足预设阈值，则将问题文本相似度最大值对应的问答对文本中的问题文本补充到对应的行业问答对语料中作为问题文本的相似问题。通过本申请，解决了相关技术中生成的相似问题语句不通顺和包含冗余内容的问题。

摘要： 本发明公开一种文本相似度评估系统及文本相似度的评估方法，所述评估系统包括语料获取模块、分词模块、词向量训练模块、孪生biLSTM网络模块、注意力模块及相似概率计算模块。本发明提出了一种基于注意力机制的孪生网络结构，能够寻找决定两个文本相似程度的重要信息，相较于现有的技术，本发明提出的网络结构更加注重局部信息，排除全局信息的干扰，提升在不同场景中文本相似度计算的准确度。

摘要： 本发明涉及一种基于文本相似度改进的电网档案相似度计算方法，属于文件管理技术领域。该方法包括以下步骤：S1：属性分类及相似度定义；S2：定义全属性综合相似度；S3：同义词转换；S4：获得文本相对相似度。本发明利用系统间的共有属性的数据，快速、简单、有效地得到电网档案中文本的相似度，更有利于对电网档案的管理。

摘要： 本发明公开了一种文本相似度、词义相似度计算方法和系统及应用系统。该方法包括下列步骤：根据词汇数据库进行初始化，计算得到所述词汇数据库中词汇间的初始词义相似度，并根据初始词义相似度计算文本间的初始语义相似度；根据初始化得到的词汇间的词义相似度和文本间的初始语义相似度，交替迭代计算文本集中的各个文本间的语义相似度和词汇间的词义相似度直至收敛，根据迭代计算的收敛结果，以最终词义相似度构造所有词汇间的最终词义相似矩阵；根据所述最终词义相似矩阵，将原始文本的文本词频向量变换为新的文本词频向量，计算出所述文本集中文本相似度。其能够显著提高现有的文本相关的，特别是有关短文本的信息检索技术的性能。

摘要： 本发明实施例涉及计算机技术领域，公开了一种文本相似度的计算方法及系统、相似文本的查找方法及系统。其中，该文本相似度的计算方法包括：获取需要进行文本相似度计算的第一文本和第二文本；分别将第一文本、第二文本进行词汇分割，获得第一词汇集合和第二词汇集合；分别将所述第一词汇集合和所述第二词汇集合中的停用词删除，获得第三词汇集合和第四词汇集合；分别将所述第三词汇集合和所述第四词汇集合中的高频词汇提取出来组成第五词汇集合和第六词汇集合；根据所述第五词汇集合和第六词汇集合计算所述第一文本和所述第二文本。实施本发明实施例，可以提高文本相似度计算的准确度，提高相似文本查找的效率。

摘要： 本申请涉及一种基于文本相似度算法的相似问题生成方法、系统、电子装置和存储介质，其中，该基于文本相似度算法的相似问题生成方法包括：获取交互场景文本数据，生成问答对文本；计算问答对文本中的答案文本与行业问答对中的答案文本的文本相似度，确定相似度最大的行业问答对；计算问答对文本中的问题文本与相似度最大的行业问答对中的问题文本的文本相似度，确定问题文本相似度最大值；将问题文本的相似度最大值与预设阈值进行比对，若满足预设阈值，则将问题文本相似度最大值对应的问答对文本中的问题文本补充到对应的行业问答对语料中作为问题文本的相似问题。通过本申请，解决了相关技术中生成的相似问题语句不通顺和包含冗余内容的问题。