句子相似度

摘要： 关系分类作为信息抽取的核心任务和重要环节,能够实现实体对间语义关系的识别。近年来,深度学习在关系抽取任务中取得了显著的成果。到目前为止,研究者们的努力方向主要集中在对神经网络模型进行改进,但是对于不同句子之间语义关系密切的文本类型尚缺乏有效的方法来获取段落或篇章级别的跨句语义信息。针对此类段落或篇章级的关系抽取数据集,提出了一种将句子结合其跨句上下文信息共同作为神经网络模型输入的方法,使模型能够学习到更多段落或篇章级别的语义关联信息。在不同的神经网络模型上,分别引入了跨句上下文信息,并在不同领域的两个关系分类数据集上进行了实验,对比了引入跨句上下文信息与否对模型精度的影响,实验表明该方法能够有效提升神经网络模型的关系分类性能。此外,提出了一个基于四险一金领域政策法规文本的关系分类数据集Policy,用于验证在某些实际领域的关系分类任务中引入跨句上下文信息的必要性。

摘要： 针对现有的句子相似度计算方法没有考虑句子中的关键词的多属性信息,无法更好衡量句子相似度的问题,综合考虑句子的结构和包含的属性,提出一种基于句子的多属性融合相似度计算方法.该方法通过提取句子的词频属性、词序属性、词性属性及句长属性,采用层次分析法(AHP)计算出各属性的权重,并验证权重值的合理性,继而加权融合4种属性的相似度.将本文提出的多属性融合相似度计算方法在构建的数据集上进行实验,验证此方法的可靠性及可行性,并以召回率、准确率以及归一化F-度量值为标准和其他传统方法进行对比分析,结果表明,该方法不仅有着均衡的召回率和准确率,且F-度量值较高,达到83.57%.

摘要： 针对现有的句子相似度计算中仅考虑单个词语的语义信息,而忽略了句子的语法结构信息的问题,提出了一种结合依存句法分析和词语语义相似度的计算方法.使用哈工大社会计算与信息检索研究中心研发的语言技术平台对句子进行句法分析获得依存句法分析树,从中构造包含句子成分、依存关系、词语等多特征信息的依存关系三元组.采用动态加权的方法充分利用词语在知网与同义词词林中的语义信息,通过依存关系三元组体现句子语法结构和词语语义两个层面上的语义信息,提高了相似度计算的合理性,并且扩大了可计算相似度的词语范围.实验表明:该相似度计算方法的准确性相比同类方法有了一定的提高,能更为准确的衡量句子间的相似度.

摘要： 量子理论所具备的叠加、纠缠、不相容和干涉等特征使其成为优秀的建模框架.研究了量子理论在自然语言理解方面的应用潜力.在自然语言句子匹配任务上,探讨了量子理论作为一种形式化框架捕捉句子、词语的语义和语义建模上的能力:利用量子态构建句子的语义Hilbert空间,计算句子信息变换过程中信息的保真度;与此同时,将量子理论与Word Embedding技术巧妙结合,在高维低秩向量空间中表示单词或概念,求取句子的相似性.在一个真实业务场景中构造的问句匹配数据集上,模拟数据表明,所提出的方法相比于经典方法取得了更好的效果,为以后进行多个句子的相似度研究提供了新的思路,也是计算机科学与量子理论学科交叉研究领域的一个突破,符合当下研究的方向.

摘要： 及时有效地处理负面在线评论能提高企业的声誉和维护消费者对企业的信任,而面对大量的负面在线评论,企业很难在短期内及时有效回复.根据在线评论是短文本的特点,运用基于句子相似度的负面在线评论进行案例推理处理.针对负面在线评论句子相似度计算问题,抽取句子中评价对象词和评价词作为关键词,同时考虑评价词的修饰词和句子语义依存关联对.除提出的关键词、修饰词、语义依存分析关联对三个特征外,再融入句子中的公共词、语义等两个特征,提出一种融合公共词、关键词、修饰词、语义、语义依存分析关联对等五个特征的句子相似度计算方法,检索相似负面评论句子的案例.通过实验验证,融入多特征的句子相似度计算优于常见句子相似度计算方法,其准确率为83.3％,有效地检索案例句子集并自动推荐回复方案.

摘要： 针对汉语语句表意灵活复杂多变的特点,提出一种基于语义与情感的句子相似度计算方法,从表意层面计算句子相似度.该方法使用哈工大LTP平台对句子进行预处理,提取词语、词性、句法依存标记与语义角色标记,将语义角色标注结果作为句中语义独立成分赋予相似度权重系数,综合句法依存关系与词法关系计算两句相同标签语义独立成分相似度得到部分相似度,加权计算部分相似度得到句子整体相似度.另外,考虑到情感与句式因子,在整体相似度的基础上对满足条件的两句计算情感减益与句式减益.实验结果表明,该方法能有效提取出句子语义独立成分,从语义层面上计算句子相似度,解决了信息遗漏与句子组成成分不一致的问题,提高了句子相似度计算的准确率与鲁棒性.

摘要： 针对英文句子相似度计算问题,提出基于框架语义(frame semantics)的分析计算方法.对比传统基于关键词及句子结构等计算方法,提出的方法考虑整个句子的语义信息,即关键词的上下文信息,以提高相似度计算结果的准确性.该方法建立在框架语义库FrameNet之上,并结合使用语义框架抽取工具Semafor及命名实体抽取工具NER,以减少人工参与,提高方法的执行效率.通过扩展FrameNet中的语义框架类别,应对部分关键词无法激起框架的问题;通过量化框架间语义关系并定义计算规则,实现句子间相似度的计算与判断.在标准测试集上的实验结果表明,该方法的计算结果在准确率、召回率等评价指标上,优于传统方法.

摘要： 智能客服利用人工智能技术准确回答用户的咨询问题, 良好的句子相似度算法可以提高智能客服中问答的准确度.本文针对金融证券领域客服, 提出了基于多特征融合的句子相似度算法模型, 提高了客服的智能性. 通过矩阵拼接的方式, 融合用户提问语句和知识库语句的词形特征和语义特征, 其中词形特征考虑N-gram相似度、编辑距离、Jaccard相似度三种词形信息, 并针对语义特征提取, 提出了基于多头注意力机制(multi-head attention)的神经网络模型LBMA. 利用上述融合的特征, 运用机器学习分类器判断两个语句是否相似, 并将分类器分类结果作为多特征融合模型的计算结果. 在尽量不改变语义信息的前提下, 通过数据增强(Data Augmentation, DA)技术扩充数据集, 提升了模型泛化能力. 实验结果表明, 与已有方法相比, 该模型在智能客服数据集上能够有效提升相似度计算的准确性, 准确率达到94.69％.

摘要： 在英汉翻译策略研究过程中,受到翻译模型的影响,当前策略翻译效率较低.本研究提出句子相似度挖掘下英汉翻译策略研究:将待翻译的句子转换成为字符串,并从中提取出语境特征;依托于模糊匹配技术,从短语表内找到与语境特征相对应的短语;从结构和语义两方面入手,获取句子相似度结果.本研究通过设置的相似度阈值建立类比相似关系,最终实现翻译效率的提升;提出直译翻译、套译翻译以及意译翻译策略,根据具体的翻译场景,选择合适的翻译策略实现句子相似度挖掘下英汉翻译.

摘要： 孪生网络因自身特点被应用于句子相似度计算,但若模型只关注构成句子本身的词语,是无法获得该词语更多的语义信息的.针对这一问题,该文基于BERT模型,提出基于BERT的孪生网络计算句子语义相似度的方法,该方法通过BERT模型,得到具有丰富语义信息的句子向量,再利用该向量在孪生网络中计算相似度.在公开数据集LCQMC上的实验结果表明,基于BERT的孪生网络计算句子语义相似度方法的Accuracy优于基于卷积孪生网络计算句子语义相似度方法.

摘要： 在基于实例的维吾尔语汉语机器翻译系统中维吾尔语相似度计算起重要作用。维吾尔语的黏着性特性要求对单词进行词干提取。本文提出的方法结合简单的句子结构相似度计算方法，通过对单词词干提取进行句子相似度计算。小规模实验结果比较接近人工评价的句子相似度。

摘要： 在基于大规模双语语料库的机器翻译研究中,如何找到最有效的翻译参考一直以来都是人们的关注焦点,其核心技术就是参考例句的相似度计算。本文提出了一种基于HowNet词语相似度的N-gram相似度计算方法,在此基础之上,参考机器翻译自动评测中BLEU的评价公式,进一步提出了一种新的句子相似度计算方法。该方法结合了N-gram和语义相似度计算,可以有效应用到基于实例的机器翻译、辅助机器翻译和交互式机器翻译中。

摘要： 计算句子的相似度在机器问答系统,基于实例的机器翻译,文本分类等自然语言处理的许多领域中都有着非常重要的作用。该文对基于相同关键词的句子相似模型做了进一步的改进,包括关键词抽取,以及在句子相似度的定义中引入同义词以及近义词的情形.实验结果表明,改进方法比以前方法具有较高的准确率。

摘要： 句子相似度计算在中文自然语言处理领域有着非常广泛的应用背景.本文通过对句子的深入分析,在分别对基于词特征,词义特征以及句法特征的句子相似度计算的基础上,提出一种基于多特征融合的句子相似度的计算方法.该方法通过对不同的特征加不同的权值来调节各个特征对相似度计算的贡献,从而使计算结果达到最优.该方法与其他方法相比,描述句子的信息更加全面,从而使句子相似度计算更加准确.

摘要： 古籍文献中蕴含着丰富的知识，如‘医古文’在现代中医理论发展过程中仍占据重要基础地位，因此面向古籍文献的检索技术研究具有一定的应用价值。然而，目前文本信息检索技术的研究主要面向由现代汉语构成的文本，针对古汉语文献资料的检索研究并不多见。本文提出一种基于共现字序列的古今句子相似度计算方法，实现了古文与现代文句子之间的跨文种检索。利用本文方法在《内经》原文与现代文对照版本上进行了古文与现代文的双向句子检索实验，实验结果表明本文方法在古今句子检索上取得较好效果。

摘要： 智能答疑系统至今很难取得实用性成果,一个主要原因是其关键技术——句子相似度计算方法存在局限性。现有的句子相似度计算方法都属于浅层的语法分析,主要缺陷是难以解决"一义多词"和"一义多句"问题。只有深入到语义分析层次才能彻底解决这些问题,因此提出一种基于句义机构匹配的句子相似度计算方法.为了实现该方法,首先建立了一个通用的句义结构模型,归纳了从句法结构映射为句义结构的分析规则,然后实现了句义结构匹配的算法.该方法应用到中文智能答疑系统KRQA中,取得了较好的效果.

摘要： 分析了当前常用的汉语句子相似度计算方法及存在的问题,针对中文问句的特点,定义了问句的常规和特定语块,提出了一种基于语块的中文问句相似度计算方法,该方法以"知网"为基础,计算词语语义相似度,利用组块分析理论及HMM学习算法,识别问句常规语块,利用规则或学习方法提取问句特定语块,并分别计算两个问句中各问句语块之间的相似度,最终以语块相似度为基础实现问句相似度的计算.问句相似度计算方法对比实验结果说明,提出的方法具有更好的效果。

摘要： 目前,藏文抽取式文本摘要方法主要是提取文本自身的特征,对句子进行打分,不能挖掘句子中深层的语义信息.本文提出了一种改进的藏文抽取式摘要生成方法.此方法将外部语料库的信息以词向量的形式融入到TextRank算法,通过TextRank与词向量的结合,把句子中每个词语映射到高维词库形成句向量,进行迭代为句子打分,并选取分值最高的句子重新排序作为文本的摘要.实验结果表明该方法能有效提升摘要质量.本文还在传统Rouge评测方法的基础上,提出了一种采用句子语义相似度计算的方式进行摘要评测的方法.

摘要： 目前,藏文抽取式文本摘要方法主要是提取文本自身的特征,对句子进行打分,不能挖掘句子中深层的语义信息.本文提出了一种改进的藏文抽取式摘要生成方法.此方法将外部语料库的信息以词向量的形式融入到TextRank算法,通过TextRank与词向量的结合,把句子中每个词语映射到高维词库形成句向量,进行迭代为句子打分,并选取分值最高的句子重新排序作为文本的摘要.实验结果表明该方法能有效提升摘要质量.本文还在传统Rouge评测方法的基础上,提出了一种采用句子语义相似度计算的方式进行摘要评测的方法.

摘要： 目前,藏文抽取式文本摘要方法主要是提取文本自身的特征,对句子进行打分,不能挖掘句子中深层的语义信息.本文提出了一种改进的藏文抽取式摘要生成方法.此方法将外部语料库的信息以词向量的形式融入到TextRank算法,通过TextRank与词向量的结合,把句子中每个词语映射到高维词库形成句向量,进行迭代为句子打分,并选取分值最高的句子重新排序作为文本的摘要.实验结果表明该方法能有效提升摘要质量.本文还在传统Rouge评测方法的基础上,提出了一种采用句子语义相似度计算的方式进行摘要评测的方法.

摘要： 相似度计算装置(200)参照存储部，该存储部分别存储与多个第一媒体数据对应的二值化的第一代码。相似度计算装置(200)基于对与第二媒体数据对应的特征向量进行二值化而得到的第二代码被转换为第一代码的概率，分别计算第二媒体数据与各第一媒体数据之间的相似度。

摘要： 提供一种图像相似度计算系统，产生编辑图像和原始图像之间的图像相似度的较大值。局部区域权重计算装置14根据编辑图像中的每一个局部区域的概率，来计算图像中的每一个局部区域的权重值，作为局部区域权重值。局部区域权重计算装置14将所计算的局部区域权重值输出到图像相似度计算装置122。小区域相似度计算装置121将通过分割查询图像得到的每一个小区域的特征量与通过分割参考图像得到的每一个小区域的特征量进行比较。小区域相似度计算装置121计算针对各个小区域的特征量的相似度。图像相似度计算装置122通过将基于小区域的权重值应用于计算出的相似度来计算查询图像和参考图像之间的图像相似度。该权重值是从局部区域权重计算装置14中提供的局部区域权重值中得到的。

摘要： 本发明具备：单词提取部(11)，其对m个文本进行分析并提取n个单词；向量计算部(12)，其通过使m个文本和n个单词分别在q个维度上向量化，从而计算由q个轴分量构成的m个文本向量和由q个轴分量构成的n个单词向量；以及指标值计算部(13)，其通过分别获取m个文本向量和n个单词向量的内积而计算反映m个文本和n个单词之间的关联度的相似度指标值；通过计算根据文本而算出的文本向量和根据文本内包含的单词而算出的单词向量的内积，能够得到以内积值的形式表示哪个单词对哪个文本具有何等程度的贡献的相似度评价值。

摘要： 本发明公开了一种基于句子的语义相似度获得方法、装置以及设备，语义相似度获得方法包括：利用第一编码器获得第一句子的第一语义表征；利用所述第一编码器或第二编码器获得第二句子的第二语义表征；计算所述第一语义表征与所述第二语义表征之间的相似度，作为两个句子之间的语义相似度；其中，所述第一编码器包括第一编码层，所述第二编码器包括第二编码层和交互层，其中，所述第一编码层的模型参数与所述第二编码层的模型参数完全相同，所述第二编码层的输出数据作为所述交互层的输入数据，所述交互层的输出数据作为所述第二语义表征。本申请在将句子转化成语义表征时考虑句子之间的交互，有助于语义相似度的精确计算。

摘要： 一种用于生成问题的答案的方法和系统。该系统包括计算设备。计算设备具有处理器和存储有计算机可执行代码的存储设备。计算机可执行代码在处理器处被执行时被配置为：接收由用户输入的关于产品的问题；使用问题从问答(QA)知识库中提取目标答案以形成答案集；从评论数据库中提取关于产品的用户评论以形成评论集；对答案集中的关键词进行聚类以获得集群中心；使用集群中心对答案集和评论集进行过滤，以得到答案子集和评论子集；以及从评论子集中生成问题的答案，其中答案选自评论子集，并与答案子集中的句子具有较高的句子相似度。

摘要： 本发明请求保护一种句子相似度计算方法，包括以下步骤：步骤(1)，获取句子相似度计算的测试集和训练集,并通过词向量模型获取各词语对应的语义向量；步骤(2)，基于词语权重的句向量，分别计算测试集中某一测试句子与训练集中每个训练句子的余弦相似度；步骤(3)，基于词序的句向量，分别计算上述测试句子和由步骤(2)的结果筛选出的相似度前10的句子的相似度；步骤(4)，基于步骤(2)和步骤(3)得到的两种句子向量计算的句子相似度，并采用MRR(平均排序倒数)参数确定方法来调节优化系数β，得出与训练集中句子相似度最大的句子。由于本发明考虑了影响句子相似度的词语权重和词序因素来计算，大大提高了句子相似度计算的精准度。

摘要： 本发明公开了一种基于框架重要度计算句子相似度的方法，具体为：步骤1：将英文句子S中所有的框构成框架语义信息集合E；步骤2：提取集合E中每个框架的核心框架元素；步骤3：根据集合E中每个框架中核心框架元素的个数计算该框架的重要度；步骤4：将英文句子S’中所有的框架构成框架语义信息集合E’，并计算集合E’中每个框架的重要度；步骤5：将集合E和集合E’中相同的框架作为一组框架组；在每个框架组中选择最小的框架重要度作为该框架组的框架的重要度；将所有框架组的框架重要度进行累加计算，并基于累加计算的值计算英文句子S和S’的相似度。本发明提出的方法可适用于文本蕴含识别、文本摘要等自然语言处理任务中。

摘要： 本发明公开了一种句子相似度的度量方法、装置、介质及设备，其特征在于，包括：利用语言模型工具对预先确定的无标注语料库中每个句子的上下文匹配关系进行无监督学习得到上下文匹配模型；从无标注语料库中获取与多个待计算相似度句子相关的上下文得到共享上下文集合，并利用上下文匹配模型计算每个待计算相似度句子，与共享上下文集合中每个上下文的上下文得分，进一步利用所有上下文得分得到上下文得分向量；以及计算每个上下文得分向量之间的余弦相似度，从而得到上下文得分向量对应的待计算相似度句子之间的句子相似度。本发明的应用完全不需要标注数据即可完成对句子相似度的计算，减少了对标注数据的依赖，计算过程简单。

摘要： 本发明提出一种句子相似度计算方法、系统、电子设备及存储介质，其方法技术方案包括对待计算相似度的第一句子和第二句子进行分词并训练出一词向量模型；遍历第一句子和第二句子中所有词汇，并通过词向量模型计算词汇的词向量，进一步计算第一句子中所有词汇的词向量分别与第二句子中所有词汇的词向量的相似度，并基于一预设规则确定第一句子中每个词汇相对于第二句子的相似度数值；将第一句子中所有词汇相对于第二句子的相似度数值取平均值，根据平均值并基于一预设阈值，判定第一句子和第二句子是否为相似句。本申请解决了现有方法在计算句子相似度时泛化能力有限、对数据挖掘的深度不够以及计算量较大，在线环境下响应时间较长的问题。

摘要： 本发明公开了一种基于句子相似度的意图识别方法，包括：构建带有意图的句子标准数据集，获得句子标准数据集的语义表征；获取待预测句子的语义表征，计算待预测句子与句子标准数据集中句子的语义表征余弦相似度，以句子标准数据集中余弦相似度最高的句子意图作为输出意图。同时，本发明还公开了一种基于句子相似度的意图识别装置，利用分类模型训练，取到全连接层前的部分作为编码器，输入句子获取句子的语义表征来计算句子间的相似度；采用的语料数据可以和后续使用模型时预测的语料数据完全不相关；解决了意图识别模型迭代周期长、准确率不高的问题，通过该意图识别方法可随时增加或删减意图，提高了便利性。