主题相关度

摘要： 针对传统主题爬虫方法容易陷入局部最优和主题描述不足的问题,提出一种融合本体和改进禁忌搜索策略(On-ITS)的主题爬虫方法.首先利用本体语义相似度计算主题语义向量,基于超级文本标记语言(HTML)网页文本特征位置加权构建网页文本特征向量,然后采用向量空间模型计算网页的主题相关度.在此基础上,计算锚文本主题相关度以及链接指向网页的PR值,综合分析链接优先度.另外,为了避免爬虫陷入局部最优,设计了基于ITS的主题爬虫,优化爬行队列.以暴雨灾害和台风灾害为主题,在相同的实验环境下,基于On-ITS的主题爬虫方法比对比算法的爬准率最多高58％,最少高8％,其他评价指标也很好.基于On-ITS的主题爬虫方法能有效提高获取领域信息的准确性,抓取更多与主题相关的网页.

摘要： The existing domain ontology learning method can not he directly transplanted into the study of the sensation ontology learning method.After studying the problem,a method of extracting the concept of public opinion ontology based on the dynamic topic model was proposed according to the dynamic theme of the public opinion ontology.Thematic feature words were extracted based on the predecessor growth rate and subsequent growth rate of the words in the lyric cycle,and the topic degree was used to select the topic words.The topic words were clustered by topic relevance to form the topic word clusters.The subject concept word cluster was filtered under the theme concept membership degree to obtain the concept of public opinion ontology.The concept above was used as the seed word to find the left and right adjoining words to get compound words,and the concept of lyric ontologies was filtered.Experiments verify that the proposed method has higher accuracy and recall rate.%对现有领域本体学习方法不能直接移植在舆情本体学习方法上的问题进行研究,根据舆情本体的动态主题性提出一种基于动态主题模型的舆情本体概念抽取的方法.结合舆情周期内词语的前驱增速和后继增速提取主题特征词,主题度选取主题词;对主题词通过主题相关度进行聚类,形成主题词簇;对主题词簇下候选概念进行主题概念隶属度的过滤得到舆情本体概念;以上述概念作为种子词寻找左右邻接词得到复合词,过滤得到舆情本体复合概念.实验结果验证了该方法具有更高的准确率和召回率.

摘要： 为了解决主题爬虫在全局搜索中难以实现最优解的问题,提高主题爬虫的准确率和召回率,文中设计了一个结合灰狼算法的主题爬虫搜索策略.实验结果表明,与传统的广度优先搜索策略以及同样是群体智能算法的遗传算法相比,基于灰狼算法的主题爬虫的性能有了很大的提高,能爬取到更多的主题相关的网页.

摘要： 主题网络爬虫技术是获取特定主题的有效手段,其搜索算法的性能直接决定着搜索结果的优劣.文章综合分析了现有的网络信息搜索算法,并将遗传算法思想应用到主题网络爬虫技术中,提出了非贪婪遗传主题网络搜索算法.实验结果表明,该算法能够采集到更多主题相关度高的网页,提高信息采集正确率,快速高效获取交通相关的信息.%In the Topic web crawler technology as an effective approach to obtain a specific topic, the performance of the search algorithm directly determines the strengths and weaknesses of the search results.The existing network information searching algorithm is analyzed, and the idea of genetic algorithm is applied to the technology of topic web crawler, and a non greedy genetic algorithm is proposed.The experimental results show that the algorithm can acquire more topic related web pages, improve the accuracy of the information collection, and get traffic related information quickly and efficiently.

摘要： 提出一种基于KNN算法进行主题分类的方法,研究了主题网络爬虫的系统结构和所涉及的关键技术,包括URL管理器、页面下载器、页面解析器、主题识别模块以及内容存储模块,重点介绍了基于KNN的分类器的主题相关度算法.使用IKAnalyzer实现网页内容的中文分词,通过TF-IDF算法实现网页内容的特征提取,并利用KNN分类器计算网页的主题相关度.

摘要： 针对传统的PageRank算法存在主题漂移、忽略用户兴趣等不足,提出一种基于用户兴趣与主题相关的Page-Rank改进算法——ITPR.为了更好地提高用户搜索质量,利用网页浏览时间与页面篇幅共同构建用户兴趣度因子,用线性拟合月点击量的方法预测用户兴趣度的升降,同时结合网页内容引入主题相关度因子,共同对网页PR值进行适当的修正,使其分配更为合理.仿真实验结果表明,在相同的实验环境下,改进的PageRank算法提升了网页排序质量、查准率以及用户搜索满意度.

摘要： 提出一种基于张量分解的有影响力用户识别算法.该算法首先构建基于查询主题的用户交互关系张量,接着利用张量分解算法对用户行为进行预测,最后融合各种交互关系和用户的主题信息给出用户影响力的综合评判.实验结果表明,与非负矩阵分解相比,张量分解的挖掘精度提升了约10％,而与PageRank相比,张量分解的挖掘精度提升了约20％.

摘要： 针对现有基于链接结构的PageRank算法的不足,提出了基于网页主题相关度的改进PageRank算法。通过分析网页内容,提取出网页中的链接及其对应的锚文本,建立网页链接库,利用向量空间模型(VSM)计算链接锚文本和网页内容的相关度,在此基础上实现离线计算改进后的PageRank算法。理论分析和仿真实验表明,改进的PageRank算法使用户能方便地找到所需网页,提高了网页查询效率。

摘要： 本文提出一种基于Web结构特征的主题采集方法,利用已采集页面的主题相关信息来预测待采集链接的主题相关度.该方法基于网页间的链接关系进行网页主题相关性的预测,并结合网页的内部的结构特征.对位置相关链接集合给予不同的权重.实验结果表明,针对视频分享等文本信息量较少的网站,本文提出的方法具有较好的采集效率.rn 本文提出的基于Web结构特征的主题采集方法，利用已采集页面的主题相关信息来预测待采集链接的主题相关度。该方法基于网页间的链接关系进行网页主题相关性的预测，同时在计算的过程中，结合网页内部的结构特征，对网页中的位置相关链接集合给予不同的权重.本方法较好的实现了对网页间链接结构和网页内链接位置结构的有机融合，综合利用上述两个特征指导网页链接的卞题相关性预测。实验对比分析可以看出，针对视频分享等文本信息量较少的网站，在基于文本分析的主题采集方法不太适合的情况下，本文提出的方法具有较好的采集效率。基于Web结构特征的主题采集是一种较通用的面向专业内容网站的互联网采集方法。

摘要： 针对目前主题搜索策略的不足,提出了基于遗传箅法的主题爬行策略,提高了链接于内容相似度不高的网页之后的页面被搜索的机会,扩大了相关网页的搜索范围.同时,在网页相关度分析方面,引入了基于本体语义的主题过滤策略.实验结果表明,基于遗传算法的主题爬虫抓取网页中的主题相关网页数量多,在合理选择种子集合时,能够抓取大量的主题相关度高的网页.

摘要： 网页之间的链接结构为评价网页的主题重要性提供了丰富的信息,但传统的基于链接结构评价的主题排序算法,虽然提出了用向量来表示网页在不同主题中的重要程度,但它们在计算过程中没有充分考虑网页本身的主题相关度。为解决这一问题,本文提出根据链接上下文信息得到主题相关度预测,并将其融合到主题重要性的计算中。同时,根据网页的主题重要性排序,来指导专题爬行器的爬行方向。实验结果表明,基于网页主题重要性的排序测度TopicalRank 比 PageRank、TSPR(Topical-Sensitive PageRank)对专题爬行更有指导意义。

摘要： 垂直检索系统中主题爬虫的性能对整个系统至关重要.在设计主题爬虫时需要解决两个科学计算问题:一是计算当前页面与给定主题的相关度,二是计算待爬取URLs的访问优先级.对第一个问题,本文给出利用页面的主题文本块和相关链接块的相关度计算方法:对第二个问题,给出基于主题上下文和四种不同的粒度(即站点级、页面级、块级和链接级)的优先级计算方法.在此基础上,提出基于上述方法的主题爬取算法.实验证明,新算法在不增加时间复杂度的前提下,在查准率和信息量总和方面明显优于其他三种经典的爬取算法.

摘要： 垂直检索系统中主题爬虫的性能对整个系统至关重要.在设计主题爬虫时需要解决两个科学计算问题:一是计算当前页面与给定主题的相关度,二是计算待爬取URLs的访问优先级.对第一个问题,本文给出利用页面的主题文本块和相关链接块的相关度计算方法:对第二个问题,给出基于主题上下文和四种不同的粒度(即站点级、页面级、块级和链接级)的优先级计算方法.在此基础上,提出基于上述方法的主题爬取算法.实验证明,新算法在不增加时间复杂度的前提下,在查准率和信息量总和方面明显优于其他三种经典的爬取算法.

摘要： 垂直检索系统中主题爬虫的性能对整个系统至关重要.在设计主题爬虫时需要解决两个科学计算问题:一是计算当前页面与给定主题的相关度,二是计算待爬取URLs的访问优先级.对第一个问题,本文给出利用页面的主题文本块和相关链接块的相关度计算方法:对第二个问题,给出基于主题上下文和四种不同的粒度(即站点级、页面级、块级和链接级)的优先级计算方法.在此基础上,提出基于上述方法的主题爬取算法.实验证明,新算法在不增加时间复杂度的前提下,在查准率和信息量总和方面明显优于其他三种经典的爬取算法.

摘要： 垂直检索系统中主题爬虫的性能对整个系统至关重要.在设计主题爬虫时需要解决两个科学计算问题:一是计算当前页面与给定主题的相关度,二是计算待爬取URLs的访问优先级.对第一个问题,本文给出利用页面的主题文本块和相关链接块的相关度计算方法:对第二个问题,给出基于主题上下文和四种不同的粒度(即站点级、页面级、块级和链接级)的优先级计算方法.在此基础上,提出基于上述方法的主题爬取算法.实验证明,新算法在不增加时间复杂度的前提下,在查准率和信息量总和方面明显优于其他三种经典的爬取算法.

摘要： 垂直检索系统中主题爬虫的性能对整个系统至关重要.在设计主题爬虫时需要解决两个科学计算问题:一是计算当前页面与给定主题的相关度,二是计算待爬取URLs的访问优先级.对第一个问题,本文给出利用页面的主题文本块和相关链接块的相关度计算方法:对第二个问题,给出基于主题上下文和四种不同的粒度(即站点级、页面级、块级和链接级)的优先级计算方法.在此基础上,提出基于上述方法的主题爬取算法.实验证明,新算法在不增加时间复杂度的前提下,在查准率和信息量总和方面明显优于其他三种经典的爬取算法.

摘要： 垂直检索系统中主题爬虫的性能对整个系统至关重要.在设计主题爬虫时需要解决两个科学计算问题:一是计算当前页面与给定主题的相关度,二是计算待爬取URLs的访问优先级.对第一个问题,本文给出利用页面的主题文本块和相关链接块的相关度计算方法:对第二个问题,给出基于主题上下文和四种不同的粒度(即站点级、页面级、块级和链接级)的优先级计算方法.在此基础上,提出基于上述方法的主题爬取算法.实验证明,新算法在不增加时间复杂度的前提下,在查准率和信息量总和方面明显优于其他三种经典的爬取算法.

摘要： 增强BTM主题模型主题词语义相关性和主题凝聚度方法,属于文本挖掘和机器学习的交叉领域，包括下述内容：（1）文本语料获取以及预处理；（2）词向量模型构建；（3）BTM主题模型的建模；（4）词语之间语义相关性计算；（5）结合双词语义相关的主题模型的建模。本发明的双词扩展的主题模型在主题凝聚度TC值以及Js距离值上都比传统的主题模型有明显的提高。

摘要： 本发明实施例提供了一种确定文本主题关联度的方法、装置及终端设备，其中，确定文本主题关联度的方法，包括：根据预设处理方式，对获取到的第一预设个数的第一文献信息与第二预设个数的第二文献信息分别进行预处理，第一文献信息为第一文本资源对应的文献信息，第二文献信息为第二文本资源对应的文献信息；通过预设的实体‑主题模型，分别从预处理后的第一文献信息及预处理后的第二文献信息中提取主题信息，得到对应的第三预设个数的第一词汇主题与第四预设个数的第二词汇主题；基于第三预设个数的第一词汇主题与第四预设个数的第二词汇主题，确定第一文本资源与第二文本资源的主题关联强度。能够确定存在异构性的文本资源之间的主题关联度。

摘要： 一种基于文本内容特征相似度和主题相关程度比较的内容过滤器，内容过滤器包括过滤端和训练端，过滤端和训练端物理分离设置，过滤端通过数据接口与训练端进行数据交互；通过对文本内容的分析和判断实现过滤；内容过滤器为一通用的而非对特定主题专用的过滤系统，过滤的内容可通过学习得到，为使用过滤器提供了灵活性；并且，过滤器根据已训练类的特征识别待过滤内容，其过滤处理速度快，安装方便。

摘要： 本发明提出一种主题词的相关性处理方法及系统、主题词推荐方法及系统，其网页主题词的相关性处理方法包括：从多个网页中提取多个主题词，并形成对象词库；从多个网页中获取网页内容数据，并形成源数据库；统计所述对象词库中的每个主题词在所述源数据库的网页中出现过的网页数；统计所述对象词库中任意两个主题词在所述源数据库中同一网页上出现过的共现网页数；按照与所述出现过的网页数成正比、与所述共现网页数成正比、与共现频率成正比、与所述出现过的网页数的差异成反比的规则，计算主题词与主题词之间的相关性数值。本发明可以大大提高主题词相关性计算的准确性。

摘要： 增强BTM主题模型主题词语义相关性和主题凝聚度方法,属于文本挖掘和机器学习的交叉领域，包括下述内容：（1）文本语料获取以及预处理；（2）词向量模型构建；（3）BTM主题模型的建模；（4）词语之间语义相关性计算；（5）结合双词语义相关的主题模型的建模。本发明的双词扩展的主题模型在主题凝聚度TC值以及Js距离值上都比传统的主题模型有明显的提高。

摘要： 本发明实施例提供了一种确定文本主题关联度的方法、装置及终端设备，其中，确定文本主题关联度的方法，包括：根据预设处理方式，对获取到的第一预设个数的第一文献信息与第二预设个数的第二文献信息分别进行预处理，第一文献信息为第一文本资源对应的文献信息，第二文献信息为第二文本资源对应的文献信息；通过预设的实体‑主题模型，分别从预处理后的第一文献信息及预处理后的第二文献信息中提取主题信息，得到对应的第三预设个数的第一词汇主题与第四预设个数的第二词汇主题；基于第三预设个数的第一词汇主题与第四预设个数的第二词汇主题，确定第一文本资源与第二文本资源的主题关联强度。能够确定存在异构性的文本资源之间的主题关联度。

摘要： 一种基于文本内容特征相似度和主题相关程度比较的内容过滤器，内容过滤器包括过滤端和训练端，过滤端和训练端物理分离设置，过滤端通过数据接口与训练端进行数据交互；通过对文本内容的分析和判断实现过滤；内容过滤器为一通用的而非对特定主题专用的过滤系统，过滤的内容可通过学习得到，为使用过滤器提供了灵活性；并且，过滤器根据已训练类的特征识别待过滤内容，其过滤处理速度快，安装方便。

摘要： 本发明提出一种主题词的相关性处理方法及系统、主题词推荐方法及系统，其网页主题词的相关性处理方法包括：从多个网页中提取多个主题词，并形成对象词库；从多个网页中获取网页内容数据，并形成源数据库；统计所述对象词库中的每个主题词在所述源数据库的网页中出现过的网页数；统计所述对象词库中任意两个主题词在所述源数据库中同一网页上出现过的共现网页数；按照与所述出现过的网页数成正比、与所述共现网页数成正比、与共现频率成正比、与所述出现过的网页数的差异成反比的规则，计算主题词与主题词之间的相关性数值。本发明可以大大提高主题词相关性计算的准确性。

摘要： 用于基于一个或多个输入信号确定相似度信息的装置用于对于一个或多个输入信号中的至少一个的多个部分确定描述各自的部分中的过零数量的过零信息。该装置用于基于过零信息进行比较以确定相似度信息。还描述了用于确定相似度信息的方法和计算机程序。此外，用于确定自相关信息的装置和用于确定互相关信息的装置基于相似考虑。

摘要： 本申请提供了一种主题相关度判别方法及装置，方法包括：对获取的网页构建网页特征向量；利用预先训练的语义向量空间模型对选定的主题特征向量与网页特征向量之间的相似度进行计算；筛选出相似度高于预设值的网页特征向量。本申请结合了语义向量相似度计算和机器学习方法的优点，相比于现有技术，可以实现较高的判别精度，并且本申请在训练样本的筛选上也作出了不同于现有技术的改进。