主题爬虫

摘要： 在网络舆情监测中,面对大量的网络信息,须借助先进的信息技术来实现网络舆情监测的自动化和智能化。对舆情监测系统中的主题爬虫技术、话题跟踪与检测技术、情感分类技术等关键技术的应用现状进行了梳理,可为舆情监测系统开发应用提供参考。

摘要： 文章根据目前网络视听节目监管系统中视听节目数据采集技术的现状,通过分析归纳出目标Web页面编码元素的共有特征,提出一种基于视听节目识别技术的通用型模板主题爬虫程序,并分析研究网站遍历策略及多进程协同并行执行策略等关键技术,以大幅降低网络视听节目监管系统的维护成本,提高其监管工作的智能化水平,为研究建立高效的网络视听节目监管系统提供参考。

摘要： 对很多Web数据集成应用来说,领域Web发现能力至关重要。从目前来看,现有的主题爬取策略依然有效,并随之产生了不少依据这些策略的主题爬虫,然而配置主题爬虫困难且费时,因此提出基于排名机制的领域Web网页发现算法,该算法在现有的主题爬取策略之上,利用给定的样本网页集,使用基于排名的方法,系统地结合多种Web网页发现策略,迭代发现并提取领域Web新网页。实验表明,该方法具有较高的网页准确率,验证了方法的有效性。

摘要： 随着互联网的快速发展,使得如何从海量的网络资源中快速准确地获取用户所需的信息成为一个关键问题。通用搜索引擎通过网页采集和索引为用户提供检索服务,但这种基于关键词匹配的检索方式,往往忽略用户真实查询意图的识别和匹配。垂直搜索引擎则通过缩小采集范围为特定领域和背景的用户提供专业化、定制化信息检索服务,是当前搜索领域研究的热点。主题爬虫是垂直搜索引擎的网页采集模块,在搜索路径上只保留与主题相关的网页,本文主要围绕主题爬虫的网页分析方法和搜索策略,探讨如何提高爬虫的指标性能。在以往的研究中,针对于链接结构评价和网页内容评价相结合的爬虫策略取得了较好的效果。但这种方法一般是将链接评价问题作为单目标问题处理,难以适应网页的多样性,同时全局搜索能力不强,容易陷入局部最优。经过对以上情况的分析,本文提出了一种加权判定遗传算法的主题爬虫策略,该策略在现有遗传算法爬行策略基础上新引入改进的TrustRank算法来提高反作弊能力和计算的网页的重要程度,采用多项网页内容信息来判断网页与主题的相关性,并通过选择遗传因子和设置适应度函数赋予这两项指标相应的权重来判定待下载网页的价值,在保证了利用遗传算法增强整体搜索性能的前提下,增强了爬取页面的重要性和主题相关性。相比于已有遗传算法,加权判定遗传算法的搜索策略能在一定程度上提高主题爬虫的查准和查全率,扩大爬虫的搜索范围,更符合用户的主题检索需求。

摘要： 网页数据提取是人工智能与大数据相关课题学习与研究的一项重要内容。为了减轻编写主题网络爬虫程序工作,该文在主题爬虫的基础原理上,设计一套通用的Java爬虫程序。程序抽象了下载模块、内容处理模块和结果操作等核心内容,通过注解或xml配置等低代码方式,即可实现不同主题内容爬取工作。

摘要： 对搜索引擎的原理结构进行深度剖析,经可行性认定后,将机器学习算法与现有的技术手段进一步融合提升,以Python为开发平台,以Context Graph为开发主题,构建并设计出可实现的目标爬虫系统.通过实际运用检测系统的实用性能,选择国内具有较大规模的汽车网站为研究对象,设置“汽车”为关键词对全部内容展开不同类别的爬取,进而分析所得结果,根据查全率、查准率和F1值综合评价系统的性能.与原有系统相比,升级后算法的模型准确性更好,在一定程度上提高爬取工作的效率.

摘要： 基于关键词匹配检索的传统搜索引擎爬全率和爬准率较低,而使用基于语义检索的主题爬虫方法容易偏离主题与陷入局部最优.针对该问题,提出一种采用多目标蚁群优化算法的主题爬虫方法.构建主题爬虫领域本体和主题向量,以链接的锚文本相关度、链接所在网页主题相关度以及链接指向网页主题相关度为指标判断链接是否与主题相关,并建立链接主题相关度的多目标优化模型,将基于多目标优化的蚁群算法引入主题爬虫的链接选择过程,采用非支配排序和最近最远候选解法选取Pareto最优链接,以引导主题爬虫搜索方向并提升全局搜索性能.实验结果表明,与FCSA、WSE等传统主题爬虫方法相比,该方法爬准率更高,并且能更快抓取到主题相关度高的网页.

摘要： "互联网+"环境下重新思考高校移动网络文化建设、整合门户信息及其传播问题显得很有必要.综述了关于高校信息门户整合以及移动校园网络文化建设现状.提出"互联网+"环境下高校移动校园搜索引擎设计并对原型系统进行实现.高校移动校园搜索引擎内容包括:信息服务物理模型、整合数据源提供一站式信息服务、主题爬虫技术、累积网络行为,维系大学校园和学生情谊、挖掘平台隐性业务促进网络文化育人、"互联网+"环境下高校移动校园搜索引擎系统特点.对前端实现过程及技术、WebKit的渲染过程、规则爬虫数据采集等关键技术进行介绍,原型系统的网站采集、Android端和微信端显示效果进行呈现.通过高校移动校园搜索引擎建设对加强移动校园网络文化建设具有重要意义.

摘要： 针对传统主题爬虫方法容易陷入局部最优和主题描述不足的问题,提出一种融合本体和改进禁忌搜索策略(On-ITS)的主题爬虫方法.首先利用本体语义相似度计算主题语义向量,基于超级文本标记语言(HTML)网页文本特征位置加权构建网页文本特征向量,然后采用向量空间模型计算网页的主题相关度.在此基础上,计算锚文本主题相关度以及链接指向网页的PR值,综合分析链接优先度.另外,为了避免爬虫陷入局部最优,设计了基于ITS的主题爬虫,优化爬行队列.以暴雨灾害和台风灾害为主题,在相同的实验环境下,基于On-ITS的主题爬虫方法比对比算法的爬准率最多高58％,最少高8％,其他评价指标也很好.基于On-ITS的主题爬虫方法能有效提高获取领域信息的准确性,抓取更多与主题相关的网页.

摘要： 随着移动互联网的飞速发展,移动应用安全检测需求不断增多,对移动应用商店主题爬虫采集能力的要求不断提升.网络爬虫爬行策略是影响主题网络爬虫抓取效率的重要因素.目前针对移动应用商店主题爬虫爬行策略的研究比较少,而普通的爬行策略又无法充分利用移动应用商店网站良好的层次结构进行高效爬取.基于此,本文针对移动应用商店的网站结构特点,提出了一种基于URL分类的爬行策略,并通过将该爬行策略实现后证明了其可行性与有效性.

摘要： 互联网的迅速发展,数据不断增加,使得个性化数据的获取难度越来越大.主题爬虫作为一种垂直检索方式,已经成为一个热门研究领域.传统的主题爬虫往往是通过网页链接之间的关系下载网页,然后再计算下载的网页与给定主题之间的相关关系.传统的主题爬虫一方面割裂了网页链接结构和网页内容主题之间的关系,使得两个部分分开计算;另一方面下载过程的网页主题相关性不强,会下载大量的主题无关网页.本文提出一种新的基于PageRank算法主题爬虫算法将网页主题相似度计算与传统的PageRank算法相结合,将网页链接结构与网页主题相关性结合在一起;另外本文将语义相似性引入到主题爬虫里,实验结果表明本文提出的基于语义相似聚合的主题爬虫算法大大提高了主题爬虫的查全率.

摘要： 主题爬虫是主题搜索引擎的核心技术,已有的主题爬虫大多采用离线训练方式,需要大量已标记的训练样本,且不能使爬虫在爬行过程中增量学习新的知识,因而很难符合Web资源采集的需要.在线学习新下载页面可加速主题爬行过程、提高页面下载精度.本文介绍了通用爬虫和主题爬虫的区别,通过对增量朴素贝叶斯分类算法的研究,设计了一个基于增量贝叶斯分类器的主题爬虫,并介绍了爬虫的系统结构及关键部分的实现.

摘要： 随着互联网和WWW的迅速发展,互联网上的资源日趋丰富,为了帮助人们在浩瀚的网上信息中得到对自己有用的信息,基于互联网的各类信息检索服务应运而生并迅速发展.通用搜索引擎的功能已经十分强大,一般情况下可以满足用户的需求.垂直搜索引擎的出现,及时的解决了用户想查询具体专业或者行业的信息的问题,但是主题爬虫的爬行策略却影响了搜索引擎的准确度跟效率.本文通过分析主题爬虫的爬行策略,并结合基于文本内容的启发式策略和基于Web超链接评价的策略,给出了自己改进的一个搜索策略算法,并通过实验对比,改进的策略是有效可行的.

摘要： 普通的主题爬虫一般只是对页面的静态链接进行分析，而没有关注到页面中存在着大量的其它链接方式，如动态链接等，从而造成页面的查全和查准率不是很高。本文介绍了一种主题挖掘系统，系统中充分考虑了页面的各种链接，给出系统的详细设计实现。实验表明，其查全和查准率大大提高。

摘要： 针对目前主题搜索策略的不足,将多语种农业叙词表AGROVOC同传统的信息检索技术相结合,提出用叙词表的族对爬虫的主题进行描述的方法。用该方法设计并实现一主题爬虫.

摘要： 主题爬虫是主题搜索引擎的核心部分,针对现有主题爬虫在描述主题概念中存在的不精确、不完善以及出现"主题漂移"的现象,并且它们大都只关注与主题的相关性,导致陷入Web空间中的某些局部子空间,造成主题资源覆盖度不高和效率低下.本文在分析了主题爬虫的原理和主题网站的特点之后,提出了一种基于本体的网站栏目主题判定方法,以农业网站为模型数据源,通过实验对农业网站下相应主题栏目信息的全部获取来评估可行性.

摘要： 针对目前主题搜索策略的不足,提出了基于遗传箅法的主题爬行策略,提高了链接于内容相似度不高的网页之后的页面被搜索的机会,扩大了相关网页的搜索范围.同时,在网页相关度分析方面,引入了基于本体语义的主题过滤策略.实验结果表明,基于遗传算法的主题爬虫抓取网页中的主题相关网页数量多,在合理选择种子集合时,能够抓取大量的主题相关度高的网页.

摘要： 随着Web的快速增长,从中获取全面、准确和高质量的信息变的越发困难。垂直搜索引擎作为解决通用搜索引擎局限性的一种潜在方案,有着智能化、专业化的特点,从而成为当前研究的热点。本文主要对垂直搜索引擎研究领域中涉及的关键技术和方法进行了综述,并对一些重要算法进行了详细介绍和讨论。

摘要： 随着Web的快速增长,从中获取全面、准确和高质量的信息变的越发困难。垂直搜索引擎作为解决通用搜索引擎局限性的一种潜在方案,有着智能化、专业化的特点,从而成为当前研究的热点。本文主要对垂直搜索引擎研究领域中涉及的关键技术和方法进行了综述,并对一些重要算法进行了详细介绍和讨论。

摘要： 本发明提出一种基于文本分类的主题网络爬虫方法，包括：S1、接收主题，初始化URL任务队列；S2、从URL任务队列取出一个爬虫任务，获取网络文档内容；S3、获取所述网络文档内容的分类；S4、判断所述分类与主题是否相同；如果相同，则提取所述网络文档中的URL，并将其加入URL任务队列；如果不相同，且URL任务队列中还有任务，则执行步骤S2；S5、循环执行步骤S2‑S4，直至URL任务队列中没有任务。通过本发明，使得分类模型能够学习到网络文本的特征，可以有效提升分类任务的分类准确度。

摘要： 本发明涉及爬虫调度方法技术领域，具体是基于组合预测法的主题词搜索爬虫调度方法及其系统，包括第一获取模块、数据预处理模块、向量空间模型、分簇模块、主题词提取模块、第二获取模块、真实热度指标权重计算模块、真实热度值计算模块、更新模块、预测热度值模块和CPU分配模块；包括如下步骤：步骤1、在数据源获取数据；步骤2、数据预处理；步骤3、获取主题数据，计算真实热度指标与指标权重；步骤4、计算真实热度值；步骤5、计算下一期每个主题的预测热度值；步骤6、提取新主题词并更新数据库；步骤7、分配CPU占用率上限，获取更多高热度主题的相关数据。实现了在资源有限条件下，优先跟踪高热度主题的目的。

摘要： 本申请提供了一种主题网页爬取方法及主题爬虫系统，方法包括：从包括种子链接的第一待爬取链接集合中获取未爬取的链接；确定获取的链接对应的目标网页对应的第一相关度和第二相关度，第一相关度和第二相关度分别为目标网页中目标文本内容和目标链接与指定主题的相关度；根据第一相关度和第二相关度确定目标网页的温度值，并存储目标网页的待展示内容；若目标网页的温度值大于或等于预设温度值，将目标链接放入第二待爬取链接集合；若第一待爬取链接集合中不存在未获取过的链接，从第二待爬取链接集合中获取与指定主题相关度最高的未爬取的链接继续爬取。本申请使得用户可从网络上获取大量与指定主题相关的网页。

摘要： 本发明提供一种主题网络爬虫方法，包括步骤获取主题爬虫的起始URL，将起始URL加载入种子任务队列，主题爬虫从任务队列中依次获取起始URL进行爬取，将起始URL对应的网络文档下载至本地，对网络文档进行主题相关性分类，获得主题相关文本，将主题相关文本结构化存储至数据仓库；本发明涉及电子设备与可读存储介质，用于执行一种主题网络爬虫方法；本发明还涉及一种主题网络爬虫系统；本发明通过采用word2vec的CBOW模型获得文本分词结果的词向量，采用PCA主成分分析算法对词向量进行降维，采用LSTM模型对降维的词向量进行分类，通过对爬取文档先进行分类，然后针对特定主题有选择性的对文档进行存储，提高主题与爬取文档的相关程度，增加搜索引擎覆盖率。

摘要： 本发明公开了一种基于改进鲨鱼搜索的主题爬虫方法，包括如下步骤1)种子url配置以及主题词配置阶段；2)网页下载阶段；3)主题判别阶段；4)爬虫搜索阶段：a计算链接的内容得分以及url聚类得分；b对父网页进行hub型页面判定；c计算链接的搜索深度；d将链接加入url优先级队列，并根据链接得分与搜索深度调整队列中顺序。本发明利用主题词向量、url聚类算法以及hub型页面判别解决了主题爬虫中主题判别不准确、爬取覆盖面积不足的问题。

摘要： 本发明公开一种基于主题词的自扩充主题爬虫实现方法，用户根据需要设置初始URL列表、主题词库，作为爬虫程序开始的起点；主题爬虫主程序按优先级遍历爬取URL列表，提取网页内容；对网页内容进行特征提取和向量化处理，计算网页主题相关度，保存主题相关的网页内容，网页包含的跳转URL加入到待爬取URL列表中；根据用户设定的更新频率，将新增内容纳入语料库，进行主题词库自扩充与更新；主题词库发生更新后，重新爬取URL列表，更新主题相关度，继续爬取直到没有待爬取URL列表为止。并选取了优选实例的实验结果，说明基于主题词的自扩充主题爬虫设计方法具有可行性和有效性，随着主题词库的扩充，可以显著提高爬虫的爬取范围并保持较好的准确度。

摘要： 本申请提供了一种主题网页爬取方法及主题爬虫系统，方法包括：从包括种子链接的第一待爬取链接集合中获取未爬取的链接；确定获取的链接对应的目标网页对应的第一相关度和第二相关度，第一相关度和第二相关度分别为目标网页中目标文本内容和目标链接与指定主题的相关度；根据第一相关度和第二相关度确定目标网页的温度值，并存储目标网页的待展示内容；若目标网页的温度值大于或等于预设温度值，将目标链接放入第二待爬取链接集合；若第一待爬取链接集合中不存在未获取过的链接，从第二待爬取链接集合中获取与指定主题相关度最高的未爬取的链接继续爬取。本申请使得用户可从网络上获取大量与指定主题相关的网页。

摘要： 本申请公开了一种基于TextCNN的主题爬虫方法及系统，所述方法包括：向目标URL网页发起请求以下载网页，返回下载的html页面；接收下载的html页面，并进行HTML解析；存储经过HTML解析后的网页的时间ID、URL链接、URL上一级链接、URL锚文本、网页标题和正文；同时存储由URL和URL评分值组成的元数据；在对所有URL完成HTML解析后，先利用训练好的评分器模型进行主题相关度评分并存储URL和URL评分，再根据评分结果分发URL种子；其中，所述评分器模型为由输入层、卷积层、池化层、全连接层以及输出层构成的卷积神经网络。本申请克服了传统方法因爬取与主题无关的网页而造成的爬取效率低的问题，提高了网页的爬取效率。

摘要： 本发明属于信息检索技术领域，尤其涉及一种基于本体学习的动态自适应主题爬虫方法及处理器。在主题表示上，该方法基于LDA主题模型和关联规则挖掘的方法半自动化构建领域本体；在链接评价上，该方法综合考虑文本内容和链接结构，设计了一个链接综合优先度评价模型，并通过多目标粒子群算法在爬虫过程中动态更新链接综合优先度评价指标的参数；在链接选择上，该方法提出了一种多目标链接选取的方法，具体是通过非支配排序和最近最远候选解法选择爬虫链接，保证了链接的多样性，扩大主题爬虫的搜索范围，提高了主题爬虫的准确率。

摘要： 本申请实施例公开了基于网络主题爬虫的数据处理方法、系统及装置。方法包括接收用户创建的爬取任务和筛选任务；发送爬取任务至主题爬虫中心，以使主题爬虫中心获取爬取内容；发送筛选任务至筛选中心，以使筛选中心获取目标内容。本实施例提供的技术方案通过配置单独的限定条件来限定爬取任务，以及通过单独配置筛选条件来限定筛选内容，大大提高了主题爬虫的内容精确度，并且将爬取任务和筛选任务分开配置，通过不同的功能模块分别执行爬取任务和筛选任务，使得不同的功能层可以将各自特长有效发挥，将爬虫对数据的爬取和使用分离，筛选出更加精确的内容，并且可以对筛选出的内容进行推送，供用户灵活查询。