聚焦爬虫

摘要： 传统的聚焦爬虫不能很好地处理所爬取的数据,很难从原始数据中提取有价值的信息,同时,大量冗余的数据对计算机的存储能力带来了挑战.本研究提出了一种基于抽取式文本摘要技术的爬虫算法,将改进的TextRank算法应用于网络爬虫中,从而解决用户如何在快速浏览和吸收特定领域新闻所有内容的同时节约计算机内存资源的问题.本研究用Glove模型训练数据集,对文本进行词向量表示,将k-means算法思想融入TextRank算法中,提出一种改进的TextRank模型.实验结果表明:提出的改进的TextRank模型抽取得到的摘要质量优于传统TextRank和TopicModel模型,其综合评价指标达到了52.21%,比TopicModel模型高10.29%,比传统TextRank模型高15.55%;结合了抽取式文本摘要技术的聚焦爬虫与传统聚焦爬虫爬取的文件占用空间比为1:12,解决了爬虫会占用大量计算机资源的问题.

摘要： 随着互联网的飞速发展,大数据成为互联网技术行业的流行词汇。如今,想要获取大量的数据,爬虫无疑是非常便利的工具。文章介绍了爬虫的原理以及网页的分析方法,对Scrapy框架进行了介绍﹐并用Scrapy对网站进行了数据的爬取,最后利用数据可视化工具对数据进行处理,以便更加直观地对数据进行分析。文章以拉勾网为爬虫对象,在爬虫的过程中,总结了爬虫遇到的问题和解决办法。此外,文章利用Scrapy框架对程序进行了优化,提升了爬取效率。

摘要： 本文通过研究内河航道综合信息服务中多源助航数据获取的关键技术,从数据源分析、API及web数据聚焦抓取应用等方面,阐明航道助航信息获取对象、获取方式、存储数据库等要素关系,并以长江航道图APP为例提出航标、水位、航道通告、天气、AIS等助航数据的动态集成与应用的解决方案,实现了多源数据的融合叠加与实时动态更新,为船舶航行提供有效决策参考,以更好满足船舶辅助航多元化的需求,提升船舶航行安全保障.同时,为航运各业务环节提供智能化、一体化航道信息服务,实现了航道多源数据融合、互通.

摘要： 在工作和研究中持续更新大量的资料和数据是建筑师的职业基础.传统人工搜索互联网的方式工作量大且挖掘率低,对网站数据源的利用往往不够充分.国内大部分建筑类网站采用HTML文本标记数据,对HTML采用网络聚焦爬虫有助于建筑师高效定位并规范化储存专业数据.通过对建筑类主流网站结构特征进行分析,总结建筑学3种专业爬虫需求.基于Python的语言特征,提出公开数据类和建筑档案类2种爬虫策略.实测结果表明爬虫策略具有数据采集实时性好、易管理维护的优点,同时均运行高效且稳定,可为建筑专业大数据分析提供更多高质量的数据源.

摘要： 实现高效获取互联网中特定领域信息的有效途径是使用聚焦爬虫,针对聚焦爬虫在判断主题相关时缺少语义信息的问题,提出了一个基于语义相似度计算的聚焦爬虫框架.该框架抽取网页的主题词、内容和链接信息作为网页特征,计算主题相似度.通过链接的主题相关度计算,过滤URL和判断URL的重要程度.最后给出了对比试验,验证了该方法的有效性.

摘要： 实现高效获取互联网中特定领域信息的有效途径是使用聚焦爬虫,针对聚焦爬虫在判断主题相关时缺少语义信息的问题,提出了一个基于语义相似度计算的聚焦爬虫框架.该框架抽取网页的主题词、内容和链接信息作为网页特征,计算主题相似度.通过链接的主题相关度计算,过滤URL和判断URL的重要程度.最后给出了对比试验,验证了该方法的有效性.

摘要： 通用搜索引擎存在不能有针对性地满足用户查询需求和搜索关键词难以准确描述的问题.从数据挖掘和机器学习的角度出发,提出一种基于网络爬虫开源框架Heritrix的可配置主题的聚焦爬虫方法,从指定的站源,根据不同的爬取策略,启动多线程爬取,按照预先设置的关键字和栏目信息进行分类搜索,把最符合条件和要求的信息爬取下来供选择、判断、分析和利用.这种方法可在一定程度上解决搜索引擎查询信息的需求问题,提升用户体验,提高检索效率.

摘要： 针对聚焦爬虫主题描述精确度和主题相似度计算准确度偏低造成的主题覆盖率不足和爬取准确度偏低的问题,提出一种主题自适应聚焦爬虫方法.对每次迭代爬取的主题相关文档集建立LDA模型,提取模型热点词,更新主题关键词集及其权重.引入基于Word2 vec的主题相似度计算模型,结合文档内容以及锚文本内容词项的语义相似度和TF-IDF值计算链接优先级,引导爬虫抓取主题相关的网页.与基于语义检索的聚焦爬虫和基于向量空间的聚焦爬虫相比,主题自适应聚焦爬虫在主题覆盖率和爬取准确度方面性能更优.

摘要： 本文对质检总局互联网舆情监控系统中聚焦爬虫进行了研究,给出了爬虫算法和关键技术,研究了聚焦爬虫的工作流程、组成、架构.聚焦爬虫由页面相关度评价模块、搜索链接评价模块和页面提取模块组成.本文给出了以上模块的组成及相互关系.针对聚焦爬虫中存在的问题,给出了具体的解决方案。

摘要： 实现大规模Deep Web数据源集成是方便用户使用Deep Web信息的一种有效途径,Deep Web爬虫是Deep Web数据源集成的关键组成部分,提出一种针对结构化Deep Web的聚焦爬虫爬行策略,通过对查询接口的特征分析来判断Deep Web数据源的主题相关性,同时,在评价链接重要性时,综合考虑了页面内容的主题相关性和链接的相关信息,实验证明该方法是有效的.

摘要： Ajax技术随着Web2.0应用的流行而日趋普及．由于其异步传输特性，传统聚焦爬虫往往无法得到异步加载的页面内容．针对应用了异步传输和JavaScript技术的新闻网站及评论，本文采用模拟浏览的方式，以事件驱动聚焦爬虫，监听页面内容的不断变化，获取异步传输的内容．在此基础上，本文提出并构建了基于协议驱动与事件驱动综合的聚焦爬虫框架，以保证在传统聚焦爬虫正常爬行的前提下，对页面中的Ajax内容采用事件驱动爬行。实验证明该方法是有效的．

摘要： 聚焦爬虫面向主题，过滤无关链接，只抓取相关的网页信息。通用的聚焦爬虫，无法处理冗余链接，因此本文提出了一种基于网络拓扑的聚焦爬虫。从搜索引擎获取初始网页集，使用向量空间模型计算文本相似性。对抽取出的URL先进行链接分析，再根据无标度网络特征，修正UfuL的权值。同时反馈不相关的主题区域，并通过URL与种子集合的距离设置不相关URL的缓冲区长度。仿真结果表明基于网络拓扑的爬虫比通用爬虫具有更高的查准率。

摘要： 作为聚焦爬虫搜索策略的核心部分，主题相关性判断算法是聚焦爬虫能够围绕设定主题进行聚焦检索的关键。针对现有的相关性算法PageRank算法的不足，我们提出了基于Vision-based Page Segmentation（VIPS）的改进PageRank算法。理论分析和实验表明，相对于传统的信息采集策略，改进的策略在一定程度上能改善聚焦爬虫的平均收获比。

摘要： 本发明提出一种基于聚焦网络爬虫抓取数据的营商环境态势分析系统，属于数据处理技术领域。包括：网络爬虫模块、数据处理模块、信息检索模块和数据库；网络爬虫模块、数据处理模块、信息检索模块和数据库依次连接；所述网络爬虫模块用于网站数据的抓取；包括特征网页地址集URLs、URLs队列和网络爬虫单元；所述数据处理模块用于对采集到的网络数据进行特征的提取，并将结果存入数据库；所述信息检索模块根据数据库中存储的特征信息，实现地区、行业多维度的全文和个性化搜索。解决现有技术中存在无法有效的对具体平台进行特定数据进行抓取的技术问题。

摘要： 本发明公开了一种聚焦网络爬虫自适应爬取方法，包括以下步骤：使用HTTP库对url库中的url发起请求并运用解析工具解析响应内容；提取页面内的全部文本，将其以HTML标签为分界分段缓存；依次查找待爬取字段；剔除不符合该待获取字段附带条件的文本段；主题关键词集合依次与符合条件的文本内容做主题相关度检测；判断是否存在主题相关度达到阈值的文本，若存在，提取主题相关度最大的文本内容进行存储，若不存在，则爬取下一个字段内容，直到爬取完所有字段；重复上述操作直到爬取完所有目标url。

摘要： 本发明公开了一种分布式的聚焦网络爬虫网页爬取方法及系统；本方法为：1)根据种子任务获取数据抓取的入口链接，生成待下载任务；2)根据该待下载任务获取对应的网页数据；3)从网页数据中提取出设定的目标结构化数据；其中，解析调度模块将待解析任务从待解析任务队列取出，通过负载均衡发送给解析模块；解析模块根据解析任务中的信息获取匹配的解析模板，从获取的所述网页数据中解析出目标结构化数据；为每一设定网站设置一对应的解析模板，解析模板为若干正则表达式组成的XML格式的文件，每一正则表达式均能从网页数据中匹配出目标结构化数据的一个属性。本发明大大提升数据抓取效率，具有高度的内聚性和透明性。

摘要： 本发明涉及一种基于深度学习和增强学习的聚焦爬虫链接价值预测方法，所述方法中网络爬虫沿着URL链接构成的网络拓扑图爬行，通过历史爬行过程的累计奖赏信息和URL特征预测URL链接的主题价值，并依据链接主题价值的大小选择下一个目标网页。本发明的创新点在与构建了可用于增强学习的链接特征向量并将深度学习和增强学习结合用于聚焦爬行过程中的链接价值预测问题。

摘要： 本发明公开了一种基于聚焦爬虫技术的旅游跟踪系统，属于数据处理技术领域，本发明利用数据爬虫技术阶段性的获取旅游舆情信息，并对其进行数据预处理，之后对其进行重要性确定，以判断其是否对景区有重大影响，接着通过智能分析设备进行语义分析，挖掘用户评论情感，并根据关键字和景区划分进行信息分类，从而有利于为景区持续化的景区规划和服务提升提供重要决策依据；此外，本发明还通过对游客评论或问题事件进行持续跟踪分析，实现了对景区规划和服务提升的质量评价，进而有利于断提高景区体验感，具有一定的经济和社会效益。

摘要： 本发明公开了一种基于聚焦爬虫技术的旅游跟踪系统。本发明中，利用聚焦爬虫自动抓取技术，采集各大网站涉旅新闻及舆评信息、游客真实点评、游记分享、重大事件新闻以及OTA网站产品公开数据，并利用人工智能算法及大数据处理技术对数据进行深度解析，对旅游舆情进行萃取，以获得数据背后隐藏的规律和信息，掌握旅游舆评动态、游客评价及旅游重点行业运行情况，达到全面提升对监管地区旅游公共服务品质的目的，为旅游管理部门及业界人士决策提供重要参考依据，同时还可以对监管地区的旅游舆情进行监管和跟踪，改善提升旅游服务品质，应对突发旅游危机事件，对全面掌握旅游舆情起着“关键性作用”。

摘要： 本发明涉及一种基于遗传算法的智能聚焦爬虫系统，其特征在于，包括：初始化模块；主题相似性判断模块，用于确定种子URL集中各被浏览网页的网页主题，计算网页主题与用户查找主题相关性；任务模块，将主题相似性判断模块获得的网页适应度值较高的网页的链接存储到URL结果集中，并根据URL结果集生成待爬取任务；爬虫模块。本发明将智能算法应用到爬虫系统中，使爬虫系统自适应能力增强，提高爬取信息的准确度。本发明提供的智能聚焦爬虫系统弥补了传统爬虫的不足，它是一种面向特定主题的爬虫系统。智能聚焦爬虫系统能够有目的的提取互联网中用户所需要的资源。

摘要： 本发明涉及一种基于深度学习和增强学习的聚焦爬虫链接价值预测方法，所述方法中网络爬虫沿着URL链接构成的网络拓扑图爬行，通过历史爬行过程的累计奖赏信息和URL特征预测URL链接的主题价值，并依据链接主题价值的大小选择下一个目标网页。本发明的创新点在与构建了可用于增强学习的链接特征向量并将深度学习和增强学习结合用于聚焦爬行过程中的链接价值预测问题。

摘要： 本发明提供基于宝藏图的链接与内容结合的聚焦网络爬虫搜索方法。聚焦网络爬虫的两个重要任务是：1.在网页上找到有关特定主题的文档；2.对这些网页进行分析并根据其与搜索主题的相关度进行排序。对于第一个任务，本发明提出了一种基于杜威十进制分类理论的算法来获取和分析页面中最有效的HTML结构元素，以及每个未访问链接的主题边界和锚文本。基于此，对未访问页面的主题的预测或发掘就可以获得较高准确率。此算法结合了基于链接和基于内容的方法。对于第二个任务，本发明制作“宝藏图”来实现对相关URL的优先级计算功能，借此做到优先处理那些可能存在更多与搜索目标相关的信息的未访问页面。本发明能充分挖掘网络中的有用信息，提高了聚焦爬虫的运行效率和爬取能力。

摘要： 本发明公开基于聚焦爬虫技术的行业分析方法及系统。该方法是利用聚焦网络爬虫技术对目标网站进行信息抓取，获得目标行业的结构化以及非结构化的数据信息；对抓取下来的数据信息进行页面信息解析、数据清洗和内容提取，对重复信息进行去重，并进行文本分词、特征提取以及关键词提取，分离出有用信息；使用文本分类和聚类算法，从有用信息中提取目标信息，形成行业的主题数据集；通过文档和或图表的方式，将各个主题数据集中的内容进行信息多维可视化展现，形成行业分析报告。本发明可以辅助行业分析师监测行业所处的政策和经济环境、竞争对手的动态以及发现成长快的企业，并对产业集中度、市场规模、增长速度、发展趋势进行分析。