您现在的位置: 首页> 研究主题> 爬虫技术

爬虫技术

爬虫技术的相关文献在2005年到2022年内共计200篇,主要集中在自动化技术、计算机技术、无线电电子学、电信技术、信息与知识传播 等领域,其中期刊论文131篇、会议论文7篇、专利文献153055篇;相关期刊109种,包括无线互联科技、技术与市场、科技资讯等; 相关会议7种,包括辽宁省通信学会2016年通信网络与信息技术年会、2014中华医院信息网络大会、广西计算机学会25周年纪念暨2011年学术年会等;爬虫技术的相关文献由449位作者贡献,包括王俊、仲梁维、何金陵等。

爬虫技术—发文量

期刊论文>

论文:131 占比:0.09%

会议论文>

论文:7 占比:0.00%

专利文献>

论文:153055 占比:99.91%

总计:153193篇

爬虫技术—发文趋势图

爬虫技术

-研究学者

  • 王俊
  • 仲梁维
  • 何金陵
  • 刘心声
  • 刘文正
  • 刘青
  • 卢江
  • 吴子辰
  • 周全
  • 周宇
  • 期刊论文
  • 会议论文
  • 专利文献

搜索

排序:

年份

    • 张乔豪; 苏雯洁
    • 摘要: 以某网站为例,基于BM25算法和TextRank算法开发出基于Requests技术的MOOC学习视频检索工具。当用户对某个MOOC学习视频感兴趣,该工具满足检索出同网站上其他相似MOOC学习视频的需求。该工具核心功能是提供对MOOC学习视频的检索和筛选,工具使用爬虫技术爬取Web页面的文本信息,再应用相关算法进行文本相似性比较,得到相似文本特征的MOOC学习视频。
    • 王子怡
    • 摘要: 随着我国养宠人群数量的增加,宠物产业逐渐成为一个新兴的特色朝阳产业。面对前景开阔的市场蓝海,许多企业迅速进军宠物行业。美的集团也在宠物产品的研发和市场中占有一席之地,如何在现有产品的基础上谋求创新发展并抢占先机,是目前亟需解决的问题。因而展开本次调查,通过对目前宠物行业的现状调研,结合不同群体对宠物用品的需求及期望进行分析,期望为美的宠物产品的开发与营销提供科学的参考意见。文章首先对美的宠物产品进行了品牌分析,利用Python爬虫技术从整体分析、消费评价和竞品分析三个角度对美的宠物产品现状做一个大致的了解,有针对性地提出了发展对策。在此基础上,结合文献结果,文章以青岛市常住居民为调研对象,从调查养宠人群的基本状况及其对宠物清洁产品的期望、美的宠物产品的市场潜力与机会方向两个维度展开调研。数据结果显示调查问卷具有较高的信效度,达到了此次调研的目的。美的宠物产业的分析及本次调研结果显示,在宠物产品生产上,要注重创新性、时尚性与实用性相结合;在营销平台选择上,推荐结合各类短视频APP以提升美的的品牌价值及传播力度,从而形成有效稳健的市场运营机制,实现效益增值的最大化。
    • 陈琼莺; 施蔚然; 郑玉兰; 冯招程
    • 摘要: 中国东南沿海地区或南部地区在每年夏天经常会被台风侵袭,暴雨造成的洪水漫堤、河水泛滥等给百姓造成巨大的经济损失。台风报文资料作为台风的原始数据,有利于提高预测台风的准确率,因此做好获取中央气象台的台风报文工作是非常重要的。为了更加高效地应对台风造成的灾害,需要获取台风原始数据,对此研究基于Python爬虫技术实现台风报文的抓取。
    • 卢花; 冯新
    • 摘要: 为了促进教师适应信息化环境及建设新型教师队伍,提高教师获取教学资源的能力是十分必要的。本文阐述了采用网络爬虫技术批量获取网络教学资源的有效性和可行性,探讨了通过采用python爬虫功能实现批量爬取教学资源的策略,以及总结了有关注意事项。实践的结果表明,运用网络爬虫技术批量获取教学资源,大大缩短了教学资源的获取时间,提高了教师工作效率。
    • 王霞; 张俊坤; 陈尧; 文科历
    • 摘要: 随着互联网的快速发展,互联网信息呈指数增长,对信息的收集变得越来越困难,如何从大量的数据中快速高效提取用户感兴趣的信息,是迫切需要解决的问题。网络爬虫技术能够自动收集信息并对网页数据进行抓取,提升了搜索引擎的能力。文章通过对网络爬虫技术的原理、Python钒钛词库爬虫进行设计与分析,实现信息的高效处理。
    • 张昭辉; 张吉光; 徐士彪; 孟维亮; 程章林; 张晓鹏
    • 摘要: 在信息产业急剧膨胀的时代背景下,主流数字媒体产生了由文字到图片再到视频的演化,如何快速有效地获取视频中人物的关键信息,成为各大互联网娱乐和大数据分析领域争相研究的话题。然而,现有的人物信息获取方法还有极大的局限性,无法在视频界面直接获取信息。为了解决这一问题,该文提出了一种新的“由粗到细”的基于特征混合聚类和关键点检测的智能人脸搜索框架,实现了对互联网视频数据的实时检测与高鲁棒的视频人脸数据智能搜索。该文将大数据下人脸数据实时搜索工作细分,首先,通过基于多尺度深度特征混合聚类的人脸检测算法,使用Softmax函数实现数据分类,并运用中心损失函数center loss形成聚类中心,随后通过对中心点的回归矫正,达成人脸的粗筛选;然后,通过基于脸部关键点检测算法,提取68个人脸关键特征点,生成易于计算处理的标准化特征码。此外,该文还构造了两个影视类人脸数据集,为后续相关互联网行业、娱乐多媒体提供大数据分析。基于该文章整体实验结果表明,在人脸快速检测方面,与现有的主流方法相比,该文方法在识别精度和效率上,都具有一定的提升,其中,基于多尺度深度特征混合聚类算法实验的识别效率提升31.2%,假阳性样本辨别力提升3倍,整体运行效率达标,具有一定的实用价值。
    • 崔久强
    • 摘要: 数据爬取技术伴随互联网搜索技术而生,是现代网络信息交换的基础技术之一。作为一种数据获取工具,其可以有效提升使用者的数据收集效率。但是技术的无限制使用必然会给网络秩序带来混乱,因此,需要通过技术规范和法律规范等的约束,进一步加强相关数据治理,防止爬虫技术被滥用,侵害网络信息权利人的合法利益。
    • 张雁涔
    • 摘要: 文章介绍了蔬菜销售情况分析系统的设计与实现,通过数据分析与处理环节搜集蔬菜相关信息,借助相应的程序算法把专业知识和市场环境相结合,提前从中发现未来隐藏的行为与意义,对提取的数据信息的可靠性、有效性等进行评估,并将其进行可视化展示到页面上,提供更直观的展示。
    • 张慧; 姜忠正; 邵静
    • 摘要: 随着运营商家宽质量的提升和互联网电视牌照方内容丰富度的优化,基于运营商家宽网络的互联网电视业务发展迅速,用户规模呈快速增长态势,这一发展对各家运营商来说既是机遇也是挑战。互联网电视承载于IP网络之上,而网络本身并无界限,IP网络上的数据流很容易遭受攻击和篡改,对关键视频服务器恶意攻击(如非法访问)或假冒网络视频内容提供商(CP)进行非法插播等,严重影响用户的收视感知甚至造成违法犯罪。为解决这一问题,确保互联网电视安播工作有序推进,基于爬虫技术搭建了一套不良信息监测系统,通过模拟机顶盒请求对视频播控平台码流的监测以及CDN视频服务器内缓存内容的爬测,及时监测视频内容分发过程中可能存在的视频质量劣化以及各类有危害性的不良信息,提升用户收视感知,净化用户视听环境,确保在互联网电视蓬勃发展的同时也完成国家对于互联网电视业务安播工作的要求。
    • 李梅; 朱明宇
    • 摘要: 针对无线通信网络存在因漏洞数据大量累积,而造成通信网络运行速率下降的问题,提出基于蚁群算法的无线通信网络安全漏洞检测方法;根据最大、最小蚂蚁系统定义原则,采用蚁群算法,建立完整的数学模型表达式;结合网络爬虫技术,将待测数据载荷单元整理成既定组合形式,遵循绕过规则,提取待测安全漏洞数据;分析SQL注释语句与URL编码条件,设置动态化查询指令,选取其中表现为空的信息字节,建立信息剥离表达式,实现无线通信网络安全漏洞检测;实验结果表明,设计方法的漏洞信息检测量均值达到了4.37 Mb,该检测方法有效提高了检测量,解决了因漏洞数据大量累积而造成的通信网络运行速率下降的问题。
  • 查看更多

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号