Web挖掘

摘要： 目前主流的网页抽取方法存在两大问题:提取信息类型单一,难以获取多种类新闻信息;多依赖HTML标签,难以扩展至不同来源。为此提出一种基于多维度文本特征的新闻网页信息提取方法,利用新闻文本的写作特点划分出写作、语义和位置特征,通过多通道卷积神经网络融合为多维度文本特征,用于提取多种类新闻网页信息;仅需少量数据集训练,就可提取新来源的新闻网页信息。实验结果表明,该方法在性能上高于当前最优方法。

摘要： 随着网络用户的增多和网络行为的多样性,高校网络浏览记录快速增长到Tb级,传统的数据统计已经无法满足使用.通过Excel进行统计,会出现无法打开或失去响应等问题,因此众多学校投入到网络信息管理系统的开发.本文通过Pandas对Excel中的高校网络WEB日志数据进行统计和分析、生成统计图等方式使得管理员可以直观了解到网络浏览情况.系统前端采用了CSS架构用于优化界面,选择Mysql数据库进行数据存储,使用Django框架进行系统搭建,实现前后端的连接和用户管理.在系统的使用过程中,通过生成的统计图,管理员可以直观了解到用户在各个时间段的浏览情况和用户的浏览网站类别倾向,从而对实现网络舆情的监督.

摘要： 针对当前网络信息的发展需求呈现爆炸式增长,对网络搜索引擎提出了更高要求.采用理论结合实践的方法,首先Web信息检索挖掘技术做了简要概念,其次对基于Web挖掘的网络搜索引擎技术的应用进行了分析,提出了一种给予Web挖掘的个性化搜索引擎,并对各系统模块的功能及实现方式进行研究,分析结果表明,此种系统具有很强的检索灵活性,而且还能实现个性化查询结果,能够满足信息时代,信息数据挖掘和检索的需求,值得大范围推广应用.

摘要： 在互联网+背景下,传统的教学模式已经不能满足日益智能化的学习需求,所以提出基于Web挖掘的网络教学平台,并对其进行设计,首先采用Web挖掘技术设计网络教学平台系统,其次构建主要功能模块,然后基于Web挖掘技术建立数据库,最后采用聚类分析法实现基于Web挖掘的网络教学平台的完整设计.接下来设计对比实验进行验证,结果基于W e b挖掘的网络教学平台的用户访问成功率达到了几乎100％,高于传统平台,所以该平台设计是成功的,而且可以提高教学质量.

摘要： 政府采购过程中产生的大量招投标数据,基本都以Web文本的形式向公众呈现,难以获取结构化数据,严重制约着公众对政府采购过程的知情、分析和监督。本文提出一种基于Web挖掘的政府采购数据的工程化采集方案,构建了一套面向政府采购公开数据的结构化数据形成体系。首先,通过对招投标信息来源和结构的分析,设计基于Scrapy爬虫框架的工程化数据抓取平台;其次,结合基于规则和基于统计两种抽取方式,设计专用信息抽取器;最后,根据领域特点建立阶段性数据清洗中心,分层过滤数据,最终输出可用于分析和挖掘的结构化数据。系统实验结果证明了该方案的可行性和优越性,为政府采购信息公开发挥监督和引导职能提供了有力的技术支撑。

摘要： 政府采购过程中产生的大量招投标数据,基本都以Web文本的形式向公众呈现,难以获取结构化数据,严重制约着公众对政府采购过程的知情、分析和监督.本文提出一种基于Web挖掘的政府采购数据的工程化采集方案,构建了一套面向政府采购公开数据的结构化数据形成体系.首先,通过对招投标信息来源和结构的分析,设计基于Scrapy爬虫框架的工程化数据抓取平台;其次,结合基于规则和基于统计两种抽取方式,设计专用信息抽取器;最后,根据领域特点建立阶段性数据清洗中心,分层过滤数据,最终输出可用于分析和挖掘的结构化数据.系统实验结果证明了该方案的可行性和优越性,为政府采购信息公开发挥监督和引导职能提供了有力的技术支撑.

摘要： 针对于互联网商品信息数据量庞大的问题,提出一种基于改进型轻量级语义特征提取的web商品信息挖掘方法.首先,通过分析网站链接的层级关系,采用层次访问的方式抓取电子商店的网站URL.其次,采用改进型轻量级语义特征提取方法对元素进行聚类以实现电子商店页面内商品记录的提取.最后,利用产品属性格式和产品记录结构的常识信息进行正则匹配,实现商品属性的提取.实验采用该方法提取来自不同国家的两个电子商店网站不同产品的属性,实验结果表明,提出的方法较好地兼顾了信息提取的完整性和准确性,商品信息的平均提取准确率可高达98.39％.

摘要： 本文介绍了在电子商务活动中使用web挖掘技术,提出了一种基于web数据挖掘技术的网上购物智能推荐方法.主要通过挖掘用户的web日志记录并对其进行分析与探索,从而获取日志记录中的规律及在顾客的购物活动中各商品之间存在的关联规则,进而得到推荐系统的模型.

摘要： 传统图书馆检索面临着服务质量提升的瓶颈。面向用户的个性化技术为信息服务质量的持续提高提供了一个可选解决方案。Web挖掘是实现个性化的关键技术。Web挖掘能够通过分析web站点访问记录以及访问的信息资源内容，了解用户信息需求和访问特点。这些特点和需求能够为个性化与群体化服务的改进提供参考。分析单一用户的访问特点，能够为用户提供独特的信息展示；挖掘群体访问模式和群体兴趣能够提高面向群体的信息服务效果。本文分析了数字图书馆环境特点，总结了web挖掘相关技术，结合个性化信息服务的特点，阐述了针对特定用户改进检索效果的若干方式。

摘要： 利用Web挖掘技术,帮助图书馆采访员快速制作高质量、个性化电子书目,改变采访馆员完全依靠书商的被动工作状态,从繁琐人工劳动中解放出来,从而进一步满足读者大量的个性化阅读需求,提高自采访的针对性、实用性,减少盲目性、主观性.

摘要： 利用Web挖掘技术,帮助图书馆采访员快速制作高质量、个性化电子书目,改变采访馆员完全依靠书商的被动工作状态,从繁琐人工劳动中解放出来,从而进一步满足读者大量的个性化阅读需求,提高自采访的针对性、实用性,减少盲目性、主观性.

摘要： 利用Web挖掘技术,帮助图书馆采访员快速制作高质量、个性化电子书目,改变采访馆员完全依靠书商的被动工作状态,从繁琐人工劳动中解放出来,从而进一步满足读者大量的个性化阅读需求,提高自采访的针对性、实用性,减少盲目性、主观性.

摘要： 利用Web挖掘技术,帮助图书馆采访员快速制作高质量、个性化电子书目,改变采访馆员完全依靠书商的被动工作状态,从繁琐人工劳动中解放出来,从而进一步满足读者大量的个性化阅读需求,提高自采访的针对性、实用性,减少盲目性、主观性.

摘要： 针对用户特性向用户提供个性化服务已经成为Web 技术的研究热点。Web 挖掘是实现Web个性化服务的关键技术之一，研究了Web 挖掘技术，分析了个性化信息服务中用户研究的目的，阐述了获取用户兴趣的方法，并提出了一种把Web 用户浏览内容和浏览行为相结合的方法来构建用户兴趣模型。同时对应用Web 挖掘技术实现个性化服务的发展前景进行了分析。

摘要： 针对用户特性向用户提供个性化服务已经成为Web 技术的研究热点。Web 挖掘是实现Web个性化服务的关键技术之一，研究了Web 挖掘技术，分析了个性化信息服务中用户研究的目的，阐述了获取用户兴趣的方法，并提出了一种把Web 用户浏览内容和浏览行为相结合的方法来构建用户兴趣模型。同时对应用Web 挖掘技术实现个性化服务的发展前景进行了分析。

摘要： 针对用户特性向用户提供个性化服务已经成为Web 技术的研究热点。Web 挖掘是实现Web个性化服务的关键技术之一，研究了Web 挖掘技术，分析了个性化信息服务中用户研究的目的，阐述了获取用户兴趣的方法，并提出了一种把Web 用户浏览内容和浏览行为相结合的方法来构建用户兴趣模型。同时对应用Web 挖掘技术实现个性化服务的发展前景进行了分析。

摘要： 本文提出了一种从搜索引擎返回的结果网页中获取双语网页的新方法，该方法分为两个任务。第一个任务是自动地检测并收集搜索引擎返回的结果网页中的数据记录。该步骤通过聚类的方法识别出有用的记录摘要并且为下一个任务即高质量双语混合网页的验证及其获取提供有效特征。本文中把双语混合网页的验证看作是有效的分类问题，该方法不依赖于特定领域和搜索引擎。基于从搜索引擎收集并经过人工标注的2516条检索结果记录，本文提出的方法取得了81.3%的精确率和94.93%的召回率。

摘要： 本发明公开了一种解耦WEB客户端与大数据挖掘分析的数据挖掘平台及实现方法，本方案由WEB客户端，数据挖掘服务单元，以及数据挖掘开发平台配合构成，数据挖掘服务单元分别与WEB客户端和数据挖掘开发平台数据连接，其接收并管理WEB客户端的请求，以及感知数据挖掘开发平台开发打包的相关数据挖掘算法，在WEB客户端和数据挖掘开发平台之间搭建调用通道；WEB客户端通过数据挖掘服务单元调用数据挖掘开发平台开发的相关数据挖掘算法。本方案能够将WEB客户端开发技术与大数据挖掘分析技术进行解耦，通过R数据挖掘服务把前端及分析人员的工作连接了起来，这样使得大数据挖掘分析人员专注实现R函数。

摘要： 本发明涉及模型建立领域，特别涉及一种基于可视化web页面数据挖掘的方法和存储设备。所述一种基于可视化web页面数据挖掘的方法，包括步骤：在模型开发环境中进行模型训练，得有效模型；将有效模型导出为预设类型文件；在生产环境的页面的预设区域选取预设类型文件建立算法库模型；对算法库模型进行发布；切换至生产环境的其它页面，在其它页面的第一预设区域显示数据挖掘模型组件；根据拖拽指令拖拽目标组件至其它页面的第二预设区域，对目标组件进行配置后生成数据挖掘模型，运行数据挖掘模型进行数据挖掘。整个操作过程直接在页面上操作，操作人员无需编写程序，无需专业的技术人员参与，大大降低了使用技术门槛，带来更好的用户体验。

摘要： 本发明公开了一种基于数据挖掘的web业务数据分析方法及系统，方法包括对前端解码引擎的业务数据进行获取并整理，得到整理后的业务数据，并建立业务模型；根据整理后的业务数据，对其进行分类；根据分类后的业务数据，对其中预设的重点业务进行拨测处理；根据业务数据，形成分析结果并入库。系统包括数据整理单元、数据分类单元、拨测单元和数据入库单元。本发明通过对业务数据进行分析建模，并结合对厂家的数据进行定期的比对，实现对web业务的模型识别，形成企业对业务的管理运营，从而实现基于业务的经营分析、系统运维的方案。本发明可广泛应用于业务数据分析中。

摘要： 本发明公开了一种解耦WEB客户端与大数据挖掘分析的数据挖掘平台及实现方法，本方案由WEB客户端，数据挖掘服务单元，以及数据挖掘开发平台配合构成，数据挖掘服务单元分别与WEB客户端和数据挖掘开发平台数据连接，其接收并管理WEB客户端的请求，以及感知数据挖掘开发平台开发打包的相关数据挖掘算法，在WEB客户端和数据挖掘开发平台之间搭建调用通道；WEB客户端通过数据挖掘服务单元调用数据挖掘开发平台开发的相关数据挖掘算法。本方案能够将WEB客户端开发技术与大数据挖掘分析技术进行解耦，通过R数据挖掘服务把前端及分析人员的工作连接了起来，这样使得大数据挖掘分析人员专注实现R函数。

摘要： 本发明公开了一种基于网络爬虫的WEB系统数据挖掘系统，涉及电网运行数据挖掘装置技术领域，解决了通过网络爬虫对电网内部的电子数据进行挖掘时，装置内部元件运行的工作量较大，极易出现过热现象，但装置整体的散热机构较为简单且散热通道不足的问题。一种基于网络爬虫的WEB系统数据挖掘系统，包括装置主体，所述装置主体的内部设置有元件安装仓，所述元件安装仓的前方设置有防尘网安装卡槽，所述防尘网安装卡槽的内侧镶嵌设置有防尘网。本发明通过设置有可弹出散热机构、辅助清尘机构和散热风扇可以快速加大装置的散热通道的数量，加速装置内部元件的散热，避免装置内部元件过热出现故障或短路。

摘要： 本发明公开了一种基于图神经网络的Web API关联模式挖掘方法，包括以下步骤：S1、收集Web API数据集，并将其转化为异构图，将异构图输入图神经网络；S2、基于输入图神经网络的异构图，通过图神经网络进行多通道卷积操作得到若干第一图结构；S3、将若干第一图结构进行拼接堆叠，得到第二图结构；S4、将第二图结构输入图卷积神经网络得到分类结果，并根据分类结果对用户进行推荐，完成Web API关联模式的挖掘。

摘要： 本发明公开了一种基于漏洞挖掘的web漏洞扫描方法及系统，判断被识别出的web服务是否在知识库中，当被识别出的web服务在所述知识库中时，则向得到的URL地址发送已知漏洞POC的特征数据包，并判断已知漏洞POC的预期响应与真实响应是否匹配，当已知漏洞POC的预期响应与真实响应匹配，则所述web服务具有该已知漏洞POC，否则，则根据所述URL地址对应的请求方法，生成模糊参数，并利用所述模糊参数进行漏洞挖掘，得漏洞挖掘结果，完成基于漏洞挖掘的web漏洞扫描，该方法及系统能够对web服务进行URL地址的自动爬取，同时能够进行漏洞挖掘。

摘要： 本发明提供基于web招聘信息的特定专业人才技能需求挖掘系统，涉及招聘信息处理技术领域。该基于web招聘信息的特定专业人才技能需求挖掘系统，包括web接入模块、信息储存云库、信息检索平台、数据分析平台；Web接入模块，用于获取web上发布的招聘信息；信息储存云库，用于收集储存web上发布的各种招聘信息，并且对招聘信息实时更新；信息检索平台，用于从信息储存云库中筛选用户需要检索的特定招聘信息；数据分析平台，用于对信息检索平台筛选出来的信息进行分析分类，然后以数据的方式展现出来。通过该系统的使用可以快速、便捷、精确的查询到企业对于某种特定专业人才技能的需求情况，高效而且能够节约大量劳动力。

摘要： 一种基于TWE‑NMF模型的Web服务描述文档语义挖掘方法，包括以下步骤：第一步：根据上下文信息和服务标签信息计算单词的语义权重信息从而得到文档‑单词语义权重信息矩阵D；第二步：统计单词共现信息，从而计算出SPPMI矩阵信息；第三步：基于第一步，第二步得到Mashup服务文档单词的词频信息矩阵D，单词的上下文SPPMI矩阵M，通过分解M可以得到词嵌入信息矩阵，进一步将上述两种信息进行结合，计算服务的主题信息。本发明在模型上能和NMF模型有机的统一，并且通过分解SPPMI矩阵引入的词嵌入信息能缓解Mashup服务特征信息稀疏的问题，从而有效地对Mashup服务进行建模。

摘要： 本发明提供一种从Web点击流数据中挖掘代表序列模式的方法，涉及序列模式挖掘技术领域。该方法首先输入Web点击流序列数据集、最小支持度和最大覆盖度，并遍历一次数据集保留不小于最小支持度的所有频繁站点作为序列生成种子；对每一个序列生成种子采用缝隙扩展枚举树，结合缝隙扫描剪枝策略和闭合检查得到该种子的所有频繁闭合超序列；进一步采用局部代表序列筛选技术选出该种子的所有代表序列；遍历所有序列生成种子，输出每个种子的代表序列，得到Web点击流数据的所有代表序列模式。优点是：代表序列模式能有效解决频繁序列模式数量庞大而可用性低的矛盾，能增强结果的可用性；为Web点击流的在线用户行为分析、信息推荐、引擎优化等应用提供参考。