Hadoop平台

摘要： 传统Apriori算法在大数据挖掘中存在速度慢、效果差等缺点,论文提出一种基于Hadoop平台的Apriori改进算法:改进算法的数据库扫描机制,优化运算过程中迭代方法。将改进后的Apriori算法与Hadoop平台相结合,有效地克服了传统Apriori算法的缺点,极大地提高了海量数据挖掘的效率,实验结果验证了算法的优势。

摘要： 本文通过搭建Hadoop平台搭建校本数据中心,并将数据集中存储在HBase数据库中。基于Hadoop的校本数据中心,提供了强大的数据统一存储和计算力,将校本数据进行了整合及标准化,形成数据中心的标准库和主题库,为广大师生提供数据查询、数据分析等各种数据服务。校本数据中心能够实现内信息化精益化运营分析,支持实时统计分析的管理辅助决策、基于大数据的数据分析决策以及科研数据辅助决策等;可满足高校的数据利用、教学质量管理、科研管理及绩效管理等需求。

摘要： 为了进一步提高网络安全趋势大数据的挖掘性能,提出一种基于Hadoop平台的网络安全趋势大数据深度挖掘方法。考虑网络安全趋势大数据信息缺失的情况,在Hadoop平台中筛选数据特征,剔除无用特征以降低数据维度。选择数据覆盖节点,重新确定聚类质心,改进大数据挖掘算法。融合Hadoop平台与改进大数据挖掘算法,将网络安全趋势大数据按照体量顺序排列,实现深度挖掘。实验结果证明,该算法在挖掘过程中未偏离数据密集区域,并在查全率与查准率方面均具有优势。

摘要： 针对大数据可视化需求,基于网络公开的用户行为大数据(部分数据可以借助网络爬虫等算法自主抓取),依托Hadoop开源大数据处理平台,利用JavaWeb中的编程框架,辅助以各种可视化工具,设计实现了大数据的可视化分析及应用.在完成大数据可视化处理操作的同时,实现了多源多类大数据的可视化分析与展示.通过实验分析,能够实现不同大数据应用领域的可视化数据分析,为用户提供便捷、有效的大数据处理与应用业务.

摘要： 为了准确获取移动物联网真实数据深层挖掘结果,制定合理的移动物联网建设规划,提出基于智能技术的移动物联网数据深层挖掘技术。构建基于Hadoop的数据存储平台,利用分布式计算完成移动物联网数据管理和存储。采用智能技术获得移动物联网周边基站布局状况,构建多元化移动物联网用户行为整合模型。提取挖掘路径耗损和挖掘距离等信息,将均方误差最小的挖掘路径耗损方程作为可信度较小解,剔除错误样本点,从高到低排列信号强度,获取数据深层挖掘盲点及重复数据深层挖掘区域,完成移动物联网数据深层挖掘计算。实验结果表明,所提出方法的数据挖掘分数较高,能够有效获取目标区域移动物联网数据深层挖掘情况,准确分析移动物联网数据深层挖掘,从而合理地规划移动物联网建设。

摘要： 本文着重探讨如何使大数据的智能可视化,从而促进大数据的智能化持续发展。从大量数据中抽取有用信息、分析信息、智能化处理和可视化处理等方面,是目前大数据领域亟待解决的一系列问题。

摘要： 针对经典自适应滤波算法处理机械故障信号时收敛过慢的问题,在大数据框架下提出一种改进的自适应滤波算法.以Hadoop平台为基础架构,构建一种三层次结构的机械故障大数据处理框架,用于采集和预处理原始故障大数据集;在信号滤波方面引入步长变化因子函数和均方误差函数,提高算法的收敛性能;基于离散粒子群算法对故障信号滤波处理过程进行优化,提高迭代速度和全局寻优的能力.实验结果表明:改进后的滤波算法降噪效果明显,尤其在低信噪比条件下其收敛性能相对于经典滤波算法更具优势.

摘要： 笔者以基于Hadoop平台的电力行业大数据分析技术应用为研究对象,首先对电力用户侧大数据的特征进行了简单介绍,随后分析了基于Hadoop平台的大数据架构,最后对基于Hadoop平台的电力行业大数据分析技术应用过程进行了分析,以供参考。

摘要： 为解决现有的智能变电站难以及时、有效地实现电力设备实时监测的问题,提出了一种面向智能变电站的电力设备状态监测方法.考虑到现有智能变电站电力设备数据量呈现指数增长,引入云计算运算模式,构建了基于Hadoop平台的MapReduce分布式处理系统.通过采用C4.5决策树算法实现了云计算,并基于MapReduce对算法进行改进.将并行算法作为核心优化Ha-doop平台的并行计算模式,实现数据的并行处理.实验结果表明,文中所提出的方法能够提升数据处理效率,增加电力设备故障诊断与识别的总体准确率,有效实现智能变电站电力设备的实时监测.

摘要： 在文本分类过程中,经典的最近邻分类算法(KNN)面对海量数据时的执行时间较长.对经典KNN算法进行改进,通过在训练阶段构造初级分类器以减少训练阶段的计算量,并在Hadoop平台MapReduce下予以实现.实验结果表明,改进后的算法可以在保证分类精度的情况下节省运行时间.

摘要： Hadoop作为大规模分布式数据处理框架已经在工业界得到广泛的应用,优化Hadoop的性能一直是研究重点.面对Hadoop复杂的运行流程和庞大的参数空间,手动调优或基于经验调优充满了挑战,本论文基于Hadoop参数自动优化问题,提出一种优化问题的描述方法和分析框架,通过定义微操作解耦MapReduce运行过程,再利用微操作对其进行重构,建立参数和作业执行时间关系的模型.在此模型的基础上,可以应用各类搜索优化算法高效快速地搜索得出优化参数.通过实验发现,该方法高效准确,可移植性强,可以很好地完成参数自动优化,大幅提高作业执行效率,本论文的方法对terasort和wordcount两种类型作业的执行时间分别提高了至少41％和30％.

摘要： Hadoop作为大规模分布式数据处理框架已经在工业界得到广泛的应用,优化Hadoop的性能一直是研究重点.面对Hadoop复杂的运行流程和庞大的参数空间,手动调优或基于经验调优充满了挑战,本论文基于Hadoop参数自动优化问题,提出一种优化问题的描述方法和分析框架,通过定义微操作解耦MapReduce运行过程,再利用微操作对其进行重构,建立参数和作业执行时间关系的模型.在此模型的基础上,可以应用各类搜索优化算法高效快速地搜索得出优化参数.通过实验发现,该方法高效准确,可移植性强,可以很好地完成参数自动优化,大幅提高作业执行效率,本论文的方法对terasort和wordcount两种类型作业的执行时间分别提高了至少41％和30％.

摘要： Hadoop作为大规模分布式数据处理框架已经在工业界得到广泛的应用,优化Hadoop的性能一直是研究重点.面对Hadoop复杂的运行流程和庞大的参数空间,手动调优或基于经验调优充满了挑战,本论文基于Hadoop参数自动优化问题,提出一种优化问题的描述方法和分析框架,通过定义微操作解耦MapReduce运行过程,再利用微操作对其进行重构,建立参数和作业执行时间关系的模型.在此模型的基础上,可以应用各类搜索优化算法高效快速地搜索得出优化参数.通过实验发现,该方法高效准确,可移植性强,可以很好地完成参数自动优化,大幅提高作业执行效率,本论文的方法对terasort和wordcount两种类型作业的执行时间分别提高了至少41％和30％.

摘要： Hadoop作为大规模分布式数据处理框架已经在工业界得到广泛的应用,优化Hadoop的性能一直是研究重点.面对Hadoop复杂的运行流程和庞大的参数空间,手动调优或基于经验调优充满了挑战,本论文基于Hadoop参数自动优化问题,提出一种优化问题的描述方法和分析框架,通过定义微操作解耦MapReduce运行过程,再利用微操作对其进行重构,建立参数和作业执行时间关系的模型.在此模型的基础上,可以应用各类搜索优化算法高效快速地搜索得出优化参数.通过实验发现,该方法高效准确,可移植性强,可以很好地完成参数自动优化,大幅提高作业执行效率,本论文的方法对terasort和wordcount两种类型作业的执行时间分别提高了至少41％和30％.

摘要： 为提高交通服务质量,实现交通智能化管理,高效、低成本地存储与分析海量城市交通信息已迫在眉睫.本文基于集群的分布式存储与并行计算体系结构,探讨了交通大数据的存储与处理问题;通过分析Hadoop数据平台及其优点,以及分布式文件系统HDFS及其架构,研究了基于Hadoop的交通大数据存储平台,并通过HDFS实现了存储交通大数据.本文提出的存储系统具有较强的理论和实用价值.

摘要： 为提高交通服务质量,实现交通智能化管理,高效、低成本地存储与分析海量城市交通信息已迫在眉睫.本文基于集群的分布式存储与并行计算体系结构,探讨了交通大数据的存储与处理问题;通过分析Hadoop数据平台及其优点,以及分布式文件系统HDFS及其架构,研究了基于Hadoop的交通大数据存储平台,并通过HDFS实现了存储交通大数据.本文提出的存储系统具有较强的理论和实用价值.

摘要： 为提高交通服务质量,实现交通智能化管理,高效、低成本地存储与分析海量城市交通信息已迫在眉睫.本文基于集群的分布式存储与并行计算体系结构,探讨了交通大数据的存储与处理问题;通过分析Hadoop数据平台及其优点,以及分布式文件系统HDFS及其架构,研究了基于Hadoop的交通大数据存储平台,并通过HDFS实现了存储交通大数据.本文提出的存储系统具有较强的理论和实用价值.

摘要： 为提高交通服务质量,实现交通智能化管理,高效、低成本地存储与分析海量城市交通信息已迫在眉睫.本文基于集群的分布式存储与并行计算体系结构,探讨了交通大数据的存储与处理问题;通过分析Hadoop数据平台及其优点,以及分布式文件系统HDFS及其架构,研究了基于Hadoop的交通大数据存储平台,并通过HDFS实现了存储交通大数据.本文提出的存储系统具有较强的理论和实用价值.

摘要： 随着大数据与互联网技术发展,移动终端的数量不断增加,从而形成海量空间数据,空间数据的存储与分析已经成为当下研究的热点.传统方法无法存储与处理海量数据,并且中文处理能力欠佳.基于此,本文提出了基于云端Hadoop处理框架.该处理框架利用云端部署Hadoop集群,HBase存储,Lucene等技术建立了中文空间数据存储与检索处理流程,克服了地址查询、长字段查询等查询功能上的局限性.实验结果表明:基于云端hadoop海量空间数据存储与检索对处理中文数据有很强的优势.本文提出的处理框架,对于大数据环境下,海量空间数据的信息的检索与存储具有重要的启示.

摘要： 随着大数据与互联网技术发展,移动终端的数量不断增加,从而形成海量空间数据,空间数据的存储与分析已经成为当下研究的热点.传统方法无法存储与处理海量数据,并且中文处理能力欠佳.基于此,本文提出了基于云端Hadoop处理框架.该处理框架利用云端部署Hadoop集群,HBase存储,Lucene等技术建立了中文空间数据存储与检索处理流程,克服了地址查询、长字段查询等查询功能上的局限性.实验结果表明:基于云端hadoop海量空间数据存储与检索对处理中文数据有很强的优势.本文提出的处理框架,对于大数据环境下,海量空间数据的信息的检索与存储具有重要的启示.

摘要： 本发明提供一种对hadoop大数据平台集中安全管控系统及方法，所述系统包括：安全管理平台，用于向客户端直接提供用户/用户组管理、访问管理、审计日志查询的功能服务；策略服务器，用于根据hadoop各组件的属性信息、操作权限信息、用户的授权关系信息预先抽象定义并形成功能服务列表；安全插件，用于获取策略服务器内所形成的功能服务列表，并根据所述功能服务列表确定访问对应hadoop组件执行安全管理平台所指定的功能服务；设置的审计日志，用于对hadoop各组件访问数据进行记录。本发明能够通过所述系统将Hadoop平台各组件分散的安全管理集中到一起，实现可视化访问策略授权及日志查看等。

摘要： 本发明公开了一种hadoop大数据平台的任务调度管理系统及方法，系统包括权限模块、任务检索模块、任务依赖模块、调度检索模块、任务合规检查模块、调度模块、报警模块和任务状态检索模块；本发明提供一种可视化系统，用于可视化的进行任务的调度依赖管理，以及任务血缘关系的查看和管理，便于用户进行问题的追溯以任务的依赖关系配置；不再需要用户进行手动配置任务的运行时间，调度的任务会根据前置依赖任务的运行结束时间自动开始运行后置任务；当任务发生运行错误时，会根据用户配置的重试次数进行任务的重试运行，并提供报警机制，提醒依赖了当前运行失败的用户；任务依赖的环自动检索功能，有效避免任务运行死循环的问题。

摘要： 本发明公开一种基于Hadoop平台的动态数据完整性验证方法、1、构建系统模型；2、数据拥有者产生一对密钥，包括私钥与公钥；3、数据拥有者将文件分块，为每个文件块生成文件块标签，将公钥(g,N)、文件块标签与文件上传至Hadoop平台；数据拥有者将公钥(g,N)与文件块标签发送给审计者；4、审计者生成挑战值，并发送给Hadoop平台；5、Hadoop平台根据挑战值生成证明值，并发送给审计者；6、审计者检查证明值，并将审计报告返回给数据拥有者；7、数据拥有者远程地对Hadoop平台上的数据进行更新，步骤7结束后，跳转到步骤4，重复执行步骤4至步骤6。本发明节省了文件传输的通信开销，提高了数据完整性验证的效率。

摘要： 本发明公开了基于Hadoop大数据平台分布式电源自动告警方法及装置，涉及分布式电源告警技术领域，包括以下步骤：S1，获取分布式电源数据，通过告警分析算法得到分布式电源的告警数据；S2，通过告警决策分析算法判断告警数据为异常告警数据还是正常告警数据，将告警决策分析算法的计算结果发送至客户端；通过此种设计达到对一系列电能质量标准自动进行校验、校准，并将告警分析结果再次通过告警决策分析模块，目的是决策自动告警的正确性，最终生成自动告警结果，并将自动告警结果主动推送到分布式客户端进行可视化展示，达到依托Hadoop大数据平台，为用户自动分析、自动生成异常告警信息的目的。

摘要： 本发明提供了一种Hadoop大数据平台分布式能源数据清洗方法及系统，以Hadoop大数据平台为依托，利用python的科学计算库进行数据的初步探索分析，利用第三方绘图库plot画图分析数据，查找异常数据类型、缺失值、数据集规模和各特征下的数据分布情况，然后通过Hadoop大数据平台使用聚类分析填充缺失值和处理异常值，对冗余数据进行去重，实现了分布式能源数据的快速和精准清洗。

摘要： 本申请公开了一种基于Hadoop分析平台的自适应限速方法、装置、设备及介质，涉及数据分析技术领域，该方法包括：对Hadoop分析平台进行性能测试并将测试结果标准化为配置格式，以将配置格式内置于Hadoop分析平台的数据库；基于第一预设时间间隔定时获取Hadoop分析平台的实际参数并与配置格式进行匹配，以得到匹配后的生效配置；基于第二预设时间间隔定时检测Hadoop分析平台上运行的数据信息，并判断数据信息是否超过生效配置；若数据信息超过生效配置，则通过第一预设接口设置限速器，并根据数据信息设置限速器参数，以便将限速器参数与配置格式进行匹配进行自适应限速。通过本申请的技术方案，可以基于Hadoop分析平台进行自适应限速，应用性强。

摘要： 本申请实施例提供一种基于Hadoop平台的体育业务用户的分类打标方法及装置，根据Hadoop平台的分布式存储系统中所存储的用户数据提取用户的信息，根据所提取的用户的信息判断用户是否为体育业务用户，由此，能够对银行客户自动地进行筛选，不依赖于业务人员的主观判断，能够极大地减小业务人员的工作量，并且对筛选出的体育业务客户生成多个体育相关的标签，能够实现体育业务客户的多维度画像，确保目标客户筛选的准确性和精确度，防止遗漏或误判，从而实现业务推荐的准确性和及时性，确保体育场景业务的拉新、促活效果。

摘要： 本申请涉及一种针对Hadoop数据平台的扩容资源预测方法及系统，包括以下步骤：基于日志库的历史样本数据训练预测模型；将当前特定时段数据集输入到预测模型，得出下一特定时段的预测数据集；将当前特定时段数据集的数据分为范围内数据以及范围外数据；将范围内数据分为低热力度访问数据、高热力度访问数据；将低热力度访问数据从HDD以及DDR调出存入SSD，将高热力度访问数据从HDD以及SSD中调出存入DDR。本申请通过对下一特定时段的数据进行预测，优化了数据存储结构，提升了访问速度，使服务器的性能和存储空间的利用率得到非常高的提升；在存储不足时，能够提前对企业人员作出扩容提示，使得数据平台能够稳定运行。

摘要： 本发明公开了一种海量平台往hadoop平台自动化导入增量数据的方法，其特征是：以海量平台为源数据库，以Hadoop大数据平台为目标数据库，并结合Java开发的自动化增量数据导入方法，来实现源数据库中的增量数据导入到目标数据库的目的。本发明与传统Hadoop平台数据导入方法相比，本方法不仅能够大大提高数据导入效率，同时还能提高导入数据的质量，为后续大数据统计分析的准确性提供了良好基础。

摘要： 本发明公开了一种海量平台往hadoop平台自动化导入增量数据的方法，其特征是：以海量平台为源数据库，以Hadoop大数据平台为目标数据库，并结合Java开发的自动化增量数据导入方法，来实现源数据库中的增量数据导入到目标数据库的目的。本发明与传统Hadoop平台数据导入方法相比，本方法不仅能够大大提高数据导入效率，同时还能提高导入数据的质量，为后续大数据统计分析的准确性提供了良好基础。