Hadoop集群

摘要： 大数据分析系统的用户希望任务的执行时间尽可能短。然而,在任务执行期间,网络与计算时刻都可能成为阻碍任务执行的资源瓶颈。通过对大数据分析系统的观察与分析,得出如下结论:1)根据当前资源瓶颈的不同,数据并行框架应当在多种工作模式之间切换;2)子任务的调度应当充分考虑将来可能到达的新任务,而不能仅考虑当前已经提交的任务。基于上述观察,设计并实现了全新的任务调度系统Duopoly,其由感知计算资源的网络调度器cans与感知网络资源的子任务调度器nats两部分组成。通过小规模物理集群与大规模仿真实验对Duopoly的效果进行评估,实验结果表明,与现有工作相比,Duopoly可以将平均任务完成时间缩短37.30%~76.16%。

摘要： 传统的异常数据监测算法依靠单台计算机对异常数据进行识别,识别速度慢,且无法满足对数据处理的精确性要求。针对上述问题,文中构建了Hadoop分布式财务异常数据分析模型。该模型采用Hadoop中的MapReduce框架作为并行计算框架,同时在数据异常检测算法方面引入了邻域关系的LOF算法,有效避免了数据集元素边缘可能会出现误判的情况。数值实验结果表明,文中所提算法的准确率相比其他3种同类算法提升了5%以上,且算法的总运行时间也明显缩短。由此可见,文中所提模型可快速、准确地检测出财务异常数据,保障医疗系统的平稳运行。

摘要： 文中设计一个用于存储的平台,通过虚拟化技术实现了服务器,规划了平台的存储集群规模及服务;对存储集群架构、请求处理系统、数据库进行了设计;使用Spring Boot和Thymeleaf实现了前台用户功能模块,包括用户注册、用户登录、文件上传及文件相关操作、用户关注和用户分享等功能;最后对HBase库亿级大数据查询性能和Hadoop集群输入/输出(Input/Output,I/O)性能进行了测试。测试结果表明查询性能可以做到百毫秒级查询,写性能平均I/O速率为91.73 Mb/s,读性能平均I/O速率为348.56 Mb/s,能够满足用户需求。

摘要： 本文设计了一种基于Hadoop高可用集群的大数据新闻可视化平台。搭建Hadoop高可用集群并部署相关服务之后采用分布式爬虫采集数据,通过SparkStreaming完成对实时流数据的处理,最后使用百度Sugar实现了热点新闻数据的可视化,经测试系统稳定,能够在较短时间内处理海量新闻数据。以此为基础还构建了一个新闻语料库,可以为日后的机器学习、语料库研究提供数据支撑。

摘要： 针对现有大数据实验平台成本较高、总体部署效率较低,扩展性较差等问题,提出利用容器虚拟化技术,采用Docker、Kubernetes(K8s)、Rancher、JumpServer等开源组件来快速构建轻量级大数据实验平台的端到端解决方案,阐述了平台使用的相关技术,包括容器编排、容器数据的持久化、访问容器中的图形界面、用户如何访问容器集群提供的服务,并通过简单二次开发实现批量部署大数据实验环境等内容。实验测试表明,该平台具有建设成本较低、部署效率高、可扩展性强等特点,能够满足日常教学与实验需求,具有较好的应用价值和推广意义。

摘要： 为了解决校园学生行为数据量大、结构复杂和来源广泛造成的数据管理难度大的问题,提出了一种在大数据平台上构建知识库的模型,分析海量学生数据。通过搭建Hadoop集群对学生一卡通数据做数据抽取、数据融合、数据入库分析和数据更新等操作形成学生行为知识库,并通过改进TextRank算法和采用随机游走技术实现知识库的自动推理和异常检测。实验结果表明,所构建的知识库与sym-KL算法构建的知识库进行对比分析,明显提升了对知识的分类、关系的链接和异常的检测效率,也为学校信息化平台增添了智能分析的功能。

摘要： 针对Hadoop集群节点增加导致任务运行效率降低,以及异常节点会拖慢整体作业进度的问题,提出了一种Hadoop集群异常节点实时检测与诊断算法。首先基于正常状态下节点性能相似性原理,使用Logstash工具收集Hadoop集群节点运行日志中的任务状态信息;其次,发现异常节点后,通过Perf性能分析工具收集体系结构性能信息,再利用异常节点诊断算法诊断导致该节点异常的原因。通过实时流计算框架Spark Streaming构建了异常节点实时检测与诊断模型,并设计了一系列的实验验证了本算法的有效性。

摘要： 利用云计算等先进技术对网络数据库进行优化总结.基于云计算等技术重新设计了一种面向大数据的网络数据库,实现了平台操作设计、集群模块搭建以及数据整合与预处理等.基于云计算等技术对网络数据库进行优化,是实现网络数据库存储容量提升,全面优化大数据时代网络数据库并发性、提高海量数据状态下网络数据库利用率的重要举措.

摘要： 针对Hadoop集群节点增加导致任务运行效率降低,以及异常节点会拖慢整体作业进度的问题,提出了一种Hadoop集群异常节点实时检测与诊断算法.首先基于正常状态下节点性能相似性原理,使用Logstash工具收集Hadoop集群节点运行日志中的任务状态信息;其次,发现异常节点后,通过Perf性能分析工具收集体系结构性能信息,再利用异常节点诊断算法诊断导致该节点异常的原因.通过实时流计算框架Spark Streaming构建了异常节点实时检测与诊断模型,并设计了一系列的实验验证了本算法的有效性.

摘要： 为了解决校园学生行为数据量大、结构复杂和来源广泛造成的数据管理难度大的问题,提出了一种在大数据平台上构建知识库的模型,分析海量学生数据.通过搭建Hadoop集群对学生一卡通数据做数据抽取、数据融合、数据入库分析和数据更新等操作形成学生行为知识库,并通过改进TextRank算法和采用随机游走技术实现知识库的自动推理和异常检测.实验结果表明,所构建的知识库与sym-KL算法构建的知识库进行对比分析,明显提升了对知识的分类、关系的链接和异常的检测效率,也为学校信息化平台增添了智能分析的功能.

摘要： 对于特定系统建立的Hadoop集群,可能有不同优先级别的任务作业.而以往的公平调度算法不能很好地根据作业优先级来合理分配资源.本文提出了一种公平调度算法的改进算法,在根据优先级对资源进行分配的同时,合理兼顾了低优先级作业的资源需求.实验表明,用改进后的调度算法能在保证低优先级作业运行的前提下,尽量分配给高优先级作业更多的资源.

摘要： 对于特定系统建立的Hadoop集群,可能有不同优先级别的任务作业.而以往的公平调度算法不能很好地根据作业优先级来合理分配资源.本文提出了一种公平调度算法的改进算法,在根据优先级对资源进行分配的同时,合理兼顾了低优先级作业的资源需求.实验表明,用改进后的调度算法能在保证低优先级作业运行的前提下,尽量分配给高优先级作业更多的资源.

摘要： 对于特定系统建立的Hadoop集群,可能有不同优先级别的任务作业.而以往的公平调度算法不能很好地根据作业优先级来合理分配资源.本文提出了一种公平调度算法的改进算法,在根据优先级对资源进行分配的同时,合理兼顾了低优先级作业的资源需求.实验表明,用改进后的调度算法能在保证低优先级作业运行的前提下,尽量分配给高优先级作业更多的资源.

摘要： 对于特定系统建立的Hadoop集群,可能有不同优先级别的任务作业.而以往的公平调度算法不能很好地根据作业优先级来合理分配资源.本文提出了一种公平调度算法的改进算法,在根据优先级对资源进行分配的同时,合理兼顾了低优先级作业的资源需求.实验表明,用改进后的调度算法能在保证低优先级作业运行的前提下,尽量分配给高优先级作业更多的资源.

摘要： 对于特定系统建立的Hadoop集群,可能有不同优先级别的任务作业.而以往的公平调度算法不能很好地根据作业优先级来合理分配资源.本文提出了一种公平调度算法的改进算法,在根据优先级对资源进行分配的同时,合理兼顾了低优先级作业的资源需求.实验表明,用改进后的调度算法能在保证低优先级作业运行的前提下,尽量分配给高优先级作业更多的资源.

摘要： 以Hadoop架构作为云平台的实现形式已经得到了广泛的应用,如facebook,yahoo等.随着Hadoop集群内节点数量的增加,集群内部的复杂程度和故障率以几何级数的增加.集群故障监控也越来越重要.Nagios是可部署在Linux环境下的开源工具,通过插件的编写完成监控的个人定制,它能有效地监控特定的Linux的主机或服务器,确保Hadoop集群在Linux的主机上正常运行.

摘要： 以Hadoop架构作为云平台的实现形式已经得到了广泛的应用,如facebook,yahoo等.随着Hadoop集群内节点数量的增加,集群内部的复杂程度和故障率以几何级数的增加.集群故障监控也越来越重要.Nagios是可部署在Linux环境下的开源工具,通过插件的编写完成监控的个人定制,它能有效地监控特定的Linux的主机或服务器,确保Hadoop集群在Linux的主机上正常运行.

摘要： 以Hadoop架构作为云平台的实现形式已经得到了广泛的应用,如facebook,yahoo等.随着Hadoop集群内节点数量的增加,集群内部的复杂程度和故障率以几何级数的增加.集群故障监控也越来越重要.Nagios是可部署在Linux环境下的开源工具,通过插件的编写完成监控的个人定制,它能有效地监控特定的Linux的主机或服务器,确保Hadoop集群在Linux的主机上正常运行.

摘要： 以Hadoop架构作为云平台的实现形式已经得到了广泛的应用,如facebook,yahoo等.随着Hadoop集群内节点数量的增加,集群内部的复杂程度和故障率以几何级数的增加.集群故障监控也越来越重要.Nagios是可部署在Linux环境下的开源工具,通过插件的编写完成监控的个人定制,它能有效地监控特定的Linux的主机或服务器,确保Hadoop集群在Linux的主机上正常运行.

摘要： 以Hadoop架构作为云平台的实现形式已经得到了广泛的应用,如facebook,yahoo等.随着Hadoop集群内节点数量的增加,集群内部的复杂程度和故障率以几何级数的增加.集群故障监控也越来越重要.Nagios是可部署在Linux环境下的开源工具,通过插件的编写完成监控的个人定制,它能有效地监控特定的Linux的主机或服务器,确保Hadoop集群在Linux的主机上正常运行.

摘要： 本申请提供一种基于云存储的Hadoop集群的多租户认证系统及方法。云存储系统基于统一认证方式对云存储租户进行认证，只有对云存储租户认证通过，第一设备才可以将服务密钥配置到云存储系统中。密钥分发中心向Hadoop租户对应的名称节点分配服务凭据。目标Hadoop租户对应的第二设备向云存储系统发送服务凭据。云存储系统根据服务密钥解析服务凭据，以获取目标Hadoop租户的信息，并根据目标Hadoop租户的信息对目标Hadoop租户进行认证。这种多租户认证系统结合统一认证和Kerberos认证方式，从而可以适用于Hadoop集群的多租户认证。

摘要： 本发明提供一种基于Hadoop集群任务调度方法，包括如下步骤：步骤10、设定业务有N个优先级，每个优先级对应一个调度队列，每个任务按照业务重要性指定对应优先级，进入对应优先级的调度队列，并按照时间先后进行排队等待，其中N为正整数；步骤20、设定系统最大任务并发数以及每一优先级对应的队列最大任务并发数，每间隔时间按优先级高低顺序去调度队列调度任务；步骤30、按照优先级高低顺序自动将排队任务均衡分配到任务空闲优先级队列调度；步骤40、对运行失败的任务和超过预定最大运行时间的任务重新入原先优先级队列排队调度。本发明还提供一种计算机设备，实现任务的优先级分组、排队调度、路由策略和故障转移，极大的提高集群任务调度效率。

摘要： 本发明公开了一种基于Hadoop集群的数据处理方法、装置、设备及存储介质，所述基于Hadoop集群的数据处理方法，包括：基于相同的软硬件资源和配置规则，对至少两个Hadoop集群进行部署；其中，至少两个Hadoop集群异地部署，且两个Hadoop集群之间的距离大于距离阈值；使用调度平台对至少两个Hadoop集群同步完成数据导入和数据加工；对至少两个Hadoop集群的运行状态进行监测，确定可用Hadoop集群；从可用Hadoop集群中确定目标Hadoop集群，以对数据需求方提供数据服务。通过上述技术方案，提升了Hadoop集群对外部环境变化的适应能力，增强了Hadoop集群对外提供数据服务的稳定性。

摘要： 本申请实施例提供了一种Hadoop集群的资源分配方法、装置、设备及介质，涉及人工智能技术领域，包括：分别对Hadoop集群的每个任务队列的任务队列信息进行特征提取，得到每个任务队列的特征向量，调用资源预测模型分别对每个任务队列的特征向量进行预测处理，得到每个任务队列的资源预测结果，根据每个任务队列的资源预测结果确定每个任务队列的目标资源，并根据每个任务队列的目标资源进行资源分配。可以快速精准的对Hadoop集群中各个任务队列进行资源分配。本申请可以涉及区块链技术，如可将任务队列的目标资源写入区块链中。本申请还可以涉及数字医疗技术领域，如可将Hadoop集群用于执行医疗领域的任务。

摘要： 本发明公开了一种针对大规模Hadoop集群资源调度管理办法，通过设置一个全局控制各个RM的路由器，可获取并根据各个集群的状态信息来选择目标的子集群，实现集群资源的调度和管理，从而既可以方便各个子集群的管理，又可以提高资源的利用率。

摘要： 本发明提供了一种多个Hadoop集群的访问方法、装置和计算机设备，方法包括：确定每个Hadoop集群已开启kerberos认证且各个Hadoop集群的KDC不同的情况下，获取kerberos认证对应的krb5.conf文件；将多个krb5.conf文件进行合并处理；确定每个YARN ResourceManger组件和HDFS NameNode组件的主机名hostname，及确定kerberos认证对应的域Realm；确定多个hostname和Realm间的映射，并将hostname和Realm间的映射设置在domain_realm栏；判断本地缓存中是否存在UserGroupInformation对象；如果本地缓存中存在UserGroupInformation对象，则获取UserGroupInformation对象，并对多个Hadoop集群进行访问。由此，可以实现一个客户端同时访问开启kerberos并且KDC不同的多个Hadoop集群，可以提高访问效率。

摘要： 本发明公开了一种基于正负反馈负载调度算法的Hadoop集群任务调度方法，应用于Hadoop的资源调配中心，集群任务调度方法包括：空闲计算节点向管理节点申请执行任务请求；管理节点接收任务请求，并查询是否有运行该任务请求的历史记录；历史记录对比分析，若与该任务配置符合资源需求，则该任务在此计算节点中计算，否则，该计算节点重新匹配新任务请求；能够在集群任务调度中根据不同服务器的资源使用情况及服务器性能差异性动态分配计算任务，实现计算任务的高效完成并提高CPU及资源使用效率。

摘要： 本申请实施例提供了一种Hadoop集群的异常监测方法、装置、设备及介质，涉及人工智能技术领域，包括：调用第一监测模型基于目标任务的任务进度信息和任务日志信息进行异常监测，得到第一异常监测结果，调用第二监测模型基于目标任务的任务数据信息进行异常监测，得到第二异常监测结果，根据第一异常监测结果和第二异常监测结果生成告警信息。可以对Hadoop集群中的目标任务进行实时监测，可以及时发现Hadoop集群中目标任务的异常。本申请可以涉及区块链技术，如可将告警信息写入区块链中。本申请还可以涉及数字医疗技术领域，如可将Hadoop集群用于执行医疗领域的任务。

摘要： 本发明公开了一种hadoop集群对ceph集群的访问方法包括：当目标ceph集群的第一访问地址对应的ceph节点为故障节点时，确定存储第一访问地址的ctdb集群；从ctdb集群中选取一个不同于第一访问地址的第二访问地址，确定第二访问地址对应的ceph节点为接管节点；建立接管节点与第一访问地址的对应关系，以便hadoop集群通过第一访问地址访问目标ceph集群。可见，本发明公开的访问方法，当有节点发生故障，ctdb集群会调度其他可用节点接管原先的访问地址，实现了hadoop+ceph对接分离部署框架的高可用性。本发明还公开了一种hadoop集群对ceph集群的访问装置，同样能实现上述技术效果。

摘要： 本发明公开了一种批量启动hadoop集群的方法、系统及介质，该方法包括：接收启动命令，并将启动命令并行发送到多个hadoop集群，对各个hadoop集群中的namenode节点进行启动；监测多个hadoop集群中的namenode节点中是否存在启动失败的异常节点，若存在则输出异常提示信息；在异常排除后，若接收到再次启动命令，则基于再次启动命令，对异常节点进行启动，直到多个hadoop集群中的namenode节点均启动成功。本发明确保各个hadoop集群中的各个namenode优先启动，节省了等待各个hadoop集群中所有节点的启动时间，有利于各个hadoop集群整体上处理效率的提高。