MapReduce模型

摘要： 协同过滤算法广泛应用于电子商务网站的推荐系统中,它基于对大量用户历史行为数据的分析,挖掘用户的兴趣并向用户推荐合适的产品。为了能够处理大数据文件,使用Apache Mahout、MapReduce并行框架和和协同过滤进行有效并行查询处理。实验结果表明,该系统能够在大数据集上实现高效率和高可靠性。系统不仅限于电影推荐,还可以应用于电子商务的许多其他领域。

摘要： 近年来随着大数据的发展,我们所面临的数据除了在数量上呈现爆炸式增长,其结构和类型也越来越多样化,面对这些海量数据,在完成存储之外,挖掘出其中有价值的部分才是关键。而传统的数据计算方式已经不能满足这些要求,经过研究与实践,分布式处理方式已经被越来越多的人认可,在此基础上,MapReduce计算模型得到了广泛的应用。MapReduce是一种针对大规模集群中分布式文件进行并行处理的计算模型,本文对其工作原理和工作流程进行了分析,并以WordCount为例,阐述了MapReduce以并行方式处理问题的思路。

摘要： 泛在电力物联网中大数据的存储和查询是至关重要的环节。重点探索了基于规范化集成的数据集成方法和配电网大数据的存储需求,主要研究了Hadoop等系统文件的分布情况、Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)以及MapReduce模型的框架结构,进而对数据存储分布进行优化升级,并进行联合查询的工作。

摘要： 电力系统不良数据识别方法以单一误差为标准多次比对、多次循环,难以同时处理大量数据,导致不良数据识别误差大、速率低。为改进不良数据识别方法存在的缺陷,设计了基于分布式并行计算的电力系统不良数据识别方法。采用MapReduce模型搭建分布式并行计算框架;设定不良数据判断标准,预处理电力数据;利用标准残差向量和残差灵敏度,识别电力系统不良数据。通过试验验证识别方法的应用效果,结果表明所提方法的平均识别相对误差为12.51%,多种类不良数据漏检率较低,证实了该识别方法的应用效果良好。

摘要： 在超大规模数据集的分簇管理上,存在大数据获取、存储、检索、分析和可视化等困难.面对爆炸式增长的数据,利用分布式、并行计算原理,在MapReduce模型的基础上构建并行粒子群优化算法(PSOC-MR),实现对超大规模数据的有效分簇处理.实验结果表明,PSOC-MR算法在集群节点数量与数据集大小等比例增加的情况下呈现良好的可扩展性,能在保持分簇质量的同时呈现线性加速,该算法可有效解决超大规模数据集的分簇问题,实现低成本、高性能的商用大数据分析.

摘要： 本文引入MapReduce模型来解决决策分解的正确性问题进行了深入研究,并做出展望。随着大数据技术的进步与发展,人们意识到其自身蕴含的巨大价值,特别是决策分解价值更是无法衡量。而影响决策分解准确度的因素有很多,包括条件样本、决策系统、数据复杂度等。MapReduce模型能够并行计算大规模数据,便于操控底层细节,降低实现难度。

摘要： 本次研究基于MapReduce模型在并行式环境中提出一种高性能的计算机数据挖掘算法,将模型输入由原始的一个样本转变为一组样本代以减少Map布局数量,节约算法访问Map的时间开销;在此基础上,从特征赋权角度对K-means聚类算法,对差异簇的差异特征进行权重赋值,以降低特征数据噪声。测试结果显示,该算法在MapReduce并行式环境下呈现良好的数据挖掘准确率,并且聚类收敛用时最低,处理计算机大数据挖掘问题具有一定优势。

摘要： 模糊K-means算法是一种能够定量地确定事物亲属关系的软聚类算法,由于该算法在大规模数据的分析和处理中存在的不足,因此提出一种基于MapReduce模型的并行化实现.首先在Map函数的输出传递给其他节点的Reduce函数之前,改进Combine函数设计,增加本地中间结果处理,减少通信开销,以提高MapReduce任务计算速度.然后在Hadoop分布式计算平台上对多组规模不同的数据集进行测试.实验表明,基于MapReduce的并行模糊K-means算法适合大规模数据的分析和处理,而且执行速度提高了约1.9倍,聚类效果更为显著.

摘要： 随着社会的进步和国民经济的发展,国民节能环保意识逐渐增强,逐渐认识到水资源对社会发展的重要性。为实现对水资源的科学管理与合理调度,必须要通过水体识别技术对水资源实际情况形成更为准确的了解。本文主要分析了一种分布式计算环境下的遥感图像水体识别技术。

摘要： 考虑了平行机环境下安装时间具有退化效应且加工时间具有分步恶化效应的MapReduce模型调度优化问题.在MapReduce模型中,每个工件包含Map和Reduce两道工序.其中,Map工序可以分割成若干个子任务并在多台平行机上同时加工,而Reduce工序只有在该工件Map工序的所有子任务完成后才能启动加工,而且只能在一台机器上连续加工.研宄Reduce工序的启动安装时间具有线性恶化效应、两个工序的加工时间具有分步恶化效应的平行机调度问题,构建了以最小化最大完成时间为优化目标的混合整数规划模型.给出了问题解的一个下界;同时,设计了采用单纯形差分扰动机制的改进灰狼算法以及贪婪算法进行模型求解.最后,利用数值仿真实验,将灰狼优化算法、贪婪算法、遗传算法的解与问题的下界进行对比,验证了模型与所设计算法的有效性.

摘要： 针对经典C4.5决策树算法存在过度拟合和伸缩性差的问题,提出一种基于Bagging的决策树改进算法,并基于MapReduce模型对改进算法进行了并行化.首先,基于Bagging技术对C4.5算法进行了改进,通过有放回采样得到多个与初始训练集大小相等的新训练集,并在每个训练集上进行训练,得到多个分类器,再根据多数投票规则集成训练结果得到最终的分类器;然后,基于MapReduce模型对改进算法进行了并行化,能够并行化处理训练集、并行选择最佳分割属性和最佳分割点,以及并行生成子节点,实现了基于MapReduce Job工作流的并行决策树改进算法,提高了对大数据集的分析能力.实验结果表明,并行Bagging决策树改进算法具有较高的准确度与敏感度,以及较好的伸缩性和加速比.

摘要： 针对经典C4.5决策树算法存在过度拟合和伸缩性差的问题,提出一种基于Bagging的决策树改进算法,并基于MapReduce模型对改进算法进行了并行化.首先,基于Bagging技术对C4.5算法进行了改进,通过有放回采样得到多个与初始训练集大小相等的新训练集,并在每个训练集上进行训练,得到多个分类器,再根据多数投票规则集成训练结果得到最终的分类器;然后,基于MapReduce模型对改进算法进行了并行化,能够并行化处理训练集、并行选择最佳分割属性和最佳分割点,以及并行生成子节点,实现了基于MapReduce Job工作流的并行决策树改进算法,提高了对大数据集的分析能力.实验结果表明,并行Bagging决策树改进算法具有较高的准确度与敏感度,以及较好的伸缩性和加速比.

摘要： 针对经典C4.5决策树算法存在过度拟合和伸缩性差的问题,提出一种基于Bagging的决策树改进算法,并基于MapReduce模型对改进算法进行了并行化.首先,基于Bagging技术对C4.5算法进行了改进,通过有放回采样得到多个与初始训练集大小相等的新训练集,并在每个训练集上进行训练,得到多个分类器,再根据多数投票规则集成训练结果得到最终的分类器;然后,基于MapReduce模型对改进算法进行了并行化,能够并行化处理训练集、并行选择最佳分割属性和最佳分割点,以及并行生成子节点,实现了基于MapReduce Job工作流的并行决策树改进算法,提高了对大数据集的分析能力.实验结果表明,并行Bagging决策树改进算法具有较高的准确度与敏感度,以及较好的伸缩性和加速比.

摘要： 针对经典C4.5决策树算法存在过度拟合和伸缩性差的问题,提出一种基于Bagging的决策树改进算法,并基于MapReduce模型对改进算法进行了并行化.首先,基于Bagging技术对C4.5算法进行了改进,通过有放回采样得到多个与初始训练集大小相等的新训练集,并在每个训练集上进行训练,得到多个分类器,再根据多数投票规则集成训练结果得到最终的分类器;然后,基于MapReduce模型对改进算法进行了并行化,能够并行化处理训练集、并行选择最佳分割属性和最佳分割点,以及并行生成子节点,实现了基于MapReduce Job工作流的并行决策树改进算法,提高了对大数据集的分析能力.实验结果表明,并行Bagging决策树改进算法具有较高的准确度与敏感度,以及较好的伸缩性和加速比.

摘要： 伴随智能电网建设的推进以及电网设备在线监测装置的广泛应用,海量的电网设备状态监测数据累计下来.如何有效利用这些监测数据,用于电网设备状态评估是值得研究的课题.尝试将半监督学习引入k-means聚类算法,并利用MapReduce模型,设计实现了并行化的半监督聚类方法,用于电网设备状态评估.以实测绝缘子泄露电流数据为例,验证了算法的聚类性能和时间效率.

摘要： 伴随智能电网建设的推进以及电网设备在线监测装置的广泛应用,海量的电网设备状态监测数据累计下来.如何有效利用这些监测数据,用于电网设备状态评估是值得研究的课题.尝试将半监督学习引入k-means聚类算法,并利用MapReduce模型,设计实现了并行化的半监督聚类方法,用于电网设备状态评估.以实测绝缘子泄露电流数据为例,验证了算法的聚类性能和时间效率.

摘要： 伴随智能电网建设的推进以及电网设备在线监测装置的广泛应用,海量的电网设备状态监测数据累计下来.如何有效利用这些监测数据,用于电网设备状态评估是值得研究的课题.尝试将半监督学习引入k-means聚类算法,并利用MapReduce模型,设计实现了并行化的半监督聚类方法,用于电网设备状态评估.以实测绝缘子泄露电流数据为例,验证了算法的聚类性能和时间效率.

摘要： 伴随智能电网建设的推进以及电网设备在线监测装置的广泛应用,海量的电网设备状态监测数据累计下来.如何有效利用这些监测数据,用于电网设备状态评估是值得研究的课题.尝试将半监督学习引入k-means聚类算法,并利用MapReduce模型,设计实现了并行化的半监督聚类方法,用于电网设备状态评估.以实测绝缘子泄露电流数据为例,验证了算法的聚类性能和时间效率.

摘要： 伴随智能电网建设的推进以及电网设备在线监测装置的广泛应用,海量的电网设备状态监测数据累计下来.如何有效利用这些监测数据,用于电网设备状态评估是值得研究的课题.尝试将半监督学习引入k-means聚类算法,并利用MapReduce模型,设计实现了并行化的半监督聚类方法,用于电网设备状态评估.以实测绝缘子泄露电流数据为例,验证了算法的聚类性能和时间效率.

摘要： 网络信息提取技术对于人们高速准确的从海量数据中提取所需要的信息变得非常重要,面临海量计算所带来的挑战,提出了基于MapReduce的网络信息提取方法,以淘宝网为数据源,提取用户对商品感兴趣程度,通过实验仿真,表明该方法对于海量网络信息提取具有较高的效率和很好的适应性.

摘要： 本发明公开了一种基于MapReduce框架的支持向量机最优分类模型参数搜索的方法，包括以下步骤：A、在Map阶段为每组参数赋予不同的键值，使得在Reduce阶段每个并行执行的任务只对一组参数进行交叉验证；B、以串行MapReduce作业执行方式或者单个MapReduce作业执行方式选择支持向量机最优分类模型的最优参数。本发明通过选择合适的MapReduce作业方式，设置适当的Reduce任务数量，可以在保证在集群内存资源合理消耗的前提下，显著的提高最优模型参数获取的时间性能。

摘要： 本发明提供了一种基于MapReduce模型的分布式并行计算编程系统，包括Map模块、Reduce模块、任务调度模块、任务追踪模块、输入模块、输出模块和中转模块，输入模块用于输入待处理文件，任务调度模块用于将任务分配给Map模块，Map模块和Reduce模块均用于执行任务，Map模块执行的为一级任务，Reduce模块执行的为二级任务，任务追踪模块用于追踪一级任务的完成情况，输出模块用于输出Reduce模块的执行结果，中转模块用于将Map模块的执行结果发送至Reduce模块。该系统通过对在Map模块与Reduce模块之间的数据传输进行优化，提高了整个系统的计算处理效率。

摘要： 公开了一种基于MapReduce模型的数据处理方法和设备。所述方法在利用MapReduce模型实现SQL指令的处理中，确定所述SQL指令是否已在Map端进行局部规约，其中，局部规约利用数据的重复性减少Map端与Reduce端之间的数据量；若确定进行局部规约，则对经对经局部规约处理后的数据利用第一排序算法进行排序；若确定不进行局部规约，则对经Mapper输出的数据利用第二排序算法进行排序。所述方法能够根据实际指令匹配合适的数据排序算法，提高了数据排序的效率并且避免了单一排序算法所导致的缺点。

摘要： 本发明公开了一种基于多阶段MapReduce模型的纳税人偷漏税嫌疑群组检测方法，包括以下步骤：首先，提出了利用多网融合来构建基于着色图的纳税人利益关联网络的方法；其次，提出了基于强连通分量的纳税人利益关联网络的约减方法；然后，引入利益前件网络的概念，在利益前件网络中发现所有的极大弱连通子图，最后，利用多阶段MapReduce模型，对每个极大弱连通子图及其对应的交易边构建模式树，然后遍历模式树来生成模式库，进而对模式库中的模式进行两两匹配，找到所有符合匹配原则的模式对，最终生成所有的纳税人偷漏税嫌疑群组。其中，多阶段MapReduce模型由于采用分布式计算，能够极大地提高国家税务部门的嫌疑偷漏税分析效率，为国家挽回税务流失的损失。

摘要： 本发明涉及基于MapReduce模型的两阶段在线化采样方法，包括：步骤1：第一阶段采样：在MapReduce模型在map端进行在线化处理之前设置整群采样器，以数据块为样本单位进行采样；步骤2：在MapReduce模型的查询阶段，得到查询结果的估计值，在给定置信度时，计算置信区间宽度；步骤3：第二阶段采样，在reduce端开始处理前，通过接受‑拒绝采样器修正每个数据块被reduce端抽中的概率；步骤4：在reduce端的回收站中对被丢弃的map端输出结果进行聚集处理，加上已接受的数据块得出的快照结果，得到聚集查询的实际结果。本发明在不增加网络传输代价的前提下保证了样本的随机性，以及提供了有效的统计估计，消除了数据倾斜对于统计估计造成的偏置影响，保证了查询估计的无偏性和有效性。

摘要： 基于MapReduce模型的数据排序方法和系统，其中排序方法包括步骤：在MAP阶段每个MAP模块在对数据分块中的元素排序过程中，每确定一个元素的排序结果后，即将该元素加入先入先出数据结构中；在Reduce阶段Reduce模块获取所有先入先出数据结构中的当前元素；获取当前全局极值元素；将当前全局极值元素作为排序结果输出；将输出的当前全局极值元素从所述Reduce阶段元素集中移除，并更新Reduce阶段元素集。通过本申请，不必要等待MAP阶段的排序过程完成，即可在Reduce阶段根据先入先出缓存队列中的当前元素中选取极值元素，并流式的输出排序结果，所以可以提前输出排序结果，以减少用户的等待时间。

摘要： 本发明提供了一种基于MapReduce模型的分布式并行计算编程系统，包括Map模块、Reduce模块、任务调度模块、任务追踪模块、输入模块、输出模块和中转模块，输入模块用于输入待处理文件，任务调度模块用于将任务分配给Map模块，Map模块和Reduce模块均用于执行任务，Map模块执行的为一级任务，Reduce模块执行的为二级任务，任务追踪模块用于追踪一级任务的完成情况，输出模块用于输出Reduce模块的执行结果，中转模块用于将Map模块的执行结果发送至Reduce模块。该系统通过对在Map模块与Reduce模块之间的数据传输进行优化，提高了整个系统的计算处理效率。

摘要： 本发明涉及基于MapReduce模型的两阶段在线化采样方法，包括：步骤1：第一阶段采样：在MapReduce模型在map端进行在线化处理之前设置整群采样器，以数据块为样本单位进行采样；步骤2：在MapReduce模型的查询阶段，得到查询结果的估计值，在给定置信度时，计算置信区间宽度；步骤3：第二阶段采样，在reduce端开始处理前，通过接受‑拒绝采样器修正每个数据块被reduce端抽中的概率；步骤4：在reduce端的回收站中对被丢弃的map端输出结果进行聚集处理，加上已接受的数据块得出的快照结果，得到聚集查询的实际结果。本发明在不增加网络传输代价的前提下保证了样本的随机性，以及提供了有效的统计估计，消除了数据倾斜对于统计估计造成的偏置影响，保证了查询估计的无偏性和有效性。

摘要： 本发明涉及超大规模数据分簇领域，尤其涉及一种基于MapReduce模型的改进型灰狼分簇算法，其特征在于：在对原有灰狼分簇进行改进，设计改进型灰狼分簇算法，将灰狼行为规则与灰狼的狩猎策略相混合，加大攻击祈祷次数，同时引入狄利克雷分布实现先验以增强祈祷的搜索能力；最后，使用MapReduce体系结构实施IGWCA的并行化处理，达到对大型数据集实施有效分簇的目的。本发明有效解决大型数据集的分簇问题。

摘要： 本发明公开了一种基于MapReduce框架的支持向量机最优分类模型参数搜索的方法，包括以下步骤：A、在Map阶段为每组参数赋予不同的键值，使得在Reduce阶段每个并行执行的任务只对一组参数进行交叉验证；B、以串行MapReduce作业执行方式或者单个MapReduce作业执行方式选择支持向量机最优分类模型的最优参数。本发明通过选择合适的MapReduce作业方式，设置适当的Reduce任务数量，可以在保证在集群内存资源合理消耗的前提下，显著的提高最优模型参数获取的时间性能。