MapReduce框架

摘要： 针对并行深度森林算法在处理大数据问题时存在的冗余与不相关特征过多,多粒度扫描不平衡以及并行化效率低等问题,提出了大数据环境下基于信息论改进的并行深度森林算法——IPDFIT(improved parallel deep forest based on information theory)。该算法基于信息论设计了一种混合降维策略DRIT(dimension reduction based on information theory),以获得降维后的数据集,有效减少了冗余及不相关特征的数量;提出了一种改进的多粒度扫描策略IMGSS(improved multi-grained scanning strategy)对样本进行扫描,保证每个特征在扫描后,同频率出现在数据子集中,避免了因多粒度扫描不平衡对深度森林模型的影响;结合MapReduce框架,对深度森林每层级联结构中的随机森林模型进行并行化训练,同时提出了一种样本加权策略TSWS(the sample weighting strategy),根据级联中随机森林模型对样本进行评估,选取评估结果较差的样本进入下一层训练,逐步减少了每层级中训练样本的数量,从而提高了算法的并行效率。实验结果表明,该算法在大数据环境下,尤其是针对特征数较多的数据集有着更好的分类效果。

摘要： 针对MapReduce框架下的随机森林算法在处理大数据问题时存在的冗余与不相关特征过多,训练特征信息量低以及并行化效率低等问题,提出了大数据下基于信息论和范数的并行随机森林算法(PRFITN)。首先,该算法基于信息增益和Frobenius范数设计了一种混合降维策略(DRIGFN),获得降维后的数据集,有效减少了冗余及不相关特征数;其次,提出了基于信息论的特征分组策略(FGSIT),根据FGSIT策略将特征分组,采用分层抽样方法,保证了随机森林中决策树构建时训练特征的信息量,提高了分类结果的准确度;最后,在Reduce阶段提出了一种键值对重分配策略(RSKP),获取全局的分类结果,实现了键值对的快速均匀分配,从而提高了集群的并行效率。实验结果表明,该算法在大数据环境下,尤其是针对特征数较多的数据集有更好的分类效果。

摘要： 传统的异常数据监测算法依靠单台计算机对异常数据进行识别,识别速度慢,且无法满足对数据处理的精确性要求。针对上述问题,文中构建了Hadoop分布式财务异常数据分析模型。该模型采用Hadoop中的MapReduce框架作为并行计算框架,同时在数据异常检测算法方面引入了邻域关系的LOF算法,有效避免了数据集元素边缘可能会出现误判的情况。数值实验结果表明,文中所提算法的准确率相比其他3种同类算法提升了5%以上,且算法的总运行时间也明显缩短。由此可见,文中所提模型可快速、准确地检测出财务异常数据,保障医疗系统的平稳运行。

摘要： 基于Hadoop架构的DDoS检测模型的检测效率与使用的检测算法密切相关,在传统的基于MapReduce框架编写的单一属性Counter-Based算法基础上,提出融合源IP、数据帧长度的双重属性Counter-Based算法。通过调节不同检测参数进行实验测试,从检测时间、检测结果、检测率三方面进行对比,发现对于多数DDoS攻击环境,双重属性Counter-Based算法具有更优的检测效果。

摘要： 针对大数据环境下DCNN(deep convolutional neural network)算法中存在网络冗余参数过多、参数寻优能力不佳和并行效率低的问题,提出了大数据环境下基于特征图和并行计算熵的深度卷积神经网络算法MR-FPDCNN(deep convolutional neural network algorithm based on feature graph and parallel computing entropy using MapReduce)。该算法设计了基于泰勒损失的特征图剪枝策略FMPTL(feature map pruning based on Taylor loss),预训练网络,获得压缩后的DCNN,有效减少了冗余参数,降低了DCNN训练的计算代价。提出了基于信息共享搜索策略ISS(information sharing strategy)的萤火虫优化算法IFAS(improved firefly algorithm based on ISS),根据“IFAS”算法初始化DCNN参数,实现DCNN的并行化训练,提高网络的寻优能力。在Reduce阶段提出了基于并行计算熵的动态负载均衡策略DLBPCE(dynamic load balancing strategy based on parallel computing entropy),获取全局训练结果,实现了数据的快速均匀分组,从而提高了集群的并行效率。实验结果表明,该算法不仅降低了DCNN在大数据环境下训练的计算代价,而且提高了并行系统的并行化性能。

摘要： 针对并行SVM在大数据环境下对冗余数据敏感、参数寻优能力差以及并行过程中出现的负载不均衡等问题,提出了一种基于聚类算法和鲸鱼优化算法的并行支持向量机算法MR-KWSVM。首先,该算法提出KF策略来删减冗余数据,利用删减冗余数据后的数据集训练SVM,降低SVM对冗余数据的敏感性;其次,提出了基于非线性收敛因子和自适应惯性权重的鲸鱼智能优化算法IW-BNAW,利用“IW-BNAW”算法获取SVM的最优参数,提高支持向量机的参数寻优能力;最后,在利用MapReduce构造并行SVM的过程中,提出时间反馈策略用于reduce节点的负载调度,提高了集群的并行效率,实现了高并行的SVM。实验结果表明,所提算法不仅保证了SVM在大数据环境下的高并行计算能力,SVM的分类准确度也有明显提高,并且具有更好的泛化性能。

摘要： 针对大数据环境下并行K-means算法存在的面对高维数据聚类效果差、数据分区不均匀、初始质心敏感等问题,提出了一种基于MapReduce和MSSA的并行K-means算法MR-MSKCA。首先,提出基于肯德尔相关系数和深度稀疏自动编码器的降维策略(dimensionality reduction strategy based on Kendall correlation coefficient and DSAE,DRKCAE)对高维数据进行特征加权和特征提取,解决了高维数据不相关特征和结构稀疏导致的聚类效果差的问题;其次,提出基于两段映射的广义超平面分区策略(uniform partition strategy based on two-stage mapping,UPS)对数据集进行划分,获取均匀的数据分区;最后提出非均匀变异麻雀搜索算法(non-uniform mutation sparrow search algorithm,MSSA)用于获取并行K-means的聚类质心,解决了算法初始质心敏感的问题。在UCI数据集上进行的实验显示,MR-MSKCA较MR-KNMF、MR-PGDLSH、MR-GAPKCA的运行时间分别降低了45.1%、49.1%、59.8%,聚类效果分别提升了19.2%、22.8%、24%,表明MR-MSKCA对大数据进行聚类时有良好性能,适用于不同场景的大数据聚类分析。

摘要： MapReduce是一种适用于大数据处理的重要并行计算框架,通过在大量集群节点上并行执行多个任务,极大地提高了数据的处理性能.然而,由于中间数据需要等到Mapper任务完成之后才能被发送给Reducer任务,由此导致的大量传输延迟成为MapReduce框架性能的重要瓶颈.为此,文中提出了一种面向MapReduce的中间数据传输流水线优化机制,将有效计算与中间数据传输解耦,以流水线的方式重叠执行各个阶段,有效隐藏数据传输开销.文中还给出了中间数据传输流水线执行机制和实现策略,包括流水线划分、数据细分、数据归并和数据传输粒度等.在公开数据集上对所提中间数据传输流水线优化机制进行了评价,当Shuffle数据量较大时,该优化机制比默认框架的整体性能提高了60.2％.

摘要： 针对当前电网行业产生的海量数据,提出采用规范化元数据管理等方式来实现对电力行业数据的统一存储与管理方案.首先通过数据预处理,将不同格式的电力数据统一转换为XML格式数据,然后采用中间件技术实现对XML数据抽取与访问;其次,针对大规模数据存储问题,提出基于哈希分桶算法对数据进行存储,以提高数据存储的效率;再次采用MapRe-duce框架对数据进行查询;通过对电力行业的部分数据进行查询试验,结果表明在查询时间方面,具有优势.

摘要： 为解决负荷预测时因数据量大、数据种类繁多带来的计算速度慢、预测精度低等问题,在MapReduce并行编程框架下,提出基于小批量随机梯度下降法的线性回归模型.首先,为清理智能配电终端产生的重复数据和不良数据,提出利用自适应近邻排序算法清除重复记录的数据,并利用K均值聚类的方法剔除异常数据和记录不完整的数据,然后利用F检验法来检验该数据集能否线性表征负荷,再利用T检验法检验特性向量与负荷间线性关系的显著性,并剔除与负荷线性关系较弱的特性向量.根据以上方法建立短期负荷预测模型,并将其用在甘肃武威某区域配电网短期负荷预测中.结果表明,所提出的短期负荷预测模型的平均绝对百分误差为2.043％,均方根误差为3112.62.这些预测误差满足负荷预测的要求,极大地提高了负荷计算的速度,缩短了负荷预测时间.

摘要： 连接聚集查询是大规模数据分析的核心操作算子之一,多核处理器为大规模数据的连接聚集查询操作提供了优化空间但同时也存在很大挑战.本文主要针对多核处理器集群环境,研究MapReduce框架下大规模数据连接聚集查询的优化算法.首先,基于传统MapReduce框架设计并实现了Map端的单线程连接聚集查询算法,基于实验分析指出MapReduce和多核处理器融合提升性能的必要性;其次,针对处理器的多核架构,设计并实现了Map端的多线程连接聚集查询算法,找出了MapReduce和多核处理器融合的性能瓶颈;进而,提出了Map端对输入分片无竞争读取的多线程连接聚集查询算法,该算法让MapReduce充分利用了多核处理器的性能优势.实验结果表明,提出的算法在大规模数据的连接聚集查询处理上充分发挥了硬件优势,具有较好的时间性能和可扩展性.

摘要： 连接聚集查询是大规模数据分析的核心操作算子之一,多核处理器为大规模数据的连接聚集查询操作提供了优化空间但同时也存在很大挑战.本文主要针对多核处理器集群环境,研究MapReduce框架下大规模数据连接聚集查询的优化算法.首先,基于传统MapReduce框架设计并实现了Map端的单线程连接聚集查询算法,基于实验分析指出MapReduce和多核处理器融合提升性能的必要性;其次,针对处理器的多核架构,设计并实现了Map端的多线程连接聚集查询算法,找出了MapReduce和多核处理器融合的性能瓶颈;进而,提出了Map端对输入分片无竞争读取的多线程连接聚集查询算法,该算法让MapReduce充分利用了多核处理器的性能优势.实验结果表明,提出的算法在大规模数据的连接聚集查询处理上充分发挥了硬件优势,具有较好的时间性能和可扩展性.

摘要： 连接聚集查询是大规模数据分析的核心操作算子之一,多核处理器为大规模数据的连接聚集查询操作提供了优化空间但同时也存在很大挑战.本文主要针对多核处理器集群环境,研究MapReduce框架下大规模数据连接聚集查询的优化算法.首先,基于传统MapReduce框架设计并实现了Map端的单线程连接聚集查询算法,基于实验分析指出MapReduce和多核处理器融合提升性能的必要性;其次,针对处理器的多核架构,设计并实现了Map端的多线程连接聚集查询算法,找出了MapReduce和多核处理器融合的性能瓶颈;进而,提出了Map端对输入分片无竞争读取的多线程连接聚集查询算法,该算法让MapReduce充分利用了多核处理器的性能优势.实验结果表明,提出的算法在大规模数据的连接聚集查询处理上充分发挥了硬件优势,具有较好的时间性能和可扩展性.

摘要： 连接聚集查询是大规模数据分析的核心操作算子之一,多核处理器为大规模数据的连接聚集查询操作提供了优化空间但同时也存在很大挑战.本文主要针对多核处理器集群环境,研究MapReduce框架下大规模数据连接聚集查询的优化算法.首先,基于传统MapReduce框架设计并实现了Map端的单线程连接聚集查询算法,基于实验分析指出MapReduce和多核处理器融合提升性能的必要性;其次,针对处理器的多核架构,设计并实现了Map端的多线程连接聚集查询算法,找出了MapReduce和多核处理器融合的性能瓶颈;进而,提出了Map端对输入分片无竞争读取的多线程连接聚集查询算法,该算法让MapReduce充分利用了多核处理器的性能优势.实验结果表明,提出的算法在大规模数据的连接聚集查询处理上充分发挥了硬件优势,具有较好的时间性能和可扩展性.

摘要： 连接聚集查询是大规模数据分析的核心操作算子之一,多核处理器为大规模数据的连接聚集查询操作提供了优化空间但同时也存在很大挑战.本文主要针对多核处理器集群环境,研究MapReduce框架下大规模数据连接聚集查询的优化算法.首先,基于传统MapReduce框架设计并实现了Map端的单线程连接聚集查询算法,基于实验分析指出MapReduce和多核处理器融合提升性能的必要性;其次,针对处理器的多核架构,设计并实现了Map端的多线程连接聚集查询算法,找出了MapReduce和多核处理器融合的性能瓶颈;进而,提出了Map端对输入分片无竞争读取的多线程连接聚集查询算法,该算法让MapReduce充分利用了多核处理器的性能优势.实验结果表明,提出的算法在大规模数据的连接聚集查询处理上充分发挥了硬件优势,具有较好的时间性能和可扩展性.

摘要： 卷积神经网络(Convolutional Neural Networks,CNN)是深度学习技术应用最成熟的模型之一,利用卷积神经网络来提取特征进行目标识别和分析是当前比较热的研究方向.目前CNN主要以单机串行方式实现,随着大数据时代的到来,串行模式突显出训练时间过长,内存不足等问题.为此,本文提出了一种在分布式处理Hadoop平台上,基于MapReduce框架并行训练CNN的算法MR-TCNN.并通过实验证明,提出的方法与传统单机串行训练方式相比,在大数据上有更快的训练速度.

摘要： 卷积神经网络(Convolutional Neural Networks,CNN)是深度学习技术应用最成熟的模型之一,利用卷积神经网络来提取特征进行目标识别和分析是当前比较热的研究方向.目前CNN主要以单机串行方式实现,随着大数据时代的到来,串行模式突显出训练时间过长,内存不足等问题.为此,本文提出了一种在分布式处理Hadoop平台上,基于MapReduce框架并行训练CNN的算法MR-TCNN.并通过实验证明,提出的方法与传统单机串行训练方式相比,在大数据上有更快的训练速度.

摘要： 卷积神经网络(Convolutional Neural Networks,CNN)是深度学习技术应用最成熟的模型之一,利用卷积神经网络来提取特征进行目标识别和分析是当前比较热的研究方向.目前CNN主要以单机串行方式实现,随着大数据时代的到来,串行模式突显出训练时间过长,内存不足等问题.为此,本文提出了一种在分布式处理Hadoop平台上,基于MapReduce框架并行训练CNN的算法MR-TCNN.并通过实验证明,提出的方法与传统单机串行训练方式相比,在大数据上有更快的训练速度.

摘要： KNN分类算法是数据挖掘中常用的算法,其缺点是其近邻的确定根据欧氏距离来计算,很可能产生偏差.针对这一问题,提出了相似度算法和欧氏距离算法相结合的方法,减少了可能出现的偏差,同时实现了MapReduce的并行化.动车组运维实验表明,该算法提高了分类的准确率和效率.

摘要： KNN分类算法是数据挖掘中常用的算法,其缺点是其近邻的确定根据欧氏距离来计算,很可能产生偏差.针对这一问题,提出了相似度算法和欧氏距离算法相结合的方法,减少了可能出现的偏差,同时实现了MapReduce的并行化.动车组运维实验表明,该算法提高了分类的准确率和效率.

摘要： 本发明涉及基于MapReduce框架分布式计算环境的源代码编译方法及系统，通过分析不同阶段的文件之间依赖关系,使得源代码编译能更好分配到集群的机器进行编译；并提供并发写锁模块使得集群机器间相互并发写文件；本发明提供的基于MapReduce框架分布式计算环境的源代码编译方法及系统，使用MapReduce方式组织不同阶段的编译工作并形成流水线，实现了多机器同时编译、多阶并发流水线，减少了网络传输资源；并且，并发写锁提供的协同机制，能提高源代码编译速度以及提升编译任务速度、任务吞吐量。

摘要： 本发明提出一种基于MapReduce框架下的海量文本快速聚类的方法。本发明是利用Hadoop框架并采用改进后的K均值聚类算法对海量文本数据实现快速聚类的方法，该方法包括对文本数据进行预处理；利用TF‑IDF(词频‑逆文件频率)技术对文本数据进行特征提取；使用改进的K均值聚类算法。本发明针对在大数据环境下对海量文本进行聚类效率低下的问题，提出一种改进的K均值聚类算法与并行化运算的模型，使得文本聚类过程快速收敛，提高了计算效率，实现快速聚类效果。

摘要： 本发明公布了一种基于MapReduce框架的电网多时段未来方式断面生成方法，该方法采用MapReduce框架实现电网未来多个时间段的电网计划数据和预测数据整合，通过形成未来时间和未来电网数据键值对，实现Map函数将电网多时段未来方式断面生成分解为多个任务并行计算，并利用Reduce函数实现未来方式断面结果的汇集和输出，从而提高了电网未来方式断面的生成速度，为电网进一步的未来态势评估分析提供了数据基础。

摘要： 本发明公开一种MapReduce框架下决策树的差分隐私保护方法，首先，在MapReduce框架下基于差分隐私的决策树的实现大幅地减少了算法的计算时间并避免了对大规模数据分类时的内存限制；接着，在决策树构建过程中，利用指数机制将皮尔逊相关系数的平均值作为质量函数来挑选出当前节点的最佳分裂属性及属性值，在保护用户数据隐私的同时最终生成规模小、泛化性能好的决策树模型；最后对决策树的叶节点中的样本计数用拉普拉斯机制进行加噪，从而在决策树模型预测未知样本时保护了用户数据的隐私。

摘要： 本发明公开了一种基于MapReduce框架的支持向量机最优分类模型参数搜索的方法，包括以下步骤：A、在Map阶段为每组参数赋予不同的键值，使得在Reduce阶段每个并行执行的任务只对一组参数进行交叉验证；B、以串行MapReduce作业执行方式或者单个MapReduce作业执行方式选择支持向量机最优分类模型的最优参数。本发明通过选择合适的MapReduce作业方式，设置适当的Reduce任务数量，可以在保证在集群内存资源合理消耗的前提下，显著的提高最优模型参数获取的时间性能。

摘要： 本发明提供一种MapReduce计算框架的平台移植方法和装置。该方法包括：获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，第一代码函数为采用当前平台的汇编语言编写的，且用原子操作实现的代码函数；获取与第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数；采用第二代码函数替换基于当前平台的MapReduce计算框架的代码中的第一代码函数，得到基于待植入平台的MapReduce计算框架。该方法和装置解决了现有MapReduce计算框架平台依赖性过强、无法在其他平台进行直接应用的问题。

摘要： 本发明公开了一种基于MapReduce框架的时间序列桥梁监测数据分析方法，包括以下步骤：步骤1：对关于桥梁健康指标的时间序列原始数据进行预处理，得到有效数据；步骤2：并行化改进ARIMA时间序列分析方法，并对预处理后的有效数据集进行ARIMA模型构建；步骤3：根据步骤二中所构建的ARIMA模型对未来值进行预测；步骤4：对分析结果进行展示，形成桥梁健康评价，为养护提供科学依据。本发明提供的基于MapReduce框架的时间序列桥梁监测数据分析方法，能够实现对各种环境条件下目标运营阶段的结构响应与行为的实时监测，以获取反应结构状况和环境因素的各种信息，并由此分析桥梁的健康状况，评估桥梁结构的可靠性，为养护需求及措施决策提供科学依据。

摘要： 本发明涉及一种基于MapReduce框架的地质建模方法，包括：S1、设置地质体数据模板，分割地质训练图像；S2、基于MapReduce框架，获取地层训练图像的模式库；S3、对地质训练图像的模式库中的模式进行建模；S4：定义随机访问路径，对地质建模的模拟区域进行划分，根据随机访问路径对各个划分模拟区域内的未知节点进行访问；S5：检查待模拟节点是否为已知的条件数据或已模拟节点，若是，则不再对此节点进行模拟，并对下个节点进行判定，若不是，则执行下一步；S6：检索地质体数据模板内的条件数据，获取当前划分模拟区域的模拟结果；S7：对其他节点继续进行模拟，直到所有节点被模拟完毕。与现有技术相比，本发明可大幅度提高地质建模的处理速度。

摘要： 本发明涉及一种基于局部性表达函数优化MapReduce框架的运行效率的方法和装置。该方法在Map阶段之前建立局部性表达函数，局部性表达函数通过实数值的大小关系表达局部性；在Map阶段根据计算出的局部性表达函数的值进行数据的加载，将不同数据按照局部性表达函数的数值区间分配给不同的计算节点来进行运算。在多轮MapReduce任务中，将局部性表达函数的值作为中间结果附带在Map和Reduce阶段，并在各个计算节点之间传递，以迭代计算局部性表达函数的值，在达到设定的收敛阈值之后，按照局部性表达函数的数值区间进行数据的重新分布。本发明的目的是通过局部性表达函数优化MapReduce框架的运行效率。

摘要： 本发明涉及移动边缘计算技术领域，公开了一种基于MapReduce框架的大数据空地联合计算方法，包括：S1、构建大数据空地联合计算模型，所述模型包括一个地面基站和N个无人机，其中，每个无人机覆盖范围下有M个地面用户设备；S2、地面基站将数据集划分为N个不相交的子集，并将该N个子集分别传输到N个无人机；S3、无人机将到达的子集进行划分并分配给其覆盖范围下的地面用户设备；S4、地面用户设备对接收到的数据集中的各个任务文件进行Map函数运算，生成一组计算中间值，并通过Shuffle阶段聚合生成的计算中间值，地面用户设备将聚合后的计算中间值传输至无人机；S5、无人机对步骤S4接收到的计算中间值进行Reduce函数运算，无人机将运算结果传输至地面基站。