分布式并行计算

摘要： 压缩感知(compressive sensing,CS)方法在合成孔径雷达(synthetic aperture radar,SAR)成像中应用广泛,但其存在计算时间长和计算能力扩展性不足等问题。为了解决上述问题,提出了一种基于Apache Spark的SAR压缩感知成像分布式成像方法。该方法首先将压缩后的数据沿方位角方向按每一行划分为行向量,然后通过Spark分布式计算平台进行距离向分布式并行重构;将距离向成像的结果矩阵按每一列划分成列向量,再通过Spark分布式计算平台进行方位向分布式并行重构,完成SAR压缩感知成像。此方法利用Spark基于内存的分布式并行计算优势,实现了计算速度是SAR压缩感知的1.9倍,是MapReduce的SAR压缩感知(MR-CS)方法的1.4倍,可见本文方法能够实现SAR压缩感知成像的加速。

摘要： 围绕“山水林田湖草”自然资源生命共同体协同化管理要求,建立时空大数据中心,以汇聚各类基础数据和业务数据,将数据相互关联与融合,依托大数据中心的分析能力与支撑能力,以分析结果辅助业务工作开展。通过超融合、海量数据存储、云安全等技术构筑云平台基础,同时引入数据抽取、清洗、挖掘分析、可视化等数据处理技术,以及分布式平行计算、SOA、微服务、容器等云化技术,提升时空大数据云平台的服务能力,为同类平台建设提供借鉴。

摘要： 在信息时代下,网络中每天都会有大规模移动流量数据产生。采用面向海量数据处理的高效、可靠的分布式并行计算成为互联网行业和各大营运商研究重点。文章阐述了移动流量数据监测方法和意义,重点对基于图谱分析的网络流量数据分析与识别算法进行研究。对于网页请求间的相互关系分析,采用基于依赖图模型的用户点击识别算法;对于网络实体间的关系结构分析,设计了并行tNMF算法;为对大规模移动网络流量进行精细化分析,提出了基于Spark计算框架的并行快速流式算法。

摘要： 为解决软件化雷达系统实时处理大规模数据的问题,提出了一种分层级的分布式并行计算方法,并设计了一种低延时大规模数据处理能力的软件化雷达系统。该系统采用三层并行计算方法,利用ZeroMQ技术实现了任务级的分布式计算,多线程技术实现了线程级的多核并行计算,Arrayfire平台实现了数据级的图形处理单元(Graphic Processing Unit,GPU)并行计算。系统具有部署灵活、扩展性强、并发性高、延时低的特征。实验结果表明,数据率为1.92 Gb/s时,系统能在30 ms内实时显示空中目标,完全满足实际工程应用环境需求。

摘要： 构建省级时空地理信息云平台是统筹协调各方资源、提高政府服务能力的需要。本文以省级应用为基础,探讨时空地理信息云平台技术,通过超融合、海量数据存储、云安全等技术构筑云平台基础,同时引入数据抽取、清洗、挖掘分析、可视化等数据处理技术,以及分布式平行计算、SOA、微服务、容器等云化技术,提升时空大数据云平台的服务能力,为同类平台建设提供借鉴。

摘要： 以大数据算法设计与分析方法学为主线,以大数据算法研究的新成果为基本内容,全面系统地介绍大数据算法设计的原理和方法。坚持理论与实践并重,适合从事大数据研究的科技工作者学习,也适于作为高校数据科学与大数据技术专业的本科生和研究生教材。内容简介本书以大数据为背景,以求解大数据计算问题的计算方法(即亚线性时间计算方法、压缩计算方法、抽样计算方法、增量式计算方法、分布式并行计算方法)为主线,系统地介绍大数据计算问题求解算法的设计与分析的理论与方法.

摘要： 电力系统不良数据识别方法以单一误差为标准多次比对、多次循环,难以同时处理大量数据,导致不良数据识别误差大、速率低。为改进不良数据识别方法存在的缺陷,设计了基于分布式并行计算的电力系统不良数据识别方法。采用MapReduce模型搭建分布式并行计算框架;设定不良数据判断标准,预处理电力数据;利用标准残差向量和残差灵敏度,识别电力系统不良数据。通过试验验证识别方法的应用效果,结果表明所提方法的平均识别相对误差为12.51%,多种类不良数据漏检率较低,证实了该识别方法的应用效果良好。

摘要： 为解决负荷预测时因数据量大、数据种类繁多带来的计算速度慢、预测精度低等问题,在MapReduce并行编程框架下,提出基于小批量随机梯度下降法的线性回归模型.首先,为清理智能配电终端产生的重复数据和不良数据,提出利用自适应近邻排序算法清除重复记录的数据,并利用K均值聚类的方法剔除异常数据和记录不完整的数据,然后利用F检验法来检验该数据集能否线性表征负荷,再利用T检验法检验特性向量与负荷间线性关系的显著性,并剔除与负荷线性关系较弱的特性向量.根据以上方法建立短期负荷预测模型,并将其用在甘肃武威某区域配电网短期负荷预测中.结果表明,所提出的短期负荷预测模型的平均绝对百分误差为2.043％,均方根误差为3112.62.这些预测误差满足负荷预测的要求,极大地提高了负荷计算的速度,缩短了负荷预测时间.

摘要： 省级自然资源时空大数据云平台立足于一网一库一平台N应用的信息化总体规划,在省政务网(一网)环境下构建一体化数据库(一库),支撑自然资源政务管理与服务平台(一平台)、调查监测及政务服务等应用(N应用).该文以省级应用为基础,探讨时空大数据云平台技术.通过超融合、海量数据存储、云安全等技术构筑云平台基础,同时引入数据抽取、清洗、挖掘分析、可视化等数据处理技术,以及分布式平行计算、SOA、微服务、容器等云化技术,提升时空大数据云平台的服务能力,为同类平台建设提供借鉴.

摘要： 铁路电子支付平台承载着铁路客货运电子支付和资金结算业务,随着客货运业务的快速发展,交易数据量快速增加,对账处理效率较低的问题日渐凸显.结合对账业务流程,提出基于分布式并行计算的对账业务数据处理方案.采用消息中间件Kafka采集数据,利用Hadoop、Spark搭建大数据处理和多任务并行计算运行环境,基于分布式查询引擎,提供性能高效、灵活多样的对账结果查询接口.经测试验证,通过技术升级改造,铁路电子支付平台对账业务的数据处理效率得到较为满意的提升,数据处理平台的可扩展性也得到提升,为铁路电子支付平台更好的支撑铁路业务发展提供保障.

摘要： 随着计算技术的迅猛发展、科学理论模型日渐成熟,分布式并行计算与软件在科学、工程、经济与社会等领域都有了广泛应用,用分布式并行计算来模拟或(部分)代替实验已成为可能.在材料科学、航空航天、气象气候、高能物理、计算化学、地球地质、测绘科学、天体物理、凝聚态物理、生命科学等领域,分布式并行计算已成为必备的研究手段.特别在材料、物理、化学、生命等相关学科中,已经可以利用分布式并行计算模拟、观察到比实验现象更细致的层次,或者对目前比较昂贵或无法实现的实验观测进行数值模拟,从而帮助解释实验结果,理解自然规律,探索和建立新的理论.本报告通过分析分布式并行计算与软件的优势,探讨其应用于不同科学与工程领域的前景,特别是高通量材料计算和大型商用客机空气动力学计算的分布式并行处理等.分布式并行计算算法和软件将为推动国家重大科学前沿研究和工程设计领域的发展做出贡献.

摘要： 建立一个有代表意义的填充床模型，颗粒的数目不宜过少，否则无法排除边界效应。填充床中流体在颗粒之间的缝隙内流过，流道几何形状极端复杂，其局部流动的直接求解无论在网格生成还是运算规模上都十分具有挑战性。本文采用基于Chimera网格的分布式并行计算方法开发了一种求解填充床内部流场的并行流动求解器，对球粒填充床的内部流动进行了数值求解。

摘要： 随着物联网的不断发展,在水质监测中要面对海量的不同类型的传感器采集数据,数据爆发性增长且传统数据挖掘技术难以针对文本数据进行分析,因此建立基于大数据的存储平台,对海量的水质监测数据进行快速、准确的分析极为重要.本文提出基于Hadoop的框架大数据平台实现低成本下海量的水质监测数据分布式存储及分布式并行计算分析,提高了水质监测数据存储和分析计算能力.

摘要： 响应速度较慢和推荐内容与用户上下文信息匹配程度低是当前影片推荐系统迫切需要解决的问题.针对上述挑战,本文提出Spark平台下基于上下文信息的影片混合推荐方法.它通过利用分布式并行计算技术使Spark进行加速,来提高系统对于海量数据的检索与计算速度,从而减少了系统响应时间.同时该方法将"上下文推荐"和"交替最小二乘的协同过滤(ALS)"融合成一种混合推荐方法,从而提高了系统的推荐精度.实验结果表明本文所提出的混合推荐方法有不错的效果.

摘要： 为减少大电网可靠性评估并行计算中不同计算节点间的通信量,以获得计算节点间最佳负载平衡,本文以状态解析法的系统状态为任务划分单位,设计了可靠性并行计算的任务分配算法.根据分布式集群环境中各处理节点的计算性能各异的特点,提出了处理器性能系数指标,基于此设计了计及处理节点性能的静态任务分配方案,以实现各处理器所分配的任务数与其计算性能相匹配;因可靠性评估过程中各系统状态的计算时间相差较大,在静态任务分配方案基础上,设计了基于处理节点工作状态的动态分配方案以提高计算效率.在分布式计算平台上实现上述静态和动态任务分配算法,通过对RBTS系统和IEEE-RTS79系统的算例测试表明:本文设计的任务分配算法有效地提高了并行计算中过程的加速比和并行效率,算法简单、可靠,对不同并行计算平台及不同类型的并行计算任务具有借鉴意义.

摘要： 目前基于分布式并行计算的飞船返回过程预报落点有数千个,因此如何从中优选出“最可能”落点成为亟需解决的问题.针对此问题,论文在充分考虑以往返回落点计算的先验知识和最新落点信息基础上,设计了飞船返回的自适应聚类模糊系统,采用含有时间因子的迭代自组织数据分析算法研究了返回舱落点优选方法.计算结果表明,该方法提高了落点预报精度且具有较好的稳定性,可为飞船返回搜救提供技术支撑.

摘要： 基于CRS提出了一种适合于分布式并行环境改进的平方共轭残差方法--ICRS.通过算法重构,ICRS方法将CRS方法所需要的2个全局同步化点降低到了1个,没有数据相关性。理论分析和实验表明ICRS方法比CRS方法具有更好的并行性和可扩展性。

摘要： 目前智能交通管理数据资源中心的传统系统架构和数据处理方法,其在数据存储和处理智能交通管理大数据方面已经开始出现如下瓶颈:交通管理数据越来越海量、交通管理业务应用越来越复杂、数据查询响应速度越来越慢.本文提出了采用Hadoop和MPP技术混合架构进行智能交通管理大数据资源平台架构设计的思想和实现方法;其核心部分归类包括数据存储层、业务应用服务模型层和平台应用接口层,数据存储层和业务应用服务模型层为上层交通管理应用提供计算资源、存储资源和大数据挖掘分析,平台应用接口层涵盖了在公安智能交通管理方面常见的业务应用接口,为业务应用平台提供支持;通过大数据平台构建从而有效提升智能交通管理大数据存储和处理分析的效率与性能,为提升智能交通管理业务水平打下基础.

摘要： 目前智能交通管理数据资源中心的传统系统架构和数据处理方法,其在数据存储和处理智能交通管理大数据方面已经开始出现如下瓶颈:交通管理数据越来越海量、交通管理业务应用越来越复杂、数据查询响应速度越来越慢.本文提出了采用Hadoop和MPP技术混合架构进行智能交通管理大数据资源平台架构设计的思想和实现方法;其核心部分归类包括数据存储层、业务应用服务模型层和平台应用接口层,数据存储层和业务应用服务模型层为上层交通管理应用提供计算资源、存储资源和大数据挖掘分析,平台应用接口层涵盖了在公安智能交通管理方面常见的业务应用接口,为业务应用平台提供支持;通过大数据平台构建从而有效提升智能交通管理大数据存储和处理分析的效率与性能,为提升智能交通管理业务水平打下基础.

摘要： 目前智能交通管理数据资源中心的传统系统架构和数据处理方法,其在数据存储和处理智能交通管理大数据方面已经开始出现如下瓶颈:交通管理数据越来越海量、交通管理业务应用越来越复杂、数据查询响应速度越来越慢.本文提出了采用Hadoop和MPP技术混合架构进行智能交通管理大数据资源平台架构设计的思想和实现方法;其核心部分归类包括数据存储层、业务应用服务模型层和平台应用接口层,数据存储层和业务应用服务模型层为上层交通管理应用提供计算资源、存储资源和大数据挖掘分析,平台应用接口层涵盖了在公安智能交通管理方面常见的业务应用接口,为业务应用平台提供支持;通过大数据平台构建从而有效提升智能交通管理大数据存储和处理分析的效率与性能,为提升智能交通管理业务水平打下基础.

摘要： 本发明公开了一种并行计算场景下分布式数据集合计算方法和系统，尤其是一种并行计算场景下分布式数据集合计算系统，其特征在于，包括信息收集模块、信息分类模块、数据处理模块和数据存储模块，所述信息收集模块、信息分类模块、数据处理模块和数据存储模块依次连接，所述信息收集模块包括信息抓取单元，所述信息分类模块包括数据解析单元、数据过滤单元、数据去重单元和数据分类单元，数据解析单元、数据过滤单元、数据去重单元和数据分类单元依次连接。本发明能够分别对不同类型的互联网网站进行处理，能够对互联网上的数据做到全面、高效、多样化的抓取，同时，能够通过分布式数据计算效率。

摘要： 本发明涉及一种并行计算环境下分布式轮廓系数计算方法和系统，包括：计算当前聚类的任意两个元素之间的距离；根据所述任意两个元素之间的距离计算任意一个元素与任意类中元素距离的平均值，其中根据所述任意一个元素与本类距离得到凝聚度；根据所述任意一个元素与任意类数据距离的最小值值计算当前聚类的类之间的离散度；根据所述凝聚度和所述离散度计算元素的轮廓系数；计算所有元素的轮廓系数并计算当前聚类的整体轮廓系数。本发明能有效的利用分布式计算的优势，快速得到轮廓系数的值；可以忽略算法细节，并不用关心数据的重新分布，是利用DataFrame数据结构的分布式能力与SQL描述性表达的有效结合，利用Spark系统本身的优化能力，达到分布式计算的效果。

摘要： 本发明公开了一种基于分布式计算的海量用电信息并行计算系统及方法，包括：用电信息分布式存储模块，主从结构，包括用电信息分布式存储模块主节点和若干用电信息分布式存储模块从节点，用电信息计算处理引擎，主从结构，包括用电信息计算处理引擎主节点和用电信息计算处理引擎从节点，用电信息计算处理引擎与用电信息分布式存储模块相互通信；实现应用分布式计算框架快速运算和计算结果回写在内的各项功能。在对要计算的海量用电信息实现非结构化映射的基础上，对要计算的数据分组后实现并行计算，将最终的结果合并后返回，提升数据综合计算能力，实现服务器计算能力的横向扩展，解决用电大数据时代海量数据实时、高效处理的问题。

摘要： 本发明公开了基于分布式文件系统的仿真分布式并行计算平台及方法；所述平台包括：若干客户端，用户通过客户端提交任务到调度节点，由调度节点统一分配任务经由交换机传输到若干计算节点参与计算，所述计算节点计算完成后将计算结果传回调度节点，再由调度节点处理计算结果并且直接写入或通过数据接口写入数据库并通知客户端计算完毕；本发明的有益效果：大幅提高了输入计算数据与输出计算结果通信效率，从而大幅提高了整个分布式并行计算平台计算效率，同时分布式文件系统的使用，有助于降低网络拥塞状态下大文件传输交换出错几率，提高仿真计算结果可靠性与正确性。

摘要： 本发明公开多计算设备分布式并行计算的信息下发和结果上传方法，通过将信息下发通道和结果数据上传通道分开，有效降低控制信息下发与数据上传的冲突率。在配置身份信息时，将关闭计算设备链路中该计算设备下游的信息下发通道，进而保证身份信息配置的正确性。同时采用计算结果自主上传方法和输出通道无冲突即时上传机制共同作用，分配每个计算设备计算数据的直接上传权限，提高计算数据上传效率。本发明多计算设备分布式并行计算的信息下发和结果上传方法能够降低信息下发和计算结果数据上传等额外时间消耗，进而提升整个加速系统的加速计算效果。

摘要： 本发明公开了基于分布式文件系统的仿真分布式并行计算平台及方法；所述平台包括：若干客户端，用户通过客户端提交任务到调度节点，由调度节点统一分配任务经由交换机传输到若干计算节点参与计算，所述计算节点计算完成后将计算结果传回调度节点，再由调度节点处理计算结果并且直接写入或通过数据接口写入数据库并通知客户端计算完毕；本发明的有益效果：大幅提高了输入计算数据与输出计算结果通信效率，从而大幅提高了整个分布式并行计算平台计算效率，同时分布式文件系统的使用，有助于降低网络拥塞状态下大文件传输交换出错几率，提高仿真计算结果可靠性与正确性。

摘要： 本申请适用于计算机技术领域，提供一种分布式并行计算方法、计算设备及存储介质，通过主机与多台从机建立套接字连接，主机将预设任务分解为多个子任务，然后将多个子任务的描述信息同步分发至多台从机，将多个子任务的输入参数同步分发至多台从机，每台从机根据接到的一个子任务的描述信息和输入参数执行对应的子任务，生成执行结果并发送给主机，主机接收多台从机发送的多个子任务的执行结果；使得主机无需对从机进行环境配置并提前配置确定各从机的计算任务，支持动态发送复杂多样的并行计算任务并获取并行计算结果，从而可以实现高效、快捷的分布式计算机并行计算方法。

摘要： 本发明公开了一种支持分布式并行计算的基础算法架构和计算方法，包括：本地算法库，设置于应用计算机，本地算法库包括多种编程语言算法库；CPU设备节点代理程序，与应用计算机的CPU计算节点通信连接；GPU设备节点代理程序，与应用计算机的GPU计算节点通信连接；FPGA设备节点代理程序，与应用计算机的FPGA计算节点通信连接；虚拟计算机资源管理程序，与本地算法库、GPU设备节点代理程序、CPU设备节点代理程序、FPGA设备节点代理程序通信连接，虚拟计算机资源管理程序用于根据应用程序的计算任务的复杂度，选择不同的设备节点代理程序进行计算。能够支持多种编程语言，不仅仅支持CPU，还能够支持GPU和FPGA计算平台，计算效率高。

摘要： 本发明涉及一种去中心化的分布式并行计算框架及计算方法，基于最小负载算法确定任务分配方案，对于无法继续拆分的并行任务，以所有并行任务的最大完成时间作为本串行任务包完成时间，计算所有串行任务包的最小完成时间，获得最优分配方案；对于可以继续细分的任务包，递归调用最小负载算法来计算最小时间，简化了算法的复杂度，提高了运算效率；对于计算结果可以预期的串行任务，本发明预先计算得到输出表，当在前任务计算完成后，基于在前任务的结果，直接查表得到在后任务的结果，提高了计算的整体效率。

摘要： 本发明公开一种多计算设备分布式并行计算的信息下发和结果上传方法，通过将信息下发通道和结果数据上传通道分开，有效降低控制信息下发与数据上传的冲突率。在配置身份信息时，将关闭计算设备链路中该计算设备下游的信息下发通道，进而保证身份信息配置的正确性。同时采用计算结果自主上传方法和输出通道无冲突即时上传机制共同作用，分配每个计算设备计算数据的直接上传权限，提高计算数据上传效率。本发明一种多计算设备分布式并行计算的信息配置和结果上传方法能够降低信息下发和计算结果数据上传等额外时间消耗，进而提升整个加速系统的加速计算效果。