消息传递接口

摘要： 超算中心已经成为众多科研机构的重要科研基础设施,对基于MPI的高性能计算应用进行数据建模和分析对优化网络流量、资源调度等许多方面十分重要.已有的研究工作大都集中在超算中心大规模MPI整体使用情况,或小规模的某个特定应用的研究,缺乏对科研行业超算中心的研究.本文通过采集和跟踪中国科学技术大学超算中心最典型的两个应用的流量信息:小规模并行的VASP应用和大规模并行的OpenFOAM应用,对MPI各个函数调用的流量数据和数据包传输进行了统计分析并发现其特点和性质,得出了一些新结论,这些结论可以用于指导超算中心网络设计和优化.

摘要： 大数据时代背景下,信息化建设已经深入人们生活的方方面面,随着计算机与互联网的日渐普及,人们使用的通信技术水平不断提高,软件无线电应运而生,数字化处理方式提高了通信效率,也使软件无线电的结构得到了优化。文章通过对消息传递和处理机制的分析,分别从功能模型与功能接口、软件分层结构、硬件平台等方面阐述软件无线电的体系结构,并基于计算机和网络实现软件无线电的软件与硬件部分优化设计,从而丰富系统功能,提高信息传递效率。

摘要： 供水管网仿真广泛应用于城市供水输配调度,是城市供水管网监测与维护的重要技术手段。由于在面向城市级的大规模管网中产生了海量的计算数据,因此在一般计算平台上无法满足管网仿真计算的算力需求。为提升城市级供水管网仿真的计算效率,提出一种有效的并行化方案。基于“嵩山”超级计算机系统采用中央处理器+数据缓存单元(CPU+DCU)架构,利用其在密集数据计算方面的优势,对“嵩山”超级计算机进行供水管网仿真。参照可移植性异构计算接口(HIP)异构编程模型,在“嵩山”超级计算机上实现供水管网仿真的异构计算,并结合管道数据分割方案,使用消息传递接口开启多进程以实现DCU加速数据通信传递。通过重定义数据类型解决计算过程中结构体传输问题,实现单节点内多DCU的大规模密集计算。在不同计算平台和多种计算策略仿真上的对比结果表明,与传统x86平台相比,该优化方案在小规模数据与大规模数据上的加速比分别达到5.269、10.760,与采用计算统一设备架构异构编程模型的传统GPU异构平台相比,计算性能有明显提高。

摘要： 为了有效解决鸡群算法(Chicken Swarm Optimization,CSO)多维复杂优化中收敛效率不高、运算速度慢等缺陷,提出一种基于改进FCM和MPI的并行鸡群算法(MCSO).引入改进FCM,通过设计贪婪聚类初始化策略,以提高聚类结果的质量和鲁棒性;采用改进FCM对鸡群种群进行聚类划分,得到若干个子族群,使得同一子族群内个体具有更多相似性,不同子族群具有更大差异性,在此基础上,建立鸡群等级关系和学习进化策略;构建MPI并行运算架构,子族群独立执行迭代进化计算,在并行运算架构下协同交流信息,以提高算法运算效率.仿真实验结果表明,与其它智能优化算法相比,PCSO算法具有更高的收敛精度和更快的运算速度.

摘要： 开源通信框架在编程模型和互连接口之间定义标准化的通信编程接口,提供了独立于互连网络特性的高性能通信操作,提高了编程模型在新型互连网络上的开发效率.通过设计与实现多通道数据 传输协议,解决了通信框架在天河互连网络上实现时的性能和扩展性问题.测试数据表明,天河互连网络上的通信框架具有很低的软件层开销,提供了接近于互连硬件设计指标的通信性能,为拓展天河互连网络对各种编程模型和分布式计算框架的高效支持提供了良好的基础.

摘要： 非负矩阵分解(Non-negative Matrix Factorization,NMF)能保存语音信号的非负特征,是用于语音分离的重要方法,但该方法存在数据运算复杂、计算量太大的问题,需要研究能减少计算时间的并行计算方法.针对语音分离预训练及分离过程的计算问题,文中提出深层转导式非负矩阵分解并行算法,综合考虑迭代更新过程的数据关联性,设计了一种任务间和任务内多级并行算法.该并行算法在任务级将分解训练语音得到对应基矩阵的过程作为两个独立的任务进行并行计算;在任务内部进程级把矩阵按行列划分,主进程把矩阵块分发到从进程,从进程接收当前矩阵块并计算结果矩阵子块,然后将当前进程矩阵块发送到下一进程,实现第二个矩阵中每一个矩阵块在所有进程的遍历,并计算结果矩阵对应子块的乘积,最后由主进程收集从进程数据块;在线程级子矩阵乘法运算的过程中,采取生成多线程,通过共享内存交换数据计算子矩阵块的加速策略.该算法为首个实现深层转导式非负矩阵分解的并行算法.在天河二号平台上的测试结果表明,在分离多说话人混合语音信号时,相比串行程序,所提出的并行算法能在不改变分离效果的前提下,使得预训练过程中使用64个进程的加速比为18,分离过程使用64个进程的对应加速比为24.相较于串行及MPI模型分离,混合模型分离时间大大缩短,从而证明了设计的并行算法可有效提高语音分离的效率.

摘要： 针对布谷鸟搜索算法在解决作业调度问题时存在收敛速度慢等问题, 提出一种基于混合并行布谷鸟搜索的作业调度算法.在传统布谷鸟搜索基础上, 结合多核集群的拓扑结构特点, 将消息传递编程模型MPI与共享存储编程模型OpenMP结合, 采用基于作业优先级的编码方式将布谷鸟搜索算法中的鸟巢位置转换为作业调度序列进行求解.仿真结果表明, 与传统的串行布谷鸟搜索算法相比, 使用该方法求解作业调度问题的收敛速度有明显加快.%Cuckoo search algorithm has been proved with a slow convergence speed in solving job scheduling.Based on this, ajob scheduling algorithm based on hybrid parallel cuckoo search algorithm was proposed.MPI was combined with OpenMP, which made full use of the structural features of multi-core cluster.The nest position was translated into a job scheduling sequence using the coding method based on job priority.Simulation results show that the proposed algorithm has higher convergence speed compared with serial cuckoo search algorithm.

摘要： 马尔可夫聚类算法(MCL)是在大规模生物网络中寻找模块的一个有效方法,能够挖掘网络结构和功能影响力较大的模块.算法涉及到大规模矩阵计算,因此复杂度可达立方阶次.针对复杂度高的问题,提出了基于消息传递接口(MPI)的并行化马尔可夫聚类算法以提高算法的计算性能.首先,生物网络转化成邻接矩阵;然后,根据算法的特性,按照矩阵的规模判断并重新生成新矩阵以处理非平方倍数矩阵的计算;其次,并行计算通过按块分配的方式能够有效地实现任意规模矩阵的运算;最后,循环并行计算直至收敛,得到网络聚类结果.通过模拟网络和真实生物网络数据集的实验结果表明,与全块集体式通信(FCC)并行方法相比,平均并行效率提升了10个百分点以上,因此可以将该优化算法应用在不同类型的大规模生物网络中.

摘要： 生物复杂网络motif发现是一种研究生物网络的重要方法,它基于复杂网络的理论研究,以新的视角来研究生命现象和生命机制,但是在处理较大的网络规模或者需挖掘较大的motif时计算效率低.针对这个问题,在现有串行网络motif发现算法ESU的基础上,提出一种基于消息传递接口(MPI)的并行化ESU算法.该方法在ESU计算过程中优化了节点值以解决节点值依赖问题,并以ESU算法的子图发现策略统计各节点子图数,利用动态规划策略寻找最佳节点分配策略以解决负载不均衡问题.模拟网络数据和真实生物网络数据的实验结果表明,并行化ESU算法优化了节点值依赖问题,实现了基于动态规划的负载均衡策略,其运行时间比串行算法缩短了90％,并且该并行算法对不同类型不同规模的网络都具有较强的适用性,有效地提高了网络motif发现问题的计算效率.

摘要： 在高性能计算领域,消息传递接口(MPI)已成为并行计算机程序开发的事实标准.而基于MPI标准编程接口开发的并行程序大多会使用集合通信作为并行算法的通信核心,因此改善和优化MPI集合通信的性能是提高并行应用高加速比的关键.与面向具体的网络拓扑和体系结构提出新的通信算法不同,本文设计了一种有线无线混合网络架构,采用集中控制器对所有节点的网络流进行统一调度.基于SDN框架提出一种新型的广播链路调度算法,在相应的流量模式下充分发挥无线通信对于MPI集合通信中涉及到的广播操作的辅助优化作用.本文后面针对该链路调度算法进行结果分析和性能评价,结果表明有线无线混合网络架构下,无线广播对于Bcast通信原语有显著优化效果,可以将执行复杂度由0(logP)降低到0(1),大大减少了完成时间.

摘要： 依据消息传递接口(MPI)的特点,研究了在基于MPI的并行环境下某种海洋数值模式并行计算的实现方法,其中包括MPI这种消息传递并行程序设计标准、FVCOM并行处理的原理和并行处理的部署实现.

摘要： 随着消息传递接口(MPI)的普及MPI程序的错误检测变得越来越重要.不断增大的高性能计算系统规模以及多核技术的普及,使MPI程序变得越来越复杂,可以预见MPI程序的错误也将会越来越频繁出现,与此同时,MPI程序错误检测的困难程度也在增大.本文将总结在这个方向上的研究现状和函待解决的挑战,重点讨论两大类错误检测方法:自动错误检测方法和交互式错误检测方法.对于每类错误检测方法,将阐述方法的原理,现有的工具,及其优缺点.

摘要： 本文阐述当前主流GIS软件以及互联网地图应用在WebGIS(网络地理信息系统)解决方案中都广泛采用地图切片(又称瓦片),切片处理服务是实现影像在WebGIS上快速无缝浏览的关键技术.针对目前传统算法以及商业GIS软件在大数据量栅格影像快速瓦片化方面的不足,本文提出一种名为ParaTile的高效栅格影像快速瓦片化方法,ParaTile基于MPI共享外存的并行技术,利用多进程对原始栅格影像进行数据划分,每个进程对其所划分的区域进行独立读写和计算,而后再按照TMS或者Google Tile定义的标准将瓦片进行编码输出.实验采用不同级别大小的遥感影像进行测试,结果表明ParaTile在面对不同规模的数据时无论从速度还是算法稳定性上都较现有算法和工具具有显著优势,特别是当数据量越大时,这种优势愈加明显。

摘要： 本文阐述当前主流GIS软件以及互联网地图应用在WebGIS(网络地理信息系统)解决方案中都广泛采用地图切片(又称瓦片),切片处理服务是实现影像在WebGIS上快速无缝浏览的关键技术.针对目前传统算法以及商业GIS软件在大数据量栅格影像快速瓦片化方面的不足,本文提出一种名为ParaTile的高效栅格影像快速瓦片化方法,ParaTile基于MPI共享外存的并行技术,利用多进程对原始栅格影像进行数据划分,每个进程对其所划分的区域进行独立读写和计算,而后再按照TMS或者Google Tile定义的标准将瓦片进行编码输出.实验采用不同级别大小的遥感影像进行测试,结果表明ParaTile在面对不同规模的数据时无论从速度还是算法稳定性上都较现有算法和工具具有显著优势,特别是当数据量越大时,这种优势愈加明显。

摘要： 本文阐述当前主流GIS软件以及互联网地图应用在WebGIS(网络地理信息系统)解决方案中都广泛采用地图切片(又称瓦片),切片处理服务是实现影像在WebGIS上快速无缝浏览的关键技术.针对目前传统算法以及商业GIS软件在大数据量栅格影像快速瓦片化方面的不足,本文提出一种名为ParaTile的高效栅格影像快速瓦片化方法,ParaTile基于MPI共享外存的并行技术,利用多进程对原始栅格影像进行数据划分,每个进程对其所划分的区域进行独立读写和计算,而后再按照TMS或者Google Tile定义的标准将瓦片进行编码输出.实验采用不同级别大小的遥感影像进行测试,结果表明ParaTile在面对不同规模的数据时无论从速度还是算法稳定性上都较现有算法和工具具有显著优势,特别是当数据量越大时,这种优势愈加明显。

摘要： 本文阐述当前主流GIS软件以及互联网地图应用在WebGIS(网络地理信息系统)解决方案中都广泛采用地图切片(又称瓦片),切片处理服务是实现影像在WebGIS上快速无缝浏览的关键技术.针对目前传统算法以及商业GIS软件在大数据量栅格影像快速瓦片化方面的不足,本文提出一种名为ParaTile的高效栅格影像快速瓦片化方法,ParaTile基于MPI共享外存的并行技术,利用多进程对原始栅格影像进行数据划分,每个进程对其所划分的区域进行独立读写和计算,而后再按照TMS或者Google Tile定义的标准将瓦片进行编码输出.实验采用不同级别大小的遥感影像进行测试,结果表明ParaTile在面对不同规模的数据时无论从速度还是算法稳定性上都较现有算法和工具具有显著优势,特别是当数据量越大时,这种优势愈加明显。

摘要： 剩余静校正是一种多参数的非线性优化问题,它能获得一致性较好的叠加剖面,但计算涉及巨大的地震数据,导致运算时间过长,针对这一特点,本文针对大地震数据的特点，使用多粒度的混合编程模式建立了一个求解剩余静校正的并行算法，结果表明MPI+OpenMP的混合编程模型在多处理器集群系统中能更好地发挥系统体系结构的优势，大大消减了运算时问，而且MPI+OpenMP的混合并行算法具有良好的移植性和扩展性，且随着处理器核数的不断增加，MPI+OpenMP混合编程模型的扩展性等优势将会更加明显。

摘要： 剩余静校正是一种多参数的非线性优化问题,它能获得一致性较好的叠加剖面,但计算涉及巨大的地震数据,导致运算时间过长,针对这一特点,本文针对大地震数据的特点，使用多粒度的混合编程模式建立了一个求解剩余静校正的并行算法，结果表明MPI+OpenMP的混合编程模型在多处理器集群系统中能更好地发挥系统体系结构的优势，大大消减了运算时问，而且MPI+OpenMP的混合并行算法具有良好的移植性和扩展性，且随着处理器核数的不断增加，MPI+OpenMP混合编程模型的扩展性等优势将会更加明显。

摘要： 剩余静校正是一种多参数的非线性优化问题,它能获得一致性较好的叠加剖面,但计算涉及巨大的地震数据,导致运算时间过长,针对这一特点,本文针对大地震数据的特点，使用多粒度的混合编程模式建立了一个求解剩余静校正的并行算法，结果表明MPI+OpenMP的混合编程模型在多处理器集群系统中能更好地发挥系统体系结构的优势，大大消减了运算时问，而且MPI+OpenMP的混合并行算法具有良好的移植性和扩展性，且随着处理器核数的不断增加，MPI+OpenMP混合编程模型的扩展性等优势将会更加明显。

摘要： 本发明提供了一种消息传递接口任务和资源调度系统及方法，所述系统包括MPI调度器(101)；所述MPI调度器(101)，用于基于待执行的MPI任务的资源需求进行MPI任务和资源调度，所述MPI任务使用MPI任务包的形式，所述MPI任务包括MPI运行程序和运行配置信息，所述运行配置信息包括MIP任务的资源需求。本发明的系统不同于Torque的操作系统任务管理工具，它是一个专门为MPI任务和资源调度设计的MPI调度系统，可以基于待执行的MPI任务的资源需求进行有效的MPI任务和资源的调度。

摘要： 公开了自动调谐通信协议的方法、机器可读介质和并行计算系统的说明性实施例。在一些实施例中，方法可包含：选择由并行计算系统的消息传递接口(MPI)实现的集体操作，其中MPI配置成使用多个算法中的至少一个算法实现集体操作；将多个算法中的每个算法建模为对应多个点对点操作；使用其对应多个点对点操作确定多个算法中的每个算法的传输速率；从多个算法中选择一个或多个算法，一个或多个选择的算法比一个或多个未选择的算法具有更高的传输速率；以及用多个配置参数测试一个或多个选择的算法的性能以确定用于实现集体操作的至少一个优化算法。

摘要： 本发明提供一种基于消息传递接口的遥感影像金字塔并行构建方法。技术方案包括下述步骤：第一步：设置金字塔级数和进程个数，并设定主进程；第二步：主进程读取遥感影像的元数据信息；第三步：创建金字塔文件；第四步：数据划分：主进程将遥感影像的当前处理波段数据平均划分给各个进程。第五步：读取数据：各个进程并行读取各自划分到的数据；第六步：重采样：各个进程采用重采样算法对所要处理的遥感影像数据进行当前金字塔级数对应粒度的重采样；第七步：并行写出结果：各个进程将内存中的重采样后的结果并行写入金字塔文件。本发明构建金字塔效率高，提高了数据写出效率。

摘要： 本发明公开了一种消息传递接口广播方法及装置，属于网络通信领域。所述方法包括：判断每台交换机上是否都有前驱进程；若每台交换机上不是都有前驱进程，将数据发送给没有前驱进程的交换机上的进程；若每台交换机上都有前驱进程，则将数据发送给本交换机内的进程。本发明通过所述消息传递接口广播方法及装置，提高了广播算法的效率。

摘要： 本发明公布了一种基于遗传算法的消息传递接口程序分支覆盖测试套件生成方法，旨在针对消息传递接口程序高效生成覆盖所有分支的测试套件。具体步骤如下：(1)，基于收集覆盖信息的探针，定义最小归一化分支距离；(2)，基于定义的最小归一化分支距离，设计出目标函数；(3)，使用遗传算法生成进化个体，并基于设计的目标函数，计算这些个体的目标函数值，直到生成覆盖所有分支的测试套件或达到最大进化代数，终止算法。

摘要： 本发明涉及一种存储器系统，其具有：多个存储器组件；及控制器，其可操作地耦合到所述多个存储器组件以：将数据存储于所述存储器组件中；经由总线与主机系统通信；经由所述总线上的通信将所述数据服务于所述主机系统；使用消息传递接口经由所述总线与处理装置通信，所述处理装置与所述主机系统分离；及通过使用所述消息传递接口经由所述总线进行的通信提供对所述处理装置的数据存取。

摘要： 本发明提供一种基于消息传递接口的遥感影像金字塔并行构建方法。技术方案包括下述步骤：第一步：设置金字塔级数和进程个数，并设定主进程；第二步：主进程读取遥感影像的元数据信息；第三步：创建金字塔文件；第四步：数据划分：主进程将遥感影像的当前处理波段数据平均划分给各个进程。第五步：读取数据：各个进程并行读取各自划分到的数据；第六步：重采样：各个进程采用重采样算法对所要处理的遥感影像数据进行当前金字塔级数对应粒度的重采样；第七步：并行写出结果：各个进程将内存中的重采样后的结果并行写入金字塔文件。本发明构建金字塔效率高，提高了数据写出效率。

摘要： 本发明公开了一种消息传递接口广播方法及装置，属于网络通信领域。所述方法包括：判断每台交换机上是否都有前驱进程；若每台交换机上不是都有前驱进程，将数据发送给没有前驱进程的交换机上的进程；若每台交换机上都有前驱进程，则将数据发送给本交换机内的进程。本发明通过所述消息传递接口广播方法及装置，提高了广播算法的效率。

摘要： 本发明提供了一种消息传递接口任务和资源调度系统及方法，所述系统包括MPI调度器(101)；所述MPI调度器(101)，用于基于待执行的MPI任务的资源需求进行MPI任务和资源调度，所述MPI任务使用MPI任务包的形式，所述MPI任务包括MPI运行程序和运行配置信息，所述运行配置信息包括MIP任务的资源需求。本发明的系统不同于Torque的操作系统任务管理工具，它是一个专门为MPI任务和资源调度设计的MPI调度系统，可以基于待执行的MPI任务的资源需求进行有效的MPI任务和资源的调度。

摘要： 公开了自动调谐通信协议的方法、机器可读介质和并行计算系统的说明性实施例。在一些实施例中，方法可包含：选择由并行计算系统的消息传递接口(MPI)实现的集体操作，其中MPI配置成使用多个算法中的至少一个算法实现集体操作；将多个算法中的每个算法建模为对应多个点对点操作；使用其对应多个点对点操作确定多个算法中的每个算法的传输速率；从多个算法中选择一个或多个算法，一个或多个选择的算法比一个或多个未选择的算法具有更高的传输速率；以及用多个配置参数测试一个或多个选择的算法的性能以确定用于实现集体操作的至少一个优化算法。