内存计算

摘要： 卷积神经网络在诸多领域已经取得超出人类的成绩.但是,随着模型存储开销和计算复杂性的不断增加,限制处理单元和内存单元之间数据交换的"内存墙"问题阻碍了其在诸如边缘计算和物联网等资源受限环境中的部署.基于阻变存储的硬件加速器由于具有高集成度和低功耗等优势,被广泛应用于加速矩阵-向量乘运算,但是其不适合进行32 b浮点数计算,因此需要量化来降低数据精度.手工为每一层确定量化位宽非常耗时,近期的研究针对现场可编程门阵列(field programmable gate array,FPGA)平台使用基于深度确定性策略梯度(deep deterministic policy gradient,DDPG)的强化学习来进行自动量化,但需要将连续动作转换为离散动作,并通过逐层递减量化位宽来满足资源约束条件.基于此,提出基于近端策略优化(proximal policy optimization,PPO)算法的阻变存储硬件加速器自动量化,使用离散动作空间来避免动作空间转换步骤,设计新的奖励函数使PPO自动学习满足资源约束的最优量化策略,并给出软硬件设计改动以支持混合精度计算.实验结果表明:与粗粒度的量化相比,提出的方法可以减少20%~30%的硬件开销,而不引起模型准确度的过多损失.与其他自动量化相比,提出的方法搜索时间短,并且在相同的资源约束条件下可以进一步减少约4.2%的硬件开销.这为量化算法和硬件加速器的协同设计提供了参考.

摘要： 当今诸多工程问题及科学研究中,都面临着大数据处理和高性能计算任务的双重挑战。基于内存计算技术提出的分布式处理框架Spark已在学术和工业界得到了广泛的应用,但其MapReduce-like的编程模型在任务间无法进行通信,导致科学计算中的数值算法无法进行高效实现。针对上述问题,研究了一种Spark内存计算与MPI消息传递模型相结合的解决方案,充分利用内存访问存取快速的特点和MPI的多种高性能通信机制,解决了Spark编程模型表达能力不足的缺陷,同时为MPI提供了面向数据的DAG计算方式。通过对Spark内部的运行环境和调度系统进行修改,使得MPI在Spark中得以无缝融合,为高性能计算和大数据任务提供了一个统一的内存计算系统。测试结果表明,在数值计算和迭代算法上相比Spark至少有50%的性能提升。

摘要： 互联网时代背景下,如何提供高效并精确的文献检索服务是目前图书馆文献检索领域的难题.针对这一问题,首先分析了现阶段图书馆信息检索领域的研究方向和应用需求,然后提出基于Spark内存计算框架的文献检索服务方案,通过添加惩罚系数对Spark推荐算法进行了优化,最后以某高校图书馆近5年的检索数据进行反演.研究发现:首先,基于Spark内存计算的文献检索系统从文献服务平台、文献数据分析和文献数据聚合3个层次进行了重新定义,有效解决了传统检索方式中大数据反复在硬盘和内存中的交换导致效率低下问题;其次,加入惩罚系数后可以有效剔除检索过程中无效列表,在文献推荐方面准确度进一步提高;最后,对比试验发现,当文献数量在50 000份以内时,Spark内存计算方式运算速度较传统方式能够提升1倍,检索准确性两者相当;当文献数量280 000份时,内存计算方法在准确率上提升约14.3％,召回率上提升10.5％,同时速度较之前缩短约30％.希望本文的研究成果为图书馆文献检索服务提供一定参考和借鉴.

摘要： ERP系统作为支撑集团公司业务发展的核心信息系统,为集团公司企业信息化发展发挥着重大作用,同时随着集团公司业务的日益发展壮大和ERP系统的深化应用,ERP系统面临设备老化、系统性能下降、存储增长过快导致的存储空间压力和软件版本陈旧导致的各类系统问题,通过利用内存计算和云化技术,完成了ERP系统优化,实现了系统全面升级、系统云化和数据优化压缩,性能得到了极大提升,各类报表查询耗时大幅度降低,工作效率明显提升,保证了集团性企业ERP系统的持续、高效、可靠、稳定运行,同时也为各企业ERP系统的升级优化提供参考.

摘要： 随着电力改革深入,发电企业的竞争越来越激烈,控制成本势在必行.基于企业ERP系统,利用移动应用、内存计算等技术手段,优化ERP流程操作,打造安全、高效、透明的物资供应体系,提效率升服务,是企业通过产业数字化来实现降本增效的一大重点,笔者结合基于内存计算和移动应用技术在ERP应用的研究进行分析,旨在为基于ERP应用优化的企业提供有益的参考.

摘要： 随着应用数据处理需求的激增,在传统冯·诺依曼(von Neumann)体系结构中,处理器到主存之间的总线数据传输逐渐成为瓶颈.不仅如此,近年来兴起的数据密集型应用,如神经网络和图计算等,呈现出较严重的数据局部性,缓存命中率低.在这些新兴数据密集型应用的处理过程中,中央处理器到主存间的数据传输量大,导致系统的性能不佳且能耗变高.针对传统冯·诺依曼体系结构的局限性,内存计算通过赋予主存端一定的计算能力,以缓解因数据量大以及数据局部性差带来的总线拥堵和传输能耗高的问题.内存计算有两大形式,一种是以高带宽的连接方式将计算资源集成到主存单元中(近数据计算),另一种是直接利用存储单元做计算(存内计算).这两种形式有各自的优缺点和适用场景.本文首先介绍并分析了内存计算的提出和兴起原因,然后从硬件和微体系结构方面介绍内存计算技术,接着分析和总结了内存计算所面临的挑战,最后介绍了内存计算给目前流行的应用带来的机遇.

摘要： 针对大数据背景下K-means存在选取质心导致的局部最优解、聚类速度慢的问题,提出一种Flink平台下的CK-means聚类优化及并行策略.从算法优化层面,采用Canopy算法确定聚类数目k并选取初始质心;从并行化加速层面,基于Flink平台设计了一种面向CK-means的并行加速策略,并分析不同并行度对计算耗时的影响.经实验,相较于K-means算法,CK-means算法的准确率与迭代次数间的比值更高,算法性能更优,在iris数据集中性能比提升44.79％,在wine数据集中性能比提升32.03％;同时证明了不同并行度下CK-means算法的聚类耗时呈现先下降后上升的趋势,其聚类耗时的最小值与数据集的大小相关.

摘要： 随着国家互联网+战略部署及移动、宽带用户规模的持续提升,通信运营商沉淀了大量用户资料、订购、消费、行为等数据资产.通过大规模并行处理、内存计算、微服务架构等相关技术的研究,可以实现从海量数据中高效洞察市场空间,及时将商机转化为企业价值,同时将通信服务精准匹配到各类市场特征的个人、企业客户的差异化需求,充分体现通信运营商的央企责任,形成良好的服务感知和社会效应.

摘要： 本文重点阐述了内存技术的含义与特征,指出了内存技术的应用现状,提出了内存技术面临的困境与挑战,为内存计算技术的进一步发展提供支持。

摘要： 江苏电力业务系统上线已经10年,传统的数据库调优、增加服务器节点和极大缓存等手段已不能有效地解决数据处理的性能问题.HANA利用内存计算对海量数据实现瞬间统计分析.分析了HANA内存数据库的特点、开发原则以及管理规范等,并研究了参数传递方式.

摘要： 内存计算作为一种新兴的技术,支持数据在存储单元内就地处理,减少了数据的移动并增加了数据的并行处理,在一定程度上弥补了冯·诺伊曼架构的缺陷.和传统易失随机存储介质相比,赛道型内存(Racetrack Memory)具有密度大、非易失且静态功耗低等特点,支持高效的内存计算.为解决性能与功耗问题,本文提出了一种新型的基于斯格明子(Skyrmion)介质的非易失性内存计算框架.该框架采用斯格明子赛道内存(Skyrmion-based Racetrack Memory)作为存储单元,采用斯格明子逻辑门(Skyrmion-basedLogic Gate)构成的加法/乘法器组成计算单元,无须大量CMOS电路辅助,设计复杂度大大降低.同时,本文通过在电路级优化存储单元读写端口数目与在系统级改进内存地址映射方式,大幅提高该框架的运行效率.实验结果表明,相比基于磁畴壁的非易失性内存计算框架,本文提出的框架在运行时间上节省了48.1％,同时在能耗上节省了42.9％.

摘要： 在大数据时代,数据量的剧增是影响数据中心性能的关键因素.通过对内存计算技术和数据建模技术的研究和运用,设计和实现了一个高性能数据中心.经过实际的测试,数据中心在性能上有了大幅提升,在海量数据下仍能保持良好的性能.

摘要： DRAM介质易失性、存储密度低、功耗高、成本高，使基于DRAM的内存计算模式面临挑战，兴起了非易失的存储技术。

摘要： 随着特高压大电网的形成,电网形态和运行特性呈现高度耦合一体化特征,对在线安全稳定分析的响应速度和实时性提出了更高的要求.近年来,内存计算技术在国内外其他领域量化决策中得到了成功的应用,这些成功经验和技术可对解决在线安全稳定分析的响应速度和实时性问题提供有益的参考和借鉴.本文首先介绍内存计算技术以及其在大数据处理中的应用.针对电力系统仿真软件性能的磁盘及网络数据I/O瓶颈问题,提出一种基于分布式内存数据网格技术的电网仿真内存计算构架,并讨论内存计算在快速DSA中的典型应用场景.以国调现有在线DSA电网模型(4万节点)为案例,给出相应的内存计算性能测试结果.

摘要： 基于内存计算RapidsDB特点：全内存分布式数据库，高性能，高吞吐量，高扩展性，满足ACID数据库基本要求，支持标准SQL语句，实时数据加载，动态数据导出，高性能存储过程，高可用性，异地灾备，动态迁移。

摘要： SAP HANA Vora内置于Apache Spark执行架构之中，是一款内存计算查询引擎，能够基于Hadoop提供丰富的交互式分析体验。SAP HANA-Apache Spark Adapter可用于提高分布式系统连接的性能，编译查询可以提高应用和数据分析在各节点的运行效率，基于Hadoop的OLAP体验非常常见，可用于从大数据中挖掘业务洞察，比如向下钻取日DFS数据。

摘要： 图是一种重要的数据模型,能够描述结构化的信息,在诸如交通网络、社交网络、Web页面链接关系等领域应用广泛,因而获得了广泛的研究.海量的图数据管理对传统的图分析处理技术提出了挑战,分布式集群计算为大规模图数据分析提供了基础平台.随着计算机硬件性价比的大幅提升以及高性能应用需求,基于内存计算的海量数据处理技术获得了业界青睐.图数据高效存储和计算与内存计算密切相关,在此背景下,文章综述了大规模图数据处理相关技术进展,研究了典型的基于内存计算的大规模图数据管理系统,最后总结了基于内存计算的图数据管理的关键点.

摘要： 在飞机的研制过程中,飞机飞行试验是飞机交付运营前的必要环节,也对中国航空事业的发展起到重要作用,在飞机飞行试验过程中产生大量的试验数据,这些数据对飞机的研制、定型、改进具有重要意义.传统的试验数据预处理技术多采用单机工作模式,本文研究一种新的试验数据预处理技术,基于spark分布式内存计算技术解决海量试验数据高速处理问题.该研究能够有效减少航空领域429协议、232协议、664协议的数据预处理时间,提高飞行试验的效率.

摘要： 民用客机飞行试验对于中国航空事业的发展具有重要的意义,而处理飞行试验数据是飞行试验中必不可少的环节.针对飞行试验数据量大、数据结构复杂、解析耗时长的问题,本文设计了一种飞行试验大数据处理系统.该系统基于主流的大数据处理技术,把试验数据存储到计算机集群的分布式文件系统中,利用内存计算技术实现对试验数据的并行处理.使用该系统可以有效地减少处理试验数据所需花费的时间,提高飞行试验的效率.

摘要： 在千亿级大数据环境下,特征挖掘、实时处理、即席分析、离线计算等场景对计算、存储的性能要求非常高.基于传统的关系型数据库、分布式Hadoop平台实现的数据挖掘平台,无法满足所有的计算场景的要求.鉴于此,本文介绍了基于内存迭代计算框架Spark,实现大数据环境下的可视化大数据挖掘平台.该平台不仅充分利用了内存计算,提高了迭代速度,而且支持各种分布式计算、存储场景,具有很强的扩展性,解决了大数据环境下各种计算场景问题.

摘要： 本发明公开了一种近内存计算系统，近内存计算系统包括多个计算节点，每一计算节点包括多个非挥发性内存单元及处理单元。每一非挥发性内存单元包括存储晶体管。处理单元耦接于非挥发性内存单元中存储晶体管的第二端，及用以对自多个非挥发性内存单元中平行输出的多个权重电压所代表的数据进行运算。在写入操作期间，存储晶体管的第一端根据欲储存至非挥发性内存单元的权重接收对应的数据电压，存储晶体管的第二端处于浮接状态，存储晶体管的栅极端接收写入电压。写入电压大于数据电压。

摘要： 本发明介绍了一种面向内存计算的异构混合内存方法和装置，具有容量大、功耗低、存储速度快等特点。所谓异构混合内存即由DRAM和NVM两种存储介质组成，其中DRAM具有功耗高、速度快、掉电数据丢失等特点，而NVM具有功耗低、数据非易失、但速度慢的特点。而异构混合内存将具有两者的优点，即容量大、功耗低、存储速度快等特点。

摘要： 本发明提供一种基于内存计算在全面预算中实现公式计算的方法,该方法通过把公式和单元格数据加载到内存中进行统一运算，大大提高了公式计算的性能。该方法在内存中定义了一套完整的结构，对公式和单元格数据进行描述，并对关键信息进行唯一编码，通过唯一编码将公式和单元格数据关联，提高了数据检索的效率。一方面可以快速定位公式和参与计算的数据；另一方面可以快速进行数据运算，并根据内存信息进行数据展现。本发明通过技术与软件系统原有功能的整合，可以有效的提高软件使用人员的操作效率与数据计算的及时性，改变了传统的数据计算方式。

摘要： 本发明公开了一种近内存计算系统，近内存计算系统包括多个计算节点，每一计算节点包括多个非挥发性内存单元及处理单元。每一非挥发性内存单元包括存储晶体管。处理单元耦接于非挥发性内存单元中存储晶体管的第二端，及用以对自多个非挥发性内存单元中平行输出的多个权重电压所代表的数据进行运算。在写入操作期间，存储晶体管的第一端根据欲储存至非挥发性内存单元的权重接收对应的数据电压，存储晶体管的第二端处于浮接状态，存储晶体管的栅极端接收写入电压。写入电压大于数据电压。

摘要： 本发明介绍了一种面向内存计算的异构混合内存方法和装置，具有容量大、功耗低、存储速度快等特点。所谓异构混合内存即由DRAM和NVM两种存储介质组成，其中DRAM具有功耗高、速度快、掉电数据丢失等特点，而NVM具有功耗低、数据非易失、但速度慢的特点。而异构混合内存将具有两者的优点，即容量大、功耗低、存储速度快等特点。

摘要： 本发明提供一种基于分布式内存计算技术的电力量费计算方法，通过预设的分布式内存计算引擎来实现，包括：在预设分布式文件系统对应存储原始数据的存储节点中，获取营销档案数据和表码数据；基于营销档案数据和表码数据，确定电量结算规则，以进行电量计算来得到电量计算结果，并进一步将电量计算结果与电量结算规则相结合进行电费计算，得到电费计算结果；将电量计算结果和电费计算结果存储至预设分布式文件系统对应存储计算结果的存储节点中。实施本发明，能克服现有技术中存在架构冗杂、计算时间较长、水平扩展和容错性不足等缺陷的问题，降低维护成本。

摘要： 本发明提供了一种基于内存计算与SQL计算的数据处理方法，包括：重构分析表达式语义体系，以跨颗粒度表达式建立数据库的内部核心语法规则，和跨颗粒度表达式返回的对象建立外层语法规则；以及重构分析表达式计算框架，包括计算逻辑生成器以及计算执行器，所述计算逻辑生成器将根据输入的语义模型和元数据模型的模型信息，识别计算逻辑，并根据所述计算逻辑构建DAG流；所述计算执行器接受DAG流与多个计算模型，生成计算任务，提交发布执行。效提升BI在业务计算方面的灵活度，无需受限于数据仓库，无需提前预计算，或者抽取数据建立数据中心，仅借助SQL与内存计算机制即可实现复杂的业务计算。

摘要： 一种基于非易失性内存计算的处理单元阵列及其计算方法，属于非易失性存储与计算领域，使用非易失性存储器作为内存，将整片NVM在逻辑上分为大量的子块作为处理单元的内存，每一子块都添加一个运算单元构成一个处理单元，所有的处理单元由一组控制信号统一进行控制，以SIMD的方式完成大规模并行运算；每个处理单元能够直接获取自身内存以及相邻处理单元内存中的数据以完成局部运算，并能通过整片NVM原有的读写功能获取NVM上其他位置的数据以完成全局运算。本发明能提高存储容量，减小读取数据的开销，降低存储功耗，同时减小每个处理单元的面积，从而提高处理单元阵列中的单元数量和并行度，且适用范围更广，支持局部运算和全局运算。

摘要： 本发明公开了基于内存计算的图神经网络硬件计算系统及方法，涉及内存计算硬件技术领域，包括两个内存计算模块，两个MUX模块，一个DMUX模块，一个控制单元和一个Relu模块，本发明利用内存计算单元的特性，提出了一种图卷积神经网络的硬件计算映射方法，能够利用内存计算系统直接对神经网络进行计算，与传统计算机体系结构相比，本发明提出的计算系统直接在存储单元内完成图卷积计算，完全消除了访存操作，大幅节约了外部ALU的算力，极大地提高了系统整体的计算效率、降低了运行功耗。

摘要： 本发明提供一种基于内存计算在全面预算中实现公式计算的方法,该方法通过把公式和单元格数据加载到内存中进行统一运算，大大提高了公式计算的性能。该方法在内存中定义了一套完整的结构，对公式和单元格数据进行描述，并对关键信息进行唯一编码，通过唯一编码将公式和单元格数据关联，提高了数据检索的效率。一方面可以快速定位公式和参与计算的数据；另一方面可以快速进行数据运算，并根据内存信息进行数据展现。本发明通过技术与软件系统原有功能的整合，可以有效的提高软件使用人员的操作效率与数据计算的及时性，改变了传统的数据计算方式。