数据布局

摘要： 随着互联网数据的爆发式增长,越来越多的分布式存储系统开始引入纠删码存储机制,以在提供数据可靠性的同时降低存储开销。但纠删码机制的引入改变了数据放置模式,从而影响分布式系统上层业务的数据访问和运行效率。在异构Hadoop集群环境中,一类典型的离线批处理作业——MapReduce应用在条带式纠删码存储模式下需要从多个节点访问数据,该“一对多”的数据访问模式由于节点性能差异造成应用执行效率下降。对此,该文提出了一种基于异构环境的数据放置和任务分配策略。通过对异构集群中各节点的硬件参数和历史负载进行分析,将同一纠删码条带的数据块尽可能分布在性能相近的节点上;在系统进行任务分配时,针对各节点当前负载和运算能力确定节点的任务并发度,以平衡各节点计算资源的占用情况,从而避免因数据访问或计算过程中的资源竞争产生极端缓慢任务以致降低整个MapReduce应用的运行效率。实验结果表明,相比当前Hadoop默认的随机数据放置和任务分配策略,该文提出的异构感知数据放置策略和动态任务分配策略能够在不同类型的MapReduce应用中有效削弱任务的长尾效应,使得作业整体运行时间节约10.5%~42%,验证了该方案的有效性。

摘要： 针对变电站自主定位导航过程可能出现的设备仪表故障问题,设计基于实时数据的变电站在线智能巡检系统。以C/S架构为支撑,分别连接机载环境传感器与巡检指令处置平台,并对实时电量数据进行布局处理,通过已连接的ADO.NET型数据库,完善现有的变电站工作切换模式,完成基于实时数据的变电站在线智能巡检系统设计。对比实验结果表明,在线智能巡检系统能够根据变电站组网所处位置,快速检测出设备仪表可能出现的故障问题,在实时数据传输方面具有较强的可行性与应用价值。

摘要： 混合云环境下,合理的数据布局策略对科学工作流的高效执行至关重要.传统的科学工作流数据布局策略主要基于确定性环境,而在实际网络环境中,由于不同数据中心之间的负载不同、带宽波动和网络拥塞等原因以及计算机自身的特性,数据传输时间存在不确定性.为了解决该问题,基于模糊理论,以最小化数据模糊传输时间为目标,提出了一种基于遗传算法算子的模糊自适应离散粒子群优化算法(Fuzzy Adaptive Discrete Particle Swarm Optimization Algorithm Based on Genetic Algo-rithm Operators,FGA-DPSO),对科学工作流数据进行合理布局,同时满足数据集的隐私要求和数据中心的容量限制.实验结果表明,该算法能够有效地减少混合云环境下科学工作流的数据模糊传输时间.

摘要： 如何结合公有云和私有云各自的优势,对包含隐私数据的科学工作流数据进行合理布局,优化大规模数据的传输时延,是混合云环境下科学工作流面临的重大挑战.考虑混合云环境下数据布局特点,结合科学工作流数据间的依赖关系,提出一种基于遗传算法算子的自适应离散粒子群优化算法,优化数据传输时延.该方法考虑了云数据中心间的带宽、私有云数据中心个数和容量等因素对传输时延的影响;通过引入遗传算法的交叉算子和变异算子,避免了粒子群优化算法的过早收敛,提高了种群进化的多样性,有效地压缩了数据传输时延.通过实验证明了所提算法的有效性.

摘要： 综合考虑数据集间的依赖关系以及数据中心的存储容量,引入一种名为"虚拟数据代理"的新实体,通过建立虚拟数据代理云模型,将数据布局问题转换为2个映射过程,即从数据集到虚拟数据代理的映射以及从虚拟数据代理到数据中心的映射,进而提出一种基于虚拟数据代理的云模型数据布局策略(CDPVDA).仿真实验结果表明:CDPVDA与典型的数据放置策略相比,可以将数据中心之间的数据传输开销降低5％～20％.

摘要： 科学工作流是典型的大数据应用,每个任务涉及的数据体量大,分布式环境下移动的网络代价高,良好的数据布局策略对于降低跨数据中心的传输代价、提高科学工作流运行效率至关重要.随着大数据时代来临,科学工作流计算任务涉及到的数据集和数据存储节点增多,使得求解数据布局最优方案变得更加困难.使用传统数据布局策略往往只能得到局部最优方案.为此,提出一种基于释放和重构的数据布局策略,使得在超大规模的解空间中尽快找到更加接近全局最优的数据布局方案.策略首先基于前期研究成果产生初始解,然后遘过解的局部释放和重构,对解空间的不同邻域进行搜索,不断提高解的质量.通过实验验证并与传统方法比较,结果显示该数据布局方案数据持输代价更小,性能更好.

摘要： 分析和比较了现有大规模网络存储系统中的数据布局方法和当前对数据布局方法的研究成果,并结合半正定规划算法和动态区间映射方法2种方法,提出了一种"层次化"的数据布局方法.半正定规划方法适合可以解决有不同数量副本的文件的放置,保证文件的不同副本放在不同的存储设备上;动态区间映射方法保证系统具有较好的自适应性.理论分析和实验表明,"层次化"的数据布局方法可以保证在大规模网络系统的自适应性、数据的可靠性和对数据的高速访问.

摘要： 可扩展和可靠的数据管理是实现大规模网络存储系统的关键技术,需要一个能够自适应存储规模变化、公平、冗余、高可用的数据布局算法。本文根据不同的设计目标以及存储环境的同构和异构特性,分析了四类布局算法:同构的布局算法、非冗余的异构布局算法、冗余的异构布局算法和高可用的布局算法。对现有布局算法存在的问题进行了讨论,并指出了未来的研究方向。

摘要： 本文总结了磁盘阵列双容错编码的图表示法和双容错数据布局构造问题的研究成果,详细讨论分析了几种双容错数据布局构造方法:基于完全图的完全1-因子分解的方法、基于完全二部图的完全1-因子分解的方法和基于搜索、优化算法的方法.性能分析表明,基于完全图的完全1-因子分解的BG-HEDP布局,是一种综合性能非常好的布局.

摘要： 线性代数算法子程序(BLAS)广泛应用于科学计算,以及工程计算.针对Matrix体系结构的特点,对矩阵-向量乘法向量化算法,进行数据布局和体系结构映射设计,采用手工汇编指令重排、软件流水、循环展开等优化方法进行优化设计与实现.实验结果表明,矩阵-向量乘法向量化算法在Matrix上的计算平均效率达到90％以上.

摘要： 面向对象存储是近年来存储系统领域的研究热点之一.与传统存储系统相比,面向对象存储系统具有高性能、可伸缩、更安全、更可靠的特点.针对面向对象存储的特点,本文给出了一种对象和数据副本的布局方法,并在原型系统上验证了实现.实验测试表明,这一布局方法能够很好地实现系统的负载均衡和可伸缩性。

摘要： 面向对象存储是近年来存储系统领域的研究热点之一.与传统存储系统相比,面向对象存储系统具有高性能、可伸缩、更安全、更可靠的特点.针对面向对象存储的特点,本文给出了一种对象和数据副本的布局方法,并在原型系统上验证了实现.实验测试表明,这一布局方法能够很好地实现系统的负载均衡和可伸缩性。

摘要： 面向对象存储是近年来存储系统领域的研究热点之一.与传统存储系统相比,面向对象存储系统具有高性能、可伸缩、更安全、更可靠的特点.针对面向对象存储的特点,本文给出了一种对象和数据副本的布局方法,并在原型系统上验证了实现.实验测试表明,这一布局方法能够很好地实现系统的负载均衡和可伸缩性。

摘要： 面向对象存储是近年来存储系统领域的研究热点之一.与传统存储系统相比,面向对象存储系统具有高性能、可伸缩、更安全、更可靠的特点.针对面向对象存储的特点,本文给出了一种对象和数据副本的布局方法,并在原型系统上验证了实现.实验测试表明,这一布局方法能够很好地实现系统的负载均衡和可伸缩性。

摘要： 面向对象存储是近年来存储系统领域的研究热点之一.与传统存储系统相比,面向对象存储系统具有高性能、可伸缩、更安全、更可靠的特点.针对面向对象存储的特点,本文给出了一种对象和数据副本的布局方法,并在原型系统上验证了实现.实验测试表明,这一布局方法能够很好地实现系统的负载均衡和可伸缩性。

摘要： 本发明可获得：具有可比较简单地检验基本要素数据规定的图形的变更等对全体的影响的结构的布局数据的保存方法。根据下层单元数据(或者基本要素数据)具有表示被直接参考的上一层单元数据的母单元信息，将应该规定为逆层次结构的布局数据保存。也即，基本要素数据figD1，figD2同时将单元数据cell2作为母单元信息，基本要素数据figD3～figD5同时将单元数据cell3作为母单元信息，单元数据cell3将两个同一单元数据cell2、cell2作为母单元信息，单元数据cell2将3个同一单元数据cell3、cell3、cell3作为母单元信息。

摘要： 本发明公开了一种GPyramid‑Code布局及该布局单盘故障的数据恢复方法与恢复数据的存储方法。采用GPyramid‑Code编码，该编码通过构建公共数据块的方法，不仅能减少在数据恢复期间从有效磁盘中读取数据块的数量，而且摒弃了传统热备盘存储恢复数据，利用最大跨度存储路径算法寻找一条存储路径，根据该路径将恢复的数据存储到垃圾块中，提高对恢复数据的存储效率。该数据恢复方法，由于降低了参与恢复的数据块的数量，进而提高了存储系统的可靠性。该存储方法利用最大跨度存储路径算法可以选择尽可能多的磁盘来存储恢复数据，减少排队等待延迟，提高恢复数据存储的并行性。

摘要： 一种基于解析布局算法的数据路径布局方法，包括以下步骤：根据数据路径输入信息建立数据流约束模型；根据约束条件建立数据流约束模型；根据每条数据流的约束模型计算数据路径损失函数；计算整体损失函数；根据所述整体损失函数，对数据路径进行布局。本发明的基于解析布局算法的数据路径布局方法，在全局布局过程中同时考虑数据路径将自动获得布局最优解，减少电路布局的开发时间并提高芯片的性能与集成度，大大降低芯片设计工程师的工作量，具有很高的应用前景。

摘要： 准备了一种GUI布局信息文件，其中与内容对应，GUI的位置被设定为涉及屏幕尺寸的百分比，而GUI的尺寸被设定为固定长度。在无论设置如何GUI都不会重叠的、具有尺寸A的屏幕中，以根据GUI布局信息文件的设置的位置和尺寸显示GUI（屏幕134）。在根据设置GUI彼此重叠的具有屏幕尺寸B的屏幕中，使GUI位置设置为无效，并确布局置以使得GUI接触（屏幕136）。在根据所设定的尺寸GUI彼此接触但是超出了屏幕的具有屏幕尺寸C的屏幕的情况下，依据屏幕尺寸在尺寸方面缩小GUI，并好像填塞屏幕一样地显示所述GUI（屏幕138）。

摘要： 本发明可获得：具有可比较简单地检验基本要素数据规定的图形的变更等对全体的影响的结构的布局数据的保存方法。根据下层单元数据(或者基本要素数据)具有表示被直接参考的上一层单元数据的母单元信息，将应该规定为逆层次结构的布局数据保存。也即，基本要素数据figD1，figD2同时将单元数据cell2作为母单元信息，基本要素数据figD3～figD5同时将单元数据cell3作为母单元信息，单元数据cell3将两个同一单元数据cell2、cell2作为母单元信息，单元数据cell2将3个同一单元数据cell3、cell3、cell3作为母单元信息。

摘要： 一种基于解析布局算法的数据路径布局方法，包括以下步骤：根据数据路径输入信息建立数据流约束模型；根据约束条件建立数据流约束模型；根据每条数据流的约束模型计算数据路径损失函数；计算整体损失函数；根据所述整体损失函数，对数据路径进行布局。本发明的基于解析布局算法的数据路径布局方法，在全局布局过程中同时考虑数据路径将自动获得布局最优解，减少电路布局的开发时间并提高芯片的性能与集成度，大大降低芯片设计工程师的工作量，具有很高的应用前景。

摘要： 本发明公开了一种GPyramid‑Code布局及该布局单盘故障的数据恢复方法与恢复数据的存储方法。采用GPyramid‑Code编码，该编码通过构建公共数据块的方法，不仅能减少在数据恢复期间从有效磁盘中读取数据块的数量，而且摒弃了传统热备盘存储恢复数据，利用最大跨度存储路径算法寻找一条存储路径，根据该路径将恢复的数据存储到垃圾块中，提高对恢复数据的存储效率。该数据恢复方法，由于降低了参与恢复的数据块的数量，进而提高了存储系统的可靠性。该存储方法利用最大跨度存储路径算法可以选择尽可能多的磁盘来存储恢复数据，减少排队等待延迟，提高恢复数据存储的并行性。

摘要： 准备了一种GUI布局信息文件，其中与内容对应，GUI的位置被设定为涉及屏幕尺寸的百分比，而GUI的尺寸被设定为固定长度。在无论设置如何GUI都不会重叠的、具有尺寸A的屏幕中，以根据GUI布局信息文件的设置的位置和尺寸显示GUI（屏幕134）。在根据设置GUI彼此重叠的具有屏幕尺寸B的屏幕中，使GUI位置设置为无效，并确布局置以使得GUI接触（屏幕136）。在根据所设定的尺寸GUI彼此接触但是超出了屏幕的具有屏幕尺寸C的屏幕的情况下，依据屏幕尺寸在尺寸方面缩小GUI，并好像填塞屏幕一样地显示所述GUI（屏幕138）。

摘要： 一种计算机实现的方法，用于将在数据库中存储的表的列分配到至少两个列集合：第一集合和第二集合中，使用面向列的数据结构将分配至第一集合的列的数据存储在主存储介质上，以及使用面向行的数据结构将分配至第二集合的列的数据存储在辅助存储介质上，其中，该方法包括基于性能成本模型自主地将表的列分配至第一集合和第二集合。

摘要： 本实用新型公开了一种模块化数据中心及大平层布局的数据中心，包括柜体，所述柜体内部安装有安装板，所述安装板顶部表面设置有隔板，所述隔板底端设置有滑块，所述安装板顶部表面开设有滑轨，所述隔板通过底端的滑块与滑轨滑动连接，所述隔板设置有多个。本实用新型中，通过设置安装板、隔板、滑块和滑轨的配合使用，便于对柜体内部相邻两个隔板之间的距离进行调节，从而在对不同规格的模块化设备进行安装时，工作人员可以事先推动隔板，使隔板通过滑块在安装板表面的滑轨内部滑动，从而使相邻两个隔板移动到合适的空间，此方式操作简单，大大提高柜体空间内部的灵活性。