分级存储

摘要： 我国铁路网包含众多建设期和运营期路段,均会产生大量业务数据,然而传统的单节点大数据存储方式存在访问速度慢和时效性低等局限性,无法有效缓解数据存储压力。文章基于数据分级存储的思想,设计一种分布式大数据分级存储架构;综合考虑建设期铁路大数据的业务属性和存储数据库的固有属性,建立一套数据价值评价体系;基于专家评价法计算各数据表在不同评价维度下的价值,并通过K-means聚类算法判定各数据表相应的存储级别;以某建设期铁路大数据为实验样本进行验证,实验结果表明,文章提出的价值评价体系能够有效地对铁路建设期大数据进行存储级别判定,实现了面向建设期铁路大数据的分级存储。

摘要： 为了快速且准确的定位多主机服务器集群中特定服务器的特定日志文件,基于民航运价系统,设计了一种独特的日志索引编码格式,通过唯一标识ID,能够精准定位每一笔交易在集群中的具体坐标,运维人员可以根据标识ID快速获取到主机信息、交易时间信息等关键信息,并精准定位到日志文件。此外,也提出了一种日志文件的冷热数据分级存储方法,结合日志索引文件的自动优化与更新,提高了数据定位的精确度,降低了系统整体的存储成本。

摘要： 随着气象信息化飞速发展,数据资料的来源更广、种类更多、频次更高、数量更大,当前数据存储环境技术架构体系以及现有基础设施资源的支撑能力已经不能完全满足海量增长气象大数据的管理需求。为此,介绍了采用分级存储策略利用分布式数据库对气象以及行业结构化数据和非结构化数据进行存储管理,满足数据实时查询检索和统计计算分析的需求。该数据库是自治区目前最为全面的气象基础数据库,为全区部门内外各级用户提供服务支撑。

摘要： 高能物理计算是典型的数据密集型计算,其主要采用基于文件的分级存储方案,根据访问热度的不同将数据存储于不同性能的存储设备上,然而当前数据热度预测采用基于人工经验的启发式算法,准确率较低.提出一种借助长短期记忆网络预测文件未来访问热度的方法,包括网络结构设计、训练和预测算法等.该方法通过划分动态时间窗口构造文件访问特征的时序序列,预测不同数据的访问趋势.在LHAASO高能物理实验数据集上的实验结果表明,与SVM、MLP等算法相比,该方法预测准确率提升了30％左右,具有更强的适用性.

摘要： 当前,悔量数据产生伴随看高并发访问,对传统的存储万式提出了挑战,因此需要通过别的技术手段来解决存储方面所面临的问题.本文通过分析分布式存储的优劣势,结合媒资系统的)特点,分析分布式存储在广电媒资行业应用的可行性,以更好她支撑媒资业务的发展需要.

摘要： 建设电视剧发行许可样片库系统,有利于电视剧备案样片的进一步精细化管理.面对大量的样片光盘的导入需求和数据存储既要长时间保存又须具备调阅时效性的要求,从业务流程、系统框架设计了具备导入、收录、存储、统计、调阅等功能样片库系统.为优化系统的能耗效率和存储成本,设计了基于样片文件访问热度的分级存储融合,既保证了数据存储的长期性又提高了样片调阅的时效性.

摘要： 建设电视剧发行许可样片库系统,有利于电视剧备案样片的进一步精细化管理。面对大量样片光盘的导入需求和数据存储既要长时间保存又须具备调阅时效性的要求,本文从业务流程、系统框架设计了具备导入、收录、存储、统计、调阅等功能样片库系统。为优化系统的能耗效率和存储成本,设计了基于样片文件访问热度的分级存储融合,既保证了数据存储的长期性又提高了样片调阅的时效性。

摘要： 建设电视剧发行许可样片库系统,有利于电视剧备案样片的进一步精细化管理.面对大量样片光盘的导入需求和数据存储既要长时间保存又须具备调阅时效性的要求,本文从业务流程、系统框架设计了具备导入、收录、存储、统计、调阅等功能样片库系统.为优化系统的能耗效率和存储成本,设计了基于样片文件访问热度的分级存储融合,既保证了数据存储的长期性又提高了样片调阅的时效性.

摘要： 为将海量离线医学影像数据一次性恢复到近线状态,使用Linux Shell脚本完成磁带调度、数据拷贝,并使用开源库MDCM解析转存医学影像文件.在不依赖于原有离线归档还原系统数据库情况下,实现了离线医学影像数据自动化、高效率的恢复,满足了日常病历回顾的影像数据调阅和科研对海量数据访问需求.

摘要： 目的 针对传统数据存储方法存在负载平衡数据利用率低、存储成本较高等问题,提出基于大数据分析的负载平衡数据分级存储方法.方法 分析数据存储方式及其存储设备的分级情况,利用模糊综合评价法对数据价值进行评估,以数据价值为标准,通过固定阈值法和高低水位法进行数据分级存储,实现负载平衡数据分级存储过程.结果 为了验证方法的有效性,设计了对比实验.结果 表明,所提方法的数据分级准确性达到90％.结论 说明研究方法的数据查询响应时间更短、查询准确性更高,提高了数据利用率.

摘要： 为了优化整体存储功能和有序的管理海量数据,各院校图书馆都在尝试寻找一种处理日益增长的数据的方法,这样不但节约空间,还可以大大提高数据的访问效率和质量.为了满足这一需求,本文分析了军队院校数字图书馆实行分级存储的优势,探讨了分级存储的三种方式和管理策略,最后提出了分级存储在军队院校数字图书馆的实际应用,以此来提高信息服务的功能.

摘要： 本文讲述了大量的监控视频数据从未被查看，视频录像大量增长，分级存储与”自动”分级存储，分析了现有系统架构如何能支持扩展，管理,预算与任务平衡。

摘要： 当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略,可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,导致访问时间过长,降低集群效率.为改善以上问题,提出一种改进的副本分级存储调度策略.为减少副本调度的次数,先根据节点的CPU、内存、网络、存储负载以及网络距离,来评价节点的性能,再从中选取高性能节点存储.副本调度以节点中副本的访问频率为依据,结合硬件配置进行,把访问频率高的副本尽可能存储在高性能高配置的节点,提高集群响应速度.实验结果表明,改进后的策略可以在异构集群中提高副本的访问效率,优化负载均衡.

摘要： 电视台播出系统多采用硬盘播出的方式，灵活采取了分级存储的系统架构，考虑到硬盘播出系统中上载是人为操作很多的一个环节，操作复杂，安全性要求与播出服务器不尽相同，故将上载和播出分开，分为上载级和播出级的结构。四川电视台华达播出系统播出级的服务器采用了硬盘镜像的配置方式:一个主机控制器带两个互为镜像的硬盘。数据同时写入两个硬盘，两个硬盘上的数据完全相同，因此一个硬盘故障时，另一个硬盘可提供数据。镜像和RAID提供了从硬盘故障中恢复数据的方法。因为数据的所有部分都是有冗余的，数据有效性很高(即使在硬盘发生故障时)。另一重要优点是，恢复数据的工作不用立即进行，因为系统可以在一个硬盘有故障的情况下正常工作，当然在这种情况下，剩下的系统就不再有容错性能。要避免丢失数据就必须在第二个硬盘故障前恢复数据。更换故障硬盘后，要进行数据恢复。在镜像系统中“镜像”盘上有一个数据备份，因此故障硬盘(主硬盘或镜像硬盘)通过简单的硬盘到硬盘的拷贝操作就能重建数据，这个拷贝操作比从磁带上恢复数据要快得多。RAID 5硬盘子系统中，故障硬盘通过无故障硬盘上存放的纠错(奇偶)码信息来重建数据。正常盘上的数据(包括奇偶信息部分)被读出，并计算出故障盘丢失的那些数据，然后写入新替换的盘。这个过程比从磁带上恢复数据要快不少。而且可以使用分级存储架构，昂贵的播出服务器只保存2到3天的节目。两天内不播出的一律删除。在系统中建立共享的大容量较低成本的二级近线存储空间，它可以根据系统需要支持和提供较好的离线存储管理手段，此外还可以作为在线存储数据的二级存储，较好地满足与在线系统进行数据迁移流动。

摘要： 随着集群存储系统的规模越来越大，在一些系统搭建中出现分级存储的需求.目前集群文件系统的分布式锁管理器对于分级存储管理的数据迁移时，可能无法保证数据的一致性.参考传统分级存储系统的设计中，这里提出了集群文件系统布局锁的概念，通过布局锁来维护文件迁移时数据的一致性.通过分析目前的分布式锁机制在应用于集群文件系统分级功能时的不足，针对性地阐述了适用于集群文件系统分级存储的分布式布局锁，并对分布式布局锁的实现进行了分析.

摘要： 为了解决电子病历无纸化存储的存储空间、效率、效益问题,针对病历文档数据存储的特点,提出了一种基于分级存储技术的解决方案.该方案采用混合式"3-2-1"存储策略,对不同年限的病历文档数据分别采用在线存储、近线存储、离线存储三个方式保存,满足存储空间、存取数据效率以及控制存储成本的要求.最后以中山市人民医院为例,对上述方法的有效性和实用性进行了验证.

摘要： 数据量的持续指数级增长以及对数据高速访问的需求，导致存储管理的难度和成本的不断攀升.ILM(information lifecycle management)正是在确保存储系统服务质量和控制成本的双重目标下提出的，而分级存储管理HSM(hierarchical storagemanagement)作为实现ILM的具体方法广泛地应用到数据中心的构建中.阐述了HSM系统的基本框架，并进行了逻辑层次功能的划分.论述了分级存储管理系统的主要研究内容和研究现状，对其中最为关键的数据分类、数据放置和数据迁移等几方面的相关研究现状和常用工具进行了讨论，通过分析、总结研究中的问题，展望了相关研究在未来的发展方向和前景。

摘要： 本文设计了基于Amanda软件的分层备份系统,介绍了实现存储层,管理层和接口层的关键技术,包括分级存储,负载均衡,页面监控等方法.该系统可以为物理实验的重要数据提供海量数据级的容灾服务.

摘要： 海量数据的应用导致文件读写压力变大，必然需要考虑文件I/0带来的系统性能瓶颈.考虑到不同存储设备性能和成本不同，而且数据访问具有时间和空间局部性，因此需要进行分级存储.考虑到数据存在着周期性的变化规律，数据访问的热度是变化的，海量存储系统中相当大比例的数据静止不动，而且高性能存储设备有限，因此基于分级存储技术进行数据迁移，并且对常规价值评定模型进行改进后提出它所适用的基于文件级的数据迁移算法.针对并发访问读写压力变大之后对数据进行迁移的场景，用Web并发访问测试工具来对数据迁移之后的硬件读写进行评估，经过对Web服务器并发访问响应时间的测试验证，与常规迁移方法相比该算法的确改进了系统的性能.

摘要： 高能物理计算是典型的数据密集型计算应用。以BESⅢ实验为例，所有原始、模拟及重建的数据总和将达到4PB。为了保证数据的快速读写，如此大量的数据需要分级存储于磁盘和磁带库中，因此高效地迁移磁带库与磁盘之间的海量数据非常重要。本文介绍应用于磁盘与磁带库之间海量数据迁移系统的设计和实现方法，此系统可以高效地进行数据迁移，并提供用户方便易用的网页用户接口。

摘要： 本发明实施例公开了一种分级方法及装置，分级设备及存储介质。所述分级方法包括：动态获取计算节点的信息；根据所述计算节点的信息进行所述计算节点的分级；根据分级的结果，通过标准应用编程接口动态调整主机包含的计算节点。

摘要： 本申请提供了一种测量设备、分级方法、分级参考库的创建方法和存储介质，该测量设备包括：探头；振动器，用于使得目标对象的肝脏区域产生剪切波；发射/接收电路，用于激励探头发射跟踪剪切波的超声波和接收超声回波，以获得超声回波数据；处理器，用于：对超声回波数据进行处理，以获得瞬时弹性测量数据；根据临床目的在预设分级参考库中选择分级标准，分级标准中包括至少两个分级档位的测量数据范围及其代表的临床意义；根据测量数据范围对肝纤维化测量数据进行分级，以确定其分级档位，肝纤维化测量数据包括所述瞬时弹性测量数据；输出设备，用于输出分级结果。该方案能够对测量数据进行分级并给出相应的临床意义，有利于测量数据的临床解读。

摘要： 本发明提供分级存储系统、存储控制器以及分级控制方法。分级存储系统包括第1存储装置以及存储控制器。第1存储装置被定位于上位级。第2存储装置被定位于下位级。存储控制器对向第1存储装置以及第2存储装置的访问进行控制。在从主计算机对于包含多个由多个逻辑块构成的逻辑盘区的逻辑单元的访问请求的范围跨越逻辑单元内的多个逻辑盘区的情况下，存储控制器判定为该多个逻辑盘区具有相关，并将具有相关的逻辑盘区的集合作为一个盘区组，而集中地进行第1存储装置以及第2存储装置之间的以物理盘区为单位的数据的移动，逻辑块的尺寸与第1存储装置以及第2存储装置的存储区域被分配为由多个物理块构成的物理盘区单位时的物理块的尺寸相同。

摘要： 本发明涉及分级存储系统，根据实施方式，本发明的分级存储系统包括分级存储装置和利用上述分级存储装置的计算机。上述计算机具备：文件系统和校正支援部。上述文件系统在来自上述应用的访问请求为请求数据的重写的写请求时，执行写时复制动作。上述校正支援部由上述存储控制器管理并且使与上述写时复制动作中的复制源的逻辑块地址对应的访问计数继承为与上述写时复制动作中的复制目标的逻辑块地址对应的访问计数。

摘要： 本发明公开了分级存储包装工艺，包括：预先设置至少两个沿高度方向排列的第一输送线，每条第一输送线均由独立动力源带动；预先设置至少两个沿高度方向排列的第二输送线，每条第二输送线均由独立动力源带动；对产品进行分级，将不同级别的产品输送至不同的第一输送线中；对每条第一输送线上的产品进行堆叠；将堆叠好的产品输送至第二输送线，不同级别的产品输送至不同的第二输送线中；将第二输送线中的产品输送至包装线上进行包装。本发明还公开了分级存储包装装置。本发明节约用地面积，提高了工作效率。

摘要： 本发明提供分级存储系统、存储控制器以及分级控制方法。分级存储系统包括第1存储装置以及存储控制器。第1存储装置被定位于上位级。第2存储装置被定位于下位级。存储控制器对向第1存储装置以及第2存储装置的访问进行控制。在从主计算机对于包含多个由多个逻辑块构成的逻辑盘区的逻辑单元的访问请求的范围跨越逻辑单元内的多个逻辑盘区的情况下，存储控制器判定为该多个逻辑盘区具有相关，并将具有相关的逻辑盘区的集合作为一个盘区组，而集中地进行第1存储装置以及第2存储装置之间的以物理盘区为单位的数据的移动，逻辑块的尺寸与第1存储装置以及第2存储装置的存储区域被分配为由多个物理块构成的物理盘区单位时的物理块的尺寸相同。

摘要： 本发明涉及分级存储系统，根据实施方式，本发明的分级存储系统包括分级存储装置和利用上述分级存储装置的计算机。上述计算机具备：文件系统和校正支援部。上述文件系统在来自上述应用的访问请求为请求数据的重写的写请求时，执行写时复制动作。上述校正支援部由上述存储控制器管理并且使与上述写时复制动作中的复制源的逻辑块地址对应的访问计数继承为与上述写时复制动作中的复制目标的逻辑块地址对应的访问计数。

摘要： 本发明公开了分级存储包装工艺，包括：预先设置至少两个沿高度方向排列的第一输送线，每条第一输送线均由独立动力源带动；预先设置至少两个沿高度方向排列的第二输送线，每条第二输送线均由独立动力源带动；对产品进行分级，将不同级别的产品输送至不同的第一输送线中；对每条第一输送线上的产品进行堆叠；将堆叠好的产品输送至第二输送线，不同级别的产品输送至不同的第二输送线中；将第二输送线中的产品输送至包装线上进行包装。本发明还公开了分级存储包装装置。本发明节约用地面积，提高了工作效率。

摘要： 本发明提供了一种数据分级存储系统，包括：至少一个客户端数据库，其中的每个客户端数据库对应于特定的一个或多个科室，用于存储所述特定的一个或多个科室中使用频率高于第一预设频率的医疗数据；服务端数据库，连接至所述至少一个客户端数据库，用于存储所述至少一个客户端数据库对应的所有科室中使用频率低于所述第一预设频率且高于第二预设频率的医疗数据，其中，所述第一预设频率高于所述第二预设频率；历史数据库，连接至所述服务端数据库，用于存储所述服务端数据库中使用频率低于所述第二预设频率的医疗数据。本发明还提出了一种数据分级存储方法。通过本发明的技术方案，可以降低数据检索量，提高系统的运行效率和可靠性。

摘要： 本申请公开了工业数据分级存储系统、方法及工业数据分级查询方法，该系统包括一级缓存模块、二级缓存模块及数据存储模块，不仅将设备数据和业务数据分开存储，而且根据数据的查询时间或频率，设置了一级缓存模块及二级缓存模块，实现了数据的分级存储管理，通过将热门点位及热门业务报表存储在一级缓存模块中，进行针对性的缓存预热，使得用户查询这些高频使用的热门点位或热门业务报表时能够得到极快速度的响应，大幅提升数据查询效率。