分布式缓存

摘要： 高校通用型分析测试仪器对学生开放后,批量实现对学生仪器操作能力的培训和考核,成为保障这些大型仪器安全正确并高效使用的一个关键。为此专门研发了一套用于培训、考核学生操作相应大型仪器设备基本知识与技能的在线系统。简要介绍了本系统的功能和设计概要,包括系统需求分析、系统框图,后台数据库设计以及设计与调试过程中一些关键技术问题的解决方案等。

摘要： 随着高精度地震勘探的发展与应用,地震数据规模在飞速增长,大数据分布式存储系统(如Hadoop分布式文件系统(HDFS))虽然可以存储海量地震勘探数据,但面对单炮记录超过万道的大规模数据时,数据实时访问时间延迟较长,从而导致交互操作卡顿,影响操作流畅性,降低了工作效率。对比分析了在HDFS以及分布式内存存储系统Alluxio上地震数据的读取性能差异,利用Alluxio分布式内存的性能优势,在HDFS底层存储基础上,设计了一种面向地震数据交互分析场景的高效分布式缓存框架,可以有效降低大规模地震数据实时访问的时间延迟,进而提高交互分析工作效率。实际数据验证结果表明,该分布式缓存框架在大规模地震数据交互分析场景下,数据访问性能提升30%以上,具备实时性能优势,能够满足交互分析需求。

摘要： 随着调控云运行数据平台历史数据存储规模持续增长,对历史数据访问的高性能、高可靠性、易扩展需求日益增加.结合业务需求,在分析缓存应用技术的基础上,提出了基于Redis的运行数据平台分布式缓存框架,研究了运行数据缓存的高效存储模型、高速访问、高可用管理等关键技术.实验结果表明,在读写性能、可靠性、可扩展性等多个方面,可满足各类业务应用对运行数据平台历史数据管理与访问的要求.

摘要： 使用GPU运行容器化深度学习模型训练任务,性能往往受限于数据加载和预处理效率.很多GPU计算资源浪费在等待从远程存储服务读取数据的过程中.首先介绍了基于容器和分布式缓存技术加速深度学习训练的方法,以及使用Alluxio和Kubernetes实现的系统架构和初步优化手段;然后阐述了TDCS及其训练任务与缓存数据互感知的协同调度策略;接着在Kubernetes容器集群中实现了TDCS,增强了分布式缓存加速大规模深度学习训练的可扩展性;最后用ResNet50图像分类模型训练任务进行性能验证.实验结果表明,相较于直接从远程存储服务中读取数据,TDCS可对运行在128块NVIDIA V100 GPU设备上的分布式训练任务实现2～3倍加速.

摘要： 使用GPU运行容器化深度学习模型训练任务,性能往往受限于数据加载和预处理效率。很多GPU计算资源浪费在等待从远程存储服务读取数据的过程中。首先介绍了基于容器和分布式缓存技术加速深度学习训练的方法,以及使用Alluxio和Kubernetes实现的系统架构和初步优化手段;然后阐述了TDCS及其训练任务与缓存数据互感知的协同调度策略;接着在Kubernetes容器集群中实现了TDCS,增强了分布式缓存加速大规模深度学习训练的可扩展性;最后用ResNet50图像分类模型训练任务进行性能验证。实验结果表明,相较于直接从远程存储服务中读取数据,TDCS可对运行在128块NVIDIA V100 GPU设备上的分布式训练任务实现2~3倍加速。

摘要： 为了解决频繁的认证访问请求带来的服务响应问题,分析了传统架构处理高并发访问的技术瓶颈,提出了基于本地缓存和分布式缓存技术的架构,并设计了新的缓存数据存储结构,优化了原先的数据访问流程,减少应用服务器端和数据库的访问压力,从而提高了网站认证授权的响应性能.

摘要： Redis因具备快速响应、数据安全等特点,常被选作系统缓存工具.由于受到单节点性能约束,传统电力系统中通常会选择Redis集群架构.但是在Redis集群实际部署过程中,往往呈现出扩展性差、维护困难等缺陷.为此,提出一种基于Codis的分布式缓存架构方案,以对传统电力系统中的Redis集群进行优化.通过电力系统中业务存储能力、数据检索效率、性能优良检测等多角度,对搭建的Codis分布式缓存架构进行理论研究与应用测试,证明了该方案在数据存储、信息检索、部署运维等方面具有一定优势.

摘要： 为了提高5G网络的服务质量,设计了一个分布式的缓存优化算法.首先,以实现网络总成本最小化为目标,建立联合优化的数学规划问题.然后,基于数学分解的方法,将联合优化问题分解为缓存和路由两个子问题,并设计分布式算法进行求解.最后,采用仿真实验验证本优化算法的性能.实验结果表明,与现有的方法相比,本算法能够获得更好的性能.

摘要： 新疆油田信息应用平台在推广应用的过程中,暴露出数据读取的效率低下与平台的稳定性不足等问题.本文以新疆油田信息应用平台为基础,引出并分析了具体问题.并在平台特定的应用架构的基础上,基于分布式缓存平台设计并实现了数据读取的实践方案.

摘要： 简述了JimDB的内容;JimDB的发展历程;JimDB架构概述;管理端平台;监控不报警;迁移不扩容;冷热数据及持丽化;JimDB S-自主研发。

摘要： 采用NSA架构的信息系统继承了现有通用信息系统集群架构的优点,解决了在大并发访问量下企业J2EE信息系统集群架构扩展性受到限制的问题,达到了很高的可靠性和高性能。本文主要分为三部分,第一部分阐述了企业信息系统的扩展性特性,详细论述了如何增加信息系统的垂直扩展性和水平扩展性。第二部分讲述了现有的企业信息系统集群架构的实现,以及其在大并发访问下的缺点。第三部分针对第二部分提出的架构实现的不足,提出了解决方案一基于NSA架构的企业信息系统集群架构。

摘要： 采用NSA架构的信息系统继承了现有通用信息系统集群架构的优点,解决了在大并发访问量下企业J2EE信息系统集群架构扩展性受到限制的问题,达到了很高的可靠性和高性能。本文主要分为三部分,第一部分阐述了企业信息系统的扩展性特性,详细论述了如何增加信息系统的垂直扩展性和水平扩展性。第二部分讲述了现有的企业信息系统集群架构的实现,以及其在大并发访问下的缺点。第三部分针对第二部分提出的架构实现的不足,提出了解决方案一基于NSA架构的企业信息系统集群架构。

摘要： 采用NSA架构的信息系统继承了现有通用信息系统集群架构的优点,解决了在大并发访问量下企业J2EE信息系统集群架构扩展性受到限制的问题,达到了很高的可靠性和高性能。本文主要分为三部分,第一部分阐述了企业信息系统的扩展性特性,详细论述了如何增加信息系统的垂直扩展性和水平扩展性。第二部分讲述了现有的企业信息系统集群架构的实现,以及其在大并发访问下的缺点。第三部分针对第二部分提出的架构实现的不足,提出了解决方案一基于NSA架构的企业信息系统集群架构。

摘要： 采用NSA架构的信息系统继承了现有通用信息系统集群架构的优点,解决了在大并发访问量下企业J2EE信息系统集群架构扩展性受到限制的问题,达到了很高的可靠性和高性能。本文主要分为三部分,第一部分阐述了企业信息系统的扩展性特性,详细论述了如何增加信息系统的垂直扩展性和水平扩展性。第二部分讲述了现有的企业信息系统集群架构的实现,以及其在大并发访问下的缺点。第三部分针对第二部分提出的架构实现的不足,提出了解决方案一基于NSA架构的企业信息系统集群架构。

摘要： 本发明公开了一种分布式缓存系统及基于分布式缓存系统的数据重构方法，在上述方法中，在从服务节点中的一个或多个故障节点消除故障并重新启用后，一个或多个故障节点接收来自于主服务节点的第一数据信息，并执行与第一数据信息对应的数据重构操作；在第一数据信息发送完时，一个或多个故障节点接收来自于主服务节点记录的第二数据信息，并执行与第二数据信息对应的数据重构操作。根据本发明提供的技术方案，达到了故障节点与其他正常工作节点的数据保持一致，大大提高了分布式缓存系统可用性的效果。

摘要： 本发明实施例提供一种基于分布式缓存系统的扩容方法、装置及分布式缓存系统。该方法应用于包括至少一个当前物理服务器的分布式缓存系统，至少一个当前物理服务器上共设置有M个服务节点，M大于分布式缓存系统实际所需的服务节点的个数，该方法包括：获取各当前物理服务器提供的资源信息、以及各当前物理服务器上设置的服务节点所需的资源信息；根据各当前物理服务器提供的资源信息、以及各当前物理服务器上设置的服务节点所需的资源信息，在M个服务节点中确定待转移服务节点；将待转移服务节点以及待转移服务节点对应的业务数据转移至分布式缓存系统的扩容物理服务器中，用于提高分布式缓存系统向客户端提供服务的效率。

摘要： 本发明提出了一种用于数据并行的并行计算的分布式缓存自动管理方案，其中，将客户端的数据集对象的生存期和对应的分布式数据集的生存期绑定起来，即，当在客户端中创建或销毁数据集对象时，在缓存服务器集群中相应地创建或销毁对应的分布式数据集。减轻了程序员的负担，降低了出现错误的可能性。而且，简化了缓存管理协议。

摘要： 本发明公开了一种分布式缓存系统、数据的缓存方法及缓存数据的查询方法。该分布式缓存系统包括：至少两个缓存服务器群；其中每个缓存服务器群具有至少一个缓存服务器节点；其中所述至少两个缓存服务器群中的一个缓存服务器群以及该一个缓存服务器群中的一个缓存服务器节点分别作为缓存数据的主缓存服务器群和主缓存服务器节点，其它缓存服务器群以及其中的一个缓存服务器节点作为所述缓存数据的备份缓存服务器群和备份缓存服务器节点；其中所述主缓存服务器节点与所述备份缓存服务器节点存有相同的缓存数据。本发明能够保证在缓存服务器中的缓存数据的高可靠性，并提高网络服务质量。

摘要： 本发明实施例提供一种基于分布式缓存系统的扩容方法、装置及分布式缓存系统。该方法应用于包括至少一个当前物理服务器的分布式缓存系统，至少一个当前物理服务器上共设置有M个服务节点，M大于分布式缓存系统实际所需的服务节点的个数，该方法包括：获取各当前物理服务器提供的资源信息、以及各当前物理服务器上设置的服务节点所需的资源信息；根据各当前物理服务器提供的资源信息、以及各当前物理服务器上设置的服务节点所需的资源信息，在M个服务节点中确定待转移服务节点；将待转移服务节点以及待转移服务节点对应的业务数据转移至分布式缓存系统的扩容物理服务器中，用于提高分布式缓存系统向客户端提供服务的效率。

摘要： 本发明公开了一种分布式缓存系统及基于分布式缓存系统的数据重构方法，在上述方法中，在从服务节点中的一个或多个故障节点消除故障并重新启用后，一个或多个故障节点接收来自于主服务节点的第一数据信息，并执行与第一数据信息对应的数据重构操作；在第一数据信息发送完时，一个或多个故障节点接收来自于主服务节点记录的第二数据信息，并执行与第二数据信息对应的数据重构操作。根据本发明提供的技术方案，达到了故障节点与其他正常工作节点的数据保持一致，大大提高了分布式缓存系统可用性的效果。

摘要： 本发明提出了一种用于数据并行的并行计算的分布式缓存自动管理方案，其中，将客户端的数据集对象的生存期和对应的分布式数据集的生存期绑定起来，即，当在客户端中创建或销毁数据集对象时，在缓存服务器集群中相应地创建或销毁对应的分布式数据集。减轻了程序员的负担，降低了出现错误的可能性。而且，简化了缓存管理协议。

摘要： 本发明提供了一种分布式缓存管理系统，包括索引服务器和分布式内存对象缓存服务器，其中，所述索引服务器包括：索引建立单元，用于根据接收到的数据缓存请求，将对应的数据存储至分布式内存对象缓存服务器中，并为缓存的数据建立索引；数据获取单元，用于根据接收到的数据获取请求，获取对应的索引，并利用该索引从所述分布式内存对象缓存服务器中获取对应的数据。本发明还提供了一种实现分布式缓存管理的方法。通过本发明的技术方案，可以对分布式内存对象缓存服务器中的数据进行有效管理，提高请求响应和数据处理的效率。

摘要： 本发明提供了一种分布式缓存服务器系统，包括，缓存客户端，用于从内存数据库服务器中获取所有缓存服务端信息，与缓存服务端建立连接，生成并定时维护链路链表；一内存数据库服务器，用于建立并保存缓存服务端信息表以及数据存储类别与缓存服务端对应目录表，以及处理收到缓存服务端上报的缓存服务端信息；缓存服务端，用于向内存数据库服务器上报所述缓存服务端信息，并完成缓存数据块的管理。本发明还提供了一种分布式缓存服务器系统的应用方法、缓存客户端、缓存服务端。采用本发明的技术方案，可以使缓存服务器系统的设置和使用更加简洁方便，访问速度更快，系统可以自动扩展，以及自动进行更新。

摘要： 本发明公开了一种分布式缓存系统、数据的缓存方法及缓存数据的查询方法。该分布式缓存系统包括：至少两个缓存服务器群；其中每个缓存服务器群具有至少一个缓存服务器节点；其中所述至少两个缓存服务器群中的一个缓存服务器群以及该一个缓存服务器群中的一个缓存服务器节点分别作为缓存数据的主缓存服务器群和主缓存服务器节点，其它缓存服务器群以及其中的一个缓存服务器节点作为所述缓存数据的备份缓存服务器群和备份缓存服务器节点；其中所述主缓存服务器节点与所述备份缓存服务器节点存有相同的缓存数据。本发明能够保证在缓存服务器中的缓存数据的高可靠性，并提高网络服务质量。