数据分片

摘要： 分库分表是当银行业务数据量增长到一定程度,用于提高系统性能的一种有效措施.本文通过对数据分片的常见问题及其解决方案进行深入分析,针对银行业务和系统特点,从主数据管理、业务分析、数据聚合及数据路由等几方面入手,提出了大型商业银行实施数据分片的一般路径与方向,并通过列举银行的应用实例,总结了三种常见数据分片方案的适用场景、特点及限制.

摘要： 为应对如今web应用数据量的快速增长,NoSQL技术得到了越来越多的重视与应用.论文选择NoSQL存储系统的典型代表MongoDB数据库来进行研究.首先,剖析了其内部自动分片机制,在此基础上提出了一种分片键选择机制来尝试提高整个系统的扩展性能,并以片键公式的应用实例来证明了片键选择机制的有效性.然后,针对当前MongoDB内部均衡算法的不足,在考虑了数据节点负载的差异后,对均衡算法进行了相应优化,实现了数据量与节点负载的动态均衡,并验证了新算法具有良好的高并发读写性能.

摘要： 随着中国智能电网规模与复杂性的不断增加,针对未来态电网模型的应用需求日益强烈,现阶段调度自动化系统对于未来态建模缺乏快速高效的建模手段,缺乏上下级调度系统间未来模型的协调融合机制.通过研究电网未来模型管理体系架构,在不影响实时系统安全稳定运行的前提下,通过数据分片技术、分布式文件数据库的应用,通过基于消息中间件数据交互技术和以厂站为粒度的未来模型融合方法,实现模型未来版本维护环境的快速构建,实现网省一体化的未来模型融合的高效管理,满足不同应用对未来图模多版本维护的需求并为应用计算提供了一整套的解决方案.%With the increasing scale and complexity of smart grid in China, the demand for future state grid model is increasingly high. At this stage, the scheduling automation system lacks fast and efficient modeling methods for future grid state modeling, and lacks the coordination and fusion mechanism of future models between the upper and lower level scheduling systems. By studying the architecture of the future model management system of the power grid, the future version maintenance ring of the model is realized through the message middleware-based interaction technology and the fusion method of the future model considering the granularity of the plant station, without affecting the security and stability of the real-time system. The model also uses data fragmentation and distributed file database technology, the rapid construction of the environment realizes the efficient management of the integration of the future model of the integrated network, and meets the needs of different applications for the future model multi version maintenance and provides a complete set of solutions for the application calculation.

摘要： 针对智能电网的云存储数据多属性难以准确调度的问题,提出了一种基于MapReduce的并行算法解决存储效率,利用挑战-响应的方法给出了云存储数据完整性模型架构,采用数据的分片结构来减少数据标识的数量,依据MapRe-duce定义给出了五种算法定义对数据进行分片分块处理,通过设计相应的Map和Reduce函数实现了数据标识产生算法的并行化,通过模拟智能电网数据的双线性配对过程进行实验分析,结果表明:TagGen阶段对2M的数据分片约为1.13s,而再经过分块后标识开销时间仅为16ms,并且挑战阶段的计算开销随着挑战数据块的增多而相应的增大,但是整体增长幅度很小;响应阶段的计算开销是由数据块数和数据片数之和决定的.%Aiming at the problem that the multi-attribute of the cloud storage data of the smart grid is difficult to be accurately scheduled,a parallel algorithm based on MapReduce is proposed to solve the storage efficiency.The data of the cloud data integrity model is given by the challenge-response method.The structure to reduce the number of data identification according to MapReduce definition gives five algorithms to define the data segmentation processing,through the design of the corresponding Map and Reduce function to achieve the data generation algorithm parallelization,by simulating smart grid data the results show that the data segmen-tation of the 2M data is about 1.13s in the TagGen phase,and the overhead time is 16ms after the block,and the computational cost of the challenge phase is different from that of the challenge data block.The corresponding increase increases,but the overall growth rate is very small,the calculation of the calculation phase is calculated by the number of data blocks and the number of data and the decision.

摘要： 提出一种含微服务的调度自动化系统分布式实时数据库总体构架,解决了传统调度自动化系统中实时数据库数据处理慢、灵活性差和不易扩展等问题。根据实时数据库对数据时效性的要求,定义了遥测类、遥信类的简化数据模型,规避了复杂数据关系的搜索,并运用数据分片技术对数据进行有效划分。采用微服务架构模式,将数据读写过程虚拟化为细粒度的数据服务,以云计算技术为核心,实现对微服务、分布式技术的深度整合。利用该构架实现的分布式实时数据库管理系统已在某实际电网中得到应用。实际运行效果表明,该构架下的实时数据库具有实时性高、扩展性强、运行稳定可靠等优点,为坚强智能电网的建设和发展提供技术支撑。

摘要： 传统的即时通讯系统的弊端之一是数据库I/O次数频繁,因为在IM中大量短而多的消息持续在磁盘的数据库上进行读写.为了解决数据库造成的系统瓶颈,选取Mysql和内存Key-Value引擎的NoSQL数据库Redis两级存储,从而给出基于XMPP的即时通讯系统高可用的优化方案.

摘要： 分布式数据库,数据分散存储在各个不同的数据库中,如何根据业务特点进行分片,尽量减少应用的改造复杂度,同时后期运营过程能够方便的进行数据迁移是分布式数据分片设计的关键内容.本文就分布式数据存储散列方案进行设想.

摘要： 无线传感器网络采用多路径路由及数据分片提高网络的入侵容忍能力,分片及使用路径数量越多,数据传输的安全性越高,而需要的计算、存储及能量开销越大.针对上述问题,根据数据的安全等级选择传输方案,提出一种自适应多路径安全路由协议.通过按需路由的方式,以源节点两跳邻居节点为标识,建立多条不相交的路径,并评估路径的安全概率,由基站根据安全性要求选择多路径及分片参数,源节点利用加权门限秘密共享对数据进行分片,并沿多条路径传输.分析结果表明,与采用(t,n)门限的方案或RS编码进行数据分片的路由协议相比,该协议能够有效地减少计算时间和降低存储空间.

摘要： 针对如何在工业应用中找到一种实现周期更短和更低成本的图像数据采集方法进行了研究;通过分析以太网帧格式和JPEG图像数据特点,给出了一种对JPEG图像帧进行分片并对分片进行数据封装的方法,在此基础之上实现了基于图像数据封装包文的数据采集设计;最后在FPGA环境中对该设计进行了实现,此实现成功应用到了工程项目当中;实践表明,基于图像数据封装包文的数据采集方法能够在不添加外置存储器等复杂器件的情况下实现稳定的、实时的JPEG图像数据采集.

摘要： 数据分片是并行数据库的基础，为了存储、索引以及查询大规模XML文档需要针对XML文档特点设计的分片策略。本文根据分片粒度不同以及XML文档查询的特点，提出了两种分片策略:PSPIB与NRR.针对两种分片策略给出了算法和示例。我们将进一步测试分析两种分片策略对并行化XML文档数据的影响。

摘要： 适用于云端的Oracle Database 12c R2使用在线克隆，刷新和在线迁移实现敏捷,支持4096 PDBs,对于一些全球范围的应用程序能使用原生的数据分片实现弹性扩展.

摘要： 首先介绍了分布式数据库的四种架构，其次阐述了数据分片架构设计，然后论述了分布式数据库核心定位，最后进行了存储位置和访问位置的全透明分析。

摘要： Postg res-X2是一款分布式关系数据库。即具有关系数据库的特性，同时又具备可扩展、高可用的特性，主要应用于海量数据的实时在线交易处理系统。介绍了其核心组件和系统架构，给出了HA、备份和恢复、数据分片几方面的应用方案。

摘要： 本文首先介绍了与本文密切相关的工作背景以及之前的一些研究工作,然后介绍了无共享并行数据库系统的体系结构和一些基本问题,对于无共享结构的并行数据库系统来说,一个主要的挑战是数据划分问题.本文系统的讨论了无共享并行XML文档数据库中工作负载的估算问题的提出和基本方法,提出了两种基于工作负载平衡的分片算法,根据模拟实验表明这两种分片算法针对不同需求有很好的性能.

摘要： 本发明实施例公开了一种基于数据处理的任务分片方法、装置及分片服务器，其中，该方法应用于数据处理领域，包括：接收待处理任务，并检测待处理任务的任务属性，获取设备集群的负载信息，根据任务属性和负载信息确定针对待处理任务的目标分片策略，采用目标分片策略对待处理任务进行分片处理，得到N个子任务，根据预设的负载均衡规则将N个子任务发送至设备集群中的执行服务器。通过实施上述方法，可以根据任务属性和负载信息对分片策略进行实时调整，充分发挥各个执行服务器的性能，提升处理效率。

摘要： 本发明涉及玻璃制造领域，公开了一种分片装置、分片设备、分片系统和分片方法，其中，分片装置用于将具有分切线的玻璃组合板沿分切线分离，分片装置包括第一输送单元、第二输送单元和分离单元，第一输送单元和第二输送单元的输送方向相同且彼此并排设置，分离单元设置为沿在第一输送单元和第二输送单元上输送的玻璃组合板的分切线将玻璃组合板分离为通过第一输送单元承载的第一部分和通过第二输送单元承载的第二部分，第一输送单元和第二输送单元中的至少一者设置为能够沿垂直于输送方向水平移动。本申请的分片装置能够在不转向玻璃组合板的情况下完成分片，无需布置为L型，减小了占用的场地。

摘要： 本发明实施例公开了一种基于数据处理的任务分片方法、装置及分片服务器，其中，该方法应用于数据处理领域，包括：接收待处理任务，并检测待处理任务的任务属性，获取设备集群的负载信息，根据任务属性和负载信息确定针对待处理任务的目标分片策略，采用目标分片策略对待处理任务进行分片处理，得到N个子任务，根据预设的负载均衡规则将N个子任务发送至设备集群中的执行服务器。通过实施上述方法，可以根据任务属性和负载信息对分片策略进行实时调整，充分发挥各个执行服务器的性能，提升处理效率。

摘要： 本发明涉及玻璃制造领域，公开了一种分片装置、分片设备、分片系统和分片方法，其中，分片装置用于将具有分切线的玻璃组合板沿分切线分离，分片装置包括第一输送单元、第二输送单元和分离单元，第一输送单元和第二输送单元的输送方向相同且彼此并排设置，分离单元设置为沿在第一输送单元和第二输送单元上输送的玻璃组合板的分切线将玻璃组合板分离为通过第一输送单元承载的第一部分和通过第二输送单元承载的第二部分，第一输送单元和第二输送单元中的至少一者设置为能够沿垂直于输送方向水平移动。本申请的分片装置能够在不转向玻璃组合板的情况下完成分片，无需布置为L型，减小了占用的场地。

摘要： 本发明涉及一种针对数据分片的命名数据网络连续数据推送方法，属于计算机网络数据传输技术领域。包括a)设置NDN各结点名称和位置信息及结点间连接链路b)结点相互通告链路状态并建立链路状态数据库c)结点交换链路状态数据库信息并汇总全网链路状态信息d)数据源结点向全网通告持有数据内容名称e)各结点计算到达其他结点和获取数据内容的最优路径并写入FIB表f)数据源发送推送请求兴趣包及用户回复推送应答数据包g)用户发送数据请求兴趣包及数据源回复推送数据包h)用户计数并接收推送数据包i)用户清点校验推送数据包并发送重传请求兴趣包及数据源重传部分推送数据包。实现了数据包的连续推送并降低了链路和带宽消耗。

摘要： 本发明涉及一种数据库数据分片存储方法，包括以下步骤：生成数据库主机中存储的各个数据表对应的多个子表，其中，每一数据表对应的所有子表的数据覆盖对应的数据表，且各子表之间的数据不重叠；将数据库主机中存储的各个数据表对应的多个子表存储到多个数据库备机上，使得数据库主机中存储的各个数据表中存在对应的子表被分配到多个数据库备机上的数据表；维护数据库主机中的各数据表的子表在数据库备机上的分布信息。上述方法对于读数据请求的响应速度。此外，还提供一种数据库数据分片存储装置，以及提供一种基于数据分片存储的数据库数据查询方法和装置。

摘要： 本发明公开了一种能量管理系统分片实时数据库的数据分片方法，按照能量管理系统特有的厂站-设备关联对实时数据库的数据进行分片，能够提高了分片信息的一致性。包括：1)对实时数据库中的厂站数据进行分组；2)所有需要分片的数据表都按照厂站-设备关联的要求具备厂站的信息。设备相关的数据库表具备厂站标识作为外键；3)所有需要分片的数据表的数据都按照厂站的分组模式进行分片，即属于同一厂站的设备数据属于同一分片；属于相同分组的厂站的设备数据属于同一分片。

摘要： 本公开提供了一种分片集群的数据迁移方法、装置和分片集群系统，涉及云计算领域。其中，方法应用于目标服务器；目标服务器上运行有MongoDB分片集群中目标集群的数据分片；目标服务器与数据源服务器通信连接；数据源服务器上运行有数据源集群的数据分片；方法包括：接收数据源服务器提供的第一数据分片中的分片数据；第一数据分片属于数据源集群；将第一数据分片中的分片数据保存至与第一数据分片对应的第二数据分片上；第二数据分片属于目标集群。该方式可以实现数据在集群间迁移时，数据结构不发生变化，更加便于后续数据的访问和维护。

摘要： 本发明涉及一种针对数据分片的命名数据网络连续数据推送方法，属于计算机网络数据传输技术领域。包括a)设置NDN各结点名称和位置信息及结点间连接链路b)结点相互通告链路状态并建立链路状态数据库c)结点交换链路状态数据库信息并汇总全网链路状态信息d)数据源结点向全网通告持有数据内容名称e)各结点计算到达其他结点和获取数据内容的最优路径并写入FIB表f)数据源发送推送请求兴趣包及用户回复推送应答数据包g)用户发送数据请求兴趣包及数据源回复推送数据包h)用户计数并接收推送数据包i)用户清点校验推送数据包并发送重传请求兴趣包及数据源重传部分推送数据包。实现了数据包的连续推送并降低了链路和带宽消耗。

摘要： 本发明涉及一种数据库数据分片存储方法，包括以下步骤：生成数据库主机中存储的各个数据表对应的多个子表，其中，每一数据表对应的所有子表的数据覆盖对应的数据表，且各子表之间的数据不重叠；将数据库主机中存储的各个数据表对应的多个子表存储到多个数据库备机上，使得数据库主机中存储的各个数据表中存在对应的子表被分配到多个数据库备机上的数据表；维护数据库主机中的各数据表的子表在数据库备机上的分布信息。上述方法对于读数据请求的响应速度。此外，还提供一种数据库数据分片存储装置，以及提供一种基于数据分片存储的数据库数据查询方法和装置。