列存储

摘要： 在互联网+创新背景下,用信息化技术的成果改造和提升传统的自动化设备,具有重要的前景.NoSQL数据库泛指非关系型数据库,是大数据时代的热点.该文在NoSQL数据库技术基础上,设计实现了一种适合在嵌入式装置中运行的实时数据库.从数据对象的描述,对象的存储和索引,对象的查找、遍历、增删改操作,消息总线中通知的注册和发送四个方面,介绍了数据库的组成,内存的使用,双哈希索引的构成,命令及消息传递机制等.该实时数据库可以完成数据对象的灵活定义和高效访问,进而实现各种自动化功能.

摘要： 随着物联网及云计算技术的兴起,以及移动互联网技术的不断发展,以社交网络、电商等为代表的新型应用在日常生活中使用越来越广,与此同时它们的数据规模也急剧增加。列存储数据库在管理海量数据、从规模庞大的数据中获取有用信息方面有突出的优势。在处理海量数据时列存储数据库的性能要明显优于传统的行存储数据库,因此研究基于大数据的列存储数据库技术有重要意义。

摘要： 为解决现有列存储数据库压缩策略在压缩过程中遇到的数据离散程度大、分类粒度小、配套分类算法缺陷导致的学习成本高、压缩效率难以保证的问题,提出了一种基于排序的列区混合压缩策略.首先根据HBase特点设计了一种对各列数据进行排序的方法加强数据紧密度,然后根据数据特点分别使用混级区压缩策略和混级列压缩策略进行压缩策略推荐,在TPC-DS标准数据集上与前人策略进行比较.实验结果显示,该方法在压缩率、压缩/解压时间方面均有优异的表现,从而证明了其有效性.

摘要： The characters of big data are volume,variety,value,velocity,and common hardware and open source.Aiming at the system inefficiency and limited scalability of traditional relational database in big data analysis,this paper presen-ted an algorithm of Hash joins in MapReduce distributed environment based on column-store by introducing MapReduce computing model.First of all,this paper proposed the design of large data-oriented distributed computing models.Then, it proposed the partition aggregation and the heuristic optimization strategy to realize the implementation of Hash join algorithm.Lastly,the experiments evaluated execution time and load capacity.The results show that the proposed method is effective and can provid good scalability in big data analysis.%大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化、软件系统开源化的特点.传统关系型数据库在对大数据进行操作时存在系统性能严重下降、计算效率提升有限以及可扩展性差等问题,因此引入 MapRe-duce并行计算模型,提出一种大数据上基于列存储的 MapReduce 分布式 Hash 连接算法.首先,设计面向大数据的分布式计算模型,在设计的分片聚集并行连接的基础上,利用 Hash连接以及动态探测方法优化了数据并行连接处理效率;然后,针对该算法开发了基于 Hadoop的原型系统.通过实验证明,在大数据分析处理中,所提算法在执行时间和负载能力上都有很好的性能表现,也能提供良好的可扩展性.

摘要： 随着数据规模和分析需求的日益增长,数据库面向联机分析处理(On-Line Analytical Processing,OLAP)应用的查询性能变得愈发重要.Cedar是一款基于读写分离架构的分布式关系数据库,由于它主要面向联机事务处理(On-Line Transaction Processing,OLTP)业务,在面对分析处理负载时性能表现不足.对于这个问题,很多研究表明列存储技术能够有效地提高I/O (Input/Output)效率,进而提升分析处理的性能.在Cedar上提出了一种列存储机制,分析了其适用场景并针对这种机制改进了Cedar的数据扫描和批量更新方法.实验结果表明,该机制能大幅度地提升Cedar分析处理性能,并且对事务处理性能的影响控制在10％以内.

摘要： 信息技术的发展使大数据技术在社会各领域得到广泛应用,极大程度上提升社会生产效率和质量.基于此,论文就基于列存储的大数据分析系统物化策略进行研究,首先就大数据分析系统中的列存储技术、MapReduce模型和物化技术进行简要概述,然后结合当前大数据理念的发展现状,从早期物化策略、延迟物化策略和混合物化策略几方面阐述列存储下大数据分析系统的物化策略.

摘要： GPU and integrated CPU-GPU architecture has powerful parallel processing capability and programmable pipeline, which gradually becomes a hot area of database researches. In order to fully explore the parallel abilities of het-erogeneous platform, enhance the performance of the column-storage database query, in this paper, it takes full account of differences of system architecture based on heterogeneous platforms, firstly proposes the improved multidimensional data classification method of data partition strategy ICMD based on improving the multi-dimensional data partitioning method (CMD), using stream processor to process sub-space join operation in parallel. Secondly, through the implementation of query dynamic load using task allocation model evaluation, it makes the query execution in parallel between multi-core CPU, GPU and other accelerator components. At the same time, it uses on-chip global synchronization and efficient imple-mentation, local memory reuse optimization ICMD connection algorithm. Using SSB benchmark test, the experimental re-sults show that based on the platform of Intel HD Graphics 4600, ICMD connection query receives 1.35 speedup com-pared to the CPU version and receives 18%performance improvement compared with Ocelot of GPU query engine.%GPU以及集成式的CPU-GPU架构凭借其强大的并行处理能力和可编程流水线方式,已经成为数据库领域的研究热点.为充分利用异构平台的并行计算能力,提升列存储系统的查询性能,在研究异构平台结构特性的基础上,首先提出了GPU多线程平台上进行连接的数据划分策略——ICMD(Improved CMD),利用GPU流处理器并行处理各个子空间上的连接,然后利用任务评估分配模型实现查询负载的动态分配,使得查询操作能在多核CPU、GPU上高效并行执行.同时利用片上全局同步机制、局部内存重用技术优化ICMD连接算法.最后采用SSB基准测试集测试,结果表明:Intel?HD Graphics 4600平台上并行连接查询相比于CPU版本获得了35%的性能提升,较GPU查询引擎的Ocelot性能上提升了18%.

摘要： 通过对分布式列存储机制下多维数据仓库模型的研究,考虑到多维数据仓库模型上的关联和聚集操作常常会引入大量的数据迁移,提出一种有效的列存储机制下多维数据仓库模型的优化方法即结合层次编码技术.采用维表层次全局域编码和维表层次局部域编码相结合的方式对传统星型模型维表中的层次信息进行二进制编码整合,将维表的层次信息压缩进事实表形成无连接星型模型,并针对新模型下的数据特征提出一种复合压缩策略,以期减少分布式列存储机制下的OLAP操作引入的数据迁移并降低数据存储空间,提升系统的查询性能.实验结果表明,该优化方法是可行且有效的.%Based on the research of multi dimension data warehouse model on the distributed column storage,an effective distributed column storage optimization method with hierarchical coding techniques is proposed,considering that the association and aggregation operation of multi dimension data warehouse model often bring a lot of data migration.The optimization method uses local dimension hierarchical encoding and global dimension hierarchical encoding to encode the level information of the dimension table,and then compresses dimension hierarchies' information into fact table to form a join-free star schema.Then,a composite compression strategy is put forward for the data feature of the new model to reduce the data migration introduced by OLAP operation and the data storage space under the distributed column storage mechanism,improving the query performance of the system.The experimental results show that this optimization method is feasible and effective.

摘要： 研究和实践表明列存储更加适合于大规模数据集上的即席查询的“读优化”应用需求。然而由于列存储的处理对象是列,此时传统的基于规则的查询优化方法并不完全适用。文中首先比较了列存储系统中查询优化与行存储系统的不同,在此基础上提出适合于列存储的启发式查询优化机制,其中包括启发式优化策略、重写规则、左深连接树结构和相关算法。实验表明:该文提出的启发式优化机制能有效减少候选计划的规模,排除大量不可能生成最优计划的计划,使得查询处理代价和执行时间大大减小。

摘要： 压缩技术是列存储数据管理的重要研究内容之一。目前多数方法对同一列数据使用单一压缩方法进行压缩,忽略了数据的局部分布特性,极大地影响了压缩性能。该文提出一种区级压缩模式,并在此模式下提出基于学习的压缩策略选择方法。首先该文将数据列进一步划分为区,并分别定义相邻区信息与区所在列的统计信息为参照信息,进而通过学习参照信息与当前区之间的相似性和差异性进行策略推荐。最后该文对区进行局部学习从而对推荐压缩策略进行修正,保证压缩策略的有效性。在数据仓库基准数据集SSB上的实验结果验证了该文方法的有效性。

摘要： 相对于行存，列存极大提高了宽表上分析负载的I/O性能，当一个查询只访问1000列中的20个时，无须读取整个数据块，最大限度减少了所读取的数据量。

摘要： 在国家"十一五"科技支撑计划"出生缺陷干预效果评价系统"和国家自然科学基金"亚复杂系统中干预规则挖掘"支持下,中国出生缺陷数据挖掘系统HealthyBaby的测试版本已经在具有30年数据的全国出生缺陷数据仓库运行。介绍并演示HealthyBaby特色技术,包括中国出生缺陷数据仓库的列存储方式,可视化的OLAP查询,出生缺陷地理信息分析BD-GIS技术,面向出生缺陷数据的关联、分类、聚类知识发现,干预规则挖掘,亚复杂系统等。

摘要： 随着硬件技术不断发展,特别是容量越来越大的内存,具有高性能的内存数据库逐渐成为人们研究的热点.然而,内存数据库的高性能却严重依赖于内存容量,由于内存容量受内存技术、服务器技术和操作系统位数的制约,可扩展性不好。针对这一问题,我们提出了可扩展内存数据库系统ScaMMDB.首先,我们介绍了ScaMMDB的体系结构,并重点介绍了RCAP(远程列访问协议)和EPM(扩展并行MAL语言);我们从体系结构和列存储特性两方面探讨了ScaMMDB的可扩展性;最后,通过实验,对比了磁盘数据库和内存数据库、行存储数据库和列存储数据库的性能,并实验验证了ScaMMDB扩展性和查询性能.

摘要： 本发明提供了一种区域列控实现方法、列控中心和存储介质，方法包括：所述列控中心将多个车站之间的区间进行分割，划分成多个虚拟集中区；所述列控中心解析相邻所述虚拟集中区间口的信息，分割后的所述虚拟集中区属于内部区间；每个所述列控中心控制多个车站或中继站。本发明相比于现有技术一个列控中心仅控制一个车站或中继站，在设备控制能力范围内，由一个列控中心控制多个车站或中继站，减少了列控中心的故障点数量，提高了列控中心的可靠性，降低了系统成本。

摘要： 提供一种与单存储列或多存储列兼容的存储器件。多个存储器层堆叠在存储器件中。存储器件响应于芯片识别信号和用于确定单存储列或多存储列的模式信号而接收地址信号和芯片选择信号。多个存储器层作为由地址信号寻址的单存储列操作，或者作为由芯片选择信号寻址的多存储列操作。

摘要： 本申请涉及制冷控制技术领域，公开一种用于列间空调群控的方法，包括：在多台列间空调组网的情况下，根据应用场景，确定组网机组的群控模式；根据当前运行参数和目标运行参数，控制各列间空调执行与所述群控模式匹配的控制策略。该方法将多台列间空调组网形成一个系统的机组；结合不同的应用场景，该机组采用不同的群控模式。并控制该机组中各列间空调执行对应的控制策略。如此，既可以对机组的列间空调进行统一控制，又可以实现机组中列间空调的自控。这样，可以使得机组中各列间空调的控制策略与应用场景匹配，实现较佳的控制；进而达到更好的节能效果。本申请还公开一种用于列间空调群控的装置及列间空调、存储介质。

摘要： 本申请涉及一种列间空调控制方法、列间空调、电子设备及可读存储介质，方法包括步骤：接收各在线机发送的当前回风温度，并根据当前回风温度计算内风机控制转速；将内风机控制转速发送至各所述在线机，以使各所述在线机以所述内风机控制转速运行；获取空调温度控制目标，并将所述空调温度控制目标发送至各所述在线机，以使各所述在线机根据所述空调温度控制目标对冷量输出部件控制参数进行设置。通过基于各当前回风温度确定内风机控制转速，使得各在线机统一以内风机控制转速运行，从而保证了封闭通道内温度分布均匀；同时，在封闭通道温度分布均匀的基础上，能够使得各在线机中冷量输出部件控制参数相同或相近，进而提高了列间空调的运行能效。

摘要： 本申请涉及制冷技术领域，公开一种用于控制列间空调的方法，包括：根据制冷需求，确定压缩机的目标运行频率；控制压缩机以目标运行频率运行；在目标运行频率大于第一频率且小于或等于最大运行频率、压缩机的蒸发压力大于第一压力且小于或等于最大蒸发压力的情况下，调节电子膨胀阀的开度，以降低压缩机的蒸发压力。该方法通过调节电子膨胀阀降低压缩机的蒸发压力，避免压缩机在蒸发压力超范围的情况下持续运行，导致压缩机故障损坏。同时，保证压缩机的运行频率与制冷需求一致。本申请还公开一种用于控制列间空调的装置、列间空调及存储介质。

摘要： 用于使用启用列读取的存储器来实行随机稀疏提升和普罗克拉斯提斯正交稀疏散列的技术包括：一种设备，其具有列可寻址的存储器、以及连接到存储器的电路。所述电路被配置成将输入数据向量集合添加到存储器作为二进制维度扩展向量集合，包括将每个输入数据向量与投影矩阵相乘。所述电路还被配置成从搜索数据向量产生搜索散列码，包括将搜索数据向量与投影矩阵相乘。此外，所述电路被配置成确定搜索散列码与每一个二进制维度扩展向量之间的汉明距离。

摘要： 本申请属于显示面板技术领域，提供了一种列反转驱动方法、列反转驱动装置、显示终端及存储介质，通过向所述显示面板的多个数据线提供数据信号，以在所述TFT元件打开时对每行所述子像素充电，其中，相邻数据线上接收的所述数据信号的极性相反，且所述数据信号的极性在起始2个扫描脉冲之后以每隔4n个扫描脉冲进行极性反转处理，可以消除所述显示面板的垂直亮暗线，解决了显示面板中由于像素接线存在的长短手问题所导致的显示面画出现波纹的问题。

摘要： 本发明提供了一种区域列控实现方法、列控中心和存储介质，方法包括：所述列控中心将多个车站之间的区间进行分割，划分成多个虚拟集中区；所述列控中心解析相邻所述虚拟集中区间口的信息，分割后的所述虚拟集中区属于内部区间；每个所述列控中心控制多个车站或中继站。本发明相比于现有技术一个列控中心仅控制一个车站或中继站，在设备控制能力范围内，由一个列控中心控制多个车站或中继站，减少了列控中心的故障点数量，提高了列控中心的可靠性，降低了系统成本。

摘要： 本发明提供了一种在列存储引擎中按列动态分组存储的方法，将数据表中所有列数据按照预设的行数切分成若干个DC行，按照顺序进行编号，同时生成对应的描述信息BSI。将描述信息存储到元数据中；数据按照列分组定义进行切分，分别存储到不同的数据文件中；读取数据时，存储单元首先预加载数据表的元数据信息，基于元数据找到对应的数据文件，读取对应的数据块。本发明所述的一种在列存储引擎中按列动态分组存储的方法，在通过列分组在写入数据时规避写放大问题，在读取数据时解决读放大问题，进而提升列存数据库的读写性能。

摘要： 本发明提供了一种在列存储引擎中按列动态分组存储的方法，将数据表中所有列数据按照预设的行数切分成若干个DC行，按照顺序进行编号，同时生成对应的描述信息BSI。将描述信息存储到元数据中；数据按照列分组定义进行切分，分别存储到不同的数据文件中；读取数据时，存储单元首先预加载数据表的元数据信息，基于元数据找到对应的数据文件，读取对应的数据块。本发明所述的一种在列存储引擎中按列动态分组存储的方法，在通过列分组在写入数据时规避写放大问题，在读取数据时解决读放大问题，进而提升列存数据库的读写性能。