OLAP

摘要： 阐述DRGs质量监测与评价系统,它是以电子病历为核心的医院信息管理系统,引入疾病诊断管理工具,结合医院现有的集成平台及接口业务,通过联机分析处理OLAP技术,实现精细化绩效评价。

摘要： 万物互联时代,随着各类新型计算技术和新兴应用领域出现,传统数据处理方式逐步向云边协同数据处理的方式演进.云边复杂多变的生态系统(多云和多边缘)带来飞速增长的数据规模、复杂的数据位置及负载连接,如何高效稳定的存取数据信息以及如何加快数据查询处理已经成为学术界和工业界急需解决的关键问题.另一方面,以GPU/FPGA异构算力、NVM(non-volatile memory,非易失内存)存储、RDMA(remote direct memory access,远程直接内存存取)网络为代表的新型硬件技术的快速发展和应用,对现有软件架构体系产生了革命性的影响,为数据库系统的演进和性能提升提供了变革基础,吸引着越来越多研究者的关注.如何利用这些不断涌现的新型硬件技术来为工业界使用的真实数据库系统赋能已经成为目前的研究热点之一.首先介绍了中兴通讯GoldenX数据库系统架构,然后重点阐述其列式存储引擎利用新型硬件特性在计算层和存储层进行的软硬件协同设计和优化,主要包括:(1)将压缩/解压、加密/解密任务从CPU卸载到FPGA,利用FPGA的可编程特性,设计专用MISD(multiple instruction stream single data stream,多指令流单数据流)架构处理器,采用“软件接口级-计算核心级-功能模块级”三级流水线设计,提高数据流处理的效率;(2)为列式存储定制向量化执行引擎,利用CPU/GPU的SIMD(single instruction multiple data,单指令多数据流)新特性优化传统火山模型,降低了函数调用开销;(3)对SQL执行引擎进行优化,动态评估和利用GPU计算资源,采用JIT编译技术,将过滤/排序/聚集等具有矩阵运算特征的统计分析型SQL运算任务下推到GPU上,利用GPU的超高并行计算能力提高查询分析性能.实验表明,本文提出的软硬件优化方法有效提升了GoldenX系统性能,在TPC-H基准测试场景的22个查询中,优化后的GoldenX性能比优化前提升了2.5~10倍,比开启向量化的openGauss执行时长减少了17%~78%.

摘要： 华为云GaussDB企业级分布式数据库推荐理由华为从2007年开始进行数据库内核方面的开发,于2011年启动分布式数据库内核研发,2014年发布商用版本的OLAP分布式数据库,2017年发布商用版本的OLTP分布式数据库,今年正式发布基于云服务的GaussDB(for openGauss)企业级分布式关系型数据库。

摘要： 当前,数据库市场呈现出百花齐放、百家争鸣的发展态势。无论是传统数据库厂商、云数据库厂商,还是新兴数据库厂商,都在不遗余力地打造各种类型的数据库(如OLTP、OLAP、HTAP、NoSQL等)。据了解,仅我国就有200多款数据库产品。虽然数据库种类多、产品多,但整体的发展方向基本一致,即:云原生、分布式、HTAP、多模等。其中,分布式数据库成为主要的发展方向。

摘要： 在数据量日益增长的当下,传统数据库的查询性能已满足不了业务需求。近年来大量开源架构为探索流批一体实时数仓的大数据研发工程师提供了丰富的资源,同时也增加了工程师在学习成本、框架的多样化和复杂度等方面选择合适工具的难度。此情景下,整合开源框架、工具、库、平台势在必行。该文引入Clickhouse数据库管理系统,并在数字化油田构建实时数仓的建设中构想其应用前景。

摘要： The data warehouse is the most widely used database structure in many decision support systems around the world. This is the reason why a lot of research has been conducted in the literature over the last two decades on their design, refreshment and optimization. The manipulation of hypercubes (cubes) of data is a frequently used operation in the design of multidimensional data warehouses, due to their better adaptation to OLAP (On-Line Analytical Processing). However, the updating of these hypercubes is a very complicated process due mainly to the mass and complexity of the data presented. The purpose of this paper is to present the state of the art of works based on multidimensional modeling using the hypercube as a unit of presentation of data stores. It starts with the base of this process which is the choice of the views (cubes) forming our data warehouse base. The objective of this work is to describe the state of the art of research works dealing with the selection of materialized views in decision support systems.

摘要： 本文就将从数据多维度分析角度,探讨新媒体技术在传统电视媒体发展中的运用。随着大数据时代的来临,如何在上述海量数据中挖掘到适宜于支撑传统电视媒体发展的信息支撑,如何在自身通过新媒体渠道获取到的海量业务数据进行二次价值发现,是目前传统电视媒体逐步尝试解决的问题。结合大数据分析工具,特别是OLAP工具,本文对面向传统电视媒体融合发展的数据多维分析方式进行研究,期望通过这一新媒体技术,对传统媒体的业务和发展提供支撑。

摘要： 传统的关系型数据库根据使用场景通常分为OLTP和OLAP两种类型.SAP的HANA数据库采用"内存数据库+列式存储"将这两种场景融合在了一起.本文通过对HANA数据库运行机制的阐述,以及与Oracle12c的对比,解释了HANA数据库的技术原理,并对数据库的发展趋势进行了展望.

摘要： 随着大数据技术的发展,加强司法大数据应用成为推进司法现代化建设的重要手段,如何处理司法大数据中的非结构化数据亟待解决.为此,本文提出了面向司法大数据的文本主题OLAP系统.在离线数据处理模块中,设计了Span数据模型,并定义了多种针对该模型的操作符;设计了基于规则的文本行政区划归类方法,并构建了主题立方体.在线上查询模块中,实现了基于倒排索引的关键词搜索方法和最大独特主题范围查询,提供了上卷、下钻、切片等功能.通过在大规模的真实数据集上对系统进行测试,实验结果证明了该系统的合理性和实用性.

摘要： 数据处理可大致分为2类,联机事务处理OLTP(on-line transaction processing)和联机分析处理OLAP(on-line analytical processing).OLTP是传统关系型数据库的主要应用,支持一些基本的日常的事务处理,如银行流水交易等.OLAP是数据仓库系统的主要应用,支持一些较为复杂的数据分析操作,专注于决策支持,提供出通俗直观的分析结果.随着企业处理数据量的不断增加,分布式数据库已经逐渐取代单机数据库,成为应用的主流.但目前分布式数据库支持的业务主要以OLTP应用为主,缺少OLAP实现.提出了一种面向分布式数据库CBase的HTAP的实现方法,为CBase提供了一种OLAP分析的实现方式,可以轻松应对大数据量的数据分析.

摘要： 从数据分析与挖掘的技术角度来探索如何帮助医院提高医疗质量管理，并结合真实项目的建立总结技术与需求的实现与应用。

摘要： 从数据分析与挖掘的技术角度来探索如何帮助医院提高医疗质量管理，并结合真实项目的建立总结技术与需求的实现与应用。

摘要： 从数据分析与挖掘的技术角度来探索如何帮助医院提高医疗质量管理，并结合真实项目的建立总结技术与需求的实现与应用。

摘要： 从数据分析与挖掘的技术角度来探索如何帮助医院提高医疗质量管理，并结合真实项目的建立总结技术与需求的实现与应用。

摘要： 从数据分析与挖掘的技术角度来探索如何帮助医院提高医疗质量管理，并结合真实项目的建立总结技术与需求的实现与应用。

摘要： 从数据分析与挖掘的技术角度来探索如何帮助医院提高医疗质量管理，并结合真实项目的建立总结技术与需求的实现与应用。

摘要： 随着医院信息系统的发展，对于日常工作中积累下数据，只能进行一些简单的财务或报表统计，而大数据量数据统计对基于OLTP技术的医院信息系统的会产生严重的性能影响。rn 因此根据门诊管理需求，对医院2004年到2008年的门诊数据的进行了全面分析，确定了门诊管理的主题，并逐步将医院信息管理系统中的数据，通过数抽取、清洗、转换和加载门诊数据仓库中。通过使用OLAP技术提供了大量的门诊管理用分析报表，满足了门诊管理部门的统计分析需求。

摘要： 随着医院信息系统的发展，对于日常工作中积累下数据，只能进行一些简单的财务或报表统计，而大数据量数据统计对基于OLTP技术的医院信息系统的会产生严重的性能影响。rn 因此根据门诊管理需求，对医院2004年到2008年的门诊数据的进行了全面分析，确定了门诊管理的主题，并逐步将医院信息管理系统中的数据，通过数抽取、清洗、转换和加载门诊数据仓库中。通过使用OLAP技术提供了大量的门诊管理用分析报表，满足了门诊管理部门的统计分析需求。

摘要： 随着医院信息系统的发展，对于日常工作中积累下数据，只能进行一些简单的财务或报表统计，而大数据量数据统计对基于OLTP技术的医院信息系统的会产生严重的性能影响。rn 因此根据门诊管理需求，对医院2004年到2008年的门诊数据的进行了全面分析，确定了门诊管理的主题，并逐步将医院信息管理系统中的数据，通过数抽取、清洗、转换和加载门诊数据仓库中。通过使用OLAP技术提供了大量的门诊管理用分析报表，满足了门诊管理部门的统计分析需求。

摘要： 随着医院信息系统的发展，对于日常工作中积累下数据，只能进行一些简单的财务或报表统计，而大数据量数据统计对基于OLTP技术的医院信息系统的会产生严重的性能影响。rn 因此根据门诊管理需求，对医院2004年到2008年的门诊数据的进行了全面分析，确定了门诊管理的主题，并逐步将医院信息管理系统中的数据，通过数抽取、清洗、转换和加载门诊数据仓库中。通过使用OLAP技术提供了大量的门诊管理用分析报表，满足了门诊管理部门的统计分析需求。

摘要： 本申请提供一种OLAP数据仓库的管理方法，包括：获取时空数据，将所述时空数据按照属性维度进行切分，得到多个属性维度类别的时空数据；创建地理实体表，将所述属性维度映射连接到所述地理实体表，并根据所述映射连接关系将多个所述属性维度类别的时空数据集成到所述地理实体表中；通过连接查询字符来组合所述多个属性维度类别的时空数据，以实现OLAP数据仓库的查询、统计和分析。通过OLAP数据仓库的管理，可有效提升分析效率，帮助时空大数据服务快速生产决策分析结果。本申请还提供一种OLAP数据仓库的管理装置，一种存储介质。

摘要： 本申请公开了一种基于预计算OLAP模型的多租户服务方法及装置。该方法根据包括至少一个服务实例的资源组，对多个租户提供服务，所述方法包括：将租户与对应的Hadoop集群用户绑定，并且在服务实例运行时与Hadoop集群超级用户绑定，以使租户在执行预设操作时所述服务实例只能访问该租户所对应的所述Hadoop集群用户中的数据权限。本申请解决了资源利用率较为低下的的技术问题。通过本申请确保数据隔离，且服务实例的个数不会随着租户的增加而增加。此外，本申请可在多租户架构场景中使用。

摘要： 本发明提供了一种基于ClickHouse集群实现OLAP高并发的方法及系统，中转服务器接收客户端发出的多条查询请求，并根据ClickHouse集群中每一ClickHouse服务器的负载情况，发送多条所述查询请求，所述ClickHouse集群为一分片多副本结构；所述ClickHouse服务器根据接收到的所述查询请求得到查询结果，并将所述查询结果返回给所述客户端；本发明设置中ClickHouse服务器为一分片多副本的结构，每个ClickHouse服务器都能够独立负责一条查询请求的完整查询，不会因为数据被分片从而使得需要拆分查询请求，从而将处理拆分后多个子查询的能力转化为同时执行多个完整查询请求的能力，提高了对高并发查询的效率。

摘要： 本发明涉及一种基于EAV模型的OLAP数据处理方法、系统、装置和计算机可读介质。该方法包括：获取数据源的变更数据，所述数据源采用EAV模型存储；根据所述变更数据在所述数据源中进行关联查询，形成关联数据宽表，所述关联数据宽表的特征字段包括所述数据源中与所述变更数据相关联的实体、属性和值中的部分或全部；从所述关联数据宽表中提取所述特征字段，根据预设规则将多个所述特征字段划分为第一字段和第二字段；以及将所述第一字段存储在第一存储单元中，将所述第二字段存储在第二存储单元中，其中，所述第一存储单元基于列式存储引擎。

摘要： 本发明公开一种OLAP查询引擎动态cost评估方法及装置，其中，该方法包括：采集数据仓库中数据表的数据量和字段基数；同时记录历史查询sql和对应的查询时间；对sql的执行时间进行离散处理，生成标签；同时将数据表的表信息、过滤字段、分析字段、时间分区、表数据量和分析字段基数，生成各自的特征编码；利用已有的机器学习模型，对已有查询样本，根据提取的数据表的特征进行分类算法训练；将OLAP查询引擎的执行计划转化为特征向量，输入机器学习模型中进行基数评估，从而获得数据表的预估查询时间。该方法及装置使OLAP查询引擎能够快速、准确的对输入的查询sql进行cost评估，生成最优执行计划。

摘要： 本发明公开基于MPP与全文索引构建分布式OLAP数据分析的方法及装置，其中，该方法包括：在搜索引擎建立索引，包含主键字段和至少一个全文查询字段；将全量数据写入MPP数据库的表，同时将主键字段的数据和全文查询字段的数据写入搜索引擎；在搜索引擎使用全文查询字段进行检索，并返回命中记录的主键列表；根据返回的主键列表，在MPP数据库使用主键列表进行数据查询，并对查询后的数据进行分析。该方法及装置在MPP数据库执行大数据量的查询，可以极大节约CPU、内存资源，查询性能高，没有过度的资源消耗，提升查询的稳定性。

摘要： 本发明公开一种从OLTP到OLAP的数据同步方法，涉及数据处理技术领域，其实现内容包括：在OLTP中部署采集单元、编码单元和传输单元一，采集单元采集OLTP的数据，编码单元将采集数据编码为消息，并通过传输单元一传送至OLAP；在OLAP中部署传输单元二、解码单元和写入单元，传输单元二接收传输单元一输出的消息，并通过解码单元将消息解码成数据，解码单元将解码后的数据进一步构建成一个个任务，随后通过写入单元批量同步至OLAP；上述过程中，采集单元将采集数据转换为OLAP支持的格式后通过编码单元编码为消息，或者，写入单元将解码单元输出任务所包含的数据转换为OLAP所支持的格式后批量同步至OLAP。本发明可以提高数据同步性能，且保持恒定的内存用量。

摘要： 本发明提供了一种用于简化大数据OLAP业务代码结构标准化方法。本发明对代码结构和交付包进行模块化和标准化，以实现规范开发，降低部署门槛，提升交付效率。

摘要： 本发明提供了一种OLAP预计算模型建模方法、数据查询方法、装置及存储介质，方法包括：通过获取查询节点发送的查询语句；通过查询语句在数据库多个映射关系中查找到对应的目标数据，并将目标数据反馈给查询节点；其中，数据库中存储有多个预备数据和多个历史查询语句的多个映射关系，每个预备数据是从对应数据模型信息中提取到的；数据模型信息是基于对应历史查询语句处理得到的。由于本方案中服务器预先根据历史查询语句处理得到的数据模型信息计算出预备数据，进而建立了多个预备数据的映射关系，当接收到查询语句时，可以根据该映射关系查找到对应的该查询语句的目标数据，节省了计算时间，进而提高了查询数据的效率。

摘要： 本发明公开了基于百亿数据OLAP查询平台元数据模型及其实现方法，方法包括：预先设置依次连接的数据存储层、数据映射层、数据处理层、数据展示层；将各业务数据存储到数据存储层的不同存储介质中；将数据存储层存储的各种业务数据进行关系映射形成一个程序对象；基于数据映射层的关系映射，将数据存储层存储的各种业务数据通过对象进行反射，提取对象中的类属性和方法，并进行过滤最终将对象的属性进行存储到Mysq l数据库；将Mysq l数据库的对象属性进行输出显示，并将数据模型供外部调用。本发明实现了一套元数据模型，用户只需通过元数据服务进行查询数据，不需知道底层的数据存储，提高了数据存储处理效率，为用户使用提供了方便。