OLAP技术

摘要： 研究数据挖掘技术在建筑企业经营管理中的应用,通过精准挖掘建筑企业经营相关数据提升建筑企业经营管理性能.通过数据挖掘技术构建数据智能挖掘模型,并利用该模型对设计的建筑企业经营管理模型中的管理数据进行挖掘后,通过XML数据合成与Web服务器注册完成数据集成,利用改进神经网络算法对集成数据的分类,将分类结果传递至终端数据库存储,利用SAP数据库管理技术合成终端数据,使用OLAP将待分析的数据合成,并通过查询工具、报表工具以及数据分析工具完成企业经营数据的查询、报表生成以及数据分析.实验表明,该方法在挖掘数据时具有极高的准确率和召回率,数据库占用率较低,具一定的实际应用价值.

摘要： 随着信息技术的不断发展,政府借助互联网、大数据和人工智能等新兴技术不断提升治理的现代化水平.农业数字管理是实现政府管理现代化的重要一环,其中,农业生产是农业管理中必不可少的一部分,但目前农业生产数据分散、数据量大、利用率低.该文利用数据同步工具ETL将适合主题的数据存入数据仓库,利用OLAP技术对数据多维分析,分析结果在农业生产决策系统中进行展示,为农业未来的发展决策提供科学依据.

摘要： 目前中国各类教育资源分配不均衡、重复揉杂、数据量庞大、信息分散等问题突出,城乡教育资源共享是实现中国学前教育、初等教育、中等教育和高等教育公平而有质量的有效途径,教育资源各个共享因素相互影响,本文在对数据挖掘的OLAP技术和网格的五层沙漏结构分析的基础上,构建基于OLAP的教育资源共享网格模型,利用该模型深入剖析中国城乡教育资源共享的可行性,为解决中国城乡教育资源的精准化共享提供参考和借鉴.

摘要： 高校科研管理系统在使用过程中,产生了大量科研数据,如何针对这些科研大数据展开有效分析,以提升科研管理质量,成为高校科研管理的一项重要工作.首先分析当下高校科研管理系统在数据统计分析方面存在的问题,提出将数据仓库技术应用于科研管理系统中,并进一步介绍如何进行高校科研管理数据仓库的设计,实现基于科研管理数据仓库的OLAP技术应用,为高校学科建设和专业建设的发展提供决策支持.

摘要： 针对传统智能电表集抄数据分析系统数据集成性能较差的问题,设计一种基于OLAP(On?line Analytical Processing,联机处理分析)技术的智能电表集抄数据分析系统.分别设计系统的硬件及软件,采用OLAP技术对智能电表集抄数据实施切块、钻取以及旋转等操作,以获取有效数据.通过硬件与软件相结合实现了智能电表集抄数据分析功能.最后通过实验结果证明,随时间增长,本文系统的数据集成数值越高,高达0.078,远优于传统智能电表集抄数据分析系统.

摘要： 为了提高电力客户的能源利用效率,基于OLAP技术建立了电力客户能效评估模型.通过介绍和分析OLAP技术的概念与工作原理,确定评估模型的状态因素集合,设计了电力客户能效评估的指标体系,同时引入下钻和上卷等数据处理方法,建立了电力客户的能效评估模型.使用原始能效数据,对能效评估模型进行了理论性评估和分析.结果 表明,该评估模型理论上可以明显评估客户电能使用的科学性,实现节约能源和降低污染的目的 .

摘要： 当前,我国已经迈进了网络一体化的发展进程,网络技术的不断发展与创新改变了世界发展的格局,同时在网络技术的促动下也衍生了更多高新技术,OLAP技术和网格技术就是其中两种,随着数据库技术的不断发展与广泛普及,OLAP技术和网格技术也迎来了更加广阔的发展空间,尤其是在教育领域的应用更加显著,目前,OLAP技术已经成为决策和支持系统领域研究的热点,随着人民群众对决策支持系统(DSS)重要性的深入探索及数据仓库容量的持续增长,OLAP技术及网格体系结构在教育资源共享中的应用效果愈加明显.本文首先对OLAP技术及网格技术做出了系统的介绍,进一步分析了OLAP技术及网格体系结构在教育资源共享中的应用,希望能够为大家提供参考.

摘要： 传统基于物联网技术的灾害信息分析系统,采用多个传感器实时获取城市灾害数据,缺乏灾害信息的同步整合过程,用户难以实时获取系统性的城市灾情信息.对城市防灾应急信息数据同步整合系统进行优化设计,采用基于数据仓库的决策支持系统(DSS)作为核心体系设计系统总体结构;通过信息采集模块、信息处理模块、信息输出模块完成系统硬件设计;利用灾情数据计算模型获取建筑物破坏状态信息与经济损失数据,在此基础上将OLAP技术与Web结合,完成城市灾情信息同步整合,实现城市防灾应急信息数据同步整合系统的优化设计.实验结果表明,所设计系统信息查询响应时间约为1.2s,可靠性均值为97％,能够快速、有效实现城市防灾应急信息数据同步整合.

摘要： 伴随电力行业的日趋迅猛发展,电力变压器的检修工作已经成为电力设备管理中的关键环节.本文从OLAP技术入手进行分析,利用B/S网络架构针对检修系统进行了优化设计,并着重探讨检修系统的建立,促进电力变压器检修体系的完善与发展.

摘要： 随着我国计算机技术的不断提升,使其在越来越多高校管理系统中得到应用,尤其是高效教学决策系统.我国高校教学决策系统拥有海量信息数据交换和共享大型数据库.论文以某高校的教务系统中的教学数据为研究对象,充分的利用ETL技术抽取适合的主题数据,将其抽取到数据库中,运用OLAP技术对这些数据进行分析,找出成绩变化的趋势,且分析变化的原因,为高校的管理者做决策提供有利的依据.

摘要： 由于网络的虚拟性、隐蔽性、发散性、渗透性、随意性和即时性等特点,决定了网络舆情具有不同于普通社会舆情的特征,给舆情数据的组织和分析带来一定难度.利用网络舆情分析模型可以较好地解决这一方面的问题,即使用多维数据立方体进行数据组织,采用OLAP技术进行数据分析统计,计算出舆情信息的关注度、热点、重点、拐点和传播速度等属性,并以此为基础对网络舆情进行全面的分析与预测.

摘要： 由于网络的虚拟性、隐蔽性、发散性、渗透性、随意性和即时性等特点,决定了网络舆情具有不同于普通社会舆情的特征,给舆情数据的组织和分析带来一定难度.利用网络舆情分析模型可以较好地解决这一方面的问题,即使用多维数据立方体进行数据组织,采用OLAP技术进行数据分析统计,计算出舆情信息的关注度、热点、重点、拐点和传播速度等属性,并以此为基础对网络舆情进行全面的分析与预测.

摘要： 由于网络的虚拟性、隐蔽性、发散性、渗透性、随意性和即时性等特点,决定了网络舆情具有不同于普通社会舆情的特征,给舆情数据的组织和分析带来一定难度.利用网络舆情分析模型可以较好地解决这一方面的问题,即使用多维数据立方体进行数据组织,采用OLAP技术进行数据分析统计,计算出舆情信息的关注度、热点、重点、拐点和传播速度等属性,并以此为基础对网络舆情进行全面的分析与预测.

摘要： 由于网络的虚拟性、隐蔽性、发散性、渗透性、随意性和即时性等特点,决定了网络舆情具有不同于普通社会舆情的特征,给舆情数据的组织和分析带来一定难度.利用网络舆情分析模型可以较好地解决这一方面的问题,即使用多维数据立方体进行数据组织,采用OLAP技术进行数据分析统计,计算出舆情信息的关注度、热点、重点、拐点和传播速度等属性,并以此为基础对网络舆情进行全面的分析与预测.

摘要： 通过深入分析OLAP存储模型和查询负载特征,提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术。通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析,评估了技术的可行性。提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构,以维表上规范化的谓词向量操作替代了多样的连接执行计划,实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求,充分利用现代计算机的硬件优势,最小化网络传输和OLAP查询处理代价。实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价,通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率。

摘要： 通过深入分析OLAP存储模型和查询负载特征,提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术。通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析,评估了技术的可行性。提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构,以维表上规范化的谓词向量操作替代了多样的连接执行计划,实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求,充分利用现代计算机的硬件优势,最小化网络传输和OLAP查询处理代价。实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价,通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率。

摘要： 通过深入分析OLAP存储模型和查询负载特征,提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术。通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析,评估了技术的可行性。提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构,以维表上规范化的谓词向量操作替代了多样的连接执行计划,实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求,充分利用现代计算机的硬件优势,最小化网络传输和OLAP查询处理代价。实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价,通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率。

摘要： 通过深入分析OLAP存储模型和查询负载特征,提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术。通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析,评估了技术的可行性。提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构,以维表上规范化的谓词向量操作替代了多样的连接执行计划,实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求,充分利用现代计算机的硬件优势,最小化网络传输和OLAP查询处理代价。实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价,通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率。

摘要： 通过深入分析OLAP存储模型和查询负载特征,提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术。通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析,评估了技术的可行性。提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构,以维表上规范化的谓词向量操作替代了多样的连接执行计划,实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求,充分利用现代计算机的硬件优势,最小化网络传输和OLAP查询处理代价。实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价,通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率。

摘要： 通过深入分析OLAP存储模型和查询负载特征,提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术。通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析,评估了技术的可行性。提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构,以维表上规范化的谓词向量操作替代了多样的连接执行计划,实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求,充分利用现代计算机的硬件优势,最小化网络传输和OLAP查询处理代价。实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价,通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率。

摘要： 本申请提供一种OLAP数据仓库的管理方法，包括：获取时空数据，将所述时空数据按照属性维度进行切分，得到多个属性维度类别的时空数据；创建地理实体表，将所述属性维度映射连接到所述地理实体表，并根据所述映射连接关系将多个所述属性维度类别的时空数据集成到所述地理实体表中；通过连接查询字符来组合所述多个属性维度类别的时空数据，以实现OLAP数据仓库的查询、统计和分析。通过OLAP数据仓库的管理，可有效提升分析效率，帮助时空大数据服务快速生产决策分析结果。本申请还提供一种OLAP数据仓库的管理装置，一种存储介质。

摘要： 本发明提供了一种基于ClickHouse集群实现OLAP高并发的方法及系统，中转服务器接收客户端发出的多条查询请求，并根据ClickHouse集群中每一ClickHouse服务器的负载情况，发送多条所述查询请求，所述ClickHouse集群为一分片多副本结构；所述ClickHouse服务器根据接收到的所述查询请求得到查询结果，并将所述查询结果返回给所述客户端；本发明设置中ClickHouse服务器为一分片多副本的结构，每个ClickHouse服务器都能够独立负责一条查询请求的完整查询，不会因为数据被分片从而使得需要拆分查询请求，从而将处理拆分后多个子查询的能力转化为同时执行多个完整查询请求的能力，提高了对高并发查询的效率。

摘要： 本发明涉及一种基于EAV模型的OLAP数据处理方法、系统、装置和计算机可读介质。该方法包括：获取数据源的变更数据，所述数据源采用EAV模型存储；根据所述变更数据在所述数据源中进行关联查询，形成关联数据宽表，所述关联数据宽表的特征字段包括所述数据源中与所述变更数据相关联的实体、属性和值中的部分或全部；从所述关联数据宽表中提取所述特征字段，根据预设规则将多个所述特征字段划分为第一字段和第二字段；以及将所述第一字段存储在第一存储单元中，将所述第二字段存储在第二存储单元中，其中，所述第一存储单元基于列式存储引擎。

摘要： 本发明公开一种OLAP查询引擎动态cost评估方法及装置，其中，该方法包括：采集数据仓库中数据表的数据量和字段基数；同时记录历史查询sql和对应的查询时间；对sql的执行时间进行离散处理，生成标签；同时将数据表的表信息、过滤字段、分析字段、时间分区、表数据量和分析字段基数，生成各自的特征编码；利用已有的机器学习模型，对已有查询样本，根据提取的数据表的特征进行分类算法训练；将OLAP查询引擎的执行计划转化为特征向量，输入机器学习模型中进行基数评估，从而获得数据表的预估查询时间。该方法及装置使OLAP查询引擎能够快速、准确的对输入的查询sql进行cost评估，生成最优执行计划。

摘要： 本发明公开基于MPP与全文索引构建分布式OLAP数据分析的方法及装置，其中，该方法包括：在搜索引擎建立索引，包含主键字段和至少一个全文查询字段；将全量数据写入MPP数据库的表，同时将主键字段的数据和全文查询字段的数据写入搜索引擎；在搜索引擎使用全文查询字段进行检索，并返回命中记录的主键列表；根据返回的主键列表，在MPP数据库使用主键列表进行数据查询，并对查询后的数据进行分析。该方法及装置在MPP数据库执行大数据量的查询，可以极大节约CPU、内存资源，查询性能高，没有过度的资源消耗，提升查询的稳定性。

摘要： 本发明公开一种从OLTP到OLAP的数据同步方法，涉及数据处理技术领域，其实现内容包括：在OLTP中部署采集单元、编码单元和传输单元一，采集单元采集OLTP的数据，编码单元将采集数据编码为消息，并通过传输单元一传送至OLAP；在OLAP中部署传输单元二、解码单元和写入单元，传输单元二接收传输单元一输出的消息，并通过解码单元将消息解码成数据，解码单元将解码后的数据进一步构建成一个个任务，随后通过写入单元批量同步至OLAP；上述过程中，采集单元将采集数据转换为OLAP支持的格式后通过编码单元编码为消息，或者，写入单元将解码单元输出任务所包含的数据转换为OLAP所支持的格式后批量同步至OLAP。本发明可以提高数据同步性能，且保持恒定的内存用量。

摘要： 本发明提供了一种用于简化大数据OLAP业务代码结构标准化方法。本发明对代码结构和交付包进行模块化和标准化，以实现规范开发，降低部署门槛，提升交付效率。

摘要： 本发明提供了一种OLAP预计算模型建模方法、数据查询方法、装置及存储介质，方法包括：通过获取查询节点发送的查询语句；通过查询语句在数据库多个映射关系中查找到对应的目标数据，并将目标数据反馈给查询节点；其中，数据库中存储有多个预备数据和多个历史查询语句的多个映射关系，每个预备数据是从对应数据模型信息中提取到的；数据模型信息是基于对应历史查询语句处理得到的。由于本方案中服务器预先根据历史查询语句处理得到的数据模型信息计算出预备数据，进而建立了多个预备数据的映射关系，当接收到查询语句时，可以根据该映射关系查找到对应的该查询语句的目标数据，节省了计算时间，进而提高了查询数据的效率。

摘要： 本发明公开了基于百亿数据OLAP查询平台元数据模型及其实现方法，方法包括：预先设置依次连接的数据存储层、数据映射层、数据处理层、数据展示层；将各业务数据存储到数据存储层的不同存储介质中；将数据存储层存储的各种业务数据进行关系映射形成一个程序对象；基于数据映射层的关系映射，将数据存储层存储的各种业务数据通过对象进行反射，提取对象中的类属性和方法，并进行过滤最终将对象的属性进行存储到Mysq l数据库；将Mysq l数据库的对象属性进行输出显示，并将数据模型供外部调用。本发明实现了一套元数据模型，用户只需通过元数据服务进行查询数据，不需知道底层的数据存储，提高了数据存储处理效率，为用户使用提供了方便。

摘要： 本实用新型公开了一种基于数据仓库和OLAP技术的聚类挖掘系统，包括数据存储服务器、多维数据库服务器、OLAP服务器和用于输入数据聚类任务和输出聚类结果的用户界面，所述OLAP服务器通过图形用户界面接口与用户界面进行通信，通过多维数据访问接口与多维数据库服务器进行通信，所述多维数据库服务器通过数据库接口与数据存储服务器进行通信。本实用新型通过将数据库技术、OLAP技术以及聚类挖掘技术结合在一起，实现了多层抽象水平的交互挖掘以及挖掘过程的可视化和挖掘结果的可视化，能够很好地为决策者提供决策依据，辅助决策者进行决策。