数据仓库

摘要： [研究目的]构建海量异构环境下数据湖的体系架构。[研究方法]分析了数据仓库与数据湖之间的差异,阐述了数据湖实施必要性及所面临的挑战,构建基于数据流转维度及业务处理维度的数据湖架构。[研究结论]数据仓库与数据湖之间存在数据结构、采集模式、数据过程、实时性、数据存储、数据访问、用户等七个方面的差异;数据湖面临治理策略需有效、数据标准需规范、技术措施需明晰、业务协同需加强等挑战;基于数据流转维度架构体系分数据采集、数据存储、数据分析/消费;基于业务处理维度架构体系分为数据基础设施、数据应用软件及数据治理。

摘要： 随着高等教育体制改革的不断深入,实现高校内涵式发展,促进财务工作由财务管理向财务治理转型,已成为高校在新的发展阶段实现高质量发展的迫切任务。在当前“大智移云”信息技术融合运用和“数据”价值被广泛认知的大数据时代背景下,高校财务数据治理成为提升财务治理能力的突破点。本文在系统分析高校财务数据治理存在问题的基础上,从数据质量治理、数据应用治理、数据安全治理、数据运行治理等方面,提出了提升高校业财数据智能化水平的实践路径,即构建高校财务决策支持平台,以期为全面推进高校治理体系现代化建设提供借鉴与参考。

摘要： 随着轨道交通建设的迅速发展,各城市轨道交通网络化程度愈加完善,对AFC系统的数据统计信息化、自动化和智能化的需求日益增加。目前AFC系统积累了大量基础数据,可在数据仓库技术及数据挖掘技术的发展基础上,通过2项技术的综合应用,建立一套综合决策体系,以达到深层次的数据挖掘,为管理者决策提供科学性的参考依据。AFC系统综合决策体系的建立需在AFC系统中建立主题数据库,实现数据仓库的数据存储及分级的功能,具备数据基础统计和分析能力;同时在此基础上运用数据挖掘相关技术,从主题数据库中挖掘决策所需知识,提升运营管理和决策的科学性与可靠度。以昆明轨道交通日票为例,运用综合决策体系,开展日票收益预测工作,为运营管理决策提供必要的数据支撑,提升运营管理人员工作效率,最后提出后续开展针对决策内容选取恰当的数据挖掘方法的研究方向。

摘要： 以数据辅助领导决策、以数据驱动业务发展已成为企业数字化转型的必然选择。文章介绍了中邮网院大数据分析平台的系统架构、系统功能以及应用领域,探讨了中邮网院大数据分析应用的未来发展方向。

摘要： 目的采用一种自行设计的通用存储模型解决医院各业务系统异构数据的集成问题。方法采用以图结构为中心的数据建模方法。通过对集成现状和数据特性的分析,构建体现数据本原的集成存储模型和数据仓库。结果定义了基础存储数据模型的类、类对象、属性(特性)、生命周期和语义类的元数据结构,以及描述客观数据的9种数据类型;利用基础存储数据模型,能够将列方式存储的数据转为行方式存储;实现了医院各业务系统异构数据同构化;通过预先定义的语义和属性结构之间的内在关联,结合实例,建立应用视图。结论该模型能满足医院业务系统数据集成的需要,通过济南市某医院异构数据整合的实践,证明具有实用性和可拓展性。

摘要： 借助信息技术手段提高数据资源开发和利用效率,发挥数据潜在价值和聚合效应,对企业管理提升和数字化转型具有重要意义。针对工程企业市场经营工作中面临的业绩资源分散化、质量参差不齐、使用效率低等问题,基于数据仓库技术将分散于不同业务系统和业务人员手中的业绩资源进行全面采集、整理、聚合、存储、分析,构建了一个企业级业绩共享平台,为企业市场定位分析、项目投标和管理辅助决策等工作提供综合化、高质量、安全可靠的数据检索与应用服务。

摘要： 高校数据呈现多元化状态,应用场景不断被多样化、碎片化、即时化的轻量级微服务解耦,业务部门要求实现跨平台、跨部门协同办公,提供高效的数据挖掘、分析与决策服务。传统数据中台无论从数据质量、体量还是供给方式上均不能满足需求。针对存在的问题,设计了新型的数据中台方案,提出构建采集数据、治理数据、发布数据、管理数据、分析数据五类能力,形成数据标准、数据资产、知识库、数据处理和分析、制度规范五个体系,为解决数据的管、通、统三类核心问题和实现数据的全生命周期治理提供了一种新的解决思路。研究成果在一定程度上丰富了智慧校园研究内容,也可为高校信息化建设提供一定的理论参考和方法借鉴。

摘要： 建立科学规范有效的开放政府数据质量评估体系能够推动政府数据开放,培育发展数据要素市场。元数据作为规范描述开放政府数据资源的重要信息,成为评估其开放质量的基础。提出基于元数据的开放政府数据质量自动评估系统,以林业开放政府数据为例,运用商务智能技术构建质量评估各个环节,提出由“输入—分析—输出—后端”四模块的系统架构,分析出“数据源—质量评估—数据仓库—可视化”四步数据处理流程,通过采集中、美5个林业开放政府数据平台的元数据实例完成了原型验证,并提出未来的研究改进方向。研究实现了基于元数据的林业开放政府数据质量的自动获取、实时监测和定期评估,为一般性开放政府数据质量评估提供借鉴和参考。

摘要： 基于云平台的大数据分析能力,对海量数据进行分析和变现,构建煤矿大数据主数据管理系统及数据仓库,为平台运行管理和智能决策提供数据支持。煤矿大数据框架包括数据抽取加工、数据共享和交换、数据分析与预测等方面,最终构建主体数据模型库,从而形成数据集市,为综合管控平台各种应用提供数据支持。

摘要： 为从滑坡历史数据中获取有效的预测预报信息,利用基于数据仓库的数据挖掘技术,结合已有滑坡多个维度的数据集,以巴东县新城区滑坡灾害分布作为研究对象,建立了滑坡灾害敏感性和灾害区划模型。结果表明:该模型对于滑坡空间分布的预测精度可达到87.5%左右,对于滑坡时间尺度上的预测精度较低,约为65%左右,其准确度可以满足工程要求;数据仓库和数据挖掘技术在地质灾害预测预报领域具有广泛的应用前景,较传统预测预报方法更为方便和迅捷。

摘要： 决策就是依据某些数据,对企业现状进行分析,并决定采取相应的措施来推动企业的发展,但让决策者在浩如烟海的企业信息系统中找出这些数据可能并非易事.正是为了这样的目的设置了数据仓库,来整合来自方方面面的数据资源,并能够在其中挖掘潜在的商机,可谓大势所趋,势在必行.

摘要： 随着计算机信息技术的飞速发展,由大数据技术引领的新型警务模式已然成为未来公安信息化改革的趋势.研究大数据技术对公安信息化有着极大推动作用.当今公安工作越来越依托信息化这一模式,因此对于这些海量数据的计算、存储、分析的安全性及系统的稳定性有着极高的要求,在这样的背景下,引入了“云技术”这一概念.本文围绕着大数据技术中几项关键技术:云计算技术、云存储技术、数据仓库技术.从技术层面分析其在公安信息化中的实际运用,为大数据引领的公安信息化改革提供一种思路.

摘要： 代码是规范流程的工具，能用代码生成的就避免手工开发，及时抽象通用的知识，及时重构迭代，数仓架构师必须有大局意识，从被动出数到主动提供洞察。

摘要： SparkSQL多源数据整合能够同时分析不同的数据源中的数据，根据不同的SQL自动选择合适的数据源，同时分析结果写入合适的数据源。

摘要： Hash Data数据仓库是完全托管的PB级数据仓库服务，数据分析接口100%兼容PostgreSQL和Greenplum Database。

摘要： 随着企业业务量的增加和业务的变化,旧的企业管理系统难以支撑企业日常的业务,需要对管理系统更新换代.旧系统中积累了大量珍贵的数据资源,这些数据对于新系统的良好运转是十分必要的.但是新旧系统的数据结构差异使得旧系统的数据不能直接应用于新系统,需要高质量的数据迁移.为了保证历史数据能够应用于新的管理系统,以海南营销管理系统旧系统数据迁移为背景,对数据迁移技术进行了探讨和设计,并将ETL技术成功应用于旧营销系统的数据迁移,并总结了在数据迁移项目中使用的管理方法.

摘要： 随着企业业务量的增加和业务的变化,旧的企业管理系统难以支撑企业日常的业务,需要对管理系统更新换代.旧系统中积累了大量珍贵的数据资源,这些数据对于新系统的良好运转是十分必要的.但是新旧系统的数据结构差异使得旧系统的数据不能直接应用于新系统,需要高质量的数据迁移.为了保证历史数据能够应用于新的管理系统,以海南营销管理系统旧系统数据迁移为背景,对数据迁移技术进行了探讨和设计,并将ETL技术成功应用于旧营销系统的数据迁移,并总结了在数据迁移项目中使用的管理方法.

摘要： 随着企业业务量的增加和业务的变化,旧的企业管理系统难以支撑企业日常的业务,需要对管理系统更新换代.旧系统中积累了大量珍贵的数据资源,这些数据对于新系统的良好运转是十分必要的.但是新旧系统的数据结构差异使得旧系统的数据不能直接应用于新系统,需要高质量的数据迁移.为了保证历史数据能够应用于新的管理系统,以海南营销管理系统旧系统数据迁移为背景,对数据迁移技术进行了探讨和设计,并将ETL技术成功应用于旧营销系统的数据迁移,并总结了在数据迁移项目中使用的管理方法.

摘要： 随着企业业务量的增加和业务的变化,旧的企业管理系统难以支撑企业日常的业务,需要对管理系统更新换代.旧系统中积累了大量珍贵的数据资源,这些数据对于新系统的良好运转是十分必要的.但是新旧系统的数据结构差异使得旧系统的数据不能直接应用于新系统,需要高质量的数据迁移.为了保证历史数据能够应用于新的管理系统,以海南营销管理系统旧系统数据迁移为背景,对数据迁移技术进行了探讨和设计,并将ETL技术成功应用于旧营销系统的数据迁移,并总结了在数据迁移项目中使用的管理方法.

摘要： 各金融机构按照央行规定的可疑交易标准报告可疑交易该银行的反洗钱规则引擎可将交易进行过滤和标记，并推送给业务人员进行调查、判断和确认。反洗钱规则引擎被标记的总案件量较多，业务人员在此种情景时下“大海捞针”，往往要耗费大量的时间和精力。在本次的测试环境中统计发现：每天触发规则引擎的账户约225，而最终认定并成功报送的大约2户，成功报送比例约1%。

摘要： 本发明公开了一种用于配置MOM数据仓库并向MOM数据仓库配置提供UI的方法，所述MOM数据仓库针对在制造执行系统内处理的数据形成数据库，其特征在于，所述方法包括以下步骤：a)把要在UI中呈现的数据映射到基于由制造执行系统控制的制造过程的行业分类的层次数据模型中；所述层次数据模型具有多个层；b)将层次数据模型映射到基于径向控制的UI中；c)在基于径向控制的UI中显示层次数据模型的至少两个层；以及d)提供导航动作以便向上滚动和/或向下滚动浏览层次数据模型的层。

摘要： 本发明提供了一种数据仓库管理系统，包括：数据库建立单元，用于建立HBase数据库，并将事务型数据库中的数据转移至所述HBase数据库中；数据分析单元，用于对所述HBase数据库中的数据进行数据挖掘分析；结果展现单元，用于展现所述数据挖掘分析的分析结果。本发明还提出了一种数据仓库管理方法。通过本发明的技术方案，可以具备良好的扩展性，尤其对海量数据的支持效果极佳。

摘要： 本发明公开了一种基于服务数据的数据仓库创建方法及数据仓库，包括：在所述数据仓库创建多个相关数据层；基于预设算法，对各层数据加工与处理进行初始化；采集服务数据；基于上述初始化，对所述服务数据进行加工与处理。本发明可对多数据源进行整合、对数据进行建模加工，并设置有统一的数据标准，为基于服务数据的数据仓库创建提供良好的解决方案。

摘要： 本发明公开了一种用于配置MOM数据仓库并向MOM数据仓库配置提供UI的方法，所述MOM数据仓库针对在制造执行系统内处理的数据形成数据库，其特征在于，所述方法包括以下步骤：a)把要在UI中呈现的数据映射到基于由制造执行系统控制的制造过程的行业分类的层次数据模型中；所述层次数据模型具有多个层；b)将层次数据模型映射到基于径向控制的UI中；c)在基于径向控制的UI中显示层次数据模型的至少两个层；以及d)提供导航动作以便向上滚动和/或向下滚动浏览层次数据模型的层。

摘要： 本发明提供了一种数据仓库管理系统，包括：数据库建立单元，用于建立HBase数据库，并将事务型数据库中的数据转移至所述HBase数据库中；数据分析单元，用于对所述HBase数据库中的数据进行数据挖掘分析；结果展现单元，用于展现所述数据挖掘分析的分析结果。本发明还提出了一种数据仓库管理方法。通过本发明的技术方案，可以具备良好的扩展性，尤其对海量数据的支持效果极佳。

摘要： 本发明公开了一种由数据仓库与数据元件仓库组成的数据要素金库，由数据仓库与数据元件仓库组成的数据要素金库包括：数据仓库，用于存储数据，所述数据不能输出所述数据要素金库；数据元件仓库，用于存储数据元件，所述数据元件包括元件模型以及元件结果，所述元件结果为所述数据通过所述元件模型处理后、用于输出所述数据要素金库的数据集。本发明通过基于数据元件仓库和数据仓库构建数据要素金库，如此操作使数据仓库中的数据不能输出所述数据要素金库，从而实现了数据可用不可见，加强了对数据的管理，进一步提高了数据的安全性。

摘要： 本申请是关于一种数据仓库数据监控方法、仓库系统和电子设备。该方法包括：定时同步源数据到数据仓库；统计当天同步的源数据的监控指标；通过时序算法计算历史同步数据的参考值；通过所述监控指标和所述历史同步数据的参考值计算数据波动区间；根据所述数据波动区间与预设的数据波动区间的比较结果来生成监控报告。通过时序算法分析历史同步数据与实际的当天同步的源数据的统计值进行比较，并配置波动区间来实现数据自动校验，可以提升数据仓库数据的可靠性，可以快速发现数据仓库数据同步后的数据问题。

摘要： 本发明提供了一种基于金融云端数据仓库和数据湖的数据管理方法和系统，包括：步骤1：在引入新的数据源时，根据数据性质和数据价值，区分骨干数据和边缘数据；步骤2：对于骨干数据，按照数据模型建设思路，对原始数据进行表级分析、字段级分析，根据分析结果完成骨干数据的引入；步骤3：对于边缘数据，按照实时宽表引入，根据源数据格式建立目标宽表，编写ETL脚本，完成脚本单元测试，从而完成边缘数据引入。本发明实现了一套数据仓库结合数据湖的解决方案，数据仓库根据先整理后存储的原则，具有数据关联性强、标准统一的特性；数据湖根据先存储后使用的原则，更利于高效的数据分析、数据探索。

摘要： 公开了一种数据处理方法、数据读取方法、装置及数据仓库系统。计算数据在一个或多个指标名下的指标值；将由主键、指标名以及与指标名对应的指标值组成的指标数据写入存储部件，其中，主键用于表征计算指标值所依赖的数据集合的唯一性。由此，通过按照“主键+指标名+指标值”的数据格式将计算得到的指标数据存储到存储部件，可以将指标开发和使用进行解耦，增强数据仓库模型建设的复用性及易维护性。

摘要： 本发明公开的属于数据处理技术领域，具体为一种兼容数据仓库和数据湖的数据存储平台构建方法，包括以下步骤：步骤1：采用列式存储以及行列混存对数据湖和数据仓库的数据进行存储；步骤2：对数据仓库和数据湖的存储层进行整合，并采用分区的方式独立区隔数据湖和数据仓储的存储区域；步骤3：构建统一的元数据管理层，通过本层实现对上层应用负载屏蔽底层存储实现细节，提供对上层应用负载的统一数据服务，本发明不仅可以保证数据湖和数据仓库的正常使用，还可以解决在两个产品之间存在的数据冗余问题并向用户提供全局统一的数据管理视图，进一步的还能够减少并简化了技术栈，减少整体的管理和运维成本减少数据冗余和存储成本。