ETL

摘要： 本文在对Flink和实时数仓进行研究的基础上,设计出一种基于Flink实时数仓系统设计框架、大数据处理实时化趋势和系统模块功能等内容,旨在为我国数据信息处理功能的圆满实现奠定更扎实的基础。

摘要： 针对长时间序列、多站点和多气象要素的大数据量查询需求,现有的CIMISS(China Integrated Meteorological Information Sharing System)存在支撑能力严重不足的问题。本研究使用广西气象站点建站至今的历史地面气象记录月报表数据资料和现有Hadoop集群物理资源,重新设计数据ETL流程,构建Parquet格式数据集并完成HDFS转换存储;嵌入Spark的Broadcast广播变量,优化Spark集群执行参数,提高了集群的处理并行度和SparkSql的关联查询效率。结果表明,Parquet格式数据集的最高压缩比超过95%,一次性大数据量的查询效率比原来提升了1~5倍,并支持高并发访问,为各类相关预报预测业务的开展提供了有效的技术支撑。

摘要： 智慧园区时空大数据库是智慧园区建设的重要组成部分和首要任务,构建了“以数据为基础、以融合为核心、以应用为导向”的数据融合治理模式,基于ETL数据抽取融合技术及分布式自动化任务调度框架构建了时空大数据融合治理平台,通过自定义时空大数据融合治理流程设计,实现了园区各行业基础地理数据、专题数据、实时动态数据等数据的接入、抽取、融合与加载,并在园区示范应用专题中得到了实现和应用。

摘要： 本文介绍了一种F级绝缘的填料线圈,根据北美ETL标准对其进行老化试验,并对试验结果进行分析的研究过程。

摘要： This research work is the result of multidisciplinary research for the design of a digital learning tool from the basic level. Computer science guarantees the technical concepts of the development of the tool. At the same time, Information and Communication Science discipline describes the concepts of cognitive psychology with digital competence in computerization. The overall goal of this work is to provide an HCI component for basic level learning or HCI for the illiterate. It is about transforming a communication tool from a cognitive system to a digital learning tool adapted to the learner’s level of digital competence. The author relies on the UML class diagram to identify the affordance and serendipity of HCI property entities. The mathematical study of the similarity between these two properties allows us to update the learner’s profile. Stephanie’s approach was used when managing the learner’s profile and the digital competency taxonomy to classify the learner’s level of digital use. The principle of an expert system was taken up in this work to make the decision on the level of digital competence of the learner and to guide the solution so that the learning continues without interruption. This expert system integrates the data science of digital educational materials, defining its specificity. The algorithm of the realization summarizes the implementation of the whole approach. αβGasy@mobile is an application on Android for Malagasy language literacy. To learn the letter “l” with this application, the initially low-level learner had an intermediate assessment score after 2 hours of continuous learning. Self-constructivism has been developed and strengthened by the HCI illiterate component. We have hundreds of learners for the case study and used ten smartphones to 5 inches. On the selected samples, the results of the experiment are close to our objective. More precisely, the inactive time is almost non-existent, the learning time predefined in the system is close to reality, and the speed of return on the interaction is fluid while the evaluation is notified.

摘要： 为解决自然资源信息化体系建设过程中的数据整合问题,更加高效、安全、灵活地实现自然资源各部门业务的数据转换、同步工作,从业务需求角度出发,分析数据整合技术的应用现状,开展对开源ETL工具Kettle的研究。通过分析Kettle的概念模型及应用场景,结合自然资源信息化体系建设中数据多源、数据量大、结构复杂的特点,构建基于Kettle的源数据库转换同步环境,并提出一种新的基于Kettle的数据转换同步方法。在实际项目案例中进行应用验证,与传统方法相比,基于Kettle的数据转换同步方法提高了ETL的开发速度和工作效率,不仅解决了自然资源信息化建设过程中多源数据到目标数据的转换、同步难题,同时也为其他企业数据集成工作提供了更多思路。

摘要： 本文分析介绍一套通过对财务报表、指标数据、决策数据等信息的整合,并将整理好的信息及时推送给用户,以实现公司财务报表及时、便捷、有效地呈现给用户,同时为用户建立损益预测以提高决策能力的解决方案。此智能报表验证了不同系统间实现数据整合的可能性,解决了不同系统间数据不规范、不一致的问题,可直观地监测储量、产量、投资、油价、汇率、费用预算等因素发生变动时对利润的影响。

摘要： 为适应国土资源管理新形势、新要求,加快国土资源管理方式根本转变,全面提升管理水平,需要在全国范围内开展监管平台建设,建立集信息采集与动态监测、信息比对核查、信息综合分析研究等功能于一体的国土资源综合监管平台。论文以某省国土资源综合监管平台为例,阐述综合监管平台的总体框架和关键技术,为国土资源综合监管平台的建设提供参考。

摘要： 本文在分析通用门禁系统基本组成和高校门禁管理主要关注点的基础上,根据易扩、易管、易用三原则,给出了校级统一门禁管理系统的总体架构和功能设计。为了实现系统间的数据共享共用,给出了ETL实现数据交换的示例。当涉及系统间的交互时,提出以WebService接口作为主要的实现技术。将多门禁系统整合为一个平台后,不仅能方便管理,而且为考勤、行为轨迹分析等衍生应用奠定了基础。

摘要： 为了提升分布式数据库多层次之间的数据同步效率,提高数据的共享及复用性,分析了主流的同步机制,选用数据仓库的ETL及XML技术,采用触发器与时间戳相结合的方式实现变更数据的增量抽取,利用Range关键字标记实现断点续传,采用XML技术实现文件与数据库表之间的正反向映射转换。经过实例数据验证可知,随着同步数据量级的增长多层异构数据同步模型时延一直控制在5μs以内,性能优异且无数据丢失的现象,为分布式数据库多层级之间的数据同步提供了可参考方案。

摘要： 在对现有关系数据库增量数据捕获CDC(Change Data Capture)方案优缺点分析的基础上，提出了以快照比对算法为基础的增量数据捕获方案。对方案的验证过程和测试结果进行了论述，最后总结了方案当前存在的问题和改进方向。

摘要： 在对现有关系数据库增量数据捕获CDC(Change Data Capture)方案优缺点分析的基础上，提出了以快照比对算法为基础的增量数据捕获方案。对方案的验证过程和测试结果进行了论述，最后总结了方案当前存在的问题和改进方向。

摘要： 在对现有关系数据库增量数据捕获CDC(Change Data Capture)方案优缺点分析的基础上，提出了以快照比对算法为基础的增量数据捕获方案。对方案的验证过程和测试结果进行了论述，最后总结了方案当前存在的问题和改进方向。

摘要： 在对现有关系数据库增量数据捕获CDC(Change Data Capture)方案优缺点分析的基础上，提出了以快照比对算法为基础的增量数据捕获方案。对方案的验证过程和测试结果进行了论述，最后总结了方案当前存在的问题和改进方向。

摘要： 在对现有关系数据库增量数据捕获CDC(Change Data Capture)方案优缺点分析的基础上，提出了以快照比对算法为基础的增量数据捕获方案。对方案的验证过程和测试结果进行了论述，最后总结了方案当前存在的问题和改进方向。

摘要： 在对现有关系数据库增量数据捕获CDC(Change Data Capture)方案优缺点分析的基础上，提出了以快照比对算法为基础的增量数据捕获方案。对方案的验证过程和测试结果进行了论述，最后总结了方案当前存在的问题和改进方向。

摘要： Taking the characteristics and the demands of a cash flow project of an insurance company into consideration, this paper discusses several essential problems in ETL. First, questions that appear during the data extraction, transformation and loading will be discussed and suitable skills will be adopted to solve the problems. By combing the two design approaches of ETL, this study designs and realizes the ETL tool in the analyzing System of cash flows, and further optimizes a series of performances by using the techniques of parallel execution and bulk load, etc. Finally the ETL tool is able to fully meet the demands of data analyses of cash flow both in the aspects of function and performance.

摘要： Taking the characteristics and the demands of a cash flow project of an insurance company into consideration, this paper discusses several essential problems in ETL. First, questions that appear during the data extraction, transformation and loading will be discussed and suitable skills will be adopted to solve the problems. By combing the two design approaches of ETL, this study designs and realizes the ETL tool in the analyzing System of cash flows, and further optimizes a series of performances by using the techniques of parallel execution and bulk load, etc. Finally the ETL tool is able to fully meet the demands of data analyses of cash flow both in the aspects of function and performance.

摘要： Taking the characteristics and the demands of a cash flow project of an insurance company into consideration, this paper discusses several essential problems in ETL. First, questions that appear during the data extraction, transformation and loading will be discussed and suitable skills will be adopted to solve the problems. By combing the two design approaches of ETL, this study designs and realizes the ETL tool in the analyzing System of cash flows, and further optimizes a series of performances by using the techniques of parallel execution and bulk load, etc. Finally the ETL tool is able to fully meet the demands of data analyses of cash flow both in the aspects of function and performance.

摘要： Taking the characteristics and the demands of a cash flow project of an insurance company into consideration, this paper discusses several essential problems in ETL. First, questions that appear during the data extraction, transformation and loading will be discussed and suitable skills will be adopted to solve the problems. By combing the two design approaches of ETL, this study designs and realizes the ETL tool in the analyzing System of cash flows, and further optimizes a series of performances by using the techniques of parallel execution and bulk load, etc. Finally the ETL tool is able to fully meet the demands of data analyses of cash flow both in the aspects of function and performance.

摘要： 本公开涉及支持基于流的ETL和基于实体关系的ETL的组合。公开了结合用于使映射的设计和维护容易的一种或多种技术的数据集成系统。当组件被添加到现有设计时，数据集成系统消除了指定所有输入和输出属性的需求。在一方面，实现了允许实体关系在逻辑设计的流视图中被添加和/或编辑的组件类型。因此，可以以对映射设计器的该部分的最小努力将表示数据集的组件的属性添加并传播到下游组件。

摘要： 本申请公开了一种ETL任务依赖关系的检测方法和装置，所述方法包括：针对ETL的每一个任务，获取任务包括的数据操作指令；解析数据操作指令，获取任务相关的源表和目标表；根据目标表、任务属性表和任务依赖关系配置表，获取目标表直接依赖的源表和间接依赖的源表；遍历任务相关的源表、直接依赖的源表和间接依赖的源表，采用预设的规则标识与任务相关的各个任务依赖关系的错误类型和可优化类型。采用本申请提供的方法，通过将实际的任务依赖关系和预期的任务依赖关系按预定规则进行比对，自动发现错误和可优化的任务依赖关系，从而减少任务依赖问题导致的故障发生频率，节约测试人员手动排查任务依赖问题的时间，达到提高测试效率的效果。

摘要： 本发明涉及数据处理技术领域，本发明专利提供一种Flink框架运行ETL的流程联合组件方法和装置；ETL流程组件经过拆分重组，然后翻译转换成Flink的操作算子，在Flink操作算子方法中运行重组的ETL子流程，避免重复编写Flink算子中数据处理逻辑代码，避免重复实现数据联合的逻辑代码；union组件的多个数据源可在flink框架不同的TaskManager节点分区或分片并发读取，极大提高数据读取的效率；union组件以及union组件的后续组件集合运行在Flink操作算子的方法ProcessFunction中，避免了使用Flink的union算子，从而避免了不必要的数据序列化和反序列化、网络传输，极大提高数据联合的效率。

摘要： 本发明公开了一种用于数据治理平台的模块化ETL任务处理系统，所述系统包括数据源管理模块、配置管理模块、任务管理模块、任务监控模块、数据分析模块；所述数据源管理模块为任务运行需要的数据源配置提供支持；所述配置管理模块为任务运行所需的全局配置项提供支持；所述任务管理模块为系统主模块，进行任务管理配置；所述任务监控模块为任务运行中的监控界面，负责监控任务执行进度及提供错误预警界面；所述数据分析模块为任务涉及字段提供关联关系分析，并为任务执行后的数据提供可视化图形分析界面。本发明还公开了一种利用上述ETL任务处理系统实现的ETL任务处理方法。

摘要： 本发明实施例提供了一种ETL系统及基于ETL系统的数据处理方法，本方案中，将ETL系统中设备的各种功能解耦，形成实现各种功能的多个处理单元，采用运行状态服务模块存储处理单元对应的运行状态数据，需要执行ETL业务指令时，根据运行状态数据，将合适的处理单元装载至业务处理实例中，控制装载后的业务处理实例，执行ETL业务指令。本方案可根据实际情况选择合适的处理单元执行ETL业务指令，灵活分配处理资源，提高了方案的灵活性。

摘要： 本发明涉及一种基于JSON的ETL工具引擎处理数据的方法及ETL数据处理系统，包括以下步骤：步骤A，JSON化数据，且将JSON格式数据解析为任务处理器能够识别处理的对象；步骤B，任务处理器将所述步骤A中解析之后的JSON格式数据转入任务执行器工厂进行数据处理；步骤C,所述任务执行器工厂执行数据操作。本发明的JSON格式是自定义的，方便后续扩展更多的其他执行器，可以快速、灵活的扩展个性化的ETL任务需求，并且基于JSON格式可以方便的开发可视化界面；本发明使得对各种数据的分析利用、报表开发、分析挖掘等变得更加方便。

摘要： 本发明涉及一种金属改性的ETL分子筛以及ETL分子筛和金属改性的ETL分子筛在羰基化反应中将二甲醚和/甲醇转化为乙酸甲酯和/或乙酸中的用途。具有ETL结构的新型分子筛催化剂具有卓越的羰基化性能，不仅活性高而且可实现乙酸甲酯、乙酸又或二者的混合物选择性高于95％，分子筛催化剂单程稳定性大于2000小时。此外，对该分子筛金属改性后，又可进一步显著提高该催化剂的活性、选择性和稳定性。

摘要： 本发明公开了一种基于ETL系统的文件事件的调度方法和ETL系统，该调度方法包括：判断操作系统是否支持文件事件；若操作系统支持文件事件，则采用被动触发方式调度文件事件；若操作系统不支持文件事件，则采用主动触发方式调度文件事件。在本发明中，提供了一个完整的文件事件触发的作业调度方法，支持不同文件事件的触发调度，当底层操作系统支持向上层应用程序通知文件事件时，触发线程服务等待操作系统的文件事件通知；当底层操作系统不支持文件事件时，后台线程实时轮询指定路径下的文件创建、修改、删除等变化，获取文件事件。针对不同的ETL系统，可以灵活的支持各种应用需求，适应不同的底层操作系统。

摘要： 本发明涉及支持基于流的ETL和基于实体关系的ETL的组合。公开了结合用于使映射的设计和维护容易的一种或多种技术的数据集成系统。当组件被添加到现有设计时，数据集成系统消除了指定所有输入和输出属性的需求。在一方面，实现了允许实体关系在逻辑设计的流视图中被添加和/或编辑的组件类型。因此，可以以对映射设计器的该部分的最小努力将表示数据集的组件的属性添加并传播到下游组件。

摘要： 本申请公开了一种ETL任务依赖关系的检测方法和装置，所述方法包括：针对ETL的每一个任务，获取任务包括的数据操作指令；解析数据操作指令，获取任务相关的源表和目标表；根据目标表、任务属性表和任务依赖关系配置表，获取目标表直接依赖的源表和间接依赖的源表；遍历任务相关的源表、直接依赖的源表和间接依赖的源表，采用预设的规则标识与任务相关的各个任务依赖关系的错误类型和可优化类型。采用本申请提供的方法，通过将实际的任务依赖关系和预期的任务依赖关系按预定规则进行比对，自动发现错误和可优化的任务依赖关系，从而减少任务依赖问题导致的故障发生频率，节约测试人员手动排查任务依赖问题的时间，达到提高测试效率的效果。