面向交通物流大数据处理的元数据管理系统

摘要

在交通物流领域中，建立统一、高效的数据管理方式是降低运营成本、提高数据质量、规范物流管理的迫切需要。本文以某省交通物流云平台项目为背景，该项目包含一系列交通物流大数据处理需求，如对物流企业、应用开发商及平台数据中心的数据进行数据整合并提供统一管理。目前，在数据整合及管理的过程中，主要存在以下问题：1）业务元数据和技术元数据没有建立映射关系，无法对企业异构数据源进行统一管理；2）没有将业务元数据与技术元数据结合，指导数据整合过程；3）由于涉及到安全及隐私问题，数据整合时对企业私有数据访问困难。
　　针对上述问题，本论文在对元数据标准SDMX信息模型、RDF数据立方词汇表以及数据整合等相关技术进行深入研究的基础上，提出了一个面向交通物流领域的业务元数据模型，建立了技术元数据与业务元数据的映射，并与ETL工具相结合，设计并实现一个面向交通物流大数据处理的元数据管理系统。测试及应用表明，该系统是可行及有效的。
　　与其他类似系统相比，本文工作具有以下特点：
　　1）结合SDMX信息模型及RDF数据立方词汇表，提出了一个面向交通物流领域的业务元数据模型，对交通物流领域的术语、业务实体等进行建模；同时建立并维护业务元数据与技术元数据的映射关系。
　　2）提出了基于元数据的交通物流数据整合方法，将业务元数据应用到交通物流领域的数据整合。在用户开发数据整合任务时，利用业务元数据与技术元数据的映射，自动建立整合字段源和目标的匹配，简化了开发过程。
　　3）设计并实现了元数据管理系统，该系统包括元数据管理工具与数据整合工具两部分。元数据管理工具提供技术元数据获取、元数据管理、元数据映射、前置机管理及系统管理功能；数据整合工具提供数据整合任务开发与数据整合任务执行功能。应用情况表明，该系统增强了数据管理能力并提高了数据整合效率。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 研究目标及内容

1.4 本文章节安排

第二章 交通物流业务元数据模型与数据整合方法

2.1 元数据标准、分类及管理模式

2.2 SDMX信息模型

2.3 RDF数据立方词汇表

2.4 交通物流业务元数据模型

2.5 业务元数据与技术元数据的映射

2.6 基于元数据的交通物流数据整合方法

2.7 本章小结

第三章 系统需求分析与架构设计

3.1 业务分析

3.2 系统需求分析

3.3 系统架构设计

3.4 本章小结

第四章 系统核心功能模块的设计与实现

4.1 技术元数据获取

4.2 业务元数据管理模块

4.3 元数据映射模块

4.4 字段匹配模块

4.5 ETL前置机管理模块

4.6 本章小结

第五章 系统测试及应用

5.1 系统测试

5.2 系统应用

5.3 本章小结

第六章 总结与展望

6.1 工作总结

6.2 下一步工作

参考文献

致谢

攻读硕士学位期间已发表的学术论文