视音频系统中非结构化数据迁移模块的设计与实现

摘要

数据是对于现实世界信息模型的表示。数据根据其是否具有结构化特性可分为两类：结构化数据和非结构化数据。 新华社视音频系统是新华社音像新闻编辑部新闻素材共享、制作、播出的集成化技术平台。在视音频系统中，主要数据对象是媒体类数据，是典型的非结构化数据，因此非结构化数据管理成为系统设计考虑的主要问题。 本文首先分析了非结构化数据管理中现有技术的优缺点，并根据实际需求，建立了非结构化数据的模型。在设计非结构化数据管理系统基础架构的过程中，研究了如何提高非结构化数据处理效率的问题，提出了基于都柏林核心(DublinCore)和广电标准的新华社编目标准。通过对同类项目、技术进行分析比较，结合具体性能需求的基础上，设计并实现了新华社视音频系统的非结构化数据迁移模块体系架构。本模块利用FC-SAN网络实现LAN-Free的数据迁移，提供完整的存储管理功能。并对数据迁移模块中的任务调度算法和缓存替代策略进行了优化，有效提高了系统响应速度，取得了满意的效果。 该模块作为新华社视音频系统的数据迁移中心核心，目前已经稳定运行12个月，达到设计目标。

目录

文摘

英文文摘

声明

第一章概述

1.1非结构化数据综述

1.2分级存储与数据迁移

1.3存储网络架构

1.4非结构化数据迁移技术

1.5本论文的工作

第二章非结构化数据分析与建模

2.1元数据及其应用

2.2对非结构化数据的分析

2.3数据模型的建立

2.3.1模型的建立

2.3.2模型说明

2.4新华社编目标准的设计与实现

2.4.1 RDF与都柏林核心元素集的介绍

2.4.2 RDF与都柏林核心集的实现

2.4.3新华社的XML编目标准的实现

2.4.4模拟并发性能测试

第三章迁移模块核心功能的设计与实现

3.1系统的总体设计

3.1.1存储网络架构设计

3.1.2关键组件的设计

3.2数据迁移组件架构

3.2.1迁移模块总体设计

3.2.2数据对象处理的分析与设计

3.2.3任务调度处理

3.2.4迁移缓存策略

第四章在实际工作中的应用及效果

4.1入库流程

4.2资料出库流程

4.3系统性能测试

4.3.1入库性能测试

4.3.2出库性能测试

4.3.3系统压力测试

第五章总结

致谢

参考文献

个人简历