元数据管理

摘要： 目前,随着高校信息化建设步伐的持续加快,以流程服务为核心的智慧校园相继形成,其中智能感应、智慧校园、物联网等技术应运而生,信息建设面临海量信息存储、流程智慧管理、数据全面开放等挑战,也对高校智慧校园建设提出了更高的要求。在此背景下,校园信息化建设逐渐从“数字化”逐渐调整为以流程服务为切入点的“智慧化”,即智慧校园是现阶段我国高校大数据利用、治理的一个顶层应用。鉴于此,文章首先探讨了高校智慧校园建设的发展态势,然后对智慧校园的实际运用展开探讨,并通过技术设计创建了相应的端口与架构,旨在为促进高校大数据治理技术的全面提升提供帮助。

摘要： 为了提升半结构化数据的安全转换能力、降低数据转换输出误码率(BER),提出基于元数据管理的半结构化数据安全转换方法。构建云存储动态半结构化数据的Hash编码模型,采用动态随机码元调制方法,分析云存储动态半结构化数据的参数统计特征量。采用模糊自相关融合调度方法,构建云存储动态半结构化数据的直觉模糊度对偶集。采用统计分析和概率密度特征采样的方法,构建云存储动态半结构化数据分簇聚类融合模型。采用元数据管理和参数模糊度辨识,实现半结构化数据安全转换和多属性群决策。根据分组交换的方法,实现云存储动态半结构化数据动态分析和聚类。结合信息聚类和自适应学习方法,实现半结构化数据安全转换和编码控制。仿真结果表明,采用该方法进行半结构化数据安全转换的准确性较高、数据输出误码率较低、融合性较好,提高了半结构化数据的安全传输能力。

摘要： 2020年6月,浙江省丽水市档案局承担的“OFD格式封装行政审批电子档案的可靠性研究与实践”课题通过国家档案局验收。该课题涵盖丽水市行政审批类电子文件归档与电子档案管理全程,形成了管理闭环,为行政审批电子档案及其元数据管理提供了一种有效方法和技术路线,并在实践中得到应用。

摘要： 针对单一元数据服务器在数据处理和系统可用性上的局限,以及服务器集群异构问题,提出采用最小二乘法估算出请求数量REP与操作时延lag线性方程的斜率评估服务器性能,然后建立基于权重的异构服务器文件目录迁移策略,从而解决服务器异构和MDS集群均衡问题。实验结果表明,采用线性方程可较好拟合和评估服务器性能。对比传统CLBS负载均衡策略,本均衡吞吐量稳定在950ops/s左右,操作时延稳定在1.2ms。由此说明,本研究提出的元数据集群存储均衡策略可行。

摘要： 新型非易失存储器是下一代计算机内存最具潜力的候选之一.基于非易失存储器构建持久性内存系统面临着2方面挑战:保证数据安全性、优化写操作.为此,现有工作提出加密和完整性检测技术以保证安全性,同时提出选择重加密策略以优化写操作.这些技术在持久性内存中引入多种元数据,但尚无研究工作综合考虑各类元数据特性以实现高效管理.为解决此问题,提出一种面向安全持久性内存的元数据协同管理方法(coordinated metadata management for secure persistent memory,COTANA).COTANA将加密和选择重加密元数据整合在相同块中,以减少加解密时元数据访问开销.同时,COTANA将整合后的块作为叶子结点构建完整性检测树,并通过将消息鉴别码放置在纠错码芯片中避免额外访问延迟.此外,通过实验发现数据块中不同字节存在不同修改频率.在选择重加密时,COTANA采用动态数据分片策略,从现有的连续分片方法和针对修改频率规律设计的聚集分片方法中动态选择造成位翻转最少的方法.实验结果显示,与采用最新的元数据管理方法和选择重加密策略的系统相比,COTANA最多能提升13.7%的性能,并减少21.3%的位翻转.

摘要： 图书馆系统自1950年代起步,由最初的单模块系统逐渐发展到整合采编典流等多个模块,并以MARC格式为轴的第一代集成系统.随着信息生态的变化,无论是封闭的MARC格式还是系统的堆叠式开发,都使其丧失了"集成性".鉴于此,新一代图书馆系统,即图书馆服务平台通过设计统一的数据模型与集中式元数据仓储,实现了对全媒体资源和多种元数据标准的兼容,初步实现纸电一体化.相较于商业化的Alma,开源的FOLIO平台为图书馆提供了一个更加自主的平台.在元数据管理方面,FOLIO设计了"统一记录—业务记录—正式记录"的分层描述原则,构建从抽象层到详细描述层的链路.顶层的统一记录即Codex是整个平台的数据注册与链接中心,制定了兼容多种媒体资源的数据模型与最小元素集,消除了描述标准、数据格式和存储位置的差异.FOLIO也为知识融合和实体管理提供了实施基础与方案.一方面以BIBFRAME 2.0和DC为基础的Co-dex,为面向实体的元数据管理提供了足够的灵活性;另一方面,FOLIO设计了单独的实体管理APP,进行跨域的实体规范控制.这不仅可以对本地规范数据和取值词表进行创建、发布和永久URI维护,也可以对外部多源数据进行整合与利用.

摘要： 金融数据仓库的用途主要是存储金融行业产生的数据,以便于金融企业进行分析和决策,而如今金融互联网以及电子商务发展非常迅速,这也使得数据呈爆炸式增长,尤其是在金融企业中,决策更加依赖于所获得的数据是否准确,而影响其精度最关键的因素之一就是金融元数据,因此,如何有效地进行金融数据的管理与处理就变得尤为重要.文章主要从金融数据仓库系统中元数据的主要内容、功能、应用环境等方面,对元数据在金融企业及金融数据分析中的作用进行研究,并提出了基于CWM标准的金融数据仓库,为金融数据仓库的建设提供了一种新的思路.

摘要： 在数字出版潮流以及用户需求变革的双重驱动下,国家科技图书文献中心(National Science and Technology Library,NSTL)无论是源头的资源建设模式还是终端用户的服务需求都发生较大变化,亟待面向新的业务发展目标构建一体化的元数据管理模式.在NSTL总体业务流程重组再造中,NSTL元数据管理的主要目标在于对资源品种、卷期以及文摘元数据进行规范集成,并形成名称规范库,同时支持服务过程中的资源调度计算.基于上述目标,本文对NSTL元数据一体化管理核心流程以及多源异构元数据质量控制策略进行分析,并以NSTL元数据管理系统为例,论述元数据一体化管理的具体实现过程.

摘要： 近日,国家档案局公布企业电子文件归档和电子档案管理试点通过验收企业名单(第三批),由云南省档案局推荐的试点单位中国电建集团昆明勘测设计研究院有限公司通过验收。本次试点内容为产品管理系统形成的电子文件归档和电子档案管理,对业务系统电子文件归档、电子档案系统整编管理、Hydro BIM工程知识资源系统利用、系统接口、归档过程、存储格式、"四性"检测、元数据管理、电子档案管理及利用等方面进行了积极探索。

摘要： 数据分层主要有业务应用层、中间汇总层、基础加工层、原始接入层。元数据管理包括：数据洞察、数据集成、数据开发、运维管理。

摘要： 新一代图书馆系统是构建在文献元数据仓储上的图书馆门户，建设元数据管理平台、学科馆员工作平台、用户行为分析平台、信息交互与推送系统。

摘要： 简述了基础数据建设演进，分析了数据仓库建设以及数据质量建设，包括元数据管理，日志扫描，日志规范流程，业务库规范流程，血统分析。

摘要： 随性计算机和互联网的迅猛发展,在金融、国防等一些特定应用领域中,数据总量爆炸性增长,这对存储系统的性能、容量、安全性等提出了更高的要求.本文在研究现有分布式文件系统的基础上提出了一种基于对象存储的分布式文件系统设计方案,并重点阐述了其架构设计原理、分布式元数据管理技术和对象存储技术.经过应用测试,该系统各项功能指标良好,均满足设计要求.

摘要： 虽然经过十余年的数字资源系统元数据管理，但随着数字技术和信息化的发展，仍有一些问题逐渐浮出水面，比如如何整合资源，为专业研究人员推送各类所需要的数字资源，并且提供合适的方式以方便研究工作；如何升级数字资源系统，提高元数据采集的效率；如何有效管理资源，从元数据中统计分析出展览、出版的喜好等心理因素，每个资源的利用率，资源的有效周期等。数字资源的元数据是古建筑这样的文化遗产最重要的翻译内容，元数据的加工和管理之路任重而道远，希望此文能给相关人员一点参考，也希望更多的人员开拓道路，传承丰富而珍贵的文化遗产。

摘要： 本文主要说明设计数据描述时所涉及的问题，并介绍在数字化图书馆项目中所应用的XML/元数据管理系统，说明其系统特色、架构、功能及使用方式。元数据技术是数字图书馆系统的核心，而XML是目前元数据中采用较普遍的语言。但是目前元数据的格式非常多，而且由于数字图书馆的数据类型可能有很多种，也可能会采用不同对应的元数据格式，这都是数字图书馆与传统图书馆不同之处。因此，设计元数据管理系统时，不能只针对一种格式，而应该以XML为核心，能兼容各种元数据格式才比较适当。

摘要： 高效的去、中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起到了至关重要的作用。针对基于哈希的划分和基于子树划分的元数据管理方案扩展代价巨大以及对集群变动敏感等问题,提出一种基于一致性哈希结构的MDS(MetaData Server)集群化方案—CH-MMS.CH-MMS在一致性MDS集群上引入虚拟MDS,有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量。阐述了CH-MMS的体系结构,介绍了核心数据结构LayoutTable、虚拟MDS结构、延迟更新机制以及相关算法,并对CH-MMS扩展性、容错性作了定性分析。最后通过原型系统和模拟试验说明,CH-MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求。

摘要： 针对现在实时数据库不能满足全网计算这一特点,本文提出了电力系统分布式并行实时数据库的设计方案和架构。本文建立了应用主机和机器节点的映射关系,然后使用元数据管理系统对索引进行存储组织,以满足高并发访问的特点。全网计算首先访问并行实时库提供的统一接口,从每个节点上取得数据,然后将数据汇总,做全网计算。实验效果表明,本文研究和设计的系统可以很好的满足全网计算的要求。

摘要： 开源分布式文件系统HDFS为支持流式读写、提供高吞吐量访问而放宽了一部分POSIX约束,而基于HDFS研发的海量小文件系统SMDFS遗留了HDFS不兼容POSIX约束的这一问题,导致系统在实际生产应用环境中不支持文件的编辑和Linux下文件的可执行属性.本文提出基于本地缓存的POSIX兼容技术和基于数据暂存区的元数据高效管理技术,实现SMDFS的POSIX兼容和性能优化.基于本文成果实现的SMDFS3.0能有效支持文件随机读写操作和Linux下文件的可执行属性扩展.测试表明,基于目录的元数据缓存的设计,在一定程度上保障了文件系统Linux客户端的读写性能.特别地,目录的List操作效率有近10倍的提升.相比于HDFS的Linux客户端,SMDFS3.0的数据装载性能和访问性能都有很大幅度的提升.

摘要： 开源分布式文件系统HDFS为支持流式读写、提供高吞吐量访问而放宽了一部分POSIX约束,而基于HDFS研发的海量小文件系统SMDFS遗留了HDFS不兼容POSIX约束的这一问题,导致系统在实际生产应用环境中不支持文件的编辑和Linux下文件的可执行属性.本文提出基于本地缓存的POSIX兼容技术和基于数据暂存区的元数据高效管理技术,实现SMDFS的POSIX兼容和性能优化.基于本文成果实现的SMDFS3.0能有效支持文件随机读写操作和Linux下文件的可执行属性扩展.测试表明,基于目录的元数据缓存的设计,在一定程度上保障了文件系统Linux客户端的读写性能.特别地,目录的List操作效率有近10倍的提升.相比于HDFS的Linux客户端,SMDFS3.0的数据装载性能和访问性能都有很大幅度的提升.

摘要： 本发明公开了一种文件的元数据管理系统，包括：元数据管理子系统，用于存储并管理文件的元数据；元数据位置管理子系统，用于存储并管理所述元数据的存储位置信息；以及服务接入节点，用于在接收到文件的应用请求时，从所述元数据位置管理子系统获取所述文件的元数据的存储位置信息，并根据所述元数据的存储位置信息从所述元数据管理子系统获取所述元数据。相应地，本发明还公开了一种文件的元数据管理方法。采用本发明，可以使对外提供的元数据的并发访问能力提高。

摘要： 本申请公开了一种基于binlog的元数据管理方法和装置，以及一种用于提供元数据的方法和装置。其中，所述基于binlog的元数据管理方法包括：从MySQL主数据库获取元数据，作为基准元数据；以上述获取基准元数据的时间点为起点，从所述MySQL主数据库获取二进制日志binlog数据；在上述获取binlog数据的过程中，针对所述binlog数据中的每个日志事件执行下述操作：判断所述日志事件记录的是否为DDL操作；若是，存储与所述DDL操作相关的信息。采用本申请提供的方法，实现了对MySQL主数据库在各个时间点的元数据的自主管理，从而可以提供从自主管理的起始时间到当前时间之间的任意一个时间点的元数据信息，增强了binlog解析功能的容错性和可运维性。

摘要： 本发明实施例涉及一种元数据的调用方法和元数据管理系统，所述调用方法包括：当应用调用数据时，根据应用中存储的模型定义和模型关系，确定所需调用的模型；根据所述模型的模型项下规定字段的属性，从租户元数据库中查询并调用相应字段；将调用好字段的模型项，拼接成数据。

摘要： 本发明公开元数据管理方法、元数据管理端、电子设备和存储介质，其中，一种元数据管理方法，包括：响应于用户在所述接口适配层配置所述目标数据库的连接配置信息，与所述目标数据库建立元数据管理连接，以使所述管理端能够访问所述目标数据库；响应于所述用户在所述管理端中对表的操作，将所述目标数据库中的所述表的信息采集至所述元数据存储层。通过与目标数据库建立元数据管理连接，以使管理端能够访问目标数据库，然后响应于用户在管理端中对表的操作，将目标数据库中的表的信息采集至元数据存储层，从而可以实现可以在元数据管理中清晰看到哪些模型需要修改，从而避免了纰漏，分析事故率大大降低。

摘要： 本申请公开了一种元数据管理方法、元数据管理系统及存储介质，该元数据管理系统包括：元数据服务器与至少一个存储池，元数据服务器包括多个与存储池一一对应的管理模块，管理模块用于对文件对应的元数据信息进行管理；存储池与管理模块连接，存储池包括存储文件的数据节点服务器。通过上述方式，本申请能够提高元数据服务器的并发能力和承载数据节点服务器的数量。

摘要： 本发明公开了一种文件的元数据管理系统，包括：元数据管理子系统，用于存储并管理文件的元数据；元数据位置管理子系统，用于存储并管理所述元数据的存储位置信息；以及服务接入节点，用于在接收到文件的应用请求时，从所述元数据位置管理子系统获取所述文件的元数据的存储位置信息，并根据所述元数据的存储位置信息从所述元数据管理子系统获取所述元数据。相应地，本发明还公开了一种文件的元数据管理方法。采用本发明，可以使对外提供的元数据的并发访问能力提高。

摘要： 本发明公开了一种基于元数据管理的调控云电网模型数据管理方法，包括以下过程：S1，将调控云电网调度内任一数据抽象为数据对象；S2，对每个数据对象进行ID编码，每个数据对象具有唯一的ID；S3，基于数据对象之间的关系建立元数据结构表；S4，对元数据结构表中存储的信息进行扫描实现数据的全关联。本发明将数据抽象为数据对象，并创新数据对象ID编码方案，以ID作为数据唯一标识的管理方式，使得数据结构标准化、数据维护标准化，准确性提高，使得数据质量大幅提升，便于科学管理。

摘要： 本申请公开了一种元数据服务器在重启期间内的元数据管理方法，包括：向客户端发送网络连接请求；将第一预设时长由第一默认值修改为第一修调值，其中，所述第一修调值小于所述第一默认值；在等待了所述第一预设时长后，判断是否已经接收到所述客户端的响应消息；若否，则删除所述客户端对元数据的读写权限。本申请通过减小元数据服务器与客户端的交互等待时间，可加快元数据服务器的重启进程，加速解决元数据读写权限的管理问题，避免网络的长时间阻塞，有效提升了分布式存储系统的运行性能。本申请还公开了一种元数据服务器在重启期间内的元数据管理装置、设备及计算机可读存储介质，同样具有上述有益效果。

摘要： 本申请公开了一种基于binlog的元数据管理方法和装置，以及一种用于提供元数据的方法和装置。其中，所述基于binlog的元数据管理方法包括：从MySQL主数据库获取元数据，作为基准元数据；以上述获取基准元数据的时间点为起点，从所述MySQL主数据库获取二进制日志binlog数据；在上述获取binlog数据的过程中，针对所述binlog数据中的每个日志事件执行下述操作：判断所述日志事件记录的是否为DDL操作；若是，存储与所述DDL操作相关的信息。采用本申请提供的方法，实现了对MySQL主数据库在各个时间点的元数据的自主管理，从而可以提供从自主管理的起始时间到当前时间之间的任意一个时间点的元数据信息，增强了binlog解析功能的容错性和可运维性。

摘要： 本发明实施例涉及一种元数据的调用方法和元数据管理系统，所述调用方法包括：当应用调用数据时，根据应用中存储的模型定义和模型关系，确定所需调用的模型；根据所述模型的模型项下规定字段的属性，从租户元数据库中查询并调用相应字段；将调用好字段的模型项，拼接成数据。