大数据存储

摘要： 随着数据量的日益增加,大数据存储在整个大数据应用框架体系中居于重要地位。对大数据存储系统进行性能评测可以指导大数据应用开发人员分析性能瓶颈,进行大数据系统的性能优化。在以往的工作中,通常使用基准测试的方式来对不同大数据框架进行性能评测,或者采用插桩并分析轨迹文件的方式对分布式文件系统进行性能分析。这2种方法采用的分析角度不同,并没有形成合理的评测体系来评价大数据分布式存储系统。本文提出主动与被动相结合的大数据存储系统性能评测方法体系结构及其具体实现。在主动性能评测方法方面,提供了6个领域,超过20个应用的基准测试程序,对大数据存储系统主动发起性能测试,分析大数据存储系统的基准性能指标;在被动性能评测方法方面,提供了对低效任务、低效算子、低效函数的分析及定位方法,通过分析运行在大数据存储系统之上的大数据应用,分析大数据应用程序低效的原因。通过实验表明,该大数据性能评测方法体系结构能够全面地对大数据存储系统进行性能评测。

摘要： 本文主要介绍了湖北某纤维厂WOES V541版本系统大数据存储方案设计,论述了大数据在能源管理系统中的采集,存储和应用方式,并对大数据的设计原则、存储方式、读写效率等问题进行了分析,重点阐述了此项目中针对以上问题的解决方案。

摘要： 随着检测行业的不断发展,检测数据也日渐庞大.由于检测设备的多样性,检测数据呈现了数据来源多样化、数据结构差异化的特点,传统的数据采集和存储方法无法有效地支撑多源异构检测大数据的使用需求.该文采用结合关系型数据库和非关系型数据库相结合的方式,搭建集成数采、存储功能于一体的多源异构检测大数据存储架构,解决检测数据信息孤岛问题,提高检测大数据分析与挖掘的效率.

摘要： 曾几何时,智能化犹如一座大山,遥不可攀。近年来,随着科学技术进步以及信息技术发展,各行各业的智能产品犹如雨后春笋般诞生并发展,从智能手机到智能汽车,从在线共享到大数据存储、云端操控、AI管家,这既是人类顺应时代发展中科技进步的必然结果,也同样是人类对产品使用愈加挑剔下导致的必然现象。

摘要： 近年来,随着我国科学技术水平的不断提高,社会经济的飞速发展,云计算也随之快速进步,许多互联网用户开始将数据资料存储在云平台中,但用户在对云服务平台进行选择的过程中具有较多的标准与需求,主要包含云端的安全接入、大数据完整性校验以及数据加密等内容.因此相关研究人员应对云计算技术进行不断探索与创新,使用科学合理的方式对云计算的应用效率进行分析,对云服务平台的服务质量进行快速提升,从而确保用户数据的安全.文本研究了基于云计算的大数据存储安全问题.

摘要： 随着全球能源结构不断转型,为了更好地适应气候变化、保证能源使用安全、发展绿色能源,不断对现有智能电网进行升级优化是十分必要的.非侵入式负荷监测在电力系统应用有着广阔的应用和发展前景.本文采用非侵入式电力信息采集技术,对原始电压信息和原始电流信息进行存储,建立完整的"电力信息采集及存储系统".本文设计了电压、电流采样电路并通过UDP通信协议将原始信息传输到服务器.在服务器端对数据包进行解析、运算和转化,按照设备ID建立数据表分别进行数据存储.并针对非侵入负荷监测的部分应用场景进行了可视化展示,可面向用户推送每月用电健康状况、能耗统计等,面向管理端推送每月安全警报情况统计等.

摘要： 近日,第九届中国(西部)电子信息博览会在成都世纪城新国际会展中心圆满落下帷幕。本届西部电博会为期三天,参展企业高达700余家,参观人次近5万,在展商数量、展区面积、观众规模、论坛专业性等方面均创新高。本届西部电博会全新推出的特种元器件、网络安全、人工智能、大数据存储四大领域,进一步诠释了这次电博会的主题“新格局、新极核、新机遇”。

摘要： 从分析宝日希勒露天煤矿智能运输安全生产监控系统数据存储及计算存在的主要问题入手,研究并确立了宝日希勒露天煤矿安全生产大数据存储与流式计算的技术架构。采用分布式消息系统Kafka进行数据存储,采用流计算引擎Flink进行数据计算,针对实时数据、历史数据、业务数据的存储需求,分别采用Redis数据库、Elasticsearch、PostgreSQL进行数据存储。通过在宝日希勒露天煤矿智能运安全生产监控系统中的应用,验证了大数据存储与流式计算技术的可行性、高效性、可靠性。

摘要： 伴随着"互联网+"时代的到来,信息安全已经成为了从业人员必须面对的问题。本文以"互联网+"的定义和特征作为切入点,从个人原因、网络运营、网络攻击和大数据存储等几个方面概括了"互联网+"时代信息安全的主要问题,又从安全意识、管理制度、安全技术等方面提出了一些建议,供参考。

摘要： 针对环境大数据多源异构特性,提出一种基于数据湖分析(data lake analytics,DLA)的数据存储模型:在对环境数据组成进行分类划分的基础上,设计了环境数据的三层存储模型:在资源管理层实现数据采集,完成环境数据迁移到数据湖的格式转换;在存储层使用支持多种数据格式的对象存储技术,将数据湖作为多种环境数据源的唯一数据存储;在分析层计算模型可直接访问查询引擎,便于环境数据的查询分析,同时支持数据回流到结构化存储。构建一个基于DLA的环境大数据存储平台开展应用验证,结果表明:该存储模型在存储空间和查询时间2个方面的性能可达到优化90%以上的效果。

摘要： 本文针对日益增长的数据造成的管理和技术上的存储难题,结合云计算相关技术,提出了一种新的大数据存储模型,通过物理资源的虚拟化,利用虚拟资源池为用户分配云主机,实现了大数据的高可用和扩展.同时,利用云管理模块,该存储架构极大的提高了大数据的可用性和扩展性，同时大数据遇到的灾难和故障可以最大限度的保证对用户的透明性。

摘要： 工厂数据库系统是渤海国信基于国家"中国制造2025"规划,为钢铁企业打造的用于沟通底层自动化系统与上级管理系统的数据平台.通过工厂数据库平台,钢铁企业可以针对每个批次产品的投料、生产、工艺、设备状态、理化检验、物流包装、产品使用等全生命周期数据进行有效收集、组织、应用及分析.工厂数据库V3.0系统是在渤海国信工厂数据库2.0版本功能基础上,整合大数据存储和分析技术,设计用于支撑企业实现智能制造的工业大数据存储、处理、分析和分发平台.

摘要： 本文分析了Agenda闪存技术以及存储软件面临的挑战。详细介绍了高速存储数据保护系统，最后对大数据存储进行了展望。

摘要： 论文描述了安全保密态势可视化平台的可视化展示和大数据存储分析两个方面的关键技术.其中可视化技术用于网络中的安全保密威胁展示,提出能适用于安全保密态势展示的可视化技术;大数据存储分析技术采用基于Spark的大数据存储分析框架,论文对该框架进行调研和设计,测试结果表明该方案能够满足安全保密态势可视化平台的存储分析需求.

摘要： 在大数据存储,尤其是云存储的应用中,去冗文件系统可以减少冗余文件片段的存储,从而节省大量存储空间.但是当前已有的去冗文件系统的实现需要用到较大的动态文件块索引,导致文件系统的访问延迟和高内存占用.为了解决这个问题,本将森林型布隆过滤器和二阶段布隆过滤器相结合,创造出了兼具文件块查询和文件块定位功能的新型二叉树布隆过滤器(LBTBF).基于二叉树布隆过滤器设计的单机去冗文件系统可以存储大量的不同种类文件集,并且实现了高读写速度和高去冗率.在设计方案中,系统采用流水线的思想,将文件块的输入输出与其他操作相分离,并为二阶段布隆过滤器增加了计数器,使其支持文件块的删除,从而减少存储空间的浪费.依托森林型布隆过滤器的特性,在实现过程中系统只需将少数几个树结节的完整信息及一些树结节的部分信息载入内存.

摘要： 高效的去、中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起到了至关重要的作用。针对基于哈希的划分和基于子树划分的元数据管理方案扩展代价巨大以及对集群变动敏感等问题,提出一种基于一致性哈希结构的MDS(MetaData Server)集群化方案—CH-MMS.CH-MMS在一致性MDS集群上引入虚拟MDS,有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量。阐述了CH-MMS的体系结构,介绍了核心数据结构LayoutTable、虚拟MDS结构、延迟更新机制以及相关算法,并对CH-MMS扩展性、容错性作了定性分析。最后通过原型系统和模拟试验说明,CH-MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求。

摘要： 随着航天遥感技术的快速发展,地面接收系统业务数据量及其复杂度同步增加,关系型数据库OracIe在应付超大规模和高并发的数据操作时显得力不从心.非关系型数据库技术在并发读写、存储及访问效率、横向扩展性等方面具有优势.从关系型数据库在数据存储中遇到的瓶颈以及非关系型数据库在大数据存储上的优势等方面,对非关系型数据库在地面接收系统数据存储应用前景进行分析和探讨.根据地面接收系统实际情况,在现有系统架构中修改数据表结构,从而实现了关系型数据库与非关系型数据库的优势互补。随着大数据技术的日趋完善,相信在未来的若干年中,非关系型数据库技术在地面接收系统数据库中的应用将更加全面、成熟。

摘要： 本发明公开了一种在大数据存储系统中存储数据文件的方法及系统，其中方法包括：确定大数据存储系统在当前运行时间区间内的第一访问记录信息和在前一个运行时间区间内的第二访问记录信息；确定所有数据文件在当前运行时间区间内的第一被访问总数FAN和在前一个运行时间区间内的第二被访问总数SAN；对大数据存储系统的记录设备中存储的设备记录文件进行解析,以确定在当前运行时间区间内有效运行的存储设备的第一设备数量FDN,并确定在前一个运行时间区间内有效运行的存储设备的第二设备数量SDN；当确定进入数据文件的存储过程时，大数据存储系统向所有存储设备中的每个存储设备发送通知消息，以指示每个存储设备开始进行数据文件的存储过程。

摘要： 本申请提供了在数据仓库和大数据存储之间协同数据智能的方法和系统。所述系统包括：数据存储和数据仓库(DWH)，其中所述数据存储和所述DWH被配置成与存储管理系统通信；集成总线，其中所述集成总线包括至少一个数据分析模块；以及决策过程应用，其中所述决策过程应用包括：在处理与所述数据存储和所述DWH相关联的数据后的结果。本发明的实施例可以用于使用协同的DWH模型和大数据存储来实时管理社会数据的混乱无序，以便评估将数据集成到报告和决策管理中的可能性。

摘要： 本发明公开了一种基于大数据存储架构的空间数据存储管理系统，该系统包括：底层大数据异构存储模块、中间层元信息库与引擎模块以及顶层服务模块；其中，所述底层大数据异构存储模块以数据资源为单位进行存放，具体介质包含多种异构式存储环境；所述中间层元信息库与引擎模块由矢栅数据ETL、数据引擎、元信息库以及矢栅可视化引擎四部分组成；所述顶层服务模块负责对外提供统一、标准的服务。本发明方案以元信息库聚合数据资源，底层面向不同计算(应用)模式搭建异构式存储，有效地将数据分解、将资源聚合，并对外提供统一、标准的服务，实现了对于巨量、异构、递增的空间大数据的高效率存储管理。

摘要： 本发明公开了一种在大数据存储系统中进行数据混合存储的方法及系统，其中方法包括：根据每个存储设备中存储的多个数据项的经过统计的访问信息确定每个存储设备的访问信息统计文件；将多个存储设备中低频项数量大于低频设备阈值的存储设备确定为低频存储设备并确定大数据存储系统中低频存储设备的数量；当大数据存储系统中低频存储设备的数量大于系统预警阈值时，确定复制数据项集合并将复制数据项集合传送给所述多个存储设备中的每个存储设备，并促使每个存储设备进行处理，以实现数据混合存储。

摘要： 本发明公开了一种在大数据存储系统中存储数据文件的方法及系统，其中方法包括：确定大数据存储系统在当前运行时间区间内的第一访问记录信息和在前一个运行时间区间内的第二访问记录信息；确定所有数据文件在当前运行时间区间内的第一被访问总数FAN和在前一个运行时间区间内的第二被访问总数SAN；对大数据存储系统的记录设备中存储的设备记录文件进行解析,以确定在当前运行时间区间内有效运行的存储设备的第一设备数量FDN,并确定在前一个运行时间区间内有效运行的存储设备的第二设备数量SDN；当确定进入数据文件的存储过程时，大数据存储系统向所有存储设备中的每个存储设备发送通知消息，以指示每个存储设备开始进行数据文件的存储过程。

摘要： 本发明公开了一种在大数据存储系统中对数据文件进行关联存储的方法及系统，其中方法包括：将大数据存储系统的存储区域在逻辑上进行划分；将每个新的数据文件存储在基础存储区中并用作基础数据文件；将与基础数据文件的关联度大于或等于主题关联度阈值的业务主题组成基础数据文件的业务主题集合，将基础数据文件移动到所述临时存储区并用作临时数据文件；确定与临时数据文件相关联的每个业务主题相关联的强和/或弱关联数据文件集并生成临时数据文件的主题匹配集合；利用所确定的匹配等级对所述相关联的临时数据文件的主题匹配集合进行更新；将特定的临时数据文件移动到与所归属的业务主题和文件集类型相对应的强或弱关联数据文件集中。

摘要： 本发明公开了一种在用于大数据存储的存储设备中确定低频数据项的方法及系统，其中方法包括：在确定大数据存储系统内的所有存储设备中均没有正在运行的数据访问操作时，确定每个存储设备的访问信息统计文件；基于访问信息统计文件确定当前的统计时间区间内每个存储设备的所有数据项中被访问次数小于低频次数阈值的多个预选数据项，根据大数据存储系统的系统记录设备中的设备描述信息确定每个存储设备的总存储容量，根据每个存储设备的存储信息区域中的存储信息文件来确定每个存储设备的空闲存储容量，确定每个存储设备中的每个预选数据项的低频系数；将每个存储设备中的多个预选数据项中低频系数小于低频系数阈值的预选数据项确定为低频数据项。

摘要： 本申请提供了在数据仓库和大数据存储之间协同数据智能的方法和系统。所述系统包括：数据存储和数据仓库(DWH)，其中所述数据存储和所述DWH被配置成与存储管理系统通信；集成总线，其中所述集成总线包括至少一个数据分析模块；以及决策过程应用，其中所述决策过程应用包括：在处理与所述数据存储和所述DWH相关联的数据后的结果。本发明的实施例可以用于使用协同的DWH模型和大数据存储来实时管理社会数据的混乱无序，以便评估将数据集成到报告和决策管理中的可能性。

摘要： 本发明提供一种大数据存储方法、装置、电子设备及存储介质，所述方法包括：采集流程，利用数据采集器对待采集数据进行分类采集，得到索引数据；提取流程，提取所述索引数据的特征标签，并基于所述待采集数据的关联关系获取所述特征标签之间的关联关系；存储流程，将所述特征标签和所述特征标签之间的关联关系以链式存储结构的方式保存到关系型数据库中。本发明提供的大数据存储方法、装置、电子设备及存储介质，在数据存储后保证了数据之间的关联关系不丢失，且有利于实现后续对存储数据的快速查询。

摘要： 本实用新型公开了一种用于大数据存储的数据存储服务器机柜，包括机柜，机柜的前后两侧均设置为开口，机柜前侧的开口一侧铰链连接有柜门，机柜内部的每组角落上均固定连接有滑台，每组滑台上均滑动连接有一组滑条，多组滑条远离柜门的一端均固定连接在后板上，滑台上靠近柜门设置有第一限位孔，第一限位孔穿入滑槽，滑条上匹配第一限位孔设置有第二限位孔，后板与机柜背侧接触时，第一限位孔与第二限位孔对应，并且设置有一组插销插入第一限位孔和第二限位孔，并且在机柜两侧均设置有散热口。本实用新型具有便于对数据服务器进行维护维修，散热效果优异的优点。