海量数据存储
海量数据存储的相关文献在1995年到2022年内共计196篇,主要集中在自动化技术、计算机技术、无线电电子学、电信技术、测绘学
等领域,其中期刊论文125篇、会议论文7篇、专利文献1126810篇;相关期刊101种,包括金融电子化、中国信息化、科技资讯等;
相关会议6种,包括第18届全国信息存储技术学术会议、第六届苏皖两省大气探测、环境遥感与电子技术学术交流研讨会、2011年第17届全国信息存储技术大会(IST 2011)等;海量数据存储的相关文献由409位作者贡献,包括张莉娜、牛斌、王树鹏等。
海量数据存储—发文量
专利文献>
论文:1126810篇
占比:99.99%
总计:1126942篇
海量数据存储
-研究学者
- 张莉娜
- 牛斌
- 王树鹏
- 王艳涛
- 赵志宇
- 马文
- 丁勇
- 丰朋
- 兰红星
- 刘伏亮
- 刘胜军
- 刘阳
- 吴旭伟
- 吴晟姗
- 唐旭东
- 唐耀斌
- 孙浪
- 孟虎
- 崔杰
- 张新阳
- 徐敏
- 朱文俊
- 李廷力
- 李强
- 李晓洁
- 李永红
- 李陶深
- 杜源峰
- 杨丽娟
- 杨海峰
- 林凡
- 柴霖
- 潘勇胜
- 王亚明
- 王勇
- 王同勋
- 王振宇
- 王曦
- 王鑫
- 田野
- 秦树人
- 秦预
- 程红军
- 耿贞伟
- 胡少英
- 胡波
- 胡炜
- 胡莹
- 范寅
- 蒋嶷川
-
-
陈友淦;
鄢社锋;
瞿逢重;
余华;
安良;
何成兵;
韩笑
-
-
摘要:
一背景说明“深空、深海、深地、深蓝”是人类对世界未知领域的新探索方向。随着海洋强国战略的推进实施,海洋信息技术的重要性日益凸显。陆地物联网技术的突破,为物联网在海洋领域的应用提供了契机。水下物联网(IoUT)是整合空-天-地-海网络的泛在物联网研究中最具挑战性和最为薄弱的部分。目前,声波依然是在水下进行远距离信息传输最有效的载体。在IoUT应用背景下,水声通信与信号处理面临数据可靠高效传输、海量数据存储与处理、数据安全与维护、硬件部署与维护成本等诸多挑战。挖掘人工智能、大数据和区块链等潜在可应用于IoUT和智慧海洋的技术,均是水声通信和信号处理相关的前沿课题研究。为展示国内在水声通信与信号处理领域的最新研究成果,2021年6月,作为新时代从事水声技术研究的一线工作者,我们深感肩负使命之光荣,决定与《电子与信息学报》编辑部策划推出一期“水声通信与信号处理”专题,得到了国内水声前辈的鼓励指导和青年同行的普遍欢迎。
-
-
艾晓(文/图)
-
-
摘要:
数据正变得和砖瓦一样,成为构建这个世界的基础。我们每天在手机上拍的照片、在电脑上处理的工作仅是流入数据海洋中的沧海一粟,数据正以你我想象不到的速度增长:一辆自动驾驶汽车每天可以产生32TB的数据,一座智慧工厂每天可以产出1PB数据,智慧城市每天创造的数据量则高达2.5PB……从2016年开始,全球数据量爆炸式增长,每三年便翻番,预计到2025年,全球数据量将达到180ZB。
-
-
李云;
张海明
-
-
摘要:
随着数据的不断积累,数据存储系统已经由单节点、小规模的文件系统演变成支持海量数据存储的分布式文件系统.分布式文件系统中的大规模数据如何能够面向用户提供简洁、高效和稳定的数据上传下载服务成为了广泛研究的问题.为此,本文提出了基于FTP协议的数据服务端的解决方案,该方案包括利用缓冲区、协程、多线程等技术优化传输模型和传输算法,使得数据流能进行高速传输.同时,配合Keepalived(开源的系统高可用解决方案)与LVS实现了高可用、高并发以及良好的拓展性,在FTP协议之上修改使得服务端支持动态验证、用户隔离并兼容多种编码格式.在实际的运行中,以中国科技云iHarbor存储系统为例,验证了本文提出方案的有效性、可靠性以及高性能的数据传输效果,可以充分满足用户的需求.
-
-
谢翌
-
-
摘要:
传统系统针对海量数据存储问题通过配置大量服务器提高存储与计算能力,但存在硬件成本较高的缺点.为此,设计基于Hadoop架构的高校科研数据存储系统.利用分析Hadoop等云计算核心技术,设计Hadoop架构的数据存储模型.之后,设计高校科研数据存储系统的结构,根据Hadoop技术的特点提高数据处理的效率.详细设计数据存储系统,主要包括文件系统模块、文件块存储策略、资源网架构、读写数据体系与数据库数据访问层等模块.最后,对设计的高校科研数据存储系统进行验证.通过实验可知,此系统能够使校园办公、科研与教学中的海量数据存储管理问题得到解决,开发成本比较低,运行比较稳定,便于扩展.
-
-
夏畅
-
-
摘要:
随着企业信息化建设的快速发展,业务数据量呈现井喷式增长,传统存储架构在数据存储、实时迁移、动态扩展等方面已经无法满足当前的发展需求。本文针对日益增长的海量数据存储问题,对Ceph分布式存储架构、CRUSH算法、RADOS等核心层、组件层存储技术进行了简要的介绍,采用内部网络分离、分层存储等方案搭建了基于Ceph的分布式存储集群,并对Ceph集群整体存储性能进行了评估和总结。
-
-
-
-
摘要:
"道路基础设施数字化教育部工程研究中心"基于数字道路基础设施建设、智能监控与复杂工程管理及其实现技术,在智能感知、云端大脑、智能控制、智能决策等方向探索颠覆性的实现方式,致力于研发具有海量数据存储、超大型数据模型驱动、多源数据融合、群体协同智能、人机共融能力的数字道路建设与运营管理平台以及下一代智慧城市建设与管理关键核心技术。在交通基础设施数字化建造与智能运维、运行监控与智能管控、复杂工程管理系统等领域形成了一系列示范性、引领性的综合应用。
-
-
杜舒明;
洪梓铭
-
-
摘要:
云计算作为共享体系的一种新方式,它的出现和运行正在逐步改变着人们的生活,也在不断地提高人们获取信息的能力.为了较好地运用计算资源以满足电网智能技术的新发展,文章基于云计算技术的支持,在前人研究成果的基础上,将优化企业内部信息资源作为依据,为电网智能化数据存储进行相关揭示和研究;文章还以水电动力为线索,计算水电信息管理系统开发的成本和消耗,有效提出解决水电数据处理能力问题的措施以及相应的扩展性能.
-
-
-
-
摘要:
随着5G时代的到来,海量数据的细流逐渐汇聚成数字海啸,更快速率、更低时延的5G网络基础设施将成为物联网、人工智能、虚拟现实和增强现实、在线游戏以及智慧城市发展的根基。科华恒盛·云基总工程师陈凤先生指出:“随着‘新基建’启动及5G商用进程的加速推进,5G基建、人工智能、工业互联网都将直接利好数据中心的建设发展。只有前期大量建设、储备足够数量的高标准数据中心及服务器,才能支撑未来各行业海量数据存储、处理和传输的应用需求。”
-
-
巫东来;
汤仕磊
-
-
摘要:
开发海量数据处理系统时存在技术框架选择不确定问题.从理论及应用角度对两种主流的海量数据处理架构MPP和Hadoop进行对比,分析各自技术特点,阐述其与传统数据处理的优势.分析结果表明,Ha?doop在存储数据规模上可轻松支持PB级别,而MPP架构大多只支持TB级别;Hadoop对海量半结构化、非结构化数据存储和处理有一定优势,但在处理速度和易用性上不及MPP;在结构化数据处理、响应性能和衍生工具等方面MPP则占优,适用于查询业务场景较多项目.通过分析两大框架底层核心技术以及归纳优缺点,为企业相关应用的技术选型提供参考.
-
-
-
-
Yan Lin;
严林;
Xing Jing;
邢晶;
Huo Zhigang;
霍志刚;
Ma Jie;
马捷
- 《第18届全国信息存储技术学术会议》
| 2012年
-
摘要:
随着海量数据的快速膨胀,机群文件系统的存储方式正在逐步从复本向Erasure Code过渡.Erasure Code存储能够以更低的存储空开销提供更高的可靠性.然而,由于Erasure Code存储需要通过编码生成编码数据,在存储原始数据和编码数据过程中更容易产生磁盘争用和不均衡负载,从而影响整个存储系统的I/O性能;同时,Erasure Code存储在写回编码数据时,数据一致性和数据缓存之间存在冲突,传统处理数据的无缓存方式和全缓存方式在机群文件系统中都存在很大的局限性.针对这两个问题,本文提出了一种包括均衡负载的数据放置策略和编码缓存的一致性维护策略的Erasure Code机群文件系统I/O优化方法.通过在我们开发的Erasure Code分布式文件系统ECFS的实验测试表明,使用这种优化方法后机群文件系统的聚合带宽能够提高95.53%.
-
-
-
-
刘天淼;
胡长军;
吴昊;
田金兰
- 《2003中国计算机大会》
| 2003年
-
摘要:
网络存储系统对于实现海量数据存储、数据安全以及基于网络的数据密集型应用具有重要意义.快照技术在数据存储中起着重要的作用,它可以很快的产生多个当前数据的拷贝,这些拷贝可用于数据备份,数据分析,数据恢复,以及提供给其他程序数据以供实时分析等.本文主要论述了两个在连续的时间点做多个只读快照的算法,分析并比较了这两个算法的优劣,给出了系统运行的实例,验证了算法的正确性和有效性.同时本文还探讨了可写快照可能实现的方式.
-
-
-
-
-
-
-
-
-
-
-
-
- 中兴通讯股份有限公司
- 公开公告日期:2017-10-20
-
摘要:
本发明提供了一种海量数据存储管理方法、装置及数据存储系统,该方法包括:接收待存储消息,标准化待存储消息的元数据;将待存储消息存储到分布式文件系统,获取存储信息,将待存储消息的存储信息及元数据存储在数据库;基于数据库中存储的待存储消息的存储信息及元数据,管理分布式文件系统中存储的消息。通过本发明的实施,在接收到待存储消息之后,针对所有消息进行元数据标准化之后,将其在DFS系统存储之后,将存储消息发送至数据库,这样,就可以在数据库中对存储在DFS系统的消息进行管理,同时还兼具了DFS存储及数据库存储的优点,解决了现有对所有海量数据均采用相同存储方式的问题。
-
-
-
-