数据量

摘要： 一、大数据燃料的“动力来源”(一)大数据的特点大数据具有数据量庞大、效率高、多样化等特点,正是这些特点赋予了信息数据的价值。首先是大数据具有数据量庞大的特点。其次是效率高。这一点是其最突出的特点。大数据的产生非常快,这里的“快”不仅仅指其产生和发展的速度,更重要的是强调其信息的筛选和处理的速度极快。数据的分流、筛选、查询、加工等都较之前有显著的增长。

摘要： 在无线传感器网络中,无人机在传感器覆盖区域内定期巡游,以收集传感器感知的数据。由于无线信道的广播性质,信息更容易被地面上的非法节点窃听,无线通信安全受到挑战。通过无人机的轨迹规划和传感器功率控制可以在物理层保障无线通信的安全性。然而,现有研究无人机辅助无线通信路径规划的文献中,没有考虑到用户或节点需要最小通信时间来保证服务质量。针对此问题,在无线传感器网络通信系统中,加入最小通信时间约束,通过联合优化无人机的飞行轨迹、传感器的发送功率和无人机服务传感器的调度顺序,提出平均保密率最大化问题,并证明了其非凸性。为解决所提的非凸问题,将原问题分解为3个子问题,提出了一个应用块坐标下降、连续凸优化、迭代舍入方法的快速收敛迭代算法TPA。实验结果表明,所提算法TPA的平均保密率比未进行轨迹优化的基准算法提高了15.7%,比未进行功率控制的基准算法提高了159.8%。TPA与未加入最小通信时间约束的基准算法相比,在2种不同任务分布情况下,当无人机飞行周期大于70 s时,任务完成率平均提升44.6%和27.1%。

摘要： 以雅砻江岷江和嘉陵江为研究流域,采用K-最近邻(KNN)算法模拟生成130年的气象数据,并采用SWAT模型计算各流域出口水文站的径流过程;然后分别以前5年、10年、20年、40年和80年的降雨和径流数据对网络进行训练,以最后50年数据作为验证。主要结果表明:LSTM网络的学习能力随着神经元数量增加不断提高,但对水文序列数据的学习则存在过拟合严重的问题;增加训练数据量,可以有效地降低LSTM网络过拟合现象。

摘要： 针对多波束在正弦空间下排布时存在转换到大地坐标系下随着扫描角增大波束间隔变大和幅度下降问题,以及在大地坐标下排布时存在法向鉴角曲线不适用所有扫描角的问题,提出了一种相控阵雷达多波束鉴角曲线生成方法.该方法在大地坐标系下进行波束编排,在正弦空间下拟合出不同扫描角理论鉴角曲线和法向鉴角曲线的映射曲线,得到映射曲线系数;应用时只需装订法线方向鉴角曲线和映射曲线系数.仿真结果表明,该方法生成的鉴角曲线非常接近理论鉴角曲线,且测角误差和装订数据量均降低很多.

摘要： 节点设备(又称无线采集设备)能够提高采集效率、节约生产成本、减少环境危害,是近年来石油勘探的主流设备。但由于采用的连续采集模式和多分量技术,所以采集单元回收下载的数据量是巨大的。本篇针对Z100节点数据在输出过程中遇到的问题,巧妙运用VLAN技术进行化解。

摘要： 该文分析矢量PDF地图制图方法并分析其优缺点,提出通过控制矢量PDF地图元素坐标精度、去除冗余数据点来减少矢量PDF地图数据量的方法。实验证明,采用这些方法可以大大减少矢量PDF地图的数据量,比当前最常用的jpeg格式的栅格地图的数据量小5倍以上,使矢量PDF地图在网络电子地图应用方面比栅格地图更有优势。

摘要： 数据正变得和砖瓦一样,成为构建这个世界的基础。我们每天在手机上拍的照片、在电脑上处理的工作仅是流入数据海洋中的沧海一粟,数据正以你我想象不到的速度增长:一辆自动驾驶汽车每天可以产生32TB的数据,一座智慧工厂每天可以产出1PB数据,智慧城市每天创造的数据量则高达2.5PB……从2016年开始,全球数据量爆炸式增长,每三年便翻番,预计到2025年,全球数据量将达到180ZB。

摘要： 为了保证网络中的海量舆情信息得到高效及时地处理,提出了一种基于数据量的分布式并行SVM混合分类模型。首先通过SVM模型完成舆情文本的类别划分,再根据分类效果反向优化SVM模型,采用朴素贝叶斯模型实现分类效果的提升。构建了一种以数据量为标记的混合反馈式分布SVM模型,根据数据量对所需的子节点数进行动态预测。实验结果表明,提出的模型能够精准分析舆情动向,为舆情监控提供具有重要价值的信息。

摘要： 大数据首先说的是数据规模大,那大数据究竟有多大规模呢?现在我们买一台新的电脑,若配的硬盘存储容量为2TB就算是比较大的了,可以存储很多数据。手机拍摄的一张照片大约是2MB大小,1部电影大约是1GB,一个普通图书馆的藏书全部数字化后,大约是1TB。而大数据,通常是指PB规模的数据量。

摘要： 随着我国医疗事业的不断发展以及各地方医院规模的不断扩大,医院档案的管理问题愈发突出。众所周知,档案管理是保证医院工作顺利开展的重要环节,只有保证对各种资料进行有条不紊的管理,才能在需要时及时提取,从而确保下一步工作顺利地开展。医院档案管理主要包括医疗科研文献、病人的相关病例等,这些资料所涉及的内容较多,如果以人工的方式对这些资料进行分类将是一项极其复杂的工作,另外,这些资料数据量也比较庞大,仅仅依靠人工管理,在调取相关信息过程中需要耗费大量时间。

摘要： 文章介绍了作者进行一项数据库设计的过程，项目要求100亿数据量+10万并发量+1万属性+复杂查询，作者阐述了潜在解决方案以及优化解决方案，最后实现项目需求。

摘要： 分析用于深空探测的干涉成像光谱仪的主要约束条件--数据传输能力,从该约束条件出发,分别分析了由于光谱分辨率、空间分辨率、及CCD量化而引起的数据量的增大,分析了各自的合理取值,并推导了干涉成像光谱仪数据量通用公式,提出解决该项瓶颈的方法只能限于数据压缩及数据带宽的提高。

摘要： 本文主要介绍了B777飞机配装的飞行参数记录器、座舱音频记录器两个航空记录器(俗称"黑匣子")和飞机通信寻址和报告系统(简称ACARS),并对航空记录器的数据记录速率与ACARS的实时数传能力进行计算和对比分析,给出ACARS无法实时传输航空记录器数据的原因,最后结合分析结果和当前航空记录器面临的搜寻、打捞问题,建议在现有航空记录器基础上加装抛放式航空记录器和在ACARS传输数据中增加关键参数,以提升飞行事故后快速搜寻失事飞机和航空记录器的能力.

摘要： 随着技术的飞速发展,对遥测提出许多新的需求,除以往的常规数据测试以外,对图像数据的获取也提上议事日程.图像的数据量大,在现有的遥测体制下,存在大数据量与低传输能力间的矛盾,本文针对这一问题,提出解决办法,实现一个可同时进行常规数据和图像数据测量的新的无线遥测遥视系统，该系统由图像测量、无线传输、弹上供配电、传感器、变换器、地面分系统等组成。

摘要： 本文从提高记录每幅图像的数据量出发,提出了一种多物光体全息存储技术,以提高存储容量和存储带宽,发挥体全息存储的优势。从理论上分析推导出双物光体全息存储技术的正确性条件,并通过一个双物光体全息存储系统的例子验证和表现多物光体全息存储技术的价值。最后,分析讨论了多物光体全息存储技术与现有体全息复用技术的不同,讨论了多物光体全息存储技术提高体全息存储性能的本质。

摘要： 油田勘探开发数据库的数据量与信息覆盖面逐年增加，已经成为综合科研生产的主要信息来源，为了满足各专业用户对这些信息的不断变化的需求，建立了“勘探开发数据服务平台”，提供全面、方便、快捷的信息检索与下载服务。本文主要从系统功能设计与软件技术的角度，论述了该系统的设计与实现方法。

摘要： 基于众包原理,研究校园噪声数据收集问题,提出了一种噪声收集激励机制.该机制从数据量、时间间隔和监测点位置等3个方面以计算奖励积分的方式来评估校园中各监测任务点的优先度.优先度越高的监测点,用户完成任务时获得的奖励积分越高,从而激励众包用户完成噪声收集任务.设计了一个C/S和B/S模式相结合的噪声收集原型系统,基于无线校园网传输噪声数据,支持IPv6/IPv4双栈协议.实验结果表明,系统收集的噪声数据与真实情况有较好的吻合.

摘要： 本发明提供了一种大数据量批处理系统，包括：中间件单元用于向一级缓存装置发送查询请求，以及接收来自二级缓存装置的二级分页主键集合，根据二级分页主键集合向数据库查询待处理数据并在对待处理数据进行计算处理后，向数据库发送持久化数据请求；一级缓存装置用于向数据库查询符合查询请求的主键集合，以及根据主键集合生成一级分页主键集合并将一级分页主键集合返回至二级缓存装置；二级缓存装置用于根据一级分页主键集合生成二级分页主键集合并将二级分页主键集合返回至中间件单元。本发明还提供了一种大数据量批处理方法。根据本发明的技术方案，可大大提高系统海量数据的处理速度，降低系统处理时间，进而提升系统的综合性能。

摘要： 本发明涉及一种多类型大数据量综合数管的数据管理方法，该方法包括采集记录过程和数据加载及全机软件升级过程。本发明的方法解决两方面问题，一个是机载多类型、大量数据采集整理与记录内容；另一个是当地面任务规划数据较大或者升级软件时，为缩减飞机维护时间，快速完成加载及升级内容，无需外接升级电缆及升级设备，减轻人力劳动，减少由于认为操作造成的错误，将规划数据写入数据卡后，通过内总线将相关数据发送给目标设备。

摘要： 本发明提供了一种大数据量环境中数据运算的方法和设备，该方法包括：设定char类型内存空间存储数据的方式；基于存储数据的方式使用char类型内存空间中的每个char存储待运算数据中对应数量的整数；基于存储数据的方式对每个数据进行运算。通过使用本发明的方案，能够免除大数据在内存中存放的空间，极大的提升数据运算的效率。

摘要： 本发明涉及一种基于多用户大数据量的慢系统数据实时读取更新方法，步骤为：1、每个客户端每次向服务器端请求固定的若干条数据，且每隔固定时间读取一次；2、客户端对数据解析，并保存未完结数据的ID；3、客户端判断当前未完结数据条数，若不超过最大条数限制，则执行步骤5，否则分批次读取并更新未完结数据，执行步骤4；4、将未完结的数据分组，每超过最大条数限制，则增加一组；5、每隔固定时间向服务器请求未完结数据最新状态；6、根据步骤1～5不断读取并更新数据，若读取完毕，则减少5中请求未完结数据的时间间隔；7、重复步骤1～6，不断读取和更新数据。与现有技术相比，本发明具有快速有效，确保状态更新等优点。

摘要： 本发明提供了一种业务数据量和/或资源数据量的预测方法与预测系统，该方法包括构建业务数据量和/或资源数据量的原始数据集合；对原始数据集合进行降维预处理，得到预处理数据集合；先对预处理数据集合进行一次初始聚类处理，得到初始聚类数据集合，根据初始聚类数据集合，再对原始数据集合进行至少一次精确聚类处理，得到精确聚类数据集合；根据精确聚类数据集合，确定预测模型；根据预测模型，得到业务和/或资源的预期数据量。本发明通过以上技术方案，解决了现有数据分析方式无法适用于日益增长的业务数据量和/或资源数据量的问题。该预测方法能够对日益增长的业务数据量和/或资源数据量进行分析与预测，且预测结果科学准确。

摘要： 本发明提供了一种大数据量批处理系统，包括：中间件单元用于向一级缓存装置发送查询请求，以及接收来自二级缓存装置的二级分页主键集合，根据二级分页主键集合向数据库查询待处理数据并在对待处理数据进行计算处理后，向数据库发送持久化数据请求；一级缓存装置用于向数据库查询符合查询请求的主键集合，以及根据主键集合生成一级分页主键集合并将一级分页主键集合返回至二级缓存装置；二级缓存装置用于根据一级分页主键集合生成二级分页主键集合并将二级分页主键集合返回至中间件单元。本发明还提供了一种大数据量批处理方法。根据本发明的技术方案，可大大提高系统海量数据的处理速度，降低系统处理时间，进而提升系统的综合性能。

摘要： 本发明属于大数据量的数据处理技术领域,具体涉及一种关系型数据库下大数据量的数据处理方法及系统，所述的方法包括以下步骤：S 1：切割数据库为工单表、业务表、历史表三个表；S2：业务表根据业务量设置评估规则,并按机器ID或用户ID尾号取模分表；S3：设置定时任务,工单表和业务表根据设定好的时间对工单表及业务表数据切割流入历史表；S4：定期将历史表数据落文件增量备份存储。本发明提高了关系型数据库下大数据量处理效率，通过工单进行数据更新流转，完成业务和底层数据处理的解耦。

摘要： 本申请涉及大数据技术领域，揭示了一种适用于大数据量的数据检索方法、装置、设备及存储介质，其中方法包括：根据数据检索请求携带的检索配置数据确定目标检索方式；当目标检索方式为引擎检索时根据检索配置数据向目标搜索引擎发送引擎检索请求，获取目标搜索引擎发送的引擎检索结果；当引擎检索结果为失败或者目标检索方式为主库检索时根据检索配置数据确定目标业务服务数据库，根据检索配置数据向目标业务服务数据库发送主库搜索请求，获取目标业务服务数据库根据预设的主库索引库和主库搜索请求发送的主库检索结果，根据主库检索结果更新目标搜索引擎。从而提高了响应效率，降低了维度难度，提高了针对聚合查询或数据统计的检索结果的准确性。

摘要： 本申请提供了一种将大数据量的文本文件导入数据库的方法及装置，该方法包括：获取原始文本文件，且将原始文本文件拆分为多个子文件；生成第一设定数量个存储单元，且将各子文件存储在对应的存储单元中；生成第一设定数量个数据导入脚本；采用数据导入脚本将各存储单元中的子文件导入至对应的数据库中，导入脚本与存储单元一一对应，数据库的个数与数据导入脚本的个数相同。本方案采用存储单元作为文件存储的中转站，数据导入脚本作为文件导入工具，省去了将文件分发至各个分布式节点的过程，且操作简单，省去了通过部署应用程序来处理文件导入的步骤，减少了资源占用和编码配置工作量，实现了将大数据量的文本文件快速地导入对应的数据库中。

摘要： 本发明涉及到一种数据库，具体地说，涉及一种用于解决大数据量高实时性并发处理的智能单表数据库，包括：数据库模块、存储模块、查询模块、读取模块，数据库模块：该模块预置块写入单元，其首先写入连续长度的空数据，当有数据需要写入时，数据会覆盖到空数据上，如果空数据的剩余长度不足以写入新的数据，则再次追加连续长度的空数据；存储模块：数据库模块的数据都存储在存储模块中，本数据库对服务器的硬件要求极低，4G内存、4核CPU的廉价计算机，即可满足数万亿条数据的高速查询、统计、分析需求，得益于查询缓存，能够满足大规模并发查询的需求。需按照数据量购置响应容量的硬盘即可，无需追加投资。