海量

摘要： 当人们从网上购物、买票、支付、预约挂号时,绝大多数人都不会意识到,带给人们便利的,其实是背后看不见的数据。信息社会,无论是电商、银行,还是医疗、航空航天,许多企业的发展都依赖海量的数据。不只是企业,甚至对于一个国家而言,数据也是至关重要的。

摘要： 传统动目标数据存储方法是直接在物理内存区开辟空间,但是在遇到十万、百万批级别的海量目标时往往出现内存不够、查询和修改效率低的问题。针对传统处理方法面临的性能瓶颈,该文基于Redis内存数据库高性能数据管理和共享技术,实现目标数据的快速存储、查询和修改,使得目标数据能够在程序间高速交互,提升系统实时性和一致性。

摘要： 基于GFS(Google File System谷歌文件系统)理论与HDFS(Hadoop Distributed File System分布式文件系统)实现,根据智慧图书馆海量数据储存特性,设计了以计算机技术为载体的数据储存系统。按照软件工程理念与方法,开发系统框架与功能模块,并面向系统进行了全面测试。测试结果表明,系统可有效实现海量数据存储管理功能,且各节点运行过程中,对于不同数据类型,可根据节点选择科学可行策略,以供高效数据储存服务与读写功能,以此保障存储性能的实效性,从而实现系统良好负载均衡性,且在海量数据高效精确搜索的基础上,系统I/O效率得以显著提升。

摘要： 电子通信信息是当代社会运行的重要信息组成之一,提高电子通信信息存储能力对于各行业高效率处理事务意义重大.基于Hadoop集群环境设计了单节点双层Hadoop结构,分担主节点存储信息的压力;构建MapReduce信息并行计算模型分担海量存储任务,基于动态优先级负载均衡调度算法均衡存储节点的负载量,避免个别或者少数节点负担过重,延长Hadoop存储系统节点的使用寿命.测试结果显示,该方法有效均衡了海量信息存储时间,存储大规模电子通信数据的耗时较少.

摘要： 当前,互联网快速普及,全球数据呈现爆发增长、海量集聚的特点,数据的价值愈发凸显。《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》,将数据作为-一种新型生产要素,与传统生产要素并列。

摘要： 经营相当于媒体巨人之肺,面对海量、丰裕、活跃的市场需求,它不断吸纳外部的空气,转换成产品需求,同时不断地匹配内部可经营的资源、链接外部可合作的资源,把内外部的经营资源融合起来,在不断的闭合开放、实时转化、智能分配中自如呼吸,实现全媒资产与海量需求的适配,让一切的经营呈现最适化。

摘要： 当前时代是大数据时代,这不仅体现在数据的海量增长上,还体现在隐私范畴内对数据的更广泛定义。大数据时代意味着数据分布广泛,并已成为时代中最重要的资产之一,这吸引了不少犯罪分子千方百计获取数据并依赖这些数据进行不法犯罪。所以,在如今的时代,企业做好数据防泄漏尤为重要。

摘要： 基于2013—2019年黄金周期间到洛游客的客源地数据、游客数量变化数据和旅游所带来的收入数据,运用大数据对洛阳市黄金周假日旅游现状进行分析.研究结果表明:洛阳市黄金周假日旅游存在景区在省外知名度低、游客消费较少、景区拥堵、旅游信息化程度低等一系列问题.对此应当搭建旅游大数据智慧平台对游客行为进行高效管理、通过互联网媒体加大洛阳市宣传力度的对策以推动洛阳市黄金周旅游业进一步高质量发展.

摘要： 针对目前遥感数据共享需求迅速增长而产生的遥感数据安全问题,提出了一种遥感图像数字水印高速嵌入方法.该方法利用GeoTIFF遥感数据的特点,定义了新的GeoTag标签,通过数字水印技术将加密后的水印信息写入该标签中,从而实现了数字水印的高速嵌入.利用该方法开发了遥感影像流转监控系统,实现了遥感数据的安全分发及路径追溯功能.通过实验证明,该方法面对TB量级遥感数据在水印嵌入速度方面具有极大优势,水印嵌入的效率小于每兆81毫秒,能很好地满足每日海量遥感数据的嵌入需求,而且可以抵抗裁剪、旋转等几何攻击.

摘要： 为了提升生产和管理效率,降低创新成本,制造企业迫切需要一个平台,统一管理企业海量的数据资产,挖掘数据的核心价值,最大程度地释放数据生产力,支撑智慧运营与业务创新。这个平台就是人们常说的数据中台,也就是企业不可或缺的"数据大脑"。

摘要： 文章在分析了OLAP大规模海量多维数据特点的基础上,针对当前一般规模关系数据库处理海量多维数据能力的不足,通过使用数据库分区技术和并行磁盘组技术,设计并实现了一种高效的、面向OLAP应用的数据存储管理结构.并针对传统查询优化器对于大规模海量数据统计信息更新不及时的问题,设计了一种基于分区技术的统计方法.实验证明,该设计可以对百TB级的多维海量文本数据进行有效的管理.

摘要： 本发明公开了一种海量数据检索方法，在不同区域建立第一缓存、第二缓存和第三缓存；接收到数据检索请求后，根据所述数据检索请求查找所要检索的数据的存储区域；查找成功时，在查找获得的存储区域中进行数据检索；查找失败时，根据所述数据检索请求和缓存所属设备的性能在所述第一缓存、第二缓存和第三缓存中进行数据检索。本发明还同时公开了一种海量数据检索装置、一种海量数据存储方法及系统。

摘要： 一种USB海量存储设备上应用程序与USB海量存储设备进行命令交互和双向数据传输的方法。特别是一种有权限管理的操作系统，非授权用户如何使用创建的应用程序对USB海量存储设备发送命令，从而实现应用程序与USB海量存储设备进行命令交互和双向数据传输的方法，本发明利用操作系统任何用户可在USB可移动存储设备的可读写区创建新文件并可向其写入和读取数据这一特性，通过规定读写数据缓冲区的数据格式、长度以及新文件读写位置等数据，实现应用程序与USB可移动海量存储设备进行命令交互和双向数据传输。本发明为这类多种应用程序提供了可移动、便捷和可靠的运行环境，使带有应用程序的USB海量存储设备，实现了“即插即用”的目的。

摘要： 本发明公开了一种基于ES的海量数据统计方法，包括步骤一：将需要查询统计的索引字段增量数据同步进ES；步骤二：将需要查询统计的索引字段历史数据同步进ES；步骤三：提供统计查询接口，所述统计查询接口为数据搜索API接口；步骤四：完成构建ES的queryJson后发起请求，将请求返回的命中数total作为统计结果。本发明还公开了一种采用基于ES的海量数据统计方法工作的海量数据统计系统。本发明通过将传统的统计需求转变为统计查询，无需定制需要维度指标，适用于大多应用场合，能灵活地支持各项统计指标，快速地实现维度统计，极大地提升了统计的灵活度。

摘要： 本发明公开了一种海量数据存储方法及海量数据存储系统，其中，该方法包括：主MQ集群接收外部发送的待存储数据，并将待存储数据交互给比较模块；比较模块判断缓存集群是否存在待存储数据；若缓存集群中存在待存储数据，则比较模块不处理待存储数据；若缓存集群中不存在待存储数据，则比较模块将待存储数据发送至数据库和缓存集群进行同步存储。本发明先将外部接收到的数据存储至主MQ集群，因此，通过这种异步方式减轻了数据库的入库压力。此外，比较模块判定当前待存储数据属于新的数据时，才将其存储至数据库，从而提升了数据库的数据有效存储率。进一步，相同的数据不进行处理，则提升了数据的处理速率。

摘要： 本发明公开了一种海量认证信息保存方法及系统、海量用户认证方法及系统，该海量认证信息保存方法包括步骤：S1.根据海量账号中每个账号登陆的时间差，计算所述每个账号的认证信息对应的记忆保持量；S2.根据所述海量记忆保持量，对所述海量账号认证信息进行排序；S3.将所有账号认证信息有序保存至数据库，并将预设排序之前的账号认证信息有序保存至数据缓存。本发明通过艾宾浩斯算法，建立记忆保持量函数模型，用记忆保持量模拟人类的记忆保留比率，能有效提高海量用户的登录认证效率和用户的登录体验舒适度。

摘要： 本发明公开了一种海量数据检索方法，在不同区域建立第一缓存、第二缓存和第三缓存；接收到数据检索请求后，根据所述数据检索请求查找所要检索的数据的存储区域；查找成功时，在查找获得的存储区域中进行数据检索；查找失败时，根据所述数据检索请求和缓存所属设备的性能在所述第一缓存、第二缓存和第三缓存中进行数据检索。本发明还同时公开了一种海量数据检索装置、一种海量数据存储方法及系统。

摘要： 一种USB海量存储设备上应用程序与USB海量存储设备进行命令交互和双向数据传输的方法。特别是一种有权限管理的操作系统，非授权用户如何使用创建的应用程序对USB海量存储设备发送命令，从而实现应用程序与USB海量存储设备进行命令交互和双向数据传输的方法，本发明利用操作系统任何用户可在USB可移动存储设备的可读写区创建新文件并可向其写入和读取数据这一特性，通过规定读写数据缓冲区的数据格式、长度以及新文件读写位置等数据，实现应用程序与USB可移动海量存储设备进行命令交互和双向数据传输。本发明为这类多种应用程序提供了可移动、便捷和可靠的运行环境，使带有应用程序的USB海量存储设备，实现了“即插即用”的目的。

摘要： 本发明涉及数据查询技术领域，具体公开了一种基于数据挖掘技术的海量数据查询方法，S1：用户登录、注册数据查询系统；S2：用户在系统内输入查询条件；S3：系统预判用户的待查询数据，并将预判的数据从数据库中提出备用；S4：根据用户最终输入的查询条件，系统优先从预判数据中提取查询数据进行展示；S5：若预判数据内无符合用户查询条件的查询数据，系统从数据库内提取查询数据进行展示；S6：用户自主选取所需数据。本方案能够根据用户的输入中的查询条件、用户的相关检索习惯、检索偏好、用户身份信息等对用户的所需的查询数据进行预判，为后期用户的全方位检索提供更加准确、优质的查询数据储备，提高系统数据查询效率，提高用户的体验感。

摘要： 本发明公开了一种海量卫星仿真建模方法、系统、设备及存储介质，通过建立最小包围球来将卫星模型中的所有卫星的位置信息以偏移量的形式保存下来，并一次性传输至GPU中进行各卫星位置的仿真重建，同时利用卫星模型的三维模型数据在GPU中做进一步的着色渲染，从而最终可得到卫星模型的空间分布。因此，本发明方法通过对海量卫星仅进行一次建模过程，减少了CPU与GPU的调度次数；并通过利用所建立的最小包围球来得到卫星与球心之间的偏移量数据，以替代卫星实际位置信息，从而便于利用一次绘制命令渲染出所有卫星，减少资源消耗；基于卫星轨道信息数据，还可实现高效动态地推演出卫星通信网络的演变过程。

摘要： 本发明属于可视化领域，提供一种海量图数据下的快速可视化呈现方法。该方法包括：(10)建立海量图数据模型；(20)输入数据集，设定边为起终点组成的四维矩阵；(30)空间划分构建kd树；(40)递归搜索并标记边；(50)依据信息量最大化原则构建评估指标len；(60)对重复搜索的标记，以边三等分点作为扇入扇出点与邻边捆绑，对比计算指标len，保留len小的标记；(70)边捆绑获得邻近图Γ；(80)用样条曲线优化捆绑效果。本发明有益效果为：通过边捆绑解决了传统海量图数据可视化紊乱问题。并且在保证减少视觉杂乱基础上，构建评估指标，再利用kd树搜索邻近边，相比传统边捆绑算法中用聚类计算，大幅度降低计算时间，提高系统性能。