大数据量

摘要： 为解决目前光纤传感测试领域存在的组网测试采集量大的问题,设计并实现了一种基于FPGA的大数据量实时处理系统,详细介绍了系统的硬件构架和关键模块设计,重点描述了FPGA通过寻峰模块和交叉读写缓存模块实现大数据量的实时处理方法。在FPGA中加入寻峰模块,从大量光谱数据中选取有效数据,减少传输的数据量,并通过交叉读写缓存保证数据传输的连续性,将筛选后的有效数据发送至上位机。通过实验对该系统的实际应用性能进行验证,结果表明该系统能够有效满足基于光谱采集的多通道光纤传感解调数据处理要求。

摘要： 英国学者贝克莱在《视觉新论》中说过,“人类的眼睛所看到的是自然的语言”。而实验心理学家赤瑞特拉则用著名心理实验结果证实了这一点:人类获取的信息83%来自视觉,11%来自听觉,这两个加起来就有94%。由此可见,视觉是所有感官中承载最大数据量的感知方式。

摘要： 在未来,我们会进入10G时代,我们幻想未来的世界是什么样的呢?由我来给您解答。首先是关于10G的一些数据。它达到600-700Tbit/s,能够满足我们随时随地操控未来的智能设备,能满足1024K“极清”的视频和99.9%的虚拟现实等大数据量传输。空中接口时延低至0.0000000000001ms,在任何区域上网都无忧无虑。具备覆盖全球的连接能力和物联网通信极为强大,频谱效率比LTE提升600倍以上。

摘要： 随着信息时代的到来,数据的产生方式和应用模式都发生了根本性变革。各行业都需要对数据进行更加迅速、准确、智能、低成本的处理。云计算以其高灵活性、可扩展性和高性价比特点在智能化时代发挥着基础支撑作用。云计算与无线电相关技术的结合可有效建立基于遥感遥测遥控等数据的新型研发、应用与服务模式,有助于突破相关信息在数据、设备、技术、成本等方面的障碍;同时也应该注意到,云计算在无线电领域的实践中仍然存在大数据量管理有待提升、应用场景较少、多方协作效率低等问题。

摘要： 在针对控制和机器人的机器学习任务中,高斯过程回归是一种常用方法,具有无参数学习技术的优点.然而,它在面对大量训练数据时存在计算量大的缺点,因此并不适用于实时更新模型的情况.为了减少这种计算量,使模型能够通过实时产生的大量数据不断更新,本文提出了一种基于概率关联的局部高斯过程回归算法.与其他局部回归模型相比,该算法通过对多维局部空间模型边界的平滑处理,使用紧凑支持的概率分布来划分局部模型中的数据,得到了更好的预测精度.另外,还对更新预测矢量的计算方法进行了改进,并使用k-d树最近邻搜索减少数据分配和预测的时间.实验证明,该算法在保持全局高斯过程回归预测精度的同时,显著提升了计算效率,并且预测精度远高于其他局部高斯过程回归模型.该模型能够快速更新和预测,满足工程中的在线学习的需求.

摘要： 本文将详细介绍大数据量FFT在雷达信号处理中的应用优势,通过专业的调查与研究,找出大数据量FFT的算法原理与实现过程,并对雷达信号的处理开展了大数据量FFT试验,借助该试验中的算法、仿真效果、计算量与试验结果等掌握其在雷达信号处理上的使用优势。

摘要： 本课题创新地设计出一种云化环境下共享参数的加载和访问方式,该方案关键功能为:(1)通过生成单个种子文件代替同时从数据库直接加载:通过单点将参数从物理库导出到文件中并存放于分布式文件存储(如NFS)中共享使用,各应用节点并行将参数文件装载到主机内存,极大减轻对物理库的频繁访问造成的I/O压力以及大量节省数据库连接数.(2)种子文件模式参数并行加载:采用种子文件的模式,由管理节点生成参数种子文件,存放于共享文件系统中,点到点传播装载数据文件到各节点,各节点并行加载到主机内存中,极大提高参数加载效率和参数加载自动化处理程度.

摘要： 本文从系统性能的角度,系统的阐述了国家能源集团财务合并报表系统的实现方案。大型企业集团财务合并报表系统多注重复杂多样的业务需求实现,开发技术和产品的选型,但往往忽略对整个系统性能的考虑。这类系统都具有高并发访问、系统具有海量数据的特性,对系统性能架构、实现方案设计不全面会导致系统上线后随着业务数据的增长系统都会出现性能瓶颈。本文为大型企业集团合并报表系统的建设提供了一个实例,也为大型合并报表系统性能改进提供方法思路。

摘要： 三维陆地地震资料采集技术向着高密度和宽方位的方向发展,导致产生海量地震数据。初至旅行时层析成像的经典算法需要过多内存和计算时间,不适合处理大的地震数据量。为解决这一问题,提出一种基于优化数学公式的初至旅行时层析成像算法,既减少Frechet矩阵和Hessian矩阵的存储对内存的需求,也减少Hessian矩阵的求逆时长,能快速和高效地解决大数据量的层析反演问题,适合高密度和宽方位采集的陆地地震资料和精细参数化的网格模型,并且不影响精度,易于实现并行计算。模型试验和实际数据都验证了该方法的有效性,当初至旅行时达到一定的数量时,该方法能提供可靠的层析成像结果,进行静校正。

摘要： 随着oracle数据库中数据量的不断增长,在数据库系统硬件配置不变的情况下,大数据量报表查询时往往会遇到响应时间长、设备资源开销大等问题,从而严重影响了用户的使用效率,因此对大数据量报表查询优化方法的研究十分必要.本文是对基于oracle数据库查询进行研究,在合理优化数据库表结构,使用索引、分区表以及SQL语句优化等途径达到优化查询的目的.

摘要： 当前国家物联网技术的发展越来越快,特别是在各行各业的发展中都能找到物联网的身影,其被广泛地应用于行业发展的进程中.物联网技术的普及成为了时代发展的代表性产物,它能有效地实现大数据量的信息传递,并且专注于传输层、感知层以及应用层三者之间的密切联系,将信息及时有效地进行传递,保证了实时信息的交换,体现出速度快、质量高的特点.主要通过分析物联网的大数据量实时信息交换思路构架,了解其进行实时信息交换的方式,分析信息传递中出现的问题,并提出了合理化建议.

摘要： 当前网络安全形势日趋严峻、新技术不断涌现,以银行业为代表的金融企业在数据安全、信息安全等方面面临着极为严峻的挑战.建立一套完整的安全体系,保障客户资金安全及交易安全成为一项亟待解决的技术难题.建设银行在新一代7+1层、12P的整体架构基础上,完成了分布式平台的改造.在目前企业级安全架构之上,设计出适用大数据量、高并发的分布式安全体系.在原有"两地三中心"整体灾备方案的前提下,增加了同城机房流量切换等功能.为建行IT系统安全稳定运行打下了坚实的基础,为业务连续性提供了保障.

摘要： 该文探讨了用Ｃ／Ｃ＋＋语言编程进行数值计算时访问二维数组常用方法的效率，并对大数据量的二组数组提出了一种用ｆａｒ指针代替ｈｕｇｅ的方法，给使用微机的数学工作者和工程技术人员进行Ｃ／Ｃ＋＋编程提供了参考依据。

摘要： 本发明提供了一种大数据量批处理系统，包括：中间件单元用于向一级缓存装置发送查询请求，以及接收来自二级缓存装置的二级分页主键集合，根据二级分页主键集合向数据库查询待处理数据并在对待处理数据进行计算处理后，向数据库发送持久化数据请求；一级缓存装置用于向数据库查询符合查询请求的主键集合，以及根据主键集合生成一级分页主键集合并将一级分页主键集合返回至二级缓存装置；二级缓存装置用于根据一级分页主键集合生成二级分页主键集合并将二级分页主键集合返回至中间件单元。本发明还提供了一种大数据量批处理方法。根据本发明的技术方案，可大大提高系统海量数据的处理速度，降低系统处理时间，进而提升系统的综合性能。

摘要： 本发明涉及一种多类型大数据量综合数管的数据管理方法，该方法包括采集记录过程和数据加载及全机软件升级过程。本发明的方法解决两方面问题，一个是机载多类型、大量数据采集整理与记录内容；另一个是当地面任务规划数据较大或者升级软件时，为缩减飞机维护时间，快速完成加载及升级内容，无需外接升级电缆及升级设备，减轻人力劳动，减少由于认为操作造成的错误，将规划数据写入数据卡后，通过内总线将相关数据发送给目标设备。

摘要： 本发明提供了一种大数据量环境中数据运算的方法和设备，该方法包括：设定char类型内存空间存储数据的方式；基于存储数据的方式使用char类型内存空间中的每个char存储待运算数据中对应数量的整数；基于存储数据的方式对每个数据进行运算。通过使用本发明的方案，能够免除大数据在内存中存放的空间，极大的提升数据运算的效率。

摘要： 本发明涉及一种基于多用户大数据量的慢系统数据实时读取更新方法，步骤为：1、每个客户端每次向服务器端请求固定的若干条数据，且每隔固定时间读取一次；2、客户端对数据解析，并保存未完结数据的ID；3、客户端判断当前未完结数据条数，若不超过最大条数限制，则执行步骤5，否则分批次读取并更新未完结数据，执行步骤4；4、将未完结的数据分组，每超过最大条数限制，则增加一组；5、每隔固定时间向服务器请求未完结数据最新状态；6、根据步骤1～5不断读取并更新数据，若读取完毕，则减少5中请求未完结数据的时间间隔；7、重复步骤1～6，不断读取和更新数据。与现有技术相比，本发明具有快速有效，确保状态更新等优点。

摘要： 本发明提供一种基于动态分页技术展示大数据量的树数据的方法及系统，其中，方法包括：获取需要展示的大数据量的树数据；将树数据展开成列表，并在视窗中进行输出；监听用户基于视窗输入的滚动事件；基于滚动事件中的滚动距离，计算索引值；基于索引值，从列表中确定下一页数据，并在视窗中进行输出。本发明的基于动态分页技术展示大数据量的树数据的方法及系统，本申请的技术方案，在页面第一次加载时，只需要渲染第一页的树数据，由于需要渲染的树的节点数量减少，可以有效地提高首屏渲染速度。另外，在发生用户交互操作时，由于页面中存在的树节点数量大幅度减少，从根本上解决了传统的渲染树方法导致的页面卡顿的问题。

摘要： 本发明提供了一种大数据量批处理系统，包括：中间件单元用于向一级缓存装置发送查询请求，以及接收来自二级缓存装置的二级分页主键集合，根据二级分页主键集合向数据库查询待处理数据并在对待处理数据进行计算处理后，向数据库发送持久化数据请求；一级缓存装置用于向数据库查询符合查询请求的主键集合，以及根据主键集合生成一级分页主键集合并将一级分页主键集合返回至二级缓存装置；二级缓存装置用于根据一级分页主键集合生成二级分页主键集合并将二级分页主键集合返回至中间件单元。本发明还提供了一种大数据量批处理方法。根据本发明的技术方案，可大大提高系统海量数据的处理速度，降低系统处理时间，进而提升系统的综合性能。

摘要： 本发明属于大数据量的数据处理技术领域,具体涉及一种关系型数据库下大数据量的数据处理方法及系统，所述的方法包括以下步骤：S 1：切割数据库为工单表、业务表、历史表三个表；S2：业务表根据业务量设置评估规则,并按机器ID或用户ID尾号取模分表；S3：设置定时任务,工单表和业务表根据设定好的时间对工单表及业务表数据切割流入历史表；S4：定期将历史表数据落文件增量备份存储。本发明提高了关系型数据库下大数据量处理效率，通过工单进行数据更新流转，完成业务和底层数据处理的解耦。

摘要： 本申请涉及大数据技术领域，揭示了一种适用于大数据量的数据检索方法、装置、设备及存储介质，其中方法包括：根据数据检索请求携带的检索配置数据确定目标检索方式；当目标检索方式为引擎检索时根据检索配置数据向目标搜索引擎发送引擎检索请求，获取目标搜索引擎发送的引擎检索结果；当引擎检索结果为失败或者目标检索方式为主库检索时根据检索配置数据确定目标业务服务数据库，根据检索配置数据向目标业务服务数据库发送主库搜索请求，获取目标业务服务数据库根据预设的主库索引库和主库搜索请求发送的主库检索结果，根据主库检索结果更新目标搜索引擎。从而提高了响应效率，降低了维度难度，提高了针对聚合查询或数据统计的检索结果的准确性。

摘要： 本申请提供了一种将大数据量的文本文件导入数据库的方法及装置，该方法包括：获取原始文本文件，且将原始文本文件拆分为多个子文件；生成第一设定数量个存储单元，且将各子文件存储在对应的存储单元中；生成第一设定数量个数据导入脚本；采用数据导入脚本将各存储单元中的子文件导入至对应的数据库中，导入脚本与存储单元一一对应，数据库的个数与数据导入脚本的个数相同。本方案采用存储单元作为文件存储的中转站，数据导入脚本作为文件导入工具，省去了将文件分发至各个分布式节点的过程，且操作简单，省去了通过部署应用程序来处理文件导入的步骤，减少了资源占用和编码配置工作量，实现了将大数据量的文本文件快速地导入对应的数据库中。

摘要： 本发明涉及到一种数据库，具体地说，涉及一种用于解决大数据量高实时性并发处理的智能单表数据库，包括：数据库模块、存储模块、查询模块、读取模块，数据库模块：该模块预置块写入单元，其首先写入连续长度的空数据，当有数据需要写入时，数据会覆盖到空数据上，如果空数据的剩余长度不足以写入新的数据，则再次追加连续长度的空数据；存储模块：数据库模块的数据都存储在存储模块中，本数据库对服务器的硬件要求极低，4G内存、4核CPU的廉价计算机，即可满足数万亿条数据的高速查询、统计、分析需求，得益于查询缓存，能够满足大规模并发查询的需求。需按照数据量购置响应容量的硬盘即可，无需追加投资。