大规模数据

摘要： 1959年,计算机科学家E.W.Dijkstra提出了Dijkstra算法。Dijkstra算法是一种解决单源最短路径问题的贪心算法,其作用主要表现在解决有向图中的最短路径问题方面。但随着科学技术的发展,Dijkstra算法的应用领域得到了极大的扩展,“最短路径”也被赋予了全新的含义,不再单单指空间中的最短距离,同样也可以用来研究各种时间、经济、能量消耗问题。但是,随着研究问题的复杂化以及所研究数据规模的逐渐扩大,传统的串行Dijkstra算法计算量大、时间复杂度较高的问题也逐渐体现出来,影响着Dijkstra算法在诸多问题中的表现。而并行化计算不仅在计算大规模数据时表现优异,也非常契合Dijkstra算法的算法思想。

摘要： 大规模数据是需要新处理模式才能具有更强的洞察力和决策力的海量、高增长率和多样化的信息资产。分析海量数据的工作异常复杂,主要面临两个挑战:数据的难存储性和偏态性。基于此,文章主要研究以下两个问题:(1)将数据进行分布式存储,减轻单台机器的存储负担,采用尾期望回归分析偏态数据。(2)基于尾期望回归构造全局损失函数的一个交互有效的梯度增强型损失函数,为解决该损失函数的优化问题,提出修正的ADMM算法。模拟研究表明,在有限次主从机器之间交互次数下,提出的分布式计算方法得到的估计误差递减并趋于全局最优方法得到的估计误差。基于全国健康访谈调查(NHIS)数据的实证研究表明,提出的分布式计算方法对国民体重具有良好的预测性能。

摘要： 四月1日中国科大在国产超算平台填补大气数值模拟空白。中国科学技术大学科研人员在新一代神威超级计算机上,首次实现了长达7天的全球3公里空间分辨率大气物理-化学全耦合数值模拟试验。该项研究工作基于新一代中国国产神威超算平台,在大规模数据读写速度、运行时效性等多个方面填补了中外大气数值模拟的空白,全面展现了新一代中国国产超级计算机软硬件系统的可靠性、稳定性和可用性,以及在其上构建全球高分辨率大气模拟系统的重大应用前景。

摘要： 在信息化炙热的时代,对大量及大规模数据进行压缩往往是研究事物的第一步,而主成分分析作为信息压缩的重要手段之一,在模式识别、推荐系统、图像及视频处理等方面发挥着重要作用。本文在以方差代表信息量的基础上,分别构造了向量、矩阵、张量情形下的主成分,并分析了其特征向量在对应Hilbert空间的正交展开过程。且进一步讨论了三种情形下样本PCA的过程,探究重构过程中矩阵SVD和张量Tucker分解与矩阵PCA和张量PCA的关系。

摘要： 传粉昆虫的数量和多样性危机是一个亟待重视的问题。当然,作为科学家,要想确切得出传粉昆虫在大尺度范围下降的绝对性结论,需要通过严谨而大量的重复实验,积累具有统计学意义的大规模数据,然后严格分析,这是一个困难而漫长的过程。但是从保护生物学的角度来看,面对一个潜在的重大危机,我们宁可采取更谨慎的方式去预防,或者是减小它发生的可能性或者速度。

摘要： 语义表示是自然语言处理的基础,我们需要将原始文本数据中的有用信息转换为计算机能够理解的语义表示,才能实现各种自然语言处理应用。表示学习旨在从大规模数据中自动学习数据的语义特征表示,并支持机器学习进一步用于数据训练和预测。以深度学习为代表的表示学习技术,能够灵活地建立对大规模文本、音频、图像、视频等无结构数据的语义表示,显著提升语音识别、图像处理和自然语言处理的性能,近年来引发了人工智能的新浪潮。本书是第一本完整介绍自然语言处理表示学习技术的著作。书中全面介绍表示学习技术在自然语言处理领域的最新进展,对相关理论、方法和应用进行了深入介绍,并展望了未来的重要研究方向。

摘要： 2020年12月,国家发展改革委、中央网信办、工业和信息化部、国家能源局等四部门联合印发《关于加快构建全国一体化大数据中心协同创新体系的指导意见》(发改高技[2020]1922号),明确指出"加强全国一体化大数据中心顶层设计,对深化政企协同、行业协同、区域协同以及全面支撑各行业数字化升级和产业数字化转型具有重要意义";2021年5月,四部门又联合印发了《全国一体化大数据中心协同创新体系算力枢纽实施方案》(发改高技[2021]709号),国家发展改革委相关负责人就文件出台背景指出,随着各行业数字化转型升级进度加快,特别是5G、人工智能、物联网等新技术的快速普及应用,全社会数据总量爆发式增长,数据存储、计算、传输和应用的需求大幅提升,数据中心已成为支撑各行业"上云用数赋智"的重要新型基础设施。本期专题"国家数据中心"聚焦全国一体化大数据中心建设,旨在探讨全国一体化大数据中心顶层设计、数据资源储备体系、超大规模数据要素市场体系以及粤港澳地方大数据中心建设等关键问题。

摘要： 大数据时代奔涌而来,AI、云计算、大数据、物联网等需求不断增长,数据中心将变得更大、更复杂。作为数据中心的动力心脏,供配电系统需要更加可靠的UPS来保障数据中心的不间断运行。先控电气作为专业的UPS系统供应商,根据大型数据中心的业务需求定制“绿色电源解决方案”。在可靠运行的前提下,还能实现节能降耗、快速部署、随需扩容等功能。

摘要： 为了提高大规模非结构化数据的分布式存储能力,提出基于空间网格聚类的大规模非结构化数据分布式存储方法.构建大规模非结构化数据多维空间分布式融合模型,采用模糊中心权重聚类的方法进行数据的线性加权控制处理,通过样本扩展和密度融合的方法提取数据特征,采用选择随机性特征分析方法实现对数据特征空间划分,并利用空间网格聚类方法实现大规模非结构化数据分布式存储.仿真结果表明,该方法的执行时间较短,数据聚类准确性较高.该方法有效提高了大规模非结构化数据分布式存储性能,实际应用效果好.

摘要： 文章从PDM系统与其他系统的集成内容、集成方式、集成难点和技术选型等方面全面地阐述了SPDM系统在数据集成方面的应用模式.旨在总结SPDM系统与其他系统集成技术的选择和实现,分析其中的得失优劣,供后续开发系统参考.

摘要： 连接聚集查询是大规模数据分析的核心操作算子之一,多核处理器为大规模数据的连接聚集查询操作提供了优化空间但同时也存在很大挑战.本文主要针对多核处理器集群环境,研究MapReduce框架下大规模数据连接聚集查询的优化算法.首先,基于传统MapReduce框架设计并实现了Map端的单线程连接聚集查询算法,基于实验分析指出MapReduce和多核处理器融合提升性能的必要性;其次,针对处理器的多核架构,设计并实现了Map端的多线程连接聚集查询算法,找出了MapReduce和多核处理器融合的性能瓶颈;进而,提出了Map端对输入分片无竞争读取的多线程连接聚集查询算法,该算法让MapReduce充分利用了多核处理器的性能优势.实验结果表明,提出的算法在大规模数据的连接聚集查询处理上充分发挥了硬件优势,具有较好的时间性能和可扩展性.

摘要： 谱聚类算法由于其可识别非凸数据分布、可有效避免局部最优解、不受数据点维数限制等优点,在许多领域得到广泛应用.然而,随着数据量的增大和数据维数的增多,在保证聚类准确性的前提下,尽可能降低计算时间将变得非常必要.此外,影响谱聚类算法聚类质量的因素除数据集本身外,还与所采用的求解距离矩阵的方法、相似性矩阵的尺度参数、Laplacian矩阵形式等多种因素相关,针对以上问题,首先对于大规模数据问题,将MPI(Message Passing Interface)并行编程模型应用于谱聚类算法,然后利用t-最近邻方法对谱聚类算法中较大维数的Laplacian矩阵进行近似转化,同时将局部尺度(local scaling)参数对算法中的尺度参数进行自动调节.基于上述分析,提出了一种谱聚类并行实现算法,即稀疏化局部尺度并行谱聚类算法(SLSPSC,Sparse Local Scaling Parallel Spectral Clustering),并在4个数据集上进行了测试,并与现有的并行谱聚类算法(PSC,Parallel Spectral Clustering)在运行时间和聚类质量两方面做了比较分析.实验结果显示:该算法降低了求解Laplacian矩阵的总时间,同时部分数据集聚类质量得到较大提高.

摘要： 排序是计算机科学中一个古老而经典的问题,在数据处理、网络安全等很多领域都有重要的应用.近年来,大数据浪潮席卷全球,一些数据密集型应用对排序性能的要求也越来越高.面对上述需求,结合当前对大规模系统性能影响越来越大的功耗墙问题,提出了一种基于蚁群计算平台的层次化排序结构,利用全流水的插入排序得到小规模有序序列,通过共享存储的First-In-First-Out(FIFO)结构、消除控制依赖的归并树和多节点流水线实现多级归并得到系统级有序结果.与CPU、GPU平台上的排序算法相比,不仅扩大了可排序数据规模,提高了数据排序的吞吐率,在能效上也有10倍以上提高.

摘要： 最终能够辅助预测药物副作用，提升药物安全性，促进药物再利用，降低药物研发的成本，辅助药物基因组学新型药物研发，以及促进药物研发的转化研究。药物关联数据通过其整合的大量资源，在不同环节都为药物研发提供筛选推荐和决策支持，这将大大加快新药研发的速度，同时对个性化医疗做出的贡献。

摘要： 本文通过分析TeraSort程序,并对TeraSort算法进行分析,进一步对TeraSort源代码进行研究,深入理解TeraSort,然后在Hadoop平台上运行TeraSort进行大数据排序,测试验证TeraSort程序,最后讨论TeraSort作为基准测试程序的实际应用.TeraSort通过采样确定每个map task数据的R个数据块的范围，通过建立trie树将每条数据快速的确定它属于哪个数据块。在集群上可以利用TeraSort来测试Hadoop。同时TeraSort目前已经作为一个基准测试程序，它具有很高的测试利用价值。

摘要： K-means聚类算法存在的主要不足之处之一在于需要用户指定聚类核数目,在一般应用场景下,用户无法给出合适的聚类核数目.另一方面.K- means聚类所具有的可并行化特点非常适合运用到云计算平台上以处理大规模数据样本的聚类任务.本文提出KBAC算法采用K-means算法作为预聚类过程并在云平台上进行实现和优化,能够自适应确定最佳聚类核数目并进行聚类.其核心思想是将样本空间聚类问题转换为图上社团发现问题.理论和实验证明,通过在云计算框架下实现K-means预聚类过程的并行化.KBAC算法能够高效地对大规模数据进行聚类,并获得高质量的聚类结果.

摘要： 本文围绕将XML用于数据库应用中所遇到的问题,尤其是性能问题,进行了讨论.并通过一个试验程序,具体考察了XML和关系数据库在处理较大规模数据(1万条记录以上)时性能上的差异.最后,对于XML在这个领域内的应用,给出了一些探讨性的结论.

摘要： 随着超级计算机、并行计算、应用软件的发展和实际工程设计深入应用,模型所面临的结构越来越复杂,建模越来越精细,在数值模拟中产生了大规模的、复杂的数值模拟计算数据,数值计算结果呈几何级数增长,对这些数据进行可视化分析将大大加快研究的进程.利用TeraVAP可视化软件,对千万量级炸药爆炸冲击波传播过程数值计算结果进行了轻量可视化处理,获得了直观的结果,方便观察和分析数据信息.同时通过技术开发,对获得的数据与虚拟场景进行了融合展示,清楚表现了炸药爆炸对周围环境及建筑的影响.

摘要： 公开了一种管理数据储存库中的数据的计算机实现的方法。所述方法包括维护数据储存库，所述数据储存库存储从一个或多个数据源导入的数据。识别添加到数据储存库的数据库实体，并且创建用于存储与数据库实体相关的元数据的元数据对象，并将其存储在元数据储存库中。元数据对象也添加到文档队列中。经由元数据管理用户界面从用户接收所述元数据对象的元数据，并且接收的元数据存储在元数据储存库中并与元数据对象相关联。

摘要： 本发明涉及一种分析大规模数据的低延时缓存数据处理方法，包括：步骤S1，通过获取模块获取用户浏览数据的实时数据情况，利用大数据分析模块对实时数据情况进行分析以得到同类数据的数据量A以确定同类数据是否具有缓存记录；步骤S2，若用户对同类数据具有缓存记录，启动主动缓存模块进行实时数据缓存；步骤S3，若用户对同类数据不具有缓存记录，调取整体数据库模块中已浏览数据的缓存量R以确定是否能够进行主动缓存；步骤S4,若不能进行主动缓存，将相似数据的缓存率L与标准缓存率进行比较以最终确定是否能够进行主动缓存；步骤S5，若中控模块判定不能进行主动缓存，启动被动缓存模块进行被动缓存标记。从而能够达到低延时、高效的数据缓存。

摘要： 本发明公开了一种基于大规模数据碰撞获取业务模型数据和物理模型数据关系的方法，属于商业智能领域。该方法验证的场景是通信网络中传输外线系统，通过从前台用户界面截取有效的外线传输模型数据来进行分析，进而得到传输外线用户业务模型和外线系统数据库的物理模型的对应关系，并获知数据的来源结构。与现有技术相比，以本发明的方法能够获得目标数据源的大部分有价值的元数据信息，具有很好的推广应用价值。

摘要： 本发明涉及一种分析大规模数据的低延时缓存数据处理方法，包括：步骤S1，通过获取模块获取用户浏览数据的实时数据情况，利用大数据分析模块对实时数据情况进行分析以得到同类数据的数据量A以确定同类数据是否具有缓存记录；步骤S2，若用户对同类数据具有缓存记录，启动主动缓存模块进行实时数据缓存；步骤S3，若用户对同类数据不具有缓存记录，调取整体数据库模块中已浏览数据的缓存量R以确定是否能够进行主动缓存；步骤S4,若不能进行主动缓存，将相似数据的缓存率L与标准缓存率进行比较以最终确定是否能够进行主动缓存；步骤S5，若中控模块判定不能进行主动缓存，启动被动缓存模块进行被动缓存标记。从而能够达到低延时、高效的数据缓存。

摘要： 本发明公开了一种大规模数据中心数据采集的自适应抽样模型优化方法。包括以下步骤：步骤1，采集数据集中的全部的有限的单个个体的数据用来计算重建误差Ett以准确评估重建结果；步骤2，建立抽样模型、重建模型、估计代价函数、误差评估函数、损失函数：步骤3，将全采集数据划分为独立同分布的训练集Dtrain和测试集Dtest：步骤4，抽样和重建模型联合训练、测试和选择：步骤5，在真实应用场景部署抽样重建模型：本发明能够降低采集延迟同时针对运行数据的多个潜在应用提出了统一的采集优化目标，在综合考虑采集代价和重建精度并在采集前未观测全部数据的情况下，通过建立并优化抽样模型，根据残缺的历史记录自适应地进行数据中心运行数据的抽样采集。

摘要： 本发明公开了一种基于数据特征的大规模数据质量异常检测方法，包括以下步骤：构建数据异常检测方法库，根据每种数据特征设置对应的检测方法，汇总形成数据异常检测方法库；对数据特征进行异常检测方法匹配，根据匹配结果中的异常检测方法进行检测；大规模数据特征遍历，对每个数据特征进行匹配和检测。本发明的实质性效果包括：将异常检测由检测规则驱动的方式转变为由数据特征驱动的方式，基于各字段中数据本身的特征信息生成相应的异常值检测方法，同时针对大规模数据设置特殊的模糊化处理机制，实现数据质量检核的规模化与自动化，提高数据质量问题检测效率。

摘要： 本发明公开了一种基于数据内容的大规模数据特征智能化提取方法，包括以下步骤：对数据进行字段类型的初步识别，并剔除无效数据；判断数据的中文描述和字段类型，对不匹配的数据进行抽样，计算样本中各字段类型占比，根据占比结果修订字段类型；根据字段类型提取特征。本发明的实质性效果包括：考虑了对表格处理与检测的通用性以及不同字段类型数据所代表的含义之间的联系，只依据表头信息以及数据内容，就可以为各字段提取对应特征，实现数据本身特征提取的自动化与规模化，为数据质量问题排查提供了精准的检测对象识别与定位，为提升后续质量检测工作效率提供了基础。

摘要： 本发明公开了一种大规模数据和工业监控内存数据库处理的方法及装置，包括：获取读写指令，读写指令包括记录ID，再根据记录ID以及记录ID与记录地址的对应关系，确定记录ID对应的记录地址，调用进程对记录ID对应的记录地址上的记录进行读写操作，以实现在获取到读写指令之后，根据记录ID以及记录ID与记录地址的对应关系，通过记录ID直接定位到记录ID对应的记录地址，提升记录查找效率。

摘要： 本发明涉及数据分发技术领域，具体地说，涉及大规模数据管理与数据分发系统及方法。其包括数据采集子系统、数据处理子系统和数据分发子系统。该大规模数据管理与数据分发系统及方法中，采用数据采集子系统，在数据接入时记录所有采集数据源及分类的信息，提供统一采集工具进行开发配置管理，对源数据进行粉料，以便于后期数据的数据和分发，采用数据处理子系统，基于卷积神经网络算法实现数据信息的分类，并对数据进行统一管理，提高数据处理效率，解决数据中心内部系统和外部系统之间的数据接口问题，提高数据分发效率。

摘要： 本发明公开了一种应对大规模数据多维聚合实时查询的数据处理平台，包括数据服务首页、数据查询、数据处理以及系统管理，其中平台角色分为普通人员和管理人员，其中系统管理模块只针对管理人员开放，数据处理分为项目管理和cube管理，系统管理模块分为集群监控和项目权限管理，本发明提供可视化操作界面，降低操作难度与学习成本，使多维分析查询效率大大提升，响应时间降低至毫秒级；同时因为数据的计算是通过预处理方式进行处理，数据的计算使用硬盘计算，相对于spark使用内存计算，成本更低，且预计算模式不追求计算的高实时性，用户可以根据需求降低服务器集群成本；提供任务监控和集群监控功能，可以帮助用户有效的管理集群和数据处理任务。