数据划分

摘要： 针对大数据背景下随机森林算法中存在协方差矩阵规模较大、子空间特征信息覆盖不足和节点通信开销大的问题,提出了基于PCA和子空间分层选择的并行随机森林算法PLA-PRF(PCA and subspace layer sampling on parallel random forest algorithm)。对初始特征集,提出了基于PCA的矩阵分解策略(matrix factorization strategy,MFS),压缩原始特征集,提取主成分特征,解决特征变换过程中协方差矩阵规模较大的问题;基于主成分特征,提出基于误差约束的分层子空间构造算法(error-constrained hierarchical subspace construction algorithm,EHSCA),分层选取信息素特征,构建特征子空间,解决子空间特征信息覆盖不足的问题;在Spark环境下并行化训练决策树的过程中,设计了一种数据复用策略(data reuse strategy,DRS),通过垂直划分RDD数据并结合索引表,实现特征复用,解决了节点通信开销大的问题。实验结果表明PLA-PRF算法分类效果更佳,并行化效率更高。

摘要： 传统方法在加密无线传感网络分布式数据库时,受到网络异构性的影响产生了大量异常数据,导致其存在加/解密速度慢、数据查询复杂度以及解密后数据准确性低的问题。为此,提出一种无线传感网络分布式数据库加密方法。首先通过密度峰值法对数据实施聚类处理,使用机器学习中的支持向量机分类法找出数据库中的异常数据并剔除。然后通过OPES算法对数据库内数据实施转换、桶划分等操作,再通过划分结果建立数据库的加密空间,实现对无线传感网络分布式数据库的加密。仿真分析结果表明:该加密方法提高了无线传感网络分布式数据库中数据查询过程的复杂度和加/解密的速度,且应用该方法可使得解密后数据的准确性达到99.16%。

摘要： 物流网络求解最短路径是最常见的一类问题,在小型网络中无需构建模型就能够求解精确解,但在大型网络中,多是构建了模型并进行求解。在求解大型网络的物流配送问题中,精确算法也不再适用,只能通过智能算法求解近似解,在以往的研究中,求解网络最短路径问题很少使用聚类算法,该算法是一种发现数据样本分布特征的算法,以数据间的相似性为根据,将数据划分为不同的类,使不同数据间存在差异性.

摘要： 性状比较的结果数据有助于家蚕优良亲本选择和性状改良工作.人工比较家蚕性状的工作量大,效率低,且易出错.以家蚕茧层率性状比较为例,提出一种基于数据划分的家蚕性状比较方法,把家蚕茧层率数据按比较年季和比较均值分为2类,分别计算性状趋势、性状均值变化率和综合性状均值变化率等成绩,利用线性回归、方差分析等统计方法,比较3个家蚕品种连续10年春蚕期的茧层率.实验结果显示,该方法能够灵活地对任意家蚕品种、任意蚕期数据段比较性状指标,是一种通用的性状比较方法,具有一定的实用性.

摘要： 现代化与科技化的发展背景下,ARCGIS软件的应用打造了更加全面且可自由伸缩的GIS平台,可更加科学地进行数据划分,可在ARCGIS支持下运用使用点的疏密度及符号对数值及图形的变化进行立体化展示,并运用不同的颜色对性质及大小均存在差异的属性数据进行区分,也可用直方图或饼状图进行数据展示,可实现专题数据的图形化。为此,本文从ARCGIS9这一新型GIS软件的阐述入手,对利用ARCGIS编制专题地图的方法展开探讨,并进一步分析了编制过程中应注意的要点问题。

摘要： 离群点检测是数据挖掘领域研究的热点之一,主要目的是识别出数据集中异常但有价值的数据点.随着数据规模不断扩大,使得处理海量数据的效率降低,随即引入分布式算法.目前现有的分布式算法大都用于解决同构分布式的处理环境,但在实际应用中,由于参与分布式计算的处理机配置的差异,现有的分布式离群点检测算法不能很好地适用于异构分布式环境.针对上述问题,本文提出一种面向异构分布式环境的离群点检测算法.首先提出基于网格的动态数据划分方法(Gird-based Dynamic Data Partitioning,GDDP),充分利用各处理机的计算资源,同时根据数据点的空间位置信息进行数据划分,可有效减少网络通信.其次基于GDDP算法,提出了异构分布式环境中并行的离群点检测算法(GDDP-based Outlier Detection Algorithm,GODA).该算法包括2个阶段:在每个处理机本地,按照索引中数据点的顺序进行过滤,通过2次扫描得到离群点候选集;判断候选离群点需要进行网络通信的处理机,使用较低网络开销得出全局离群点.最后,通过大量实验验证了本文提出的GDDP和GODA算法的有效性.

摘要： Skyline计算是数据管理领域长久以来的一个研究重点和热点.给定一组多维的数据点,Skyline算子从中筛选出在所有维度上都不被其他点支配的数据点;Skyline算子的处理过程称之为Skyline计算.Skyline算子使得用户可以在较小规模的Skyline结果集上选择自己感兴趣的对象,而无须关心那些已经被过滤掉的对象.因此,Skyline计算在多目标决策、数据可视化分析、用户偏好查询等方面应用广泛,典型的应用任务包括但不限于商业营销策略分析,产品能力横向评估等.随着大数据时代的到来,以及分布式网络系统的深入应用和基于云计算平台解决方案的快速发展,各类应用领域数据规模的快速增长已经成为一个关键性技术挑战,面向大规模数据集的并行Skyline算子应运而生,以部分解决大数据给Skyline计算困难;同时,并行Skyline计算的相关研究近年来备受学术界和工业界的广泛关注.由于缺乏关于整个数据集的全局分布信息,并行Skyline计算的高效处理面临着巨大的技术挑战.一般认为,并行Skyline处理的计算框架通常包含三个主要步骤:(1)合理划分给定的大数据集;(2)利用本地计算资源在每个数据分块上分别计算局部Skyline;(3)合并局部Skyline最终形成全局Skyline.其中,针对后两步——计算局部Skyline和合并局部Skyline的现有算法较多,相关研究相对成熟;相较而言,第一步上的相关研究工作则较少,但其效果却直接决定了整体计算的并行化程度,进而能够影响并行计算系统的整体性能.具体地,第一步需要考虑两方面的准则:(1)各个分块上的计算负载是否均衡;(2)如何减小每个分块上局部Skyline的基数.然而,无论采用基于随机划分还是基于网格的方法,现有算法均只能满足上述两个准则之一,不能两全其美.针对该问题,研究探索了如何利用概率模型估计Skyline基数的期望,该概率模型将已有研究的相关结论纳入到了一个统一的框架中.接着,据此提出了一种新的基于排列的数据划分方法,它通过简单的数据点映射即可实现负载均衡,同时生成小于现有其他方法的Skyline候选点集.在理论研究的坚实基础上,在大型人工和真实数据集上实验验证了所提模型和方法的有效性;换言之,在大规模实验研究中,所提方法显著提高了并行Skyline算子的执行效率,在绝大多数参数设定下的表现都优于现有其他同类算法.

摘要： 随着知识图谱的日益发展和在各个垂直领域的广泛应用,对于资源描述框架(RDF)数据的高效处理需求日益成为现代大数据管理领域中的新课题.RDF是W3C提出的用于描述知识图谱实体以及实体间关系的数据模型.为了有效地应对大规模RDF数据的存储和查询,很多学者考虑在分布式环境中管理RDF数据.RDF数据的分布式存储所面临的关键问题是数据的划分,而划分的结果很大程度上决定了SPARQL的查询性能.从数据划分的角度,主要围绕两类:基于图结构的RDF数据划分方法和基于语义的RDF数据划分方法展开深入阐述.前者包括多粒度层次划分、模板划分和聚类划分,适用于通用领域查询的语义范畴较为宽泛的场景;后者包括哈希划分、垂直划分和模式划分,更加适用于垂直领域查询的语义范畴相对固定的环境.此外,针对几种典型的划分方法进行对比与分析,为未来RDF数据划分方法的研究提供参考.最后,对未来RDF数据划分方法的发展方向进行了归纳总结.

摘要： [目的]研究安吉白茶源产地追溯方法,建立高识别率追溯方法.[方法]对266个来自7大源产地产区安吉白茶和118个来自六大茶叶主产区的非安吉白茶进行近红外光谱检测,预处理方法分别采用SNV和MSC,通过LDA模型识别率比较二者优劣,并通过PCA、K-means聚类和HCA聚类等方法进行模型验证.采用SPSS分析聚类结果与样品地理位置的关系.[结果]MSC预处理效果优于SNV,LDA分析模型识别率可达100％.模型验证显示,经MSC预处理后,PCA方法可在前3个PC下清晰聚类,K-means和HCA聚类方法都可将266个产地内和118个产地外样品成功预测出.SPSS聚类分析显示,7个安吉白茶的聚类结果与样品采集地的地理位置远近存在对应关系.[结论]安吉白茶近红外光谱经MSC预处理,LDA建模可作为安吉白茶源产地追溯方法.

摘要： MapReduce是一个目前应用广泛的并行计算框架,如何解决Reduce节点的负载平衡问题是MapReduce程序执行效率的一个重要研究方向.基于抽样的划分是一种比较有效的数据划分方法,为了使得抽样方法发挥最大程度的效益,研究了抽样效果与其重要影响因素之间的定量关系,并给出了相关理论及其证明推导,同时通过实验进一步验证了理论的正确性.基于研究的结果,可以在给定MapReduce环境中,通过分析数据特征,找到最优抽样样本规模,从而通过尽可能小的抽样代价来得到满足要求的数据划分.通过将研究成果应用在改进的Terasort算法上,以实例验证了其在MapRedece平台上的实际意义.

摘要： 图数据划分方案的优劣是提升并行算法计算效率的重要因素。本文面向GPU程序，定义了一套性能参数和图数据显示参数，为CUDA程序员开发了可视化交互平台，用于交互式调整参数，探究程序性能与数据划分方案之问的关系。该工具针对GPU异构体系结构下的CUDA程序对数据凝聚性读写的特殊要求，对数据以块为单位着色和标号显示，帮助程序员通过观测图的整体布局，调整数据划分控制参数，优化分块效果。在系统实现方面，采用Java多线程，实现了并行化加速。实验结果表明，多线程加速了显示速度，提高了交互频率和交互质量。

摘要： 并行粒度是海量空间数据并行计算的重要问题之一.通过对大量文献的对比分析,本文提出空间数据粒度模型,量化地反映并行地形分析中数据划分的规模,然后建立并行粒度评价模型.通过研究集群环境下不同算法的数据并行粒度问题,最后提出基于并行粒度评价模型的优化粒度调度算法.经过实验验证,该算法比传统算法提供更高的任务执行效率和更好的可移植性.

摘要： 数据划分技术是分布式存储超级计算机应用的关键所在,也是困难所在.当多个循环间数据划分出现冲突时,现有的数据划分方法不能进行有效的数据划分.本文提出了一种基于幺模变换的数据划分方法,它在总体把握多个循环的数据划分约束关系的条件下寻找数据划分的可能,实际应用程序的测试结果都显示该数据划分十分有效.

摘要： ABC95是自主研制的采用FPGA设计的多功能互连结构阵列机，多功能互连网络是指支持处理器到存储器的矩阵无冲突访问模工和增强型的处理机到处理机通信的Mesh网络。介绍了ABC95阵列机的计算环境，包括指令系统、C语言利用ABC95求解问题的方法和ABC95的汇编器。重点讨论了C语言数组到ABC95的数据划分，包括BLOCK划分、CYCLIC划分和BLOCK-CYCLIC划分。定义了ABC95无冲突存取的数组数据类型，给出了一种n×n的划分方法。实验证明，采用这些技术可以有效地开展ABC95阵列机的程序设计。

摘要： 本文阐述当前主流GIS软件以及互联网地图应用在WebGIS(网络地理信息系统)解决方案中都广泛采用地图切片(又称瓦片),切片处理服务是实现影像在WebGIS上快速无缝浏览的关键技术.针对目前传统算法以及商业GIS软件在大数据量栅格影像快速瓦片化方面的不足,本文提出一种名为ParaTile的高效栅格影像快速瓦片化方法,ParaTile基于MPI共享外存的并行技术,利用多进程对原始栅格影像进行数据划分,每个进程对其所划分的区域进行独立读写和计算,而后再按照TMS或者Google Tile定义的标准将瓦片进行编码输出.实验采用不同级别大小的遥感影像进行测试,结果表明ParaTile在面对不同规模的数据时无论从速度还是算法稳定性上都较现有算法和工具具有显著优势,特别是当数据量越大时,这种优势愈加明显。

摘要： 随着分布式存储器系统作为并行计算支撑环境的广泛应用,针对分布式系统的并行编译器的研究越来越受到研究者的关注.其中如何在分布式系统中进行合理的数据划分和分布,以充分利用分布式系统特有的计算能力,同时降低机间通讯的传输代价已成为这一领域的研究重点.针对一种数据划分算法的局限,提出了一种改进的数据线性划分算法,增强了原算法解决问题的能力,并将该算法实现于自行开发的基于JAVA的并行编译器JAPS.

摘要： 随着遥感技术的快速发展,多源遥感图像的快速融合成为很多遥感任务的关键处理步骤.为了加速遥感图像的融合处理过程,本文首先提出了一种新的基于双树复小波变换的并行融合算法PACWT.算法中综合运用了数据分布、并行数据处理和负载均衡技术,以克服单机处理在计算能力和存储器空间上的限制;针对基于CWT的图像融合处理的计算特点,设计了一种可有效避免计算过程中数据通信的冗余划分方法.然后从理论上分析了算法在时间和空间两方面的性能.最后通过实验分析了算法在32-CPU的cluster系统上的实际性能,结果表明本文提出的算法具有良好的可扩展性,在数据量较大时可获得良好的加速比和并行效率.

摘要： 随着遥感技术的快速发展,多源遥感图像的快速融合成为很多遥感任务的关键处理步骤.为了加速遥感图像的融合处理过程,本文首先提出了一种新的基于双树复小波变换的并行融合算法PACWT.算法中综合运用了数据分布、并行数据处理和负载均衡技术,以克服单机处理在计算能力和存储器空间上的限制;针对基于CWT的图像融合处理的计算特点,设计了一种可有效避免计算过程中数据通信的冗余划分方法.然后从理论上分析了算法在时间和空间两方面的性能.最后通过实验分析了算法在32-CPU的cluster系统上的实际性能,结果表明本文提出的算法具有良好的可扩展性,在数据量较大时可获得良好的加速比和并行效率.

摘要： 随着遥感技术的快速发展,多源遥感图像的快速融合成为很多遥感任务的关键处理步骤.为了加速遥感图像的融合处理过程,本文首先提出了一种新的基于双树复小波变换的并行融合算法PACWT.算法中综合运用了数据分布、并行数据处理和负载均衡技术,以克服单机处理在计算能力和存储器空间上的限制;针对基于CWT的图像融合处理的计算特点,设计了一种可有效避免计算过程中数据通信的冗余划分方法.然后从理论上分析了算法在时间和空间两方面的性能.最后通过实验分析了算法在32-CPU的cluster系统上的实际性能,结果表明本文提出的算法具有良好的可扩展性,在数据量较大时可获得良好的加速比和并行效率.

摘要： 在分布式面向数据的OLTP环境中使用一种基于主题的消息架构(包括模式、协议、命名规则等)。所述基于主题的消息架构实施为一种发布‑订阅(publication‑subscription，pub‑sub)消息模式。在所述基于主题的系统的一项或多项实施例中，消息被发布到“主题”或命名为逻辑信道。基于主题的系统中的订户将收到发布到他们所订阅的主题的所有消息，一个主题的所有订户将收到相同的消息。发布方负责定义订户可以订阅的消息类别。基于主题的消息接口提高了分布式数据库管理系统的可扩展性，并且为消息递送提供了一种稳健的机制。

摘要： 根据本发明的一个方面，提供了一种数据划分设备用于划分多维数据，该数据划分设备包括：数据输入单元，用于输入多维数据；候选划分平面创建器，用于创建多个用于划分多维数据的候选划分平面；数据临时划分单元，用于通过使用候选划分平面临时划分多维数据以生成簇；模型生成器，用于根据簇生成模型；评价值计算器，用于根据所生成的模型和多维数据计算评价值；候选划分选择器，用于比较分别对应于候选划分平面的评价值并选择具有最高评价值的候选划分平面；以及划分/决策单元，用于通过使用所述选择的候选划分平面划分多维数据。

摘要： 本发明公开了一种对数据划分分布式环境实现动态划分和负载均衡的方法，本发明通过动态组合基本数据单元即进行动态划分进行局部负载均衡，使得划分粒度能够适应系统运行时的要求，解决了固定划分方法由于粒度过大导致负载均衡时效的问题；本发明采用划分请求队列及稀缺资源队列模型分析节点负载具有较广泛的适用性；系统达到负载均衡后，本发明中的局部监视器可以动态调整划分个数，即使划分在节点内部进行自适应调整，以增大节点内部的资源利用率，进而提高整个系统的工作效率。

摘要： 本发明公开一种基于数据划分的多节点数据库同步方法和多节点数据库系统。该方法包括：将待写入的数据根据数据划分信息写入相应的数据库节点，将被写入到特定数据库节点中的属于特定数据划分的数据单向同步到其余数据库节点。

摘要： 本发明提供了一种面向数据开放共享的数据划分与组织方法。本发明提供了一种在面向大数据的数据开放共享应用中通过分析数据分布的广度和深度模式，估计数据分布模式满足不同应用需求的价值关系，以此为基础对原始数据划分，生成新的用于共享的数据库逻辑表结构。本发明的特点在于：1、从用户的需求出发，进行数据重组和划分，生成面向数据使用者的数据库逻辑模式，从而更加友好的支持可变的上层应用需求；2、分析数据分布的广度和深度模式，按照不同模式进行数据划分，按需向用户分配所需的数据，对原始数据进行过滤精简，能极大地提高用户的查询分析性能。

摘要： 根据本发明的一个方面，提供了一种数据划分设备用于划分多维数据，该数据划分设备包括：数据输入单元，用于输入多维数据；候选划分平面创建器，用于创建多个用于划分多维数据的候选划分平面；数据临时划分单元，用于通过使用候选划分平面临时划分多维数据以生成簇；模型生成器，用于根据簇生成模型；评价值计算器，用于根据所生成的模型和多维数据计算评价值；候选划分选择器，用于比较分别对应于候选划分平面的评价值并选择具有最高评价值的候选划分平面；以及数据划分单元，用于通过使用所述选择的候选划分平面划分多维数据。

摘要： 本发明公开了一种对数据划分分布式环境实现动态划分和负载均衡的方法，本发明通过动态组合基本数据单元即进行动态划分进行局部负载均衡，使得划分粒度能够适应系统运行时的要求，解决了固定划分方法由于粒度过大导致负载均衡时效的问题；本发明采用划分请求队列及稀缺资源队列模型分析节点负载具有较广泛的适用性；系统达到负载均衡后，本发明中的局部监视器可以动态调整划分个数，即使划分在节点内部进行自适应调整，以增大节点内部的资源利用率，进而提高整个系统的工作效率。

摘要： 本发明公开一种基于数据划分的多节点数据库同步方法和多节点数据库系统。该方法包括：将待写入的数据根据数据划分信息写入相应的数据库节点，将被写入到特定数据库节点中的属于特定数据划分的数据单向同步到其余数据库节点。

摘要： 本发明提出了一种基于微电子芯片数据划分的数据采集方法及系统，涉及数据采集领域。该基于微电子芯片数据划分的数据采集方法通过获取多个采集设备信息；然后根据多个采集设备信息在预置的设备库中进行匹配，得到各个对应采集设备支持的数据类型信息；然后根据数据类型信息创建对应的数据存储单元；然后获取多个采集设备采集的初始数据；然后提取并根据初始数据的数据类型对多个采集设备采集的初始数据进行划分，生成多个数据类型的数据集；最后将各个数据类型的数据集分别存储在对应的数据存储单元中，得到采集数据，从而实现多个设备数据采集，而不需要增加采集模块或增加上位机，从而降低了故障率，降低了投入成本。

摘要： 本发明公开了一种面向超级计算机数据并行应用的异构感知数据划分方法，针对超级计算机体系结构与其编程特点，结合数据并行应用的程序特性，将函数性能模型与τ‑Lop通信模型相结合，对数据划分问题进行最优化建模，并将最优化问题抽象为搜索树的搜索算法，利用强化学习中的蒙特卡洛树搜索方法快速搜索最优解，从而得出应用程序在超算平台上的最优划分结果。此方法为针对超级计算机平台开发、移植或优化数据并行应用的开发人员提供了一种通用的数据划分方法，实现对超算平台计算资源的充分利用，减小程序计算和通信开销，提升程序性能。