数据分配

摘要： 异构Spark集群存在木桶效应,不合理的并行度导致任务分配与工作节点计算能力的适配性较差,进而影响集群计算效率和资源利用率。针对这一问题,首先建立模型,分析数据分布、并行度参数和节点任务分配的耦合关系,提出算法的优化目标,设计异构Spark集群的数据倾斜修正调度策略DSCS,包括并行度预估算法、数据倾斜修正算法和异构节点任务分配算法。预估算法对并行度进行先期设定,数据倾斜修正算法根据首个计算阶段的统计信息进行数据重新划分和并行度修正,由异构节点任务分配算法对集群不同计算能力的工作节点进行合理的任务分配,从而提高数据计算量与节点计算能力的适配性,优化Spark集群的整体性能。实验结果表明:在不同作业类型、不同数据集条件下,算法均取得了一定的性能提升,并能有效减少工作节点外存溢写的概率。

摘要： 传统的数据通信方法缺少对通信过程中产生的干扰量进行抑制,增加了通信时间和平均能耗。为此,针对铁路机械设备智能制造车间,提出一种新的数据低延时通信方法。在获取通信过程中产生的误码率的基础上,引入放大前传协议对接收端信号实施逆滤波处理,有效抑制通信过程中的干扰信号。然后根据不同传输路径的实际延时,对各路径的数据发送量进行分配,并通过引入并发通信机制,最大限度发挥路径中各节点的通信能力。最后,动态分析节点信任度和推荐度,最大限度发挥节点通信能力,从而实现低延时通信。实验结果表明:应用该方法可以实现更低延时的数据通信,同时还能够有效减少通信过程的能量消耗,有助于提高铁路机械设备智能制造车间的工作效率。

摘要： 随着数据库技术的广泛应用和全面发展,如何提高系统性能已成为一个重要的研究课题。在提高系统性能这一过程中,降低各个站点上发生的各种事务的总代价,以减小成本和消耗,是必须进行深入探索的研究方向。对分布式数据库系统来说,事务的主要代价发生在站点间的数据传输过程中。数据分配的应有之义是生成一个合适的分配方案,并依此将数据段分配到每个站点,以最小化每个事务产生的数据传输量。因此,对数据分配策略的选用,将从进程上深刻影响分布式数据库的性能。从传统角度来看,将x个数据段分配给y个站点是一个NP完全问题,使用常规的穷举法必然会花费大量时间,造成资源上的浪费。因此,有必要根据数据库、应用程序、站点和网络等特定统计信息以及成本公式,制定并使用适当的分配策略。文章通过成本优化方法研究了数据分配问题,通过多组实验对非冗余式的分布式数据分配策略进行了证实。经过对比验证,该分配策略在每个实验中相比于已有的分配策略或其他可能的思路,都有较明显的优势。

摘要： 工业物联网(Industrial Internet of Things,IIoT)是实施智能制造的重要载体,近年来引起了学术界和业界的极大兴趣.目前,在IIoT环境中主要采用云存储来存储数据,但是,云存储的过度延迟无法满足IIoT业务的时延要求,尤其是某些时延敏感型的业务.针对云存储应用于IIoT大数据场景存在数据传输时延较高的问题,文章研究了一种新型的"云/雾混合"网络架构,该架构利用雾计算层设备构建分布式雾存储体系结构,通过将IIoT中的数据分布式存储至多个雾节点,达到降低数据传输时延的目的.由于雾设备的可靠性低,数据容易丢失,进一步提出了分布式冗余存储分配方案,以提高存储系统的安全性.由于提出的问题是所有非确定性多项式(Non-deterministic Polynomial,NP)问题,是能在多项式时间复杂度内归约到的问题,因此提出一种启发式优化算法,用于在安全约束下最小化数据传输时延.性能评估结果验证了所提方案能够降低数据传输时延,同时保证雾存储系统的安全性.

摘要： 工业物联网(Industrial Internet of Things,IIoT)是实施智能制造的重要载体,近年来引起了学术界和业界的极大兴趣。目前,在IIoT环境中主要采用云存储来存储数据,但是,云存储的过度延迟无法满足IIoT业务的时延要求,尤其是某些时延敏感型的业务。针对云存储应用于IIoT大数据场景存在数据传输时延较高的问题,文章研究了一种新型的"云/雾混合"网络架构,该架构利用雾计算层设备构建分布式雾存储体系结构,通过将IIoT中的数据分布式存储至多个雾节点,达到降低数据传输时延的目的。由于雾设备的可靠性低,数据容易丢失,进一步提出了分布式冗余存储分配方案,以提高存储系统的安全性。由于提出的问题是所有非确定性多项式(Non-deterministic Polynomial,NP)问题,是能在多项式时间复杂度内归约到的问题,因此提出一种启发式优化算法,用于在安全约束下最小化数据传输时延。性能评估结果验证了所提方案能够降低数据传输时延,同时保证雾存储系统的安全性。

摘要： 针对高速网络环境下分布式入侵检测中海量数据并行检测处理的效率和检测率问题,提出一种基于能力与负载的数据分割算法.该算法依据采集到的集群内各数据分析节点的系统性能指标及运行状态,评估节点的数据处理能力与负载程度.基于节点的能力与负载适应因子,权衡节点在集群中检测和分析数据能力的权重,实现海量数据在集群内各数据分析节点间的动态数据分割,为节点分配适应其能力与实时负载的数据粒度.仿真测试结果表明,该算法具有较好的负载均衡性,降低了系统的检测时间,提高了数据并行处理的效率和检测率.

摘要： 为应对如今web应用数据量的快速增长,NoSQL技术得到了越来越多的重视与应用.论文选择NoSQL存储系统的典型代表MongoDB数据库来进行研究.首先,剖析了其内部自动分片机制,在此基础上提出了一种分片键选择机制来尝试提高整个系统的扩展性能,并以片键公式的应用实例来证明了片键选择机制的有效性.然后,针对当前MongoDB内部均衡算法的不足,在考虑了数据节点负载的差异后,对均衡算法进行了相应优化,实现了数据量与节点负载的动态均衡,并验证了新算法具有良好的高并发读写性能.

摘要： 诸如工业物联网(IIoT)、“工业4.0”和大数据之类的流行语正在行业中广为流传,其中一些将帮助我们选择正确应用程序,对于大型生产企业而言如虎添翼。但这真的是加工车间需要的吗?车间现在应该是采用流技术将车间数据分配至云端还是将现有设备连接起来,监控各个车床的正常运行时间和优化工作流?

摘要： 在多源流会话中,数据分配算法是P2P流媒体系统关键技术之一。介绍了P2P流媒体数据分配算法和评价准则,分析原有评价方法不足,提出新的评价方法。利用新评价方法对5种分配算法进行分析,实验表明,新的评价方法以matlab二维动态图来展示量化的结果,可得出全面准确的评价结论:MBDA和ZBS算法最优；供应节点的带宽类型和差异类型对算法影响不大；评价准则间也相关联。

摘要： 本文针对神经网络在处理较大规模数据时表现出的耗时过长、资源不足等问题，在对神经网络分布式学习理论和ADS理论进行分析研究的基础上,提出一种新的基于ADS理沦的神经网络自律集成模型,对模型的训练算法进行了描述。 在该模型中自律协同是通过FIF信息域下的移动Agent完成,分别由Push_MA和Pull_MA分别对自律分散网络模型中的各个个体进行数据分配和结果集成评价,完成各个神经网络的自律集成,体现了良好的在线能力和个体的自律性。所构建模型采用了UCI KDD提供的网络数据进行仿真训练,实验结果表明所构建模型和集成算法对大规模数据的处理能达到理想的训练效果和识别能力,网络具有优于其他方法的容错能力和自律性。

摘要： 本文介绍了一种基于TS201S处理器及交换总线的通用并行数字信号处理机的设计方案及其设计实现。rn 该通用并行信号处理机由具有交换总线的12槽背板，一块基于TS201S和FPGA接口模块，四块基于TS201S和FPGA的处理模块组成，采用了标准的VME64总线，实现了基于FPGA的高速串行互连及数据交换(数据分配)，具有软硬件可编程，通用性强等优点，适用于机载雷达数字信号处理系统。

摘要： 本文通过分析VoLTE无线承载在空口的分配过程及保持机制,说明了VoLTE语音承载相对于数据业务承载在LTE网络中的应用特点.列举了现网中多种与无线承载问题相关的案例,并对这些问题进行分析和归类,用于指导现网问题的发现与解决.

摘要： 本文通过分析VoLTE无线承载在空口的分配过程及保持机制,说明了VoLTE语音承载相对于数据业务承载在LTE网络中的应用特点.列举了现网中多种与无线承载问题相关的案例,并对这些问题进行分析和归类,用于指导现网问题的发现与解决.

摘要： 本文通过分析VoLTE无线承载在空口的分配过程及保持机制,说明了VoLTE语音承载相对于数据业务承载在LTE网络中的应用特点.列举了现网中多种与无线承载问题相关的案例,并对这些问题进行分析和归类,用于指导现网问题的发现与解决.

摘要： 本文通过分析VoLTE无线承载在空口的分配过程及保持机制,说明了VoLTE语音承载相对于数据业务承载在LTE网络中的应用特点.列举了现网中多种与无线承载问题相关的案例,并对这些问题进行分析和归类,用于指导现网问题的发现与解决.

摘要： 在用于从一个信息业务中心分配音乐数据业务到远离该信息业务中心的一个终端设备的一种数据分配系统中，供应给该用户终端的音乐数据被划分为允许知道该音乐数据概要的一个概要部分和可与该概要部分重新组合的一个附加部分，以便恢复该完整的音乐数据，概要部分和附加部分被时分传送到该终端设备。即使该终端设备只能以低的传送速率接收数据，它也可以首先接收该概要部分并且重放用于连续监视的被下载用于监视的音乐数据。

摘要： 本发明提供一种数据分配装置、信号处理装置及其数据分配方法。数据分配装置中的控制单元根据生存期分析，判断实数快速傅立叶转换输出数据中的单周期输出数据是否在实数快速傅立叶转换输出数据当中具有最长的存储时间，其中存储时间是实数快速傅立叶转换输出数据存储在存储单元中的时间。控制单元将具有最长的存储时间的单周期输出数据输入至存储单元中的第一存储单元，并将不具有最长的存储时间的单周期输出数据依序输入至存储单元中的第二存储单元。第一存储单元在存储单元中排列在最后，且第二存储单元排列在第一存储单元之前。可提高实数快速傅立叶转换中输出排序的重整效率及运算效率，并减低其复杂度。

摘要： 本公开内容涉及用于物理机的数据处理方法和数据处理装置。提供了一种用于物理机的数据分配方法，在所述物理机上运行有多个虚拟机。所述方法包括：从用于分配作业数据的调度器接收待处理数据；将接收的待处理数据存储在单个队列中；以及响应于所述多个虚拟机中存在空闲的虚拟机，向该空闲的虚拟机分配该队列中的数据，以供该空闲的虚拟机进行处理。通过上述方法，能够充分利用物理机资源，提高物理机的处理效率，缩短物理机整体上对待处理数据的处理时间，进而有利于整个作业的完成，缩短作业的处理时间。

摘要： 本发明提供了一种数据分配方法和基于数据分配的订阅器，以解决获取的数据不完整，数据的准确性较低的问题。所述的方法包括：向调度器发送包含数据标识的分配请求，其中，所述分配请求用于请求存储有所述数据标识对应车辆数据的数据源；接收调度器依据所述数据标识反馈的分配消息，并根据所述分配消息确定至少一个分配的数据源；若接收到调度器发送的数据源调整消息，则根据所述数据源调整消息对分配的数据源进行调整，其中，所述数据源调整消息是调度器检测到存储有所述数据标识对应车辆数据的数据源发生变更时生成的。

摘要： 本发明公开了条形码数据分配仪和条形码数据分配系统，条形码数据分配仪包括电脑信号处理模块，用于接收数据电脑输出的控制信号；条码枪数据处理模块，与条码枪和条码仪连接，用于接收条码枪输出的条形码数据，并将条形码数据同时分配给条码仪和电脑信号处理模块；定位信号处理模块，与定位控制设备连接，用于接收定位控制设备输出的定位控制信号和数据电脑输出的放行信号；信号控制处理模块，用于控制条码枪数据处理模块、电脑信号处理模块和定位信号处理模块的工作状态。本发明由条码枪数据处理模块将条形码数据同时分配给条码仪和电脑信号处理模块，使需要同一条形码数据的不同工位上的设备不用重复采集条形码数据，提高了生产效率。

摘要： 本发明提供一种网络数据分配装置，包括第一端口、第二端口、监听网卡和处理器。处理器分析监听网卡监听到的资源访问请求以确定相应的应用服务器处理资源访问请求，以触发确定的应用服务器分批次地从一数据库服务器中下载相应的资源并将资源存储至一文件服务器中，以及反馈资源的存储地址。发送应用服务器反馈的资源的存储地址至相应的客户端以通知客户端发起相应的资源下载请求，传送客户端发起的资源下载请求至相应的应用服务器以触发应用服务器从文件服务器中下载资源以及传送至相应的客户端。本发明还提供一种系统，利用本发明，降低内存使用分配，解决高并发问题。

摘要： 本发明提供了一种数据分配装置，包括：节点选择单元，用于根据预设的多个数据节点之间的数据收发关系，从所述多个数据节点中选择仅作为发送方的数据节点；数据发送单元，用于根据所述仅作为发送方的数据节点对应的数据收发关系，将所述仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点；过滤单元，用于从所述多个数据节点中过滤掉所述仅作为发送方的数据节点。本发明还提出了一种数据分配方法。通过本发明的技术方案，能够提高数据分配的效率和自动化程度，便于人工操作。

摘要： 在用于从一个信息业务中心分配音乐数据业务到远离该信息业务中心的一个终端设备的一种数据分配系统中,供应给该用户终端的音乐数据被划分为允许知道该音乐数据概要的一个概要部分和可与该概要部分重新组合的一个附加部分,以便恢复该完整的音乐数据,概要部分和附加部分被时分传送到该终端设备。即使该终端设备只能以低的传送速率接收数据,它也可以首先接收该概要部分并且重放用于连续监视的被下载用于监视的音乐数据。

摘要： 本发明提供一种数据分配装置、信号处理装置及其数据分配方法。数据分配装置中的控制单元根据生存期分析，判断实数快速傅立叶转换输出数据中的单周期输出数据是否在实数快速傅立叶转换输出数据当中具有最长的存储时间，其中存储时间是实数快速傅立叶转换输出数据存储在存储单元中的时间。控制单元将具有最长的存储时间的单周期输出数据输入至存储单元中的第一存储单元，并将不具有最长的存储时间的单周期输出数据依序输入至存储单元中的第二存储单元。第一存储单元在存储单元中排列在最后，且第二存储单元排列在第一存储单元之前。可提高实数快速傅立叶转换中输出排序的重整效率及运算效率，并减低其复杂度。

摘要： 本公开内容涉及用于物理机的数据处理方法和数据处理装置。提供了一种用于物理机的数据分配方法，在所述物理机上运行有多个虚拟机。所述方法包括：从用于分配作业数据的调度器接收待处理数据；将接收的待处理数据存储在单个队列中；以及响应于所述多个虚拟机中存在空闲的虚拟机，向该空闲的虚拟机分配该队列中的数据，以供该空闲的虚拟机进行处理。通过上述方法，能够充分利用物理机资源，提高物理机的处理效率，缩短物理机整体上对待处理数据的处理时间，进而有利于整个作业的完成，缩短作业的处理时间。