数据调度

摘要： 精确把握舆论形势、辅助政府管理不仅需要数据采集、数据调度、数据传输、数据管控方面的支持,更重要的是要提升对大数据的运营、优化和分析能力。从第一个连接互联网的接口在美国明尼苏达大学建立开始至今,互联网即将进入“而立之年”。如今的互联网产业规模日益庞大,信息和负载量与日俱增,其带来的革新遍布各个领域。

摘要： 针对移动异构网络环境网络参数动态变化、多路传输过程中数据包乱序引发的吞吐量下降等问题,提出一种基于BP神经网络(back propagation neural network,BPNN)端到端时延预测的多路传输调度方法,通过BP神经网络的构建、训练和学习,实现对端到端传输时延的更准确预测,以此为基础,对子流拥塞状况及网络状态进行综合评估后实施数据调度。仿真结果表明,该方法可有效减少数据包乱序的发生,实现负载均衡,提高网络吞吐量。

摘要： 为增强对复杂数据的分类效果,提升网络数据处理的整体召回率,扩大实际分类范围,基于人工智能技术,进行网络复杂数据分类方法的研究。先进行数据量化预处理,在标定范围内,完成对复杂数据特征智能提取,以此为基础,构建冗余数据集,设计人工智能复杂数据分类模型,进行复杂数据的逼近优化处理,实现复杂数据的分类。最终测试结果表明:相比于传统数据挖掘分类方法测试组、传统数据特征分类方法测试组,所设计的人工智能数据分类测试组最终得出的召回率相对较高。由此表明在实际应用的过程中,利用人工智能技术,对网络复杂数据的处理分类速度较快,精准度更高,具有更强的可靠性,实际应用价值更高。

摘要： 常规的网络节点数据调度方法使用随机部署法感知网络节点,随着运行轮数增加网络中的失效节点数量越来越多,导致网络节点存活率过低,因此需要基于遗传算法,设计一种全新的无线传感器网络节点数据调度方法。以各个资源分配特征为基础,绘制单信道通信框架,提高数据吞吐量,有效地分配数据调度竞争信道,结合信道输出值,应用遗传算法构建网络节点数据高效调度模型,从而完成无线传感网络节点数据调度。实验结果表明,文章设计的基于遗传算法的无线传感网络节点数据调度方法,在不同调度轮数下的网络节点存活率均较高,证明遗传算法在网络节点数据调度中有重要的应用价值,可以为后续网络优化调度提供参考。

摘要： 针对当前OMS配网一体化调控方法存在的带宽利用率低、数据传输时延高和数据丢包率高的问题,提出基于大数据调度的OMS配网一体化调控算法.根据任务的稀缺度和紧急度计算任务在OMS配网中的优先请求级别,采用历史信息统计法结合节点能力影响因素计算节点在OMS配网中的上传能力.在任务优先请求级别和节点上传能力的基础上,计算路径在OMS配网中的可用带宽和前向传输时延,并将最大优先算法应用到发生数据丢包的现象中,重新选择传输路径,避免配网中接收端出现乱序的现象,根据计算结果结合重选路策略实现OMS配网的一体化调控.实验结果表明,所提算法的带宽利用率高、数据传输时延低、数据丢包率低.

摘要： 多路径传输控制协议通过聚合多路径带宽提高资源利用率及网络吞吐量.在无线异构网络环境中,由于网络性能不稳定、传输路径性能差异等因素容易导致数据包乱序及缓冲区阻塞,对网络多路传输性能造成负面影响.为在有限的接收缓冲区内对数据包实施合理调度,基于灰色预测模型GM(1,N)与马尔科夫优化的前向传输时间(FTT)预测模型,提出一种自适应多路传输数据调度算法GMM-S.通过对未来时刻子流FTT的准确预测实现子流传输性能的有效评估,并以此作为数据分发依据进行传输数据的多子流动态调整.仿真实验结果表明,与RR和LowRTT算法相比,该算法可有效解决接收端数据包乱序问题,同时提升网络吞吐量.

摘要： 随着工业4.0概念的提出,工业自动化生产对工业以太网的通信性能提出了更高的要求.当不同类型数据在工业以太网中的交换设备进行转发时,会在发送端口存在排队等待现象,数据通信的实时性和确定性难以保证.针对上述问题,本文将时间敏感网络(Time sensitive network,TSN)引入工业以太网,基于TSN时间感知整形器提出了TAS-WRR(Time Awareness Shap-er-Weighted Round Robin,基于时间感知整形器的加权轮询)调度算法.首先,该算法根据通信需求,将数据划分不同优先级.其次,为保证数据通信的周期性和实时性,将通信时间划分周期,并为高优先级的实时数据预留带宽.最后,采用加权轮询调度的方式,在保证高优先级数据通信质量的同时,有效的减少低优先级数据的饥饿现象.通过对比测试,可证明TAS-WRR算法能有效提高不同数据流在交换设备中调度通信的实时性和确定性.

摘要： 针对“嫦娥五号”轨道器多载荷数据调度、存储复接、存储管理和高可靠性高要求,设计了基于NAND Flash芯片的数据复接及存储模块管理方案。采用具有抗辐照特性的Axcelerator系列反熔丝现场可编程门阵列(Field-Programmable Gate Array,FPGA)芯片作为主控制芯片,用于对多路载荷数据的调度管理和存储控制,采用大容量NAND Flash芯片用于对多种载荷和星上遥测的存储管理,实现了对多个数据源按要求进行数据记录、数据管理以及数据回放等功能。“嫦娥五号”任务在轨结果表明,经过数传帧编码以及可变速率回放,实现了深空探测对数据复接存储回放的要求,为后续深空探测数据的高速下传提供参考。

摘要： 针对"嫦娥五号"轨道器多载荷数据调度、存储复接、存储管理和高可靠性高要求,设计了基于NAND Flash芯片的数据复接及存储模块管理方案.采用具有抗辐照特性的Axcelerator系列反熔丝现场可编程门阵列(Field-Programmable Gate Array,FPGA)芯片作为主控制芯片,用于对多路载荷数据的调度管理和存储控制,采用大容量NAND Flash芯片用于对多种载荷和星上遥测的存储管理,实现了对多个数据源按要求进行数据记录、数据管理以及数据回放等功能."嫦娥五号"任务在轨结果表明,经过数传帧编码以及可变速率回放,实现了深空探测对数据复接存储回放的要求,为后续深空探测数据的高速下传提供参考.

摘要： cqvip:为提高电力数据的调度传输速率,引入数据挖掘技术,开展对其传输方法的设计研究。通过基于数据挖掘构建数据传输模型、电力数据传输流向调度模拟、生成电力数据传输方案,提出一种全新的调度传输方法。通过将其与基于SDN技术的传输方法应用到相同的电网环境当中证明,新的传输方法电力数据调度传输速率得到明显提高。0引言电力数据调度网是当前电网结构当中十分重要的组成部分,该网络结构的应用能够为电网调度的自动化发展提供更加可靠的基础条件。

摘要： 针对流媒体系统中网络资源日益紧张的问题,文中提出基于情景感知的数据调度算法.该算法引入情景感知技术,利用数据块的候发节点数和数据块的播放紧急程度来计算数据块的优先级,从而确定将要请求的数据块.然后,根据节点的信息,如带宽、电量等情景信息用层次分析法来计算节点的优先级,从而选定数据块的发送节点,完成数据调度.仿真结果表明,该算法是收敛的,证明该算法的有效性,而且节点的吞吐量有很大改善.

摘要： 本文针对P2P点播系统中节点的异构性，提出了一种基于本地稀有优先和随机抖动的数据片段优先权最大化的启发式数据调度策略。节点根据各个数据片段的优先权进行优先权最大化的启发式模拟调度，选取优先权和最大的调度方案确定为最终调度方案，从而进一步提高服务器性能。仿真实验表明该调度策略能明显提高P2P流媒体系统的整体性能。

摘要： 随着移动技术的迅猛发展,传统的纸质海图开始走向移动平台.然而,移动环境下使用环境的改变以及使用场景的多样性给电子海图的显示带来了新的挑战:在尽量减少用户交互的前提下自动调整地图显示,最大限度满足用户需求.论文基于上下文的地图感知模型从上下文因素选取、模型建立以及触发机制等方面对电子海图的数据组织与显示进行了研究,优化了移动海图的调度与显示,为基于上下文的智能化电子海图研究提供了理论和方法上的借鉴.

摘要： 本文重点研究了虚拟环境大规模地形实时绘制所涉及的数据组织与调度技术.首先给出了大规模外存地形预处理方法,包括地形分块九宫格模型、改进的多分辨率层次模型构造和块内无冗余数据存储方法等;然后介绍了基于外存的数据调度方法,采用了一种基于视域扩展的数据预加载和实时调度策略以提高实时绘制效率.基于上述技术提出了一种分段式的地形实时绘制方案.实践证明该技术的应用可获得较高的绘制帧速和较好的绘制效果.

摘要： 嵌入式GIS以其显著的特点和难以取代的优势,被广泛应用于城市智能交通、车辆导航监控、野外测绘调绘以及其它军事应用等多方面.但存储容量低、处理速度慢、显示屏幕小等嵌入式平台现状与信息量大、显示和实时要求高等矛盾在很大程度上制约着嵌入式GIS的发展[1].本文结合作者开发实例,同时从数据离线预处理、海量数据调度、关键算法简化、位图图形显示、关键信息索引建立等方面,对嵌入式GIS性能优化的一系列问题作了探讨,特别是针对平台特点,用汇编语言替代部分高级语言,极大的提高了系统执行效率.实践证明,这些方法对于提高嵌入式GIS性能作用明显.

摘要： 介绍本来生活网数据体系的演变:SQL Server到Hadoop生态，使用了Flume采集日志，备选方案:LogStash，采用JS+Nginx+Tomcat+Kafka采集用户行为，Storm实时处理，根据规则分别写入Mysql,Hbase,ES，使用Redis作为Storm实时处理的缓存，ElasticSearch作为快速查询的工具，Mysql作为配置库以及报表集市库。

摘要： 介绍本来生活网数据体系的演变:SQL Server到Hadoop生态，使用了Flume采集日志，备选方案:LogStash，采用JS+Nginx+Tomcat+Kafka采集用户行为，Storm实时处理，根据规则分别写入Mysql,Hbase,ES，使用Redis作为Storm实时处理的缓存，ElasticSearch作为快速查询的工具，Mysql作为配置库以及报表集市库。

摘要： 介绍本来生活网数据体系的演变:SQL Server到Hadoop生态，使用了Flume采集日志，备选方案:LogStash，采用JS+Nginx+Tomcat+Kafka采集用户行为，Storm实时处理，根据规则分别写入Mysql,Hbase,ES，使用Redis作为Storm实时处理的缓存，ElasticSearch作为快速查询的工具，Mysql作为配置库以及报表集市库。

摘要： 介绍本来生活网数据体系的演变:SQL Server到Hadoop生态，使用了Flume采集日志，备选方案:LogStash，采用JS+Nginx+Tomcat+Kafka采集用户行为，Storm实时处理，根据规则分别写入Mysql,Hbase,ES，使用Redis作为Storm实时处理的缓存，ElasticSearch作为快速查询的工具，Mysql作为配置库以及报表集市库。

摘要： 现代大型企业向信息化和集成化方向发展,广域多元设备数据流协同管控系统基于多元设备数据采集、大数据分析调度,利用现代存储和网络传输技术,为具有广域、多元、大量实时数据流特性的现代大型企业和相关行业构建包括信息监控、预警、模拟仿真在内的数据集成平台.系统由前置处理单元、多元数据通道、数据智能处理与分发、数据加工与挖掘、管理控制台、信息与场景展现单元组成。技术架构主要分为:展现层、业务逻辑处理层客户端请求层、控制层、页面、数据访问层和数据存储。通过在民航空管领域的示范应用,实现设备资源高效配置、信息高度共享,为空中交通指挥管理提供实时的数据支持,促进信息与管理的融合发展.

摘要： 本发明的一方面涉及一种用于提供包括精制的能量调度表的数据结构的方法，所述方法包括：从电力网络的多个参与者接收(110)多个能量需求请求、能量存储提议和/或能量供应提议；通过多个分布式计算单元在考虑所述多个能量需求请求、能量存储提议和/或能量供应提议的情况下，使用优化函数来确定(120)所述精制的能量调度表，其中所述精制的能量调度表是至少基本上最优的能量调度表；和将所述精制的能量调度表附加(130)到所述数据结构。本发明的另一方面涉及一种数据结构，特别是涉及在该方法中提供的数据结构。

摘要： 本发明提供一种数据任务调度方法，包括如下步骤：配置执行周期和任务间的依赖关系；根据执行周期和任务间的依赖关系生成元数据，将元数据存入数据库；根据上述元数据生成待执行的任务实例；任务实例的执行判断。本发明还提供采用上述数据任务调度方法的数据任务调度系统。与现有技术相比，本发明的数据任务调度方法和数据任务调度系统具有如下有益效果：通过简化触发时间的依赖配置，可以快速配置出任务间基于关系和时间的执行工作流。

摘要： 本发明属于路由器的业务流调度技术领域，尤其涉及一种基于报文识别的数据流调度系统以及数据流调度方法。本发明数据流调度系统，包括用于接收存储数据流的数据流接收模块、用于识别所述数据流的数据流识别模块、用于对所述数据流接收模块接收到的数据流进行调度的数据流调度模块、用于发送经所述数据流调度模块调度后的数据流的发送模块；数据流识别模块用于对所述数据流进行数据流类型识别、数据流会话时间识别，所述业务调度模块根据所述数据流识别模块的识别结果对所述数据流接收模块接收到的数据流进行调度。本发明基于报文识别的对数据流进行智能调度，实现对具体业务识别并调度的功能。

摘要： 本申请实施例公开了一种调度存储器中数据的方法、数据调度设备及系统，数据调度设备可以根据需要调入片上内存的第一目标数据的长度以及该第一目标数据在片外存储器中的物理存储地址，提取出片外存储器中的第一目标数据，并将基于该第一目标数据所得到的第二目标数据一次性调入至片上内存，其中，该第二目标数据被片上处理器进行处理，该片上处理器、片上内存以及数据调度设备集成于同一芯片上。可见，数据调度设备是一次性的将所有数据全部调入片上内存，而无需频繁的执行数据调入过程，从而减少数据调入至片上内存的耗时时长，降低数据调入片上内存所产生的时延。

摘要： 本申请公开一种数据调度方法、数据调度装置及电子设备。该方法应用于节点中的FPGA，包括：接收配置信息并存储至本地的缓存模块；接收通信端口的待发送数据，根据配置信息中的地址索引将通信端口的待发送数据存储至外部存储器；将满足第一预设条件的虚拟链路作为目标虚拟链路；针对每个目标虚拟链路分别确定一个目标通信端口；根据配置信息中的地址索引，从外部存储器读取目标通信端口的待发送数据，将其存储至本地的缓存模块；在AFDX总线空闲时，将目标通信端口的待发送数据传输到AFDX总线。基于本申请公开的技术方案，无需占用节点中操作系统和软件的资源，就可以实现对AFDX总线数据的调度，数据调度具有较高的准确性和稳定性。

摘要： 本发明公开一种数据调度系统、可重构处理器及数据调度方法，数据调度系统包括第一FIFO、第一写指针控制模块、第二FIFO、第二写指针控制模块、读指针控制模块、空状态判断控制模块和满状态判断控制模块；每当待处理数据由第一FIFO传输至可重构阵列时，第一写指针控制模块预先分配第一写缓存地址；每当可重构阵列向第二FIFO写入处理结果时，第二写指针控制模块分配第二写缓存地址；每当第二FIFO内缓存的处理结果被系统总线读取时，读指针控制模块分配读缓存地址；空状态判断控制模块根据第二写缓存地址与读缓存地址确定第二FIFO的空状态；满状态判断控制模块根据第一写缓存地址与读缓存地址确定第二FIFO的满状态。

摘要： 本发明提供了一种基于多数据源的交通运输大数据调度方法及调度平台，基于从运输公司订单系统、地理信息系统、气象信息系统、交通管理信息系统、运输公司信息管理系统多种数据来源的系统中获取多种信息，基于多种信息进行运输路线规划，规划出的运输路线为分段路线，每段路线所需的运输时间不超过预设时间，各个分段路线首尾相接，且距离每个分段路线起点预设距离处具有运输点；确定出与分段路线对应数量的车辆，利用确定出的多个车辆完成协同接力运输，由于每段路线所需的运输时间不超过预设时间，所以长途运输中车辆不需要连续行驶，避免车辆连续行驶造成的损耗，司机也不需要连续驾驶，避免司机疲劳驾驶导致安全隐患，确保运输过程合法合规。

摘要： 本申请实施例公开了一种调度存储器中数据的方法、数据调度设备及系统，数据调度设备可以根据需要调入片上内存的第一目标数据的长度以及该第一目标数据在片外存储器中的物理存储地址，提取出片外存储器中的第一目标数据，并将基于该第一目标数据所得到的第二目标数据一次性调入至片上内存，其中，该第二目标数据被片上处理器进行处理，该片上处理器、片上内存以及数据调度设备集成于同一芯片上。可见，数据调度设备是一次性的将所有数据全部调入片上内存，而无需频繁的执行数据调入过程，从而减少数据调入至片上内存的耗时时长，降低数据调入片上内存所产生的时延。

摘要： 本申请公开了一种分布式大规模实时数据调度引擎系统及其数据调度方法，该数据调度引擎系统包括：任务管理模块、监控模块以及任务调度引擎；其中，任务管理模块，用于将数据调度任务以及路由规则数据下发到任务调度引擎；任务调度引擎，用于基于路由规则数据开启数据调度任务，并按照数据调度任务实时消费数据调度任务的业务数据；监控模块，用于监控任务调度引擎实时消费的业务数据流量，并上报到任务管理模块；任务管理模块，还用于根据业务数据流量实时调整任务调度引擎中数据接入单元和/或任务执行器的数量。上述方案，数据调度引擎系统配置数据接入单元和任务执行器两个维度的配置调度策略，保证了服务高可用性以及数据调度的实时性。

摘要： 本申请实施例公开了一种数据调度方法及数据调度设备，用于视频播放系统中的数据调度设备根据当前网络的下载速度和播放器的安全速度调节视频播放系统的下载模式，从而减少视频播放过程中的卡顿情况，提高用户体验。本申请实施例方法包括：数据调度设备接收播放器发送的视频数据请求；数据调度设备获取平均下载速度和安全速度，安全速度为播放器维持视频数据流畅播放的最低速度，平均下载速度为预设时间段内的网络下载速度；数据调度设备根据平均下载速度与安全速度确定视频数据请求对应的视频数据的下载模式；数据调度设备按照下载模式从服务器下载视频数据，并将视频数据发送给播放器。