流计算

摘要： 流计算应用中由于上下游数据流入流出速率不匹配常常导致数据缓冲区容量不足或溢出的反压(backpressure)问题,轻则导致数据丢失、重则导致系统崩溃,亟需好的解决方法或方案.不同于向上游传递压力以解决下游反压的已有方法,本文提出了一种基于数据迁移策略的反压问题解决方法,通过其他分支的轻载节点分散处理来解决反压问题.我们构建了基于NS-3的反压问题仿真平台,实验测试结果表明,本文方法在完成通量占比和延迟两个指标上均比Flink框架的Credit反压机制有明显改善.

摘要： 为了充分发挥实时数据采集的重要作用和价值,需要不断提升大规模实时数据流处理技术水平,满足对大规模电网数据流进行实时处理的要求。文章结合大数据实时处理技术的发展现状,阐述电力大数据流计算服务体系和计算技术框架,针对多数据流相关系数计算以及数据流实时处理计算方法展开探讨,供相关人员参考。

摘要： 针对传统信息采集系统存在的执行任务过程功耗大且耗时长的问题,基于中间件和流计算,设计了新的跨业务综合能源信息采集系统。该系统将STM32F4系列单片机作为信息采集模块核心结构,使模拟量能够满足AD采集要求。然后以ADP7159芯片为基础设计电源模块电路,满足电路板电流扩展需求;使用EEPROM可擦除可编程存储模块,抵抗非法修改BIOS芯片的CIH病毒,避免出现任务执行延迟的问题。基于此,使用CORBA中间件为硬件和软件之间提供信息交互操作,并利用流计算信息采集节点确定流程,从而完成信息采集。根据实验结果可知:该系统在执行实时任务时,仅出现一次功耗异常对话框,且未出现执行时间延迟问题,执行完成时间较短。

摘要： 随着机器学习和数据挖掘等新兴技术的广泛应用,大数据颠覆了人们对数据的理解。在工业和信息化部出台相关政策法规的背景下,企业数据安全治理和安全体系建设的重要性日益凸显。为保障数据能完整流转使用,需做好数据质量把控,并探索数据质量保障方法。因此,在大数据流计算应用场景下,对如何保证数据的一致性和准确性进行了研究和实践,创新式提出了单算子测试、多算子集成测试及端到端测试方法,可满足当下互联网系统对实时数据使用的需求。

摘要： 工业场景下,大规模多点输入集中输出的纯滞后系统通常会带来成本控制器布署高、自适应控制运算能力不足、规模柔性和集控能力差、各系统输出偏差大等问题。为了适应多个纯滞后系统的耦合输出要求,同时兼顾快速稳定收敛的控制目标,设计了一套可以支持工业大数据应用的智能控制系统。创新性地提出了一种基于大数据流计算实现的自适应增量式比例积分微分(PID)控制方法。该方法采用数据采集和处理分离的分层结构,可以满足大规模复杂纯滞后系统的低成本集控和系统数量变化的要求。经验证,自适应增量式PID模型通过滑动窗口流计算,能快速实现不同系统不同输入下的同速控制,确保多系统输出的一致性。该系统支持机器学习算法的快速嵌入,为后续实现基于历史数据批处理反馈的工业智能提供了可能。

摘要： 近年来,随着大数据技术的不断发展,人们更加关注实时数据的价值。电商行业的飞速发展使得用户行为数据呈爆炸式增长,从海量数据中实时提取关键信息,有利于电商平台进行服务升级。本文借助大数据相关技术(Spark Streaming+Kafka+Websocket+Scrapy),以模块化的设计思路,构建了分布式电商信息实时展示系统。

摘要： 针对锅炉高温管壁金属寿命指标管理依赖壁温测点的实时数值,其表征能力较为薄弱的问题,在DCS的DPU上拓展了流计算能力,通过流数据将时空上的测值数据链接起来,形成丰富的表达能力,面对运行过程中金属温度超标越限的侦测能力大为增强,为金属安全的管控一体化提供切实思路。流数据与流计算具有更宽阔的视野,其特征值的选取与设计可以更加多元化,有更多的自控工程应用前景。

摘要： 随着铁路电子支付平台业务的发展和客运12306互联网售票系统售票支付量的大幅提升,支付系统在交易日志和快照环节遇到了性能瓶颈.研究运用Spark、Kafka、HBase等关键技术,基于Hadoop平台和Java开发工具设计数据处理架构,满足高性能和基于双活双中心的交易日志处理.经实际应用,大幅提升了系统处理能力,更好地支撑了铁路业务系统的发展需求.

摘要： 针对大客户用电用能综合分析及无法及时发现用电异常的问题,设计了一种基于流计算下大客户用能智能分析方法.首先给出了大客户用能智能分析系统的整体构架,并从软硬件功能需求方面进行了描述.依托流计算技术实时处理能力和高性能数据吞吐能力实时处理采集到的数据,运用机器学习按照用户综合用能分析数学模型和窃电识别模型学习处理异常数据.并对高风险用户一定周期内的线损计算曲线、用能曲线以及电压、电流等电气数据进行展示,为大客户智能用能提供辅助支撑.

摘要： 大数据时代背景下,某些领域对数据实时处理的需求日益加剧,实时流计算框架作为一种新的热门技术,在诸如Web应用、网络监控等领域扮演着重要角色.首先对时下两种应用广泛的流式计算框架Storm和Spark Streaming进行原理分析,并通过实时词频统计实验,分析这两种框架的结构和工作流程,对比分析了两种框架之间的不同点,最后对基于Spark Streaming的实验进行了改进,将Spark Streaming、Flume和Kafka进行了整合,实现在集群环境中的流数据处理.

摘要： 传统的按专业划分的网络管理已经跟不上跨专业面向业务和客户体验的管理需求,实施全网设备的集中化运维管理,成为近年来运维管理工作的重点.根据集中化故障管理改革目标要求,全网设备告警集中采集、处理、存储、展现以及驱动运维动作的执行,这就对省级集中化故障管理系统的容量、并发处理效率、数据库运算能力提出挑战.本文对流计算及内存数据库如何帮助集中化故障管理系统应对上述挑战,产生哪些效果进行了阐述.

摘要： 流计算在运营商中应用于时延敏感的领域，进行实时性能监控和故障预测，同时进行位置信息服务，包括实时人流(标签、)实时标签、用户行为预测。

摘要： 文章介绍了Flink技术栈及其适用的场景，阐述了批处理、流计算，Flink SQL的最新进展等，并认为流数据会被分配到20/5=4个不同的窗口中，数据在内存中保存了4份。当窗口大小/滑动周期非常大时，冗余现象会非常严重，这是该技术的痛点。

摘要： 通过利用GPU平台上的CUDA编译环境,从线程级并行和异步流处理并行两个方面对自适应混合高斯背景建模算法进行并行优化.线程级并行化主要是利用CUDA的内核函数(kernel),将原算法里的每一个像素的背景更新过程映射到GPU的一个流处理单元上进行处理,通过多线程的并行执行来加速计算速度.异步流处理优化利用CUDA编程模型中的流概念,使每个流之间的数据传输和计算重叠进行,隐藏数据传输所带来的时延,从而加速计算过程.实验结果表明,通过线程级并行化和异步流处理优化后,确实可以大幅度地加速混合高斯背景建模算法的执行过程.

摘要： 通过利用GPU平台上的CUDA编译环境,从线程级并行和异步流处理并行两个方面对自适应混合高斯背景建模算法进行并行优化.线程级并行化主要是利用CUDA的内核函数(kernel),将原算法里的每一个像素的背景更新过程映射到GPU的一个流处理单元上进行处理,通过多线程的并行执行来加速计算速度.异步流处理优化利用CUDA编程模型中的流概念,使每个流之间的数据传输和计算重叠进行,隐藏数据传输所带来的时延,从而加速计算过程.实验结果表明,通过线程级并行化和异步流处理优化后,确实可以大幅度地加速混合高斯背景建模算法的执行过程.

摘要： 通过利用GPU平台上的CUDA编译环境,从线程级并行和异步流处理并行两个方面对自适应混合高斯背景建模算法进行并行优化.线程级并行化主要是利用CUDA的内核函数(kernel),将原算法里的每一个像素的背景更新过程映射到GPU的一个流处理单元上进行处理,通过多线程的并行执行来加速计算速度.异步流处理优化利用CUDA编程模型中的流概念,使每个流之间的数据传输和计算重叠进行,隐藏数据传输所带来的时延,从而加速计算过程.实验结果表明,通过线程级并行化和异步流处理优化后,确实可以大幅度地加速混合高斯背景建模算法的执行过程.

摘要： 通过利用GPU平台上的CUDA编译环境,从线程级并行和异步流处理并行两个方面对自适应混合高斯背景建模算法进行并行优化.线程级并行化主要是利用CUDA的内核函数(kernel),将原算法里的每一个像素的背景更新过程映射到GPU的一个流处理单元上进行处理,通过多线程的并行执行来加速计算速度.异步流处理优化利用CUDA编程模型中的流概念,使每个流之间的数据传输和计算重叠进行,隐藏数据传输所带来的时延,从而加速计算过程.实验结果表明,通过线程级并行化和异步流处理优化后,确实可以大幅度地加速混合高斯背景建模算法的执行过程.

摘要： 通过利用GPU平台上的CUDA编译环境,从线程级并行和异步流处理并行两个方面对自适应混合高斯背景建模算法进行并行优化.线程级并行化主要是利用CUDA的内核函数(kernel),将原算法里的每一个像素的背景更新过程映射到GPU的一个流处理单元上进行处理,通过多线程的并行执行来加速计算速度.异步流处理优化利用CUDA编程模型中的流概念,使每个流之间的数据传输和计算重叠进行,隐藏数据传输所带来的时延,从而加速计算过程.实验结果表明,通过线程级并行化和异步流处理优化后,确实可以大幅度地加速混合高斯背景建模算法的执行过程.

摘要： 本发明公开一种柔性直流输电系统潮流计算及交直流混联潮流计算方法，涉及输电系统技术领域，包括：根据不同控制策略下的柔性直流输电系统，构建结构统一的统一潮流模型；确定当前主换流站、当前控制策略及其初值和限值，并根据统一潮流模型形成当前控制策略下的功率平衡方程；根据对功率平衡方程求解得到的电压变化量，更新当前直流节点电压，若更新后的直流节点电压超过限值，则切换控制策略；若未超过限值且未满足迭代约束条件，则根据优先级轮换主换流站，直至迭代完成。通过构建统一潮流模型表征各种控制模式，计算含多种控制策略的直流电网潮流，采用内外双循环迭代结合主换流站轮替的方法，提高交直流系统潮流计算的收敛性。

摘要： 一种基于电压源换流器的交直流混合系统潮流计算方法，包括：输入系统原始数据和对变量的初始化；建立VSC潮流计算模型；直流侧系统潮流计算；交流侧系统潮流计算；混合系统潮流计算结束，输出数据。本发明大大减少了混合系统的变量和方程个数，同时还能有效避免采用交替迭代法求解混合系统潮流计算时交直流系统间多次交替迭代问题。与现有VSC潮流计算模型相比，本发明用于求解混合系统潮流计算时，可大大减少计算量，从而提高潮流计算的效率。适合用于交直流混合系统的潮流计算。

摘要： 本发明公开了一种流计算系统中的数据处理方法、控制节点及流计算系统，该方法包括：收集每个工作节点与其它工作节点之间的数据流量信息和每个工作节点的处理速度信息；根据收集到的数据流量信息和处理速度信息确定每个工作节点的优化并发度；根据工作节点的优化并发度对工作节点的并发度进行调整。本发明公开的方法和装置根据流计算系统中的实时数据对工作节点的并发度进行实时调整，使得工作节点的处理能力能够符合业务处理的实时需求。

摘要： 本发明公开了一种用于轨道交通潮流计算的动态网络重构方法，以轨道交通电网的交直流换流设备为边界，按照换流设备的交流侧、直流正极侧和直流负极侧将电网划分为多个集合；当电网运行方式发生变化时，对分合状态发生变化的开关所在的集合进行拆分或合并，从而形成新的集合。并相应公开了一种轨道交通潮流计算方法。当进行潮流计算时，由于潮流计算通常需要对换流设备的交流侧和直流侧分别进行计算，因此本发明中将电网划分为不同集合的方法有助于潮流计算的分区计算。同时，当电网运行状态变化后，本发明中基于集合的拆分与合并的动态网络重构方法，只需对局部集合进行修改即可保证所有集合与实时电网状态一致，减少了电网仿真时潮流计算耗时。

摘要： 本发明提供一种漏电流计算装置及漏电流计算方法。电阻部分漏电流计算部根据各特定点所描绘的圆的中心点，算出通过三相马达的对地绝缘电阻而在三相马达与大地之间流动的商用电力系统的系统频率部分的对地绝缘电阻部分漏电流，所述各特定点是借由在至少三个不同的时点所提取的漏电流成分及所算出的相位差而指定。由此，当商用电力系统的系统频率与逆变器设备的运转频率相一致时，能以高精度算出系统频率部分的对地绝缘电阻部分漏电流。

摘要： 本发明针对现有配电网交直流系统混连的潮流计算过程中，收敛性不佳的问题，提供一种电压源换流器潮流计算模型及潮流计算方法。该模型，将换流桥简化为理想的比例放大器；将电压源换流器交流侧出口调制电压U

摘要： 本发明公开了一种流计算方法，包括以下步骤：流计算系统读取源端数据；将所述源端数据写入目标端，以在所述目标端中生产带编号的消息，其中，所述编号与所述消息一一对应，且所述编号单调递增；应用端对所述编号进行去重，并根据去重后的所述编号在所述目标端中读取所述编号对应的所述消息。本发明还公开了一种流计算装置及计算机可读存储介质，达成了提升流计算的兼容性的效果。

摘要： 本发明公开一种柔性直流输电系统潮流计算及交直流混联潮流计算方法，涉及输电系统技术领域，包括：根据不同控制策略下的柔性直流输电系统，构建结构统一的统一潮流模型；确定当前主换流站、当前控制策略及其初值和限值，并根据统一潮流模型形成当前控制策略下的功率平衡方程；根据对功率平衡方程求解得到的电压变化量，更新当前直流节点电压，若更新后的直流节点电压超过限值，则切换控制策略；若未超过限值且未满足迭代约束条件，则根据优先级轮换主换流站，直至迭代完成。通过构建统一潮流模型表征各种控制模式，计算含多种控制策略的直流电网潮流，采用内外双循环迭代结合主换流站轮替的方法，提高交直流系统潮流计算的收敛性。

摘要： 本发明公开了一种用于轨道交通潮流计算的动态网络重构方法，以轨道交通电网的交直流换流设备为边界，按照换流设备的交流侧、直流正极侧和直流负极侧将电网划分为多个集合；当电网运行方式发生变化时，对分合状态发生变化的开关所在的集合进行拆分或合并，从而形成新的集合。并相应公开了一种轨道交通潮流计算方法。当进行潮流计算时，由于潮流计算通常需要对换流设备的交流侧和直流侧分别进行计算，因此本发明中将电网划分为不同集合的方法有助于潮流计算的分区计算。同时，当电网运行状态变化后，本发明中基于集合的拆分与合并的动态网络重构方法，只需对局部集合进行修改即可保证所有集合与实时电网状态一致，减少了电网仿真时潮流计算耗时。

摘要： 本发明提出一种基于含多端柔直混联电网的潮流计算模型的潮流计算方法，在该简化模型中，首先将VSC换流站在交流侧与直流侧分别等效为交流电压源，然后将直流电网等效成一个纯阻性的交流电网(本发明定义为拟交流网络)；最后在拟交流网络中设置平衡节点后，拟交流网络节点电压相角均为0°；为了提高计算精度并降低计算量，线性化换流站能量耦合约束，并计及了柔直变流器的有功损耗，并将其损耗用一与柔直交流注入点相并联的电阻进行等效。本发明采用的方法可采用传统交流系统潮流的计算方法统一求解，而不必针对交直流网络分别建立方程并交替迭代求解，使得现有交流网络潮流算法适用范围更广，有效降低了电网调度工作人员的学习成本。