面向农业物联网应用层的SCADA系统性能优化研究

摘要

物联网技术快速发展并在农业领域得到了广泛应用。随着农业物联网应用规模的扩大和网络通信量的增加，农业物联网应用层SCADA系统会遇到感知识别采集终端高并发的数据访问、数据标准异构导致通信协议消息格式在通用性、结构化和效率上难以实现平衡以及针对数据流快速响应和实时处理等问题。本文将农业SCADA系统抽象为一般功能模型，并根据数据流动过程分别研究数据采集、数据处理和数据存储子系统相关设计和优化技术，旨在提高系统通信并发性能的同时优化系统的数据处理能力。
　　本文主要完成了以下几项工作:
　　1、针对农业物联网应用层SCADA系统的通用性，将系统抽象为功能模型，分别从基于windows的网络通信模型、基于应用层协议和数据流处理算法的数据处理过程、基于连接池和查询优化的数据存储过程，探讨了提高系统数据处理能力的技术。
　　2、针对完成端口机制中的信息定位、资源管理、内存页锁定和数据包处理等问题进行分析，优化了基于线程私有链表的对象池，提出了基于无锁数据结构、CAS机制和任务窃取的线程私有链表对象池优化策略，解决了线程池对共享资源的并行访问效率低的问题。
　　3、针对数据标准不一致引起的通信协议消息格式混乱问题，提出了基于JSON和TLV的数据格式，解决了传感数据传输及解析低效问题，使数据传输和解析过程在占用带宽/内存和响应时间之间取得更好平衡;同时，针对农业物联网数据流的特点和处理需求，提出了适用于农业SCADA系统的数据流实时处理算法。
　　4、设计并搭建了一种面向农业物联网应用层的农业SCADA系统，实现了农场的远程管理。系统验证了SCADA模型的通用性，解决了SCADA系统在面对大规模数据并发访问和处理时的性能问题。
　　经过实际应用表明，在面对高速率数据访问请求时，对网络通信优化提高了系统并发连接网关的数量和通信效率，而协议格式优化提高了数据传输效率和数据包封装/解析效率，通过数据流处理算法降低系统的内存使用率同时提高输出结果的实时更新效率。

目录

声明

致谢

摘要

1 绪论

1．1 选题的背景和意义

1．2 国内外研究现状

1．3 论文的研究内容

1．4 论文的结构安排

2 基于Windows平台的通用SCADA系统模型研究

2．1 问题的提出

2．2 通用SCADA系统模型分析

2．3 网络通信子系统的研究

2．3．1 网络通信相关技术

2．3．2 网络IO模型分析

2．4 数据处理子系统研究

2．4．1 应用层通信协议

2．4．2 数据流处理

2．5 数据存储子系统研究

2．5．1 数据存储相关技术

2．5．2 数据库的设计

2．5．3 数据库访问的研究

2．6 本章小结

3 基于IOCP的网络通信性能优化

3．1 问题的提出

3．2 完成端口模型的关键问题分析

3．3 基于线程私有链表的对象池优化

3．3．1 对象池

3．3．2 并发数据结构

3．3．3 无锁对象池的设计

3．3．4 无锁对象池的实现

3．3．5 算法的验证分析

3．4 本章小结

4 数据处理相关的研究与优化

4．1 问题的提出

4．2 通信协议中的数据格式研究与设计

4．2．1 基于二进制格式的消息格式研究

4．2．2 基于文本格式的消息格式研究

4．2．3 基于JSON和TLV的消息格式设计

4．3 基于滑动窗口的数据流处理算法设计

4．3．1 数据流处理需求

4．3．2 数据流处理模型

4．3．3 数据流处理算法

4．4 本章小结

5 面向农业物联网应用层的SCADA系统设计与实现

5．1 系统设计

5．1．1 需求分析

5．1．2 系统结构

5．1．3 开发平台概述

5．2 系统实现

5．2．1 系统主要模块的实现类图

5．2．2 面向网关的网络通信模块

5．2．3 面向远程访问的网络通信模块

5．2．4 数据存储模块

5．2．5 数据处理模块

5．2．6 消息队列

5．2．7 可视化界面

5．3 本章小结

6 总结与展望

6．1 总结

6．2 展望

参考文献

研究生期间完成工作