一种将慢速串口数据与高速采集数据融合存储的方法

摘要

本发明公开了一种将慢速串口数据与高速采集数据融合存储的方法，包括步骤1、对所述数据采存系统进行初始化设置；步骤2、主控模块将所述高速采集数据发送到采存模块；步骤3、主控模块将所述慢速串口数据发送到采存模块；步骤4、采存模块将所述慢速串口数据和高速采集数据进行融合存储。该方法可满足串口在线异步更新的应用需求，适应主控模块在任意时刻、以任意周期发送新的参数列表，并可以最小延时将新的参数列表，更新到每一个数据融合帧的帧头送入存储空间，确保参数列表的信息完整度。该方法还实现了将慢速串口数据和高速采集数据进行可靠融合存储的功能，有效提高数据采存设备的数据即时性、完整性和可靠性。

说明书

技术领域

本发明涉及异步数据融合技术，特别涉及一种将慢速串口数据与高速采集数据融合存储的方法。

背景技术

数据采存系统需要兼容多种速率各异的接口，低速率如串口(小于等于1Mbps)，高速率如4X光口(大于等于1Gbps，小于等于10Gbps)。其中，串口通常用于系统主控模块发送参数列表给采存模块，如帧头、帧长、数据路数、数据类型等用于信息提取、数据解析和算法验证的多项重要信息。此类信息虽然更新速率较慢，且数据量小，但必须完整地跟随系统采存模块获取的每一帧原始采集数据进行存储，信息完整度和正确率要求较高，会直接影响原始采集数据的使用。

因此设计一种既能实现低速率的小数据的最小延时更新，又能实现高速率的大数据的打包存储的可靠方法，是一项对于异步数据融合研究非常重要的技术。

现有对于接口速率差异较大的存储数据的常见处理方法，是分别给高速率数据和低速率数据打时标，然后各自单独存储。该类方法存在的主要问题有：

1、在后期使用数据时，需要通过比对数据文件内的时标，来对齐不同接口的存储数据，大大降低了数据使用时的即时性和便利性。

2、在分布式系统中非常容易出现时标不同步的明显弊端，尤其在很多应用环境中，数据接口速率已经高达10Gbps，时间精度要求极高，即使是同步系统，以GHz级的时钟频率处理打包数据，要做到异步接口数据的同步也非常困难，数据可靠性存在风险。

发明内容

针对数据采存系统需要兼容多种速率各异的接口的需要，本发明旨在于实现一种将慢速串口数据和高速采集数据进行可靠融合存储的方法，因此以最常见的低速接口串口(小于等于1Mbps)、高速接口光口(大于等于1Gbps，小于等于10Gbps)为例，提出一种将串口数据进行两级RAM缓存，以最小延时更新数据融合帧帧头，并携带原始高速采集数据送入存储空间的方法，既可保证串口发送的参数列表的信息完整度，又可有效提高数据采集设备的数据可用性和可靠性。

一种将慢速串口数据与高速采集数据融合存储的方法，所述方法由数据采存系统实现，所述系统主要包括主控模块和采存模块，其中，主控模块通过串口与采存模块互联，采存模块通过高速采集接口与远端高速采集数据输出设备互联；所述方法包括如下步骤：

步骤1、对所述数据采存系统进行初始化设置；

步骤2、主控模块将所述高速采集数据发送到采存模块；

步骤3、主控模块将所述慢速串口数据发送到采存模块；

步骤4、采存模块将所述慢速串口数据和高速采集数据进行融合存储。

进一步的，所述步骤1、对数据采存系统进行初始化包括：

1.1设置参数

本发明的数据采存系统进入工作状态前，首先需要通过主控模块对采存模块进行参数设置。

进一步的，所述步骤1、对数据采存系统进行初始化包括：

1.2分配缓存

参数设置完成，采存模块为串口通道开放两级连续缓存。

进一步的，所述步骤2、将所述高速采集数据发送到采存模块包括：

2.1采存模块缓存高速采集数据

所述数据采存系统从远端高速采集数据输出设备接收高速采集数据，通过高速接口通道，持续进入采存模块，采存模块将高速采集数据依次写入缓存。

进一步的，所述步骤2、将所述高速采集数据发送到采存模块包括：

2.2产生高速采集数据缓存准备好有效标志

根据高速采集数据协议设定帧长，采存模块保持对高速采集数据的缓存的存储数据深度进行监测；当达到高速采集数据收满协议设定帧长时，采存模块产生高速采集数据缓存准备好标志。

进一步的，所述步骤3、主控模块将所述慢速串口数据发送到采存模块包括：

3.1主控模块发送第N帧慢速串口数据

3.2采存模块接收并缓存第N帧慢速串口数据

3.3产生慢速串口数据第1级缓存的准备好有效标志

3.4主控模块发送第(N+1)帧慢速串口数据

3.5采存模块缓存第(N+1)帧慢速串口数据

3.6产生慢速串口数据第2级缓存准备好有效标志

3.7分别按照3.1～3.3和3.4～3.6的方式交替更新第1级缓存和第2级缓存的存储数据。

进一步的，所述步骤4、采存模块将所述慢速串口数据和高速采集数据进行融合存储包括：

4.1设置数据融合帧格式

4.2获取高速采集数据缓存准备好的有效标志

4.3获取慢速串口数据缓存准备好的有效标志

4.4采存模块打包数据融合帧。

根据上述技术方案，本发明的有益效果包括：

1、可适应主控模块在任意时刻、以任意周期发送新的参数列表；

2、采存模块可以最小延时将新的参数列表，更新到每一个数据融合帧的帧头

送入存储空间；

3、可保证参数列表的信息完整度，一直持续到下一次主控模块更新参数列表。

附图说明

图1是本发明中将慢速串口数据与高速采集数据融合存储的步骤流程图。

图2是本发明中为慢速串口数据开发的两级缓存空间的初始状态示意。

图3是本发明中慢速串口数据两级连续缓存第1级缓存接收第N帧慢速串口数据参数列表F_N的存储示意图。

图4是本发明中慢速串口数据两级连续缓存第2级缓存接收第N帧慢速串口数据参数列表F_(N+1)的存储示意图。

图5是本发明中慢速串口数据两级连续缓存第1级缓存接收第N帧慢速串口数据参数列表F_(N+2)的存储示意图。

图6是本发明中慢速串口数据两级连续缓存第2级缓存接收第N帧慢速串口数据参数列表F_(N+3)的存储示意图。

图7是本发明中执行慢速串口数据和高速采集数据打包融合动作的有限状态机状态跳转示意图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案做进一步详细的解释和说明。

一种将慢速串口数据与高速采集数据融合存储的方法，所述方法由数据采存系统实现，所述系统主要包括主控模块和采存模块，其中，主控模块通过串口与采存模块互联，采存模块通过高速采集接口与远端高速采集数据输出设备互联；所述方法包括如下步骤：

步骤1、对数据采存系统进行初始化；

1.1设置参数

本发明的数据采存系统进入工作状态前，首先需要通过主控模块对采存模块进行参数设置，包括：串口波特率设置、串口参数列表长度、高速采集通道数量设置。

1.2分配缓存

参数设置完成，采存模块为串口通道开放两级连续缓存RAM，空间大小共为512×8bit，其中分配给第1级缓存RAM的偏移地址为0x00～0xFF，分配给第2级缓存RAM的偏移地址为0x100～0x1FF，如图2所示。

步骤2、将所述高速采集数据发送到采存模块；

2.1采存模块缓存高速采集数据

所述数据采存系统从远端高速采集数据输出设备接收高速采集数据，通过高速接口通道，持续进入采存模块，采存模块将高速采集数据依次写入缓存FIFO模块。

2.2产生高速采集数据缓存准备好有效标志

根据高速采集数据协议设定帧长，采存模块保持对高速采集数据的缓存FIFO模块的存储数据深度进行监测。当达到高速采集数据收满协议设定帧长时，采存模块立即产生高速采集数据缓存准备好标志，触发数据融合帧打包流程，进入将慢速串口数据与高速采集数据融合的步骤。

步骤3、主控模块将所述慢速串口数据发送到采存模块；

3.1主控模块发送第N帧慢速串口数据

主控模块通过串口与采存模块互联通信，发送第N帧慢速串口数据，所述第N帧慢速串口数据包括用于信息提取、数据解析和算法验证的参数列表F_N，具体的所述参数列表F_N包括帧头、帧长、数据路数、数据类型。

3.2采存模块接收并缓存第N帧慢速串口数据

采存模块将主控模块发送的第N帧慢速串口数据，写入为串口数据开放的两级缓存RAM中的第1级缓存空间中。如参数列表F_N＝(F_N0，F_N1，F_N2，……，F_N(n-1)，F_Nn)，其中序列F_Nx(x∈(0,1,2,3,...,n)，n为参数列表中序列F_Nx的偏移位置)表示主控模块依次发送的多Byte慢速串口数据，采存模块将所述第N帧慢速串口数据依次存入第1级缓存空间对应地址中，RAM示意图见图3。

3.3产生慢速串口数据第1级缓存的准备好有效标志

在主控模块发送第N帧慢速串口数据的过程中，第1级缓存的准备好标志无效，而第2级缓存的准备好标志保持有效。直至第N帧慢速串口数据全部缓存完成，表示最新串口数据已更新，则使第1级缓存的准备好标志有效，使第2级缓存准备好标志无效。

在主控模块串口发送第N帧慢速串口数据开始，直至第1级缓存准备好标志有效前，数据融合帧的帧头持续从第2级缓存中获取第(N-1)帧慢速串口数据作为参数列表。如第2级缓存为空，即当前帧为主控模块发送的第1帧数据，则使用全0序列作为数据融合帧的帧头。

3.4主控模块发送第(N+1)帧慢速串口数据

主控模块发送第(N+1)帧慢速串口数据，同样包含如帧头、帧长、数据路数、数据类型等用于信息提取、数据解析和算法验证的多项重要信息的参数列表F_(N+1)。

3.5采存模块缓存第(N+1)帧慢速串口数据

采存模块将主控模块发送的第(N+1)帧慢速串口数据，写入为串口数据开放的两级缓存RAM中的第2级缓存空间中。如参数列表F_(N+1)＝(F_(N+1)0，F_(N+1)1，F_(N+1)2，……，F_(N+1)(n-1)，F_(N+1)n)，其中F_(N+1)x(x∈(0,1,2,3,...,n))表示主控模块依次发送的多Byte慢速串口数据，采存模块依次将其存入第2级缓存空间对应地址中，RAM示意图见图4。

3.6产生慢速串口数据第2级缓存准备好有效标志

在主控模块发送第(N+1)帧慢速串口数据F_N的过程中，第2级缓存准备好标志无效，而第1级缓存准备好标志保持有效。直至数据F_(N+1)n全部缓存完成，表示最新串口数据已更新，则使能第2级缓存准备好标志，失效第1级缓存准备好标志。

在主控模块串口发送数据F_(N+1)，直至第2级缓存准备好标志有效前，打包数据融合帧帧头仍然从第1级缓存中获取串口数据F_N作为参数列表。

3.7分别按照3.1～3.3和3.4～3.6的方式交替更新第1级缓存和第2级缓存的存储数据

主控模块发送第(N+2)帧、第(N+3)帧、第(N+4)帧……慢速串口数据，分别按照3.1～3.3和3.4～3.6的方式交替更新第1级缓存和第2级缓存的存储数据，直至高速数据采集工作结束。

其中，第(N+2)帧参数列表F_(N+2)＝(F_(N+2)0，F_(N+2)1，F_(N+2)2，……，F_(N+2)(n-1)，F_(N+2)n)，存入第1级缓存对应地址后，RAM示意图见图5。参数列表F_(N+3)＝(F_(N+3)0，F_(N+3)1，F_(N+3)2，……，F_(N+3)(n-1)，F_(N+3)n)，存入第2级缓存对应地址后，RAM示意图见图6。

需要说明的是，慢速串口和高速采集数据端口是异步端口，步骤2与步骤3起始可以顺序互换(如图1中虚线连接关系所示)。如果慢速串口数据晚于高速采集数据进入采存模块，即步骤2.2中的高速采集数据收满协议帧后，串口数据缓存RAM中仍然为空，如图2所示，则融合数据帧将获取空串口数据，并携带一帧采集数据，送入存储空间。

步骤4、采存模块将所述慢速串口数据和高速采集数据进行融合存储。

4.1设置数据融合帧格式

数据融合帧由帧头和帧内容(即一帧高速采集数据)组成。其中，帧头为256×8bit，取自慢速串口数据两级缓存中当前可读缓存RAM，采集数据帧长由采集协议设定，取自高速采集数据缓存FIFO。

4.2获取高速采集数据缓存准备好的有效标志

在采存模块未达到高速数据采集协议设定帧长时，高速采集数据缓存准备好标志始终保持无效，直至满足采集协议设定帧长的数据缓存完成，使能高速采集数据缓存准备好标志。

4.3获取慢速串口数据缓存准备好的有效标志

在等待高速采集数据缓存准备好标志的有效标志的同时，采存模块需要时刻获取慢速串口数据缓存准备好的有效标志，以识别当前数据可用的慢速串口数据缓存RAM，确保一旦高速采集数据缓存准备好的标志为有效，立刻可以从当前可用的慢速串口数据缓存RAM中获取数据，进行数据融合帧打包操作。

4.4采存模块打包数据融合帧

采存模块根据高速采集数据缓存准备好的有效标志，触发数据融合帧打包动作，用一个有限状态机实现，状态跳转图如图7，状态描述见下表1，状态跳转条件描述见下表2。

该状态机在高速采集数据缓存准备好后，从数据可用的慢速串口数据缓存RAM中读取参数列表，写入数据融合帧帧头，并在串口数据参数列表内容不满256Byte时，补0写入帧头尾部，直到补满256Byte，随后从高速采集数据缓存FIFO中读出采集数据，写入数据融合帧的帧内容，最后将整个数据融合帧输送到采存模块的指定存储空间，完成当前帧的打包动作。

根据图7中有限状态机的状态流转关系可知，数据采存系统接收到采集停止指令前，慢速串口数据与高速采集数据的融合过程，将依照4.2～4.4步骤循环执行，实现数据采集和融合存储。采集停止指令使能后，系统数据采集存储工作完成。

表1数据帧打包状态机状态描述

表2数据帧打包状态机状态跳转条件描述

编号跳转条件详细说明1.高速采集数据缓存准备好标志有效2.慢速串口数据第1级缓存准备好标志有效3.串口数据第1级缓存读完4.慢速串口数据第2级缓存准备好标志有效5.串口数据第2级缓存读完6.串口数据补0完成7.从高速采集数据缓存FIFO读取一帧数据完成8.高速采集数据缓存准备好标志有效9.数据采集停止指令使能

上述具体实施方式仅用于解释和说明本发明的技术，但并不能构成对权利要求的保护范围的限定。本领域技术人员应当清楚，在本发明的技术方案的基础上，进行任何简单的变形或者替换而得到的新的技术方案，均将落入本发明的保护范围之内。