基于操作控制单元的跨协议分布式云存储系统和数据管理方法

摘要

本发明申请公开了一种基于网络节点操作控制单元的跨协议分布式云存储系统，所述分布式云存储系统包括多个网络节点，所述每个网络节点包括与数据链路层进行直接交互的操作控制单元，所述操作控制单元包括文件单元、网络信息管理单元以及资源调度单元，其中，所述文件单元用于管理和存储其所在网络节点的文件信息；所述网络信息管理单元用于与数据链路层进行交互从而进行链路调度来在所述各个网络节点之间传递所述信息，以及节点间数据的更新；所述资源调度单元用于为所述网络信息管理单元和文件单元分配和调度实现其功能的硬件或网络资源。

说明书

技术领域

本发明申请涉及一种应用于物联网的网络节点的跨协议分布式云存储系统和数据云存储管理方法，更具体地，涉及一种基于操作控制单元的网络节点的分布式云存储和数据管理方法。

背景技术

物联网是利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化、远程管理控制和智能化的网络。随着物联网技术的飞速发展，越来越多的物品被联网。但由于各阶段、各地区投入建设的信息系统的标准不同，难以实现互联互通，形成一个个所谓的“信息孤岛”。用户更需要一个统一的平台来兼容多种网络、多种协议，实现互联互通。

作为物联网的一种实现方式，无线传感器网络(WirelessSensorNetwork,WSN)是由大量的静止或移动的传感器以自组织和多跳的方式构成的无线网络，以协作地感知、采集、处理和传输网络覆盖地理区域内被感知对象的信息，并最终把这些信息发送给网络的所有者。

在现有的包含多个网络节点的物联网中，各个采用相同或不同网络通信协议的网络节点的信息一般是通过云存储技术来进行存储的。云存储技术是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。目前的云存储都是在应用层实现的，它解决了海量数据的存储压力，但本身的架构以及用户访问过程较为繁琐，并且需要应用软件进行集中式设备管理。当用户想获取或是传输数据时，需要通过用户访问层进行访问，从服务商提供的统一数据存储层下载数据。这种集中式管理方式大大增加了通信开销，浪费信道的带宽和功耗。

物联网大量终端每时每刻都在产生大量的数据，但并不是所有的数据都需要被永久保存下来，很多数据往往在第一次使用之后就失去了它的价值，这些数据没有必要长时间占用存储空间，每一份数据都完整地存储将浪费不必要的存储资源。根据生命周期理念，本文将这样的数据定义为短寿命信息：从创建、使用到失去价值的全过程非常短暂的信息。它的特征如下：

1)实时性强

2)时效性短

3)不可预测性

4)数据规模巨大

现有的对物联网中的采用相同或不同网络通信协议的网络节点信息进行集中式的云存储方法，带来存储数据量巨大的问题，同时信息传递需要大量占用通信资源，信息传递所需功耗、带宽与所传递的信息量、距离有正相关的联系。本专利所提方法将有利于解决这些问题。

以上背景技术内容的公开仅用于辅助理解本发明申请的专利申请构思及技术方案，其并不必然属于本发明申请的现有技术，在没有明确的证据表明上述内容在本发明申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本专利的目的在于，提出一种基于操作控制单元的分布式云存储系统及云存储方法，在通信协议层采用具有共性的方法实现网络节点的数据管理，数据管理包括数据存储和数据共享的管理，所采用的方法与通信协议层所采用的具体通信协议标准无直接联系。

根据本发明的一个方面，提供了一种基于网络节点操作控制单元的跨协议分布式云存储系统，所述分布式云存储系统包括多个网络节点，所述每个网络节点包括与数据链路层进行直接交互的操作控制单元，所述操作控制单元包括文件单元、网络信息管理单元以及资源调度单元，其中，所述文件单元用于管理和存储其所在网络节点的文件信息；所述网络信息管理单元用于与数据链路层进行交互从而进行链路调度来在所述各个网络节点之间传递所述信息，以及节点间数据的更新；所述资源调度单元用于为所述网络信息管理单元和文件单元分配和调度实现其功能的硬件或网络资源。

优选地，所述网络信息管理单元包含数据推送子单元和数据更新子单元，其中所述数据推送子单元负责节点间信息的自动推送，所述数据更新子单元负责节点间数据的更新用于节点间信息的自动推送和节点间数据的更新。

优选地，所述文件单元还用于对文件存储空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索。

优选地，还包括协议栈管理单元，用于封装不同网络协议协议栈的库函数的集合，并通过接口单元为所述系统提供不同的通信协议方式和组网方式，以实现跨协议分布式云存储。

优选地，所述网络节点的数据以区块链表的方式存储。

优选地，所述区块链表包括多个信息摘要，所述信息摘要包括时间戳、采集节点个数及采集节点标示。

优选地，所述区块链表的信息摘要按照时间戳从旧到新的顺序排列。

根据本发明的另一方面，提供了一种利用上述云存储系统实现的分布式数据云存储方法，所述网络节点通过其文件单元存储节点信息，并通过其网络信息管理单元与数据链路层进行直接交互从而进行节点间传送信息，实现节点间数据的更新。

优选地，其中所述网络节点的数据以区块链表的方式存储。

优选地，当网络节点接收到信息后，将收到的信息标志与其现有区块链表中的节点标志进行对比，如果有相同的节点标志，将根据时间戳的先后次序用新数据区块替代旧数据区块；如果没有相同的节点标志，则将新数据区块完整地归并入区块链表的最末端。

本发明申请与现有技术对比的有益效果包括：第一，网络信息管理单元与数据链路层进行直接交互可以实现节点之间信息的实时共享，提高了通信效率；第二，各节点通过文件单元实现数据的存储和自我管理，真正意义上实现了一种分布式云存储，节点自我管理数据，无需软件进行集中式管理。

附图说明

图1示出了应用根据本发明的基于操作控制单元的分布式云存储的网络架构。

图2示出了在图1所示的网络架构中，在每个网络节点上实现的根据本发明的操作控制单元。

图3示出了在图2所示的每个节点之间利用操作控制单元实现信息传送的过程。

图4示意性地示出了一种区块链的格式。

图5示出了根据本发明一个实施例的基于操作控制单元的分布式网络节点操作系统。

图6出了根据本发明一个具体实施例的基于操作控制单元的分布式网络节点操作系统。

具体实施方式

下面结合具体实施方式并对照附图对本发明申请作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明申请的范围及其应用。

参照以下附图，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。

本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。

图1示出了根据本发明的基于网络节点操作控制单元的跨协议分布式云存储系统，所述分布式云存储系统包括多个网络节点，如图1所示示例性地示出了3个节点，节点1、节点2和节点3。节点可以是例如智能手机、电脑、电话等的网络终端，或者也可以是物联网中的各个节点。以物联网为例，每个节点可以代表物联网中的一个终端。例如在车联网中，每个节点可以表示一辆车辆。在多个可穿戴智能设备构成的物联网中，每个节点可以表示一件可穿戴智能设备，例如智能手表或智能眼镜。

所述每个网络节点包括与数据链路层进行直接交互的操作控制单元(OCU)，操作控制单元实现在应用层之下，例如可以位于数据链路层，或与数据链路层直接交互，用于与数据链路层、物理层协议协同工作以管理数据及部分信道资源，并可以同时支持不同的数据链路层或物理层协议，从而实现了跨协议的分布式云存储方案。

所述操作控制单元包括用于存储节点文件信息的文件单元、以及将这些节点文件信息进行更新、管理以及在节点间推送的网络信息管理单元。操作控制单元还包括资源调度单元，用于为所述网络信息管理单元和文件单元分配和调度实现其功能的硬件或网络资源。

具体地，所述文件单元用于管理和存储其所在网络节点的文件信息。文件单元还用于对文件存储空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索。根据本发明的一个实施例，所述网络节点的数据可以以区块链表的方式存储。区块链表将在下文参考图4进行详细描述。

所述网络信息管理单元用于进行链路调度来在所述各个网络节点之间传递所述信息，以及节点间数据的更新。根据一个实施例，网络信息管理单元包含数据推送子单元和数据更新子单元，其中所述数据推送子单元负责节点间信息的自动推送，所述数据更新子单元负责节点间数据的更新用于节点间信息的自动推送和节点间数据的更新。

所述资源调度单元用于为所述网络信息管理单元和文件单元分配和调度实现其功能的硬件或网络资源。根据本发明的一个实施例，可以在每个节点以微控制器(MCU)实现本发明的云存储系统，因此所述资源调度单元可以为所述网络信息管理单元和文件单元分配和调度硬件资源，例如分配占用CPU的资源、总线资源、以及网络带宽资源等等。

图2详细示出了基于图1的分布式云存储系统中每个节点的操作控制单元的一个具体实现方式。

根据本发明的一个实施例，每个节点的操作控制单元可以实现在数据链路层，或者与数据链路层直接交互，或为数据链路层提供服务。资源调度单元为文件单元和网络信息管理单元分配适合的硬件资源和网络资源，从而使得文件单元对存入的文件进行保护和检索。所存入的文件信息例如可包括节点所采集到的节点信息、以及从整个云存储系统中的其他邻居节点接受到的信息。资源调度单元还为网络信息管理单元在实现节点间信息的自动推送和数据更新时分配硬件和/或网络资源。例如，用于在应用层需要时文件单元存储的信息通过数据链路层传递至应用层，或将将采集到的节点信息通过MAC层根据相应的协议传递至物理层(PHY)层。

图3示出了基于图1的分布式云存储系统中每个节点的操作控制单元实现的节点间数据传送的方式，从而实现云存储系统。

如图3所示，当节点1的操作控制单元中的网络信息管理单元发出推送数据的请求时，数据经过数据链路层、PHY层，以及射频传输，到达节点2的PHY层，继续往上传，经过节点2的数据链路层，最终到达节点2的网络信息管理单元。完成了一个推送流程。

根据本发明的基于节点操作控制单元实现的云存储系统，通过位于与数据链路层进行直接交互的网络信息管理单元，可以不经由应用层的发起而直接实现节点间的数据交换。当节点采集到的数据发生更新时，可以通过网络信息管理单元存储在节点的文件单元中，供网络中的其余节点获取。网络节点通过其文件单元存储节点信息，并通过其网络信息管理单元不经过应用层而直接通过数据链路层进行节点间传送信息，实现节点间数据的更新。每个节点的网络信息管理单元还可以发出请求获取邻居节点中的文件单元所存储的节点数据，从而实现了数据云存储的方式。

图4示意性地示出了一种区块链的格式。所述区块链表包括多个信息摘要，所述信息摘要包括时间戳、采集节点个数及采集节点标示。如下表所示：

此格式仅为网络层示意，包括校验等其他部分请参见相应网络协议。因为数据包的其他部分不在本发明保护范围内，故未列出。

如图4所示，区块链为一种存储历史数据的链表结构，通过记录时间戳、采集节点的个数、采集节点表示和数据，来达到记录的目的。其中，区块链中包含了多个上述的信息摘要。

不同的区块大小不同，是因为某一个时间点可能有若干个节点采集数据，所以需要采集节点个数来记录此时刻数据变化的节点个数。

优选地，区块链表的信息摘要按照时间戳从旧到新的顺序排列。

根据一个具体的实施例，当所述网络节点的数据以区块链表的方式存储时，当网络节点接收到信息后，将收到的信息标志与其现有区块链表中的节点标志进行对比，如果有相同的节点标志，将根据时间戳的先后次序用新数据区块替代旧数据区块；如果没有相同的节点标志，则将新数据区块完整地归并入区块链表的最末端。

图5示出了根据本发明的一个具体实施例，在每个网络节点上实现的根据本发明的包括操作控制单元的分布式网络节点操作系统。如图5所示，根据本发明的信息的基于操作控制单元的分布式网络节点操作系统位于上层应用程序和底层设备之间。上层应用程序位于操作系统之上的，是为用户提供某一特定服务的应用程序的集合。

根据本发明的基于操作控制单元的分布式网络节点操作系统包括网络信息管理单元、应用接口单元、文件单元、硬件资源管理单元、协议栈管理单元和设备驱动管理单元。

网络信息管理单元负责对网络信息的管理，其包含数据推送子单元和数据更新子单元。数据推送子单元负责节点间信息的自动推送，数据更新子单元负责节点间数据的更新。

网络信息管理单元适用于当采集节点采集的数据发生变化时，控制采集节点根据路由表规划出推送路径，按照规定的格式将本次采集数据、区块链中末端信息摘要和推送路径进行封装，将封装好的信息主动推送到网络通信可以到达的第一邻居节点，并将本次采集的数据写入采集节点的区块链的末端，最后将封装好的信息发送至云端。

在一个实施例中，信息摘要包括时间戳、采集节点个数及采集节点标示。

在本发明中，第一邻居节点是指在采集节点一跳通信范围内的节点。本文中的归并，指的是当邻居节点收到两份或更多相同本次时间戳但不同采集节点标示发过来的信息时，邻居节点要将这些信息合并成时间戳、采集节点个数、采集节点标示、数据、采集节点标示、数据……的形式。其中采集节点个数根据采集节点标示的个数来确定，每个采集节点标示后面紧跟它的数据，采集节点标示的顺序可以事先约定，譬如采用升序排序等。

第一邻居节点收到所述采集节点分享的所述封装好的信息后，网络信息管理单元将所述封装好的信息中的本次时间戳、采集节点标示以及数据按照时间戳的先后归并到区块链中；同时按照所述推送路径，将所述收到的封装好的信息主动推送到第二邻居节点。以此类推，第二邻居节点可以将封装好的信息主动推送到第三邻居节点。主动推送的次数可以根据网络的具体情况而定。

硬件资源管理单元对硬件资源进行管理，应用接口单元将文件单元、硬件资源管理单元和网络信息管理单元所提供的服务转换成上层应用程序所能够使用的编程接口。

协议栈管理单元封装了不同网络协议协议栈的库函数的集合，并通过接口单元为所述系统提供不同的通信协议方式和组网方式，以实现跨协议分布式云存储。应用接口单元还提供与协议栈库函数进行交互的接口；设备驱动管理单元管理底层设备应用驱动，通过应用驱动来调用协议栈管理单元内的对应的协议栈库函数。本发明申请使协议栈封装了库函数，操作系统为协议栈提供调度接口。操作系统支持不同通信方式和组网方式的底层设备，并能够调用这些设备的应用驱动，在网络的路由和应用管理方面调用不同的协议栈库函数，实现对多种通信方式和协议的兼容。这保证了网络的通用性。

协议栈管理单元是指封装了不同网络协议协议栈的库函数的集合。根据本发明的一个实施例，协议栈管理单元可以位于MAC层。

应用接口单元为应用接口的集合，将文件单元、任务管理单元和信息管理单元所提供的服务包装成上层应用程序所能够使用的编程接口，并提供与协议栈库函数进行交互的接口。

文件单元负责管理和存储文件信息，对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索。

硬件资源管理单元负责对硬件资源进行管理，包括处理器管理、存储管理和IO(输入输出设备)管理。处理器管理子单元负责分配和控制处理器。存储器管理子单元负责内存的分配与回收。IO设备管理管理子单元负责IO设备的分配与操纵。

设备驱动管理单元负责管理底层设备应用驱动，通过不同的应用驱动来调用不同的协议栈库函数，实现对多种通信方式和协议的兼容。

图6示出了根据本发明一个具体实施例的在每个网络节点上实现的根据本发明的基于操作控制单元的分布式网络节点操作系统。

如图6所示，根据本发明的基于操作控制单元的分布式网络节点操作系统实现在物理层(PHY层)和数据链路层之间，具体地，数据链路层可以划分为逻辑链路子层(LLC层)和介质访问控制子层(MAC层)。根据本发明的一个实施例，本发明的分布式网络节点操作系统可以位于逻辑链路子层(LLC层)和介质访问控制子层(MAC层)之间。根据本发明的又一个实施例，本发明的分布式网络节点操作系统也可以融合逻辑链路子层(LLC层)和介质访问控制子层(MAC层)。

由于本发明的分布式网络节点操作系统工作在数据链路层和物理层之间，在宏观上没有改变网络协议架构，对上层应用是透明的；并提供了丰富的用户接口，便于二次开发和改进。

在本实施例中，网络信息管理单元负责管理数据链路层和物理层之间传输的数据帧，并根据相应的应用需求对数据帧进行有选择性的保存。

本实施例中的网络信息管理单元根据相应的应用需求有选择性的保存数据帧，该数据帧是保存在文件单元中。文件单元通过记录一个特定的表示来区分不同的数据版本。所谓的特定标示包括但不限于时间戳、事件驱动。

在实施例中，硬件资源管理单元还负责对所述的分布式网络节点操作系统中的各个任务进行调度。调度的算法包含事件触发的实时抢占调度方式。本专利所述的分布式网络操作系统由于与数据链路层进行直接交互，因此可实现基于事件触发的实时抢占调度方式。当数据链路层的数据帧需要传递到物理层，或者物理层接收到的比特流需要传递到数据链路层，都会建立在网络信息管理单元中建立相应优先级的任务，并由任务调度单元进行统一调度，保证关键任务可以得到第一时间的响应。所述的建立的不同优先级的任务，除了对数据进行传输外，可以按照实际的应用需求，对数据进行其他处理，以便于进行二次开发和应用。

设备驱动管理单元负责管理底层设备的应用驱动，根据不同的底层设备选择相应的应用驱动，并进行相应的初始化。通过调用不同的底层驱动，支持不同的底层硬件设备。

在本实施例中，通过设备驱动管理和协议栈管理，可以支持多种组网形式，包括但不限于星型网络、网状网络、环状网络等不同网络拓扑结构；也可以通过LLC层和MAC层支持多种无线通信协议，包括但不限于WiFi、ZigBee、Bluetooth。根据不同通信方式和组网方式的底层设备，可以调用这些设备相应的应用驱动，在网络的路由和应用管理方面调用不同的协议栈库函数，实现对多种通信方式和协议的兼容。因此，本申请的操作系统可以兼容多种网络、多种协议，实现互联互通。

根据本发明的云存储系统可以实现节点间信息的主动推送，即任何节点都可以在网络通信可以到达的范围内读取网络中各节点推送和更新的数据。各个节点以事件驱动的方式(Event-Driven)主动传送和更新，不再需要发起基于“请求数据-确认收到请求-发送数据-确认收到数据”方式(相当于TCP方式)，或“请求数据-发送数据”方式(相当于UDP方式)的多次应答通信过程。事件驱动指的是当特定事件的取值发生变化时，会调用网络信息管理功能来进行处理，而特定事件的定义由网络信息管理功能来进行维护。

如果采集节点和第一邻居节点实现了全网覆盖，则实现了数据的全网推送。其中第一邻居节点是指在采集节点一跳通信范围内的节点。如果采集节点和第一邻居节点未实现了全网覆盖，则可以进一步实现数据的进一步推送。还可以根据需要使第二邻居节点收到所述封装好的信息后，将所述封装好的信息中的本次时间戳、采集节点标示以及数据按照时间戳的先后归并到区块链中；同时按照所述推送路径，将所述收到的封装好的信息主动推送到第三邻居节点。以此类推，直至完成推送路径中的所有节点。

归并，指的是当邻居节点收到两份或更多相同本次时间戳但不同采集节点标示发过来的信息时，邻居节点要将这些信息合并成时间戳、采集节点个数、采集节点标示、数据、采集节点标示、数据……的形式。其中采集节点个数根据采集节点标示的个数来确定，每个采集节点标示后面紧跟它的数据，采集节点标示的顺序可以事先约定，譬如采用升序排序等。

上述通过网络节点配置操作控制单元及主动信息推送方法而实现的数据云存储及管理方法，尤其适合于物联网的短寿命信息存储和管理。由于短寿命信息因其实时性要求高、信息时效性短的特点，在存储这类数据时应该在设定时间内更新存储，只保留有价值的新数据，及时删除历史数据，来节约空间。优选地，上述云存储方法采用统一的数据区块链表形式，实现了信息的更新式存储。

具体地，通信节点联网之后，首先与其他节点进行数据传输，通过操作系统层的资源管理，将接收到的封装好的数据归并入数据区块链表中，并存储在专门的文件单元里。数据区块链表包括时间戳、采集节点标志、数据等内容，其中，时间戳是指发送数据的时间标志，由发送的源节点写入，作为区分数据的新旧版本的一个依据。采集节点标志代表数据的来源。当目标节点接收到信息后，将采集节点标志与现有数据区块链表中的节点标志进行对比，如果有相同的节点标志，将根据时间戳的先后次序用新数据区块替代旧数据区块；如果没有相同的节点标志，则将新数据区块完整地归并入数据区块链表的最末端。对于同一个源节点标志，只保留时间戳最新的数据，历史数据在设定时间内被删除，从而实现更新式存储。

完整的数据区块链表的多个信息摘要按照时间戳从旧到新的顺序排列，它实际上分布存储在各节点的内存中，不同的节点之间可以通过操作系统层进行链路调度，来相互获取数据，整个过程实现了一种更新式的分布式云存储。并且，这种新的云存储方法不需要进行集中式设备管理，每一个节点的数据管理都由自己的通信协议层的操作系统来控制，从而实现了真正意义上的分布式管理的云存储。

任何节点都可以通过该软件在网络通信可以到达的定义范围内读取网络中各节点推送和更新的数据，而这些能够读取的数据的定义可由网络信息管理功能来进行维护。

根据本发明的主动推送信息实现的分布式云存储和数据管理方法，相对于现有技术的性能优势如下：

(1)分布式管理：每个用户通过自己的通信协议层中的操作系统进行数据管理，不需要服务商的应用软件进行集中式设备管理；

(2)节约存储开销：将信息的生命周期考虑到存储中，改变传统的完整数据存储理念，采用更新式存储方式，保留有价值信息，删除历史数据，来节约存储资源。

(3)保护用户隐私：数据始终以链表形式分散地存储在各节点的通信协议层中，并且不断地更新式存储着，任何节点都不能保存历史数据。避免了一些运营商保存用户数据来分析消费行为甚至出售用户数据，保护了用户的数据隐私不受侵犯。

尽管已经描述和叙述了被看作本发明申请的示范实施例，本领域技术人员将会明白，可以对其作出各种改变和替换，而不会脱离本专利申请的精神。另外，可以做出许多修改以将特定情况适配到本发明申请的教义，而不会脱离在此描述的本发明申请中心概念。所以，本发明申请不受限于在此披露的特定实施例，但本发明申请可能还包括属于本发明申请范围的所有实施例及其等同物。