偏微分方程数据处理方法、系统、存储介质、设备及应用

摘要

本发明属于从数据中学习系统隐含的偏微分方程处理技术领域，公开了一种偏微分方程数据处理方法、系统、存储介质、设备及应用，利用注意力机制对时空间数据采样；利用先验知识和基函数表示法构建微分项备选库；由多个单层回归网络组成深度网络学习备选库中微分项对应系数；损失函数中加入正则化，通过稀疏回归减少干扰项，得到最终的偏微分方程。本发明能够充分地利用观测数据的空间和时间信息，减少模型所需数据量，在保证效率的同时提升学习到的偏微分方程的精度；解决传统的通过人工经验和实验验证来学习系统隐含的偏微分方程的方法效率太低，易受人的主观因素影响，且难以找到复杂系统背后的机制的问题。

说明书

技术领域

本发明属于从数据中学习系统隐含的偏微分方程处理技术领域，尤其涉及一种偏微分方程数据处理方法、系统、存储介质、设备及应用。

背景技术

目前：微分方程，尤其是偏微分方程，在许多学科中扮演着重要的角色，它可以用来描述给定系统背后的物理规律。传统上，偏微分方程是根据一些基本原理从数学上或物理上推导出来的，例如从量子力学中的薛定谔方程到分子动力学模型，从玻尔兹曼方程到纳维-斯托克斯方程等。然而，现代应用中许多复杂系统背后的机制(如多相流、神经科学、金融学、生物科学等诸多问题)普遍还不清楚，这些系统的偏微分方程通常由经验公式得到。在过去十年中，随着传感器、计算能力和数据存储技术的快速发展，现在可以轻松地收集、存储和处理大量数据。如此大量的数据为从数据中发现(可能是新的)物理定律提供了新的机会。因此，构建一个从数据中学习偏微分方程的模型来近似观察到的复杂动态数据，将会对人们分析和理解现代应用中复杂系统的背后机制意义巨大。

早期从系统中总结其隐含机制往往依赖于人们的经验，或者先提出假设再后续进行实验验证。这种方式受人主观影响较大，效率较低，且对于复杂或者新出现的系统的隐含规律难以再依靠经验公式去获得其隐含的偏微分方程。因此随着计算能力和数据存储技术的发展进步，通过计算机技术总结系统隐含的偏微分方程的解决方案渐渐出现。JoshBongard和Michael Schmidt分别在2007年和2009年对如何在数据驱动下学习系统中的隐含偏微分方程进行了初步尝试，他们的主要思路是将输入数据的数值微分与候选函数的解析微分进行比较，并用符号回归和进化算法来确定非线性动态系统。Emmanuel deBezenac在2017年使用了一种非线性动力学的稀疏辨识方法(SINDy)对海面温度进行了偏微分方程建模，SINDy的主要思想是先构建一个足够大的偏微分方程项的候选库，再从海面温度数据中学习出了隐含的偏微分方程来进行海面温度的预测。Marizar Raissi在2018年提出了一个在偏微分方程的非线性响应函数形式已知的前提下学习未知参数的模型，他的主要思路是在两个连续的时间步之间通过高斯过程引入正则的思想。通常来说，从数据中学习偏微分方程的方法关注于用相对简单的模型表示观测数据，并获得偏微分方程的解析形式。

在已有的从数据中学习系统隐含的偏微分方程的方法中，存在着几种问题及缺陷：(1)传统的通过人工经验和实验验证来学习系统隐含的偏微分方程的方法效率太低，易受人的主观因素影响，且难以找到复杂系统背后的机制。(2)现有的在数据驱动下学习系统隐含的偏微分方程的方法局限性较大，对能够学习的偏微分方程的项限制较多，且学习效果易受噪声影响。(3)现有的通过深度学习来学习系统隐含的偏微分方程的方法需要大量的样本数据，而某些系统难以采集到足够的数据以供训练，且深度学习的硬件成本较高，而运行效率不高，因而限制了这些方法的使用。

通过上述分析，现有技术存在的问题及缺陷为：

(1)传统的通过人工经验和实验验证来学习系统隐含的偏微分方程的方法效率太低，易受人的主观因素影响，且难以找到复杂系统背后的机制，导致最终得到的偏微分方程误差过大且效果不稳定。

(2)现有的在数据驱动下学习系统隐含的偏微分方程的方法局限性较大，对能够学习的偏微分方程的项限制较多，导致学习出的偏微分方程不符合真实方程的解析形式；且学习效果易受噪声影响，导致最终得到的偏微分方程误差过大。

(3)现有的通过深度学习学习系统隐含的偏微分方程的方法需要大量的样本数据，而某些系统难以采集到足够的数据以供训练，且深度学习的硬件成本较高，而运行效率不高，因而限制了这些方法的使用。

解决以上问题及缺陷的难度为：如何在数据量较小的情况下学习系统隐含的偏微分方程，以及如何提高学习效率和精度。

解决以上问题及缺陷的意义为：通过数据驱动的方法探索系统隐含的偏微分方程能够节约大量的人工成本，以助于人们对复杂系统运行规律的理解，推动从数据中学习系统隐含的偏微分方程领域的进步。

发明内容

针对现有技术存在的问题，本发明提供了一种偏微分方程数据处理方法、系统、存储介质、设备及应用。

本发明是这样实现的，一种偏微分方程数据处理方法，所述偏微分方程数据处理方法包括：

利用注意力机制对时空间数据采样以提升学习精度与初值鲁棒性；

利用先验知识和基函数表示法构建微分项备选库以得到一个合理且完备的备选库；

由多个单层回归网络组成深度网络学习备选库中微分项对应系数完成初步的偏微分方程学习；

损失函数中加入正则化，通过稀疏回归减少干扰项，得到最终的偏微分方程。

本发明利用注意力机制对时空间数据采样，因为某些由偏微分方程控制的系统(如基于偏微分方程的图像去噪和图像分割任务)更加关心偏微分方程的终值，所以在进行时间采样时引入注意力机制提升精度和初值鲁棒性，使其在关注偏微分方程终值结果的任务中更加有效；利用先验知识和基函数表示法构建微分项备选库，使得备选库完备且合理，并减小计算量；再利用由多个单层回归网络构成的深度网络来学习备选库中候选项所对应的系数，以完成初步的偏微分方程学习；最后在损失函数中加入正则化项，让网络成为一个利用了稀疏回归方法的偏微分方程学习器，以减少无关干扰项。

进一步，所述偏微分方程数据处理方法的数据采样具体包括：先将输入的时间序列数据进行空间采样，空间采样使用随机采样，选取输入空间中的部分点作为观测对象；再进行时间采样，时间采样使用均匀采样，在空间采样选取的观测点的基础上取其每隔一段时间间隔后的新的样本值，在时间采样时引入注意力机制，通过控制时间采样率来增加后半部分数据的权重；

进一步，所述偏微分方程数据处理方法数据采样时的网络参数设置如下：边界宽度：5；空间采样率：2％；总时间采样率：25％；时间采样等分段数：5；注意力机制修正：每段采样率递增5％；分段时间采样率：15％，20％，25％，30％，35％。

进一步，所述偏微分方程数据处理方法构建微分项备选库：包含未知函数的偏导数或偏微分的方程称为偏微分方程，偏微分方程的通用形式表示为：

u

其中t表示时间，x和y表示空间，偏微分方程u

ω

其中Θ表示由各个微分项ω，u，v组成的矩阵，ξ表示微分项的系数，即先构造微分项的候选库，再学习出每个微分项所对应的系数ξ进而得到最终的偏微分方程。候选库的构建基于基函数表示法，构建x，y，u，u

进行备选库压缩。得到原始的微分项备选库后应根据上一步的数据采样结果将备选库矩阵进行压缩以减小计算量：

其中

其中在构建微分项备选库时选择的构建候选项的方式有前向差分、后向差分、中心差分、切比雪夫多项式插值法；当后续得到的偏微分方程需要迭代求解时，采用的是切比雪夫多项式插值法构造微分项候选库。

进一步，所述偏微分方程数据处理方法的微分项系数学习：构建深度网络求备选库中每个微分项的对应系数，深度网络由多个单层回归网络堆叠来逐层提升网络训练结果的精度，其中单个回归网络的构成为：对压缩后的微分项备选库用回归的方法来得到微分项的系数ξ，需要最小化的损失函数如下：

其中

网络的回归方式选择的是最小二乘回归，选用的是Numpy中的lstsq工具完成最小二乘回归任务。

进一步，所述偏微分方程数据处理方法的正则化包括：将损失函数修改为：

其中λ表示正则化系数，经过稀疏回归的偏微分方程会忽略掉系数很小的干扰项，使得最后得到的结果更接近真实的偏微分方程；

正则化时选择L1正则化进行稀疏回归，网络的正则化系数λ是随着网络层数加深从10

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

利用注意力机制对时空间数据采样；

利用先验知识和基函数表示法构建微分项备选库；

由多个单层回归网络组成深度网络学习备选库中微分项对应系数；

损失函数中加入正则化，通过稀疏回归减少干扰项，得到最终的偏微分方程。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

利用注意力机制对时空间数据采样；

利用先验知识和基函数表示法构建微分项备选库；

由多个单层回归网络组成深度网络学习备选库中微分项对应系数；

损失函数中加入正则化，通过稀疏回归减少干扰项，得到最终的偏微分方程。

本发明的另一目的在于提供一种实施所述偏微分方程数据处理方法的偏微分方程数据处理系统，所述偏微分方程数据处理系统包括：

数据采样模块，用于先对数据采样，数据采样分别在空间和时间两方面进行；

微分项备选库构建模块，用于构建备选库，利用先验知识和基函数表示法，选择微分项来构建微分项备选库；

微分项系数学习模块，用于利用由多个单层回归网络构成的深度网络来学习备选库中候选项所对应的系数；

正则化筛选微分项模块，用于在损失函数中加入正则化项，让网络成为一个利用了稀疏回归方法的偏微分方程学习器，以减少无关干扰项，最终得到的偏微分方程的项和每个微分项对应的系数组成网络最终学习到的偏微分方程。

本发明的另一目的在于提供一种数据学习终端，所述数据学习终端用于实现所述的偏微分方程数据处理方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明先对数据采样，数据采样分别在空间和时间两方面进行，因为某些由偏微分方程控制的系统(如基于偏微分方程的图像去噪和图像分割任务)更加关心偏微分方程的终值，所以在进行时间采样时引入注意力机制提升精度和初值鲁棒性，使其在关注偏微分方程终值结果的任务中更加有效；再构建备选库，利用先验知识和基函数表示法等数学方法，选择合理的微分项来构建微分项备选库；再利用由多个单层回归网络构成的深度网络来学习备选库中候选项所对应的系数；最后在损失函数中加入正则化项，让网络成为一个利用了稀疏回归方法的偏微分方程学习器，以减少无关干扰项，最终得到的偏微分方程的项和每个微分项对应的系数组成了网络最终学习到的偏微分方程。

本发明与其他现有从系统中学习偏微分方程的方法相比能够充分地利用观测数据的空间和时间信息，减少模型所需数据量，并在保证效率的同时提升学习到的偏微分方程的精度。本发明设计了一个深度微分方程网络来学习系统隐含的偏微分方程，用于解决传统的通过人工经验和实验验证来学习系统隐含的偏微分方程的方法效率太低，易受人的主观因素影响，且难以找到复杂系统背后的机制的问题。深度微分方程网络能够学习的偏微分方程的微分项类型丰富，并且在处理对终值数据更敏感的任务上具有更强的初值鲁棒性。深度微分方程网络需要的数据量小，硬件要求低，运行效率高。

表1 本发明的方法学习经典偏微分方程的效果：

表2 本发明的方法学习图像处理偏微分方程的效果：

算法平均运行时间：5.018s。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的偏微分方程数据处理方法的流程图。

图2是本发明实施例提供的偏微分方程数据处理系统的结构示意图。

图3是本发明实施例提供的偏微分方程数据处理方法的实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种偏微分方程数据处理方法、系统、存储介质、设备及应用，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的偏微分方程数据处理方法包括以下步骤：

S101：利用注意力机制对时空间数据采样；

S102：利用先验知识和基函数表示法构建微分项备选库；

S103：由多个单层回归网络组成深度网络学习备选库中微分项对应系数；

S104：损失函数中加入正则化，通过稀疏回归减少干扰项，得到最终的偏微分方程。

本发明提供的偏微分方程数据处理方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的偏微分方程数据处理方法仅仅是一个具体实施例而已。

如图2所示，本发明提供的偏微分方程数据处理系统包括：

数据采样模块，用于先对数据采样，数据采样分别在空间和时间两方面进行，因为某些由偏微分方程控制的系统(如基于偏微分方程的图像去噪和图像分割任务)更加关心偏微分方程的终值，所以在进行时间采样时引入注意力机制提升精度和初值鲁棒性，使其在关注偏微分方程终值结果的任务中更加有效；

微分项备选库构建模块，用于构建备选库，利用先验知识和基函数表示法等数学方法，选择合理的微分项来构建微分项备选库；

微分项系数学习模块，用于利用由多个单层回归网络构成的深度网络来学习备选库中候选项所对应的系数；

正则化筛选微分项模块，用于在损失函数中加入正则化项，让网络成为一个利用了稀疏回归方法的偏微分方程学习器，以减少无关干扰项，最终得到的偏微分方程的项和每个微分项对应的系数组成了网络最终学习到的偏微分方程。

下面结合附图对本发明的技术方案作进一步的描述。

如图3所示，本发明提供的偏微分方程数据处理方法包括以下步骤：

步骤一：数据采样。先将输入的时间序列数据进行空间采样，空间采样使用随机采样，选取输入空间中的部分点作为观测对象；再进行时间采样，时间采样使用均匀采样，在空间采样选取的观测点的基础上取其每隔一段时间间隔后的新的样本值，在时间采样时引入注意力机制，通过控制时间采样率来增加后半部分数据的权重，以增加模型的精度与初值鲁棒性。

注意力机制对输入的时间采样影响如下：总时间采样率为所有时间序列的25％，将所有输入时间序列等分为五部分，第一部分的时间采样率为15％，第二部分的时间采样率为20％，以此类推，每段采样率的注意力机制修正值为5％。

数据采样时的网络参数设置如下：边界宽度：5；空间采样率：2％；总时间采样率：25％；时间采样等分段数：5；注意力机制修正：每段采样率递增5％。分段时间采样率：15％，20％，25％，30％，35％。

步骤二：构建微分项备选库：包含未知函数的偏导数(或偏微分)的方程称为偏微分方程，偏微分方程的通用形式可以表示为：

u

其中t表示时间，x和y表示空间，偏微分方程u

ω

其中Θ表示由各个微分项ω，u，v组成的矩阵，ξ表示微分项的系数，即先构造微分项的候选库，再学习出每个微分项所对应的系数ξ进而得到最终的偏微分方程。候选库的构建基于基函数表示法，构建x，y，u，u

接下来进行备选库压缩。得到原始的微分项备选库后应根据上一步的数据采样结果将备选库矩阵进行压缩以减小计算量：

其中

其中在构建微分项备选库时可选择的构建候选项的方式有前向差分、后向差分、中心差分、切比雪夫多项式插值法等等，当后续得到的偏微分方程需要迭代求解时，若求解的数值方法和构造方法一致，求解精度最高，在此具体实施方案中采用的是切比雪夫多项式插值法来构造微分项候选库。

步骤三：微分项系数学习：构建深度网络求备选库中每个微分项的对应系数。深度网络由多个单层回归网络堆叠来逐层提升网络训练结果的精度，其中单个回归网络的构成为：对压缩后的微分项备选库用回归的方法来得到微分项的系数ξ，需要最小化的损失函数如下：

其中

网络的回归方式选择的是最小二乘回归，选用的是Numpy中的lstsq工具完成最小二乘回归任务。

步骤四：正则化：在构建微分项备选库的时候一般都为了能够表示复杂偏微分方程而构建了一个过完备的库，因而其中包含了一些并不包含在真实偏微分方程中的干扰项。为了排除这些干扰使学习出的偏微分方程更接近真实方程，本发明引入了正则化项，将损失函数修改为：

其中λ表示正则化系数。这样经过稀疏回归的偏微分方程会忽略掉系数很小的干扰项，使得最后得到的结果更接近真实的偏微分方程。

正则化时选择L1正则化进行稀疏回归，并且考虑到深度网络训练时正则化系数不宜一开始就设置过大，否则可能会导致一些真实偏微分方程存在的项会因为系数较小而在网络的前几层就被忽略掉，因此网络的正则化系数λ是随着网络层数加深从10

下面结合仿真对本发明的技术效果作详细的描述。

1、仿真条件，本发明是在CPU为Intel(R)Core(TM)i7-9700、CPU3.60GHz、RAM16.00GB、ubuntu 16.04操作系统的PC上，运用Python语言完成本发明仿真实验。

2、仿真实验内容与结果分析，本发明的实验数据为由多种经典偏微分方程生成的数据和偏微分方程进行图像处理时产生的真实含噪声数据。其中经典偏微分方程包括Burgers方程、KdV方程、NLS方程和Navier Stokes方程；由偏微分方程进行的图像处理包括利用热扩散方程进行的图像去噪数据和利用GAC模型进行的水平集图像分割数据。实验结果如表1和表2所示。

表1 本发明的方法学习经典偏微分方程的效果：

表2 本发明的方法学习图像处理偏微分方程的效果：

算法平均运行时间：5.018s。

根据以上结果可知，深度微分方程网络能够学习的偏微分方程的微分项类型丰富，并且在所需数据量较小的情况下就能获得较高的精度，效率较高，并且在处理通过偏微分方程进行图像处理时产生的含噪声干扰的真实数据时依然有良好的学习效果。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。