一种基于图神经网络的工作记忆计算系统及方法

摘要

本发明涉及人工智能和神经学领域，尤其涉及一种基于图神经网络的工作记忆计算方法，本发明的工作记忆计算系统包括输入层、图神经网络和输出层；将神经元刺激信号时间序列通过傅里叶变换转换为频谱图数据，图神经网络对图数据进行分析计算，捕获图节点之间的关系，从而把过往或未来输入刺激与当前输入刺激相关联，以模拟工作记忆的记忆特性，然后把计算处理之后的数据输送到输出层进行兴奋和抑制处理，最后通过全连接层的计算输出模仿生物神经元的工作记忆发放特性，从而实现工作记忆的软件算法模拟计算。

说明书

技术领域

本发明涉及人工智能和神经学领域，尤其涉及一种基于图神经网络的工作记忆计算系统及方法。

背景技术

过去几年，卷积神经网络快速发展，并借由其强大的建模能力引起广泛关注。相比传统方法，卷积神经网络的引入给图像处理和自然语言处理等领域带来了很大的提升，如机器翻译，图像识别，语音识别等。但是，传统的卷积神经网络只能处理欧氏空间数据(如图像，文本，语音)，这些领域的数据具有平移不变性。平移不变性使得我们可以在输入数据空间定义全局共享的卷积核，从而定义卷积神经网络。卷积神经网络通过学习在每个像素点共享的卷积核来建模局部连接，进而学习到意义丰富的隐层表示。尽管传统的卷积神经网络在文本和图像领域带来提升，但是它仅能处理欧氏空间数据。而同时，一种非欧空间数据：图数据，因其普遍存在性逐渐受到关注。图数据可以自然的表达实际生活中的数据结构，如交通网络，万维网，社交网络等。不同于图像和文本数据，图数据中每个节点的局部结构各异，这使得平移不变性不再满足。

近年来研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了专门用于处理图数据的图神经网络结构。2009年Franco等人借助不动点理论构建了图神经网络的理论基础，并定义了基于循环的图神经网络。2013年，Bruna等人基于图谱理论从卷积定理出发，在谱空间定义图卷积。这一支后来发展为图卷积领域的谱方法。最初的谱方法具有时空复杂度较高的弊端，2016年出现的ChebNet和GCN对谱方法中的卷积核进行参数化，大大降低了时空复杂度。2017Justin Gilmer等人提出基于空域(Spatial-domain)卷积的消息传递图卷积神经网络。此后图神经网络得到了不断的发展。

工作记忆是脑的高级功能,它是人类思维活动的基本环节，也是人类记忆当中最重要的组成部分之一。工作记忆是指个体在执行认知任务中,对感觉刺激或是行为决策等信息进行短暂储存和操作。在神经学领域,一般认为工作记忆是连接感知、长期记忆和行为的纽带，在语言理解、学习、推力、思维等高级认知过程中起到关键作用，是人类学习新知识、新信息所必须经过的一个过程。为了探究工作记忆的工作机理，获取生物神经元数据，人们目前只能使用MEMS探针技术、CMOS纳米电极等技术获取生物神经元内部和神经元之间的数据，并不能够根据神经元输入刺激直接通过软件算法仿真的形式模仿神经元工作记忆的发放特性，所以模拟神经元的工作记忆特性是当前亟需解决的难题。

发明内容

针对上述存在的问题或不足，为了解决工作记忆难以模拟的问题，本发明提供了一种基于图神经网络的工作记忆计算方法。

一种基于图神经网络的工作记忆计算系统，包括：

输入层，用于将神经元刺激信号时间序列通过傅里叶变换转换为刺激信号频谱图；

图神经网络，用于完成工作记忆模拟计算；

输出层，用于接收图神经网络的计算结果，实现最终工作记忆发放特性的输出。

优选地，图神经网络隐藏层，上一隐藏层输出的图节点隐藏状态和图节点的原始状态共同作为下一隐藏层的输入，每一个隐藏层进行拉普拉斯矩阵乘法运算和权重矩阵乘法运算，输出更新之后的图节点隐藏状态，从而更新每个节点的隐藏状态；

进一步地，所述输出层包括：

兴奋型神经元网络，负责工作记忆兴奋性的表达，兴奋型神经元网络中的各层神经元之间联系紧密、逻辑距离相近，通过复杂计算分析出连续输入刺激中反复提及到的工作记忆区域，并对这类工作记忆进行兴奋表达，提高神经元的发放率特性；

抑制型神经元网络，负责工作记忆抑制性的表达，抑制型神经元网络中的各层神经元之间联系稀疏、逻辑距离较远，通过复杂计算分析出当前输入刺激和过往输入刺激中不同的部分，提取出过往输入刺激中兴奋的部分，假若这些兴奋的区域在当前输入中不再被表达，则对该工作记忆区域进行抑制表达，降低神经元的发放特性；

全连接层，负责将前两部分的信息进行计算处理，最终实现工作记忆发放特性的输出。

进一步地，所述输入层用于将神经元刺激信号时间序列通过傅里叶变换转换为刺激信号频谱图，刺激信号频谱图中每一个节点值表示某时刻输入刺激信号的强度信息，节点之间带权边代表该时刻刺激信号与过往某时刻刺激信号或之后某时刻刺激信号之间的关联信息。

进一步地，图神经网络中每一行神经元的数量等于刺激信号频谱图节点数量，神经元行数等于神经元刺激信号总的时刻数。

一种基于图神经网络的工作记忆计算方法，包括以下步骤：

步骤1：将训练好的神经网络权重信息存储进图神经网络和输出层中；

步骤2：输入层接收神经元刺激信号时间序列，通过傅里叶变换将神经元刺激信号时域信息转换为刺激信号频谱图，然后将刺激信号频谱图数据传输至图神经网络；

步骤3：将步骤2中得到的刺激信号频谱图数据输入到图神经网络进行计算，将过往刺激和当前刺激进行关联处理，模拟连续刺激下的记忆特性，实现工作记忆的模拟计算得到计算结果；

步骤4：将步骤3的计算结果输入到输出层中，计算结果信号分别传入至兴奋型神经元网络和抑制型神经元网络，兴奋型神经元网络和抑制型神经元网络分别对计算结果信号数据进行计算分析，并进行工作记忆的兴奋和抑制表达，将表达的结果传输至全连接层；

步骤5：全连接层根据步骤4中的处理结果进行计算，最终得到神经元工作记忆发放特性的表达输出。

步骤6：若存在新一轮的神经元输入刺激，跳转至步骤2，否则跳转至步骤7；

步骤7：所有计算完成，计算结束，计算系统关闭。

进一步地，所述步骤3中，将步骤2中得到的刺激信号频谱图数据输入到图神经网络进行计算，将过往刺激和当前刺激进行关联处理，模拟连续刺激下的记忆特性，实现工作记忆的模拟计算，包括：图神经网络得到输入层的刺激信号频谱图数据后开始进行工作记忆的模拟计算，按照时刻顺序将刺激信号频谱图节点特征向量依次输入到图神经网络中每一行神经元，并与上一行神经元的输出共同作为该行的输入，由此将当前刺激信号和过往刺激信号相关联，依次得到图神经网络每一行的计算结果，模拟短时间内对于连续刺激的记忆功能，图神经网络最后一行的计算结果作为输入到输出层的计算结果。

本发明的有益效果如下：

本发明将神经元刺激信号时间序列通过傅里叶变换转换为频谱图数据，利用图神经网络善于捕获图节点之间关联信息的特性，使用图神经网络来实现工作记忆模拟计算，计算时，图神经网络对图数据进行分析计算，捕获图节点之间的关系，从而把过往或未来输入刺激与当前输入刺激相关联，以实现工作记忆的记忆特性模拟，然后将计算处理之后的数据输送到输出层进行兴奋和抑制处理，通过全连接层的计算输出模仿生物神经元的工作记忆发放特性，实现了神经元输入刺激直接通过软件算法仿真的形式模仿神经元工作记忆的发放特性的功能,有效简化神经元数据获取路径,使对工作记忆的探究路径得到突破。

附图说明

图1是本发明基于图神经网络的工作记忆计算系统结构示意图；

图2是本发明神经元刺激信号时间序列频谱图；

图3是本发明图神经网络结构示意图；

图4是本发明图神经网络计算过程示意图；

图5是本发明输出层结构示意图；

图6是本发明基于图神经网络的工作记忆计算过程流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

一种基于图神经网络的工作记忆计算系统，包括：

输入层，用于将神经元刺激信号时间序列通过傅里叶变换转换为刺激信号频谱图；

图神经网络，用于完成工作记忆模拟计算；

输出层，用于接收图神经网络的计算结果，实现最终工作记忆发放特性的输出。

图神经网络包括隐藏层，上一隐藏层输出的图节点隐藏状态和图节点的原始状态共同作为下一隐藏层的输入，每一个隐藏层进行拉普拉斯矩阵乘法运算和权重矩阵乘法运算，输出更新之后的图节点隐藏状态，从而更新每个节点的隐藏状态；

其中，所述输出层包括：

兴奋型神经元网络，负责工作记忆兴奋性的表达，兴奋型神经元网络中的各层神经元之间联系紧密、逻辑距离相近，通过复杂计算分析出连续输入刺激中反复提及到的工作记忆区域，并对这类工作记忆进行兴奋表达，提高神经元的发放率特性；

抑制型神经元网络，负责工作记忆抑制性的表达，抑制型神经元网络中的各层神经元之间联系稀疏、逻辑距离较远，通过复杂计算分析出当前输入刺激和过往输入刺激中不同的部分，提取出过往输入刺激中兴奋的部分，假若这些兴奋的区域在当前输入中不再被表达，则对该工作记忆区域进行抑制表达，降低神经元的发放特性；

全连接层，负责将前两部分的信息进行计算处理，最终实现工作记忆发放特性的输出。

所述输入层用于将神经元刺激信号时间序列通过傅里叶变换转换为刺激信号频谱图，刺激信号频谱图中每一个节点值表示某时刻输入刺激信号的强度信息，节点之间带权边代表该时刻刺激信号与过往某时刻刺激信号或之后某时刻刺激信号之间的关联信息。

图神经网络中每一行神经元的数量等于刺激信号频谱图节点数量，神经元行数等于神经元刺激信号总的时刻数。

图1为本发明基于图神经网络的工作记忆计算系统结构示意图，图2是本发明神经元刺激信号时间序列频谱图，该计算系统分为三大部分：输入层、图神经网络和输出层。输入层用于完成神经元刺激信号时间序列到刺激信号频谱图的计算。因为图神经网络只能处理图数据，不能直接处理神经元刺激信号，因此输入层接收神经元刺激信号的时间序列，然后通过傅里叶变换将此时域信息转换为频谱图数据，图中每一个节点值表示某时刻输入刺激信号的强度信息，节点之间带权边代表该时刻刺激信号与过往某时刻刺激信号或之后某时刻刺激信号之间的关联信息。图神经网络接收输入层计算出的图数据，然后对其进行工作记忆模拟计算。输出层用于接收图神经网络的计算结果，对其先进行兴奋和抑制处理，然后经过全连接层的计算，最终实现工作记忆发放特性的输出。

图3为本发明用于计算的图神经网络结构示意图，图神经网络包括隐藏层，上一隐藏层输出的图节点隐藏状态和图节点的原始状态共同作为下一隐藏层的输入，每一个隐藏层进行拉普拉斯矩阵乘法运算和权重矩阵乘法运算，输出更新之后的图节点隐藏状态，从而更新每个节点的隐藏状态；直至得到隐藏层最终的结算结果，也就是最终更新后的图信息，然后将该图信息输入至输出层做运算得到最终的计算结果。输出层的形式和计算结果的含义取决于具体的下游任务，在本发明中输出层会对信息做进一步的兴奋和抑制处理，然后通过全连接层实现工作记忆的发放特性。

图4为本发明计算系统中图神经网络计算过程示意图，本发明计算系统中的图神经网络用于完成工作记忆模拟计算。图神经网络中每一行神经元的数量等于图中节点数量，神经元行数等于神经元刺激信号总的时刻数。图神经网络得到输入层的数据后开始进行工作记忆的模拟计算，按照时刻顺序将图节点特征向量依次输入到图神经网络中每一行神经元，并与上一行神经元的输出共同作为该行的输入，由此将当前刺激信号和过往刺激信号相关联，依次得到图神经网络每一行的计算结果，模拟短时间内对于连续刺激的记忆功能，最后一行的计算结果输入到输出层进行后续的处理。

图5为本发明计算系统中输出层示意图。输出层用于接收图神经网络的计算结果，对其先进行兴奋和抑制处理，然后经过全连接层的计算，最终实现工作记忆发放特性的输出。该输出层分为3个部分：兴奋型神经元网络，抑制型神经元网络和全连接层。

兴奋型神经元网络负责工作记忆兴奋性的表达，该神经网络中的各层神经元之间联系紧密、逻辑距离相近，能够通过复杂计算分析出连续输入刺激中反复提及到的工作记忆区域，并对这类工作记忆进行兴奋表达，从而提高神经元的发放率特性；

抑制型神经元网络负责工作记忆抑制性的表达，该神经网络中的各层神经元之间联系稀疏、逻辑距离较远，能够通过复杂计算分析出当前输入刺激和过往输入刺激中不同的部分，提取出过往输入刺激中兴奋的部分，假若这些兴奋的区域在当前输入中不再被表达，则对该工作记忆区域进行抑制表达，从而降低神经元的发放特性；

全连接层负责将前两部分的信息进行计算处理，最终实现工作记忆发放特性的输出。

一种基于图神经网络的工作记忆计算方法，包括以下步骤：

步骤1：将训练好的神经网络权重信息存储进图神经网络和输出层中；

步骤2：输入层接收神经元刺激信号时间序列，通过傅里叶变换将神经元刺激信号时域信息转换为刺激信号频谱图，然后将刺激信号频谱图数据传输至图神经网络；

步骤3：将步骤2中得到的刺激信号频谱图数据输入到图神经网络进行计算，将过往刺激和当前刺激进行关联处理，模拟连续刺激下的记忆特性，实现工作记忆的模拟计算得到计算结果；

步骤4：将步骤3的计算结果输入到输出层中，计算结果信号分别传入至兴奋型神经元网络和抑制型神经元网络，兴奋型神经元网络和抑制型神经元网络分别对计算结果信号数据进行计算分析，并进行工作记忆的兴奋和抑制表达，将表达的结果传输至全连接层；

步骤5：全连接层根据步骤4中的处理结果进行计算，最终得到神经元工作记忆发放特性的表达输出。

步骤6：若存在新一轮的神经元输入刺激，跳转至步骤2，否则跳转至步骤7；

步骤7：所有计算完成，计算结束，计算系统关闭。

其中，步骤3中，将步骤2中得到的刺激信号频谱图数据输入到图神经网络进行计算，将过往刺激和当前刺激进行关联处理，模拟连续刺激下的记忆特性，实现工作记忆的模拟计算，包括：图神经网络得到输入层的刺激信号频谱图数据后开始进行工作记忆的模拟计算，按照时刻顺序将刺激信号频谱图节点特征向量依次输入到图神经网络中每一行神经元，并与上一行神经元的输出共同作为该行的输入，由此将当前刺激信号和过往刺激信号相关联，依次得到图神经网络每一行的计算结果，模拟短时间内对于连续刺激的记忆功能，图神经网络最后一行的计算结果作为输入到输出层的计算结果。

图6是本发明计算过程流程图，阐明了基于图神经网络的工作记忆计算流程。该计算过程分为7个部分。首先将训练好的神经网络权重信息存储进图神经网络和输出层中，然后输入层接收神经元刺激信号时间序列，通过傅里叶变换将时域信息转换为频谱图数据，之后将该图数据传输至后续图神经网络部分。图神经网络对图数据进行处理，将过往刺激和当前刺激进行关联处理，模拟连续刺激下的记忆特性，实现工作记忆的模拟计算。计算结果输入到输出层中，信号分别传入至兴奋型神经元网络和抑制型神经元网络，两类神经网络分别对信号数据进行计算分析，并进行工作记忆的兴奋和抑制表达，将表达的结果传输至后续的全连接层部分进行进一步的分析计算，最终得到神经元工作记忆发放特性的表达输出。此时一轮计算完毕，判断是否存在新一轮的神经元输入刺激，若存在则重复上述过程，否则所有计算完成，计算结束，计算系统关闭。