基于栅格细胞的高维空间函数拟合算法研究

摘要

哺乳动物能够将它们所处的环境在大脑内部表示出来。位于海马体中的位置细胞只对环境中的某几个位置放电。位于内嗅皮层的栅格细胞对环境中的许多位置放电，其放电在二维空间地图中呈现为周期性的正三角形模式。在本研究中，我们从模型学习的角度研究栅格编码在海马和内嗅皮层神经回路中的功能优势。我们构建神经网络模型来学习从空间到抽象变量的映射，可以用于认知过程，如决策或运动控制。使得用栅格编码作为空间输入的网络实现了比使用位置单元输入的径向基函数网络具有更少的细胞数量的和更好的学习准确度。我们的结果表明，栅格表示在模型学习任务中构成更好的空间表示，并且可以帮助关联皮层更好地读出记忆神经回路中保存的信息。基于以上理论，本文提出了基于栅格细胞的高维空间函数拟合算法，主要贡献如下： （1）首先介绍了本课题在基础理论研究和实际应用研究的目的和意义，接着详细调研了脑科学在国内外的研究现状，并且分析了传统强化学习的优缺点。 （2）根据栅格细胞特有的正三角形周期性放电模式提出了一个新的神经网络模型，取名为栅格细胞神经网络。该网络能拟合三维空间中的函数，拟合结果表明，在达到相同拟合精度的情况下，栅格细胞神经网络相比RBF神经网络能用更少的细胞拟合三维空间中的任意函数。 （3）将栅格细胞神经网络与随机映射相结合，结合后的网络能够拟合高维空间中的函数，拟合结果表明，在达到相同拟合精度的情况下，栅格细胞神经网络相比RBF神经网络能用更少的细胞拟合高维空间中的函数。 （4）将栅格细胞神经网络与Q-Learning相结合得到新的强化学习算法（简称GQL），对于小鼠寻找食物路径规划问题来说，栅格细胞神经网络相比 RBF 神经网络能用更少的细胞学习环境中的动作值函数，更适合于解决大规模环境的路径规划问题，缓解了强化学习中的维度灾难问题。

目录

第一个书签之前