通过最小二乘拟合方法删除神经网络的隐节点

摘要

提出了一种基于隐节点输出行向量的最小二乘拟合来删除神经网络隐节点的方法.它分成两步,首先分析隐节点输出行向量的正交投影间的关系,通过最小二乘拟合找出可以最准确地被其它隐节点输出行向量表达的隐节点输出行向量,然后将该隐节点的作用利用最小二乘拟合系数进行纵向传播分摊到其它隐节点.最后删除该隐节点,并进行再训练,实验结果表明再训练所需时间很短,因而它的实用性很强.