利用误差校正码的二进制神经元和二进制神经网络的设计和训练

摘要

一种具有二进制神经网络架构的数据处理系统，该二进制神经网络架构用于接收二进制网络输入，并且根据网络输入经由多个二进制处理节点传播信号，以根据相应的二进制权重形成网络输出，该数据处理系统被配置成通过以下操作来训练多个二进制处理节点中的每个节点：将节点功能实现为误差校正码(例如，r阶里德‑穆勒码，例如1阶里德‑穆勒码或1阶里德‑穆勒码的陪集)功能，以通过信道解码(例如，快速沃尔什‑哈达玛变换算法)来识别针对该节点的给定输入使在根据节点的当前二进制权重形成的节点的输出与从该节点的优选输出之间的任何误差最小化的二进制权重组，并且将该节点的权重更新为所识别的二进制权重组。这种训练在没有存储以及/或者使用任何更高运算精度的权重或其他要素的情况下执行。