通过对权重矩阵实施空间局部性并实现频率压缩来压缩(多个)深度网络的全连接/递归层

摘要

一种系统，具有存储计算机可执行组件的存储器以及执行计算机可执行组件的处理器，该系统通过利用权重矩阵的空间局部性并实现频率变换和压缩来减少与训练神经网络有关的数据大小。接收组件接收以压缩的频域权重矩阵形式的神经网络数据。分割组件将初始权重矩阵分割成原始子分量，其中相应的原始子分量具有空间权重。采样组件将广义权重分布应用于相应的原始子分量以生成相应的归一化子分量。变换组件对相应的归一化子分量应用变换。裁剪组件裁剪经变换的相应的归一化子分量的高频权重以产生低频归一化子分量的集合，以生成原始子分量的压缩表示。