联合非线性随机投影、受限波尔兹曼机、以及基于批量的可并行优化来使用的深凸网络

摘要

本发明涉及结合非线性随机投影、受限波尔兹曼机、以及基于批量的可并行优化来使用的深凸网络。本文公开了一种包括以下动作的方法：使得处理器访问深结构化的、已分层的、或分等级的模型(称为深凸网络，被保持在计算机可读介质中)，其中该深结构化的模型包括具有所分配的权重的多个层。这一已分层模型可以产生输出，该输出担当用于与隐马尔科夫模型中的各状态之间的转移概率相组合的分数，以及担当用于形成全语音识别器的语言模型分数。该方法联合使用非线性随机投影和RBM权重，并且它将较低模块的输出与原始数据进行堆叠以建立它的紧接的较高模块。执行基于批量的凸优化来学习深凸网络的权重的一部分，从而使它适于并行计算来完成训练。该方法还可包括使用基于序列而非一组不相关帧的优化准则来对该深度结构化的模型的权重、转移概率和语言模型分数进行联合地充分优化的动作。