面向语言模型的双单元搜索空间的结构搜索方法

摘要

本发明涉及面向语言模型的双单元搜索空间的结构搜索方法，涉及人工智能领域。本发明在语言模型任务上对已有搜索策略的搜索空间提出了改进，构造了更加适合语言模型任务的搜索空间。通过在循环神经网络单元内部增加信息储存单元来对序列前端信息进行有效的保存，这样的搜索空间与语言模型任务更加匹配，且增加的单元能够缓解常规循环神经网络单元结构存在的无法解决长序列依赖的问题，增加序列语义信息的连续性。同时由于单元的增加直接扩大了搜索空间，也提高了搜索到更好的网络结构的概率。