学習係数付きソフトマックス関数による効率的な注意機構

摘要

BERTは発表当時に11種類の自然言語処理タスクで世界最高の成績を記録した深層学習モデルであり、今日も様々な応用が検討されている。本論文ではBERTを効率的に実装するために、その中心的な演算である注意機構に組み込まれているソフトマックス関数に注目する。本研究ではこの関数における加算と指数計算の適用回数をどちらも1%未満まで削減しながらも、もとのモデルと比較して95%の精度を保つことに成功した。