逐次添加サンプリング方式によるパラメータ自動チューニングに関する研究

摘要

数値計算分野において，アプリケーションの実行性能はいくつかのパラメータによって支配されていることが多く，これらのパラメータは，各種設定（ハードウェア構成，ソフトウェア）に強く依存している．数多くのパラメータの組み合わせから，最適なパラメータを効率的に見つけ出すこと，更に，最適なパラメータの探索技術の追求が極めて重要である．しかしながら，パラメータの組み合わせは天文学的数になり，全てを測定し最適なパラメータを決めることは非現実的である．一般的には，数少ない測定データから適切な関数を用いてデータを補間して，最適値を推定する．本研究で使用するd-Spline関数はⅰ)展開関数の特性によらない，ⅱ)任意のサンプルを取れる，ⅲ)一回に計算する時間が短いなどの利点がある一方で，高次元問題での標本点の多さ (つまり，全体の処理時間) が問題であると指摘されている．d-Spline関数を用いた逐次添加サンプリング方式という手法は測定する組み合わせの数を削減し，逐次サンプルを追加することで最適なパラメータを見つけ出す枠組を提供する．本研究では，d-Spline関数が3次元問題に適用する際，標本点の使用率が高いという問題点に対して，個々の標本点上での最良値からの差が最小となるような汎関数的な変換を施して，標本点の数を減らすことを考える．対象となる高次空間上での標本点に対応する変数についての積分の形での変換式を作る．これは3次元問題の1軸に沿った積分を行い2次元問題に射影していることにも対応している．この変換式を用いて3次元問題を2次元問題と同じ程度の計算時間で解くアルゴリズムを提案する．MPIの集団通信関数であるブロードキャスト関数とCUDA BLASのGEMVカーネルに対してチューニング実験を行った．3次元問題であるGEMVカーネルの場合において，全データの約7%の標本点を使用して，全データの約92%の点の相対誤差(近似値と実測値)は5%以下だということがわかった．これは，本研究で提案したアルゴリズムを使用することによって3次元問題の約93%のパラメータを削減できたことに意味している．本提案手法は高次でよりパラメータ空間が広い問題に対して有効であり，本研究で取り扱わなかったCUDA BLASの他のカーネル関数に対するチューニングは効果が高いと考えられる．今後は，このようなより高次で複雑な一般問題への応用が課題である．