CPUとGPU間のデータ転送時間の短縮に関する研究

摘要

近年、GPUを利用して一般的な並列プログラミングを行う手法は、高性能コンピューティングでよく見られる方法である。また、NVIDIA社のCUDAに代表されるGPU向けの開発環境が整備され、元々汎用的なプログラムの記述が困難であるGPU向けのプログラミングも手軽に行えるようになった。しかし、GPUで演算するためには、CPUとGPU間のデータ転送が必要であり、計算時間よりもデータの転送時間が大きい場合がある。CUDA2.2では、Memory Copy以外のデータ転送方式Zero Copy方式を用意した。データがCPU上のMapped Memoryに保存され、メモリのアドレス空間をCPUとGPU間でマッピングすることにより、GPUがCPUのメモリ上のデータを直接アクセスすることができ、CPUとGPU間のデータ転送時間の短縮が期待される。しかし、Zero Copy方式を使う際に、GPU側のメモリ内に保存されていないデータへのアクセス回数が多い場合、逆に性能が落ちる可能性がある。本研究では、CPUとGPU間のデータ転送時間の短縮を目指し、データアクセス回数を基づいて適切なデータ転送方式の選択手法を提案する。アクセス回数が2回以上のデータだけGPU側のメモリにMemory Copyにより転送してアクセスし、アクセス回数が1回のデータについてはZero Copy方式により転送する。さらに本研究では、Zero Copy方式のメモリ領域確保の方法と通常のデータ転送と違うため、コードの変更が必要となり、プログラマの負担となっている一点に着目し、より容易にデータ転送方式を変更できるCUDA APIを提案する。APIはプログラマの選択により、各データのメモリ領域申請や、必要に応じてデータ転送や、メモリ領域の解放などを自動的に行う。k-Nearest Neighbors問題の評価実験によって実行時間の比較を行った結果、提案したデータ転送方式と従来データ転送方式に比べて12%の実行時間の短縮ができた。また、API使用前後の実行時間の比較により、API使用時のオーバーヘッドは十分小さいことが示した。