クラスタをメモリ資源として利用するためのMPIに基づいた高速大容量仮想メモリ

摘要

This paper proposes a new idea of using a cluster as a memory resource for such applications requiring large amount of memory. We already proposed the Distributed Large Memory System: DLM, which enables the users to make use of large virtual memory by using remote memory distributed over nodes in a cluster. It achieves better performance than other remote paging schemes using a block swap device to access remote memory. It is designed for sequential programs accessing larger amount of data beyond local physical memory. In this paper, we propose the newly designed MPI-based DLM, which uses only MPI for inter-node communication, to exploit higher performance and portability than the former socket-based DLM.%筆者らはローカル物理メモリサイズに制限されず，クラスタの各ノードの遠隔メモリを集めて仮想的に大容量メモリを逐次処理用に提供するシステム，分散大容量メモリシステムDLMを提案してきた．本報告では，従来のDLMにおけるTCP／IPソケット通信によるノード間通信機構をMPIで実装し，最新の高性能通信機構にも対応できる可搬性の高い，高速大容量仮想メモリを提供する。これにより，従来はクラスタに緑のなかった，大容量データを扱う逐次処理応用を持つユーザが，並列プログラミングの知識なしに，MPIバッチシステムで運用される多くのオープンクラスタを，メモリ資源としてより容易に利用することが可能になった．