マルチコアCPU環境における低レイテンシデータストリーム処理

摘要

データストリーム処理のアプリケーションには，アルゴリズム取引ゃネットワークパケツト監視のように，大容量データストリームを低レイテンシで処理することが必要なものがある.マルチコアCPUを用いた並列処理により大容量ストリームの処理が可能であるが，オペレータごとにスレツドを割り当てると，CPUコア間通信ゃスレツド待機のオーバへッドによりレイテンシが増大する.逆にスレツド数が少なすぎては並列性を生かせず，処理できるデータ量に限界が生じる.本論文では，CPUァーキテクチヤやスレッド待機のオーバへッドを考慮し，処理レイテンシを短縮するスレツド割当手法を提案する.マルチコア環境におけるデータストリーム処理のレイテンシ定義を与え，モデル上で最適なスレッド割当が求まることを示す.更に，入カストリームのデータレート変化に応じてオペレータを再配置する際，ストリーム処理を止めずにタプル適用順序を守ってオペレータを再配置する方法を提案する.