突発音検出と教師なし動きクラスタリングを用いた野球映像からの投球イベント検出

摘要

本論文では，野球映像からピッチャーによる投球イベントを検出する方法を提案する．提案手法では，（1）映像撮影環境（撮影角度など）の影響を受けにくい音響解析によって，投球後に発生する打球音あるいは捕球音を取得し，投球イベントの候補とする．（2）音響解析により求めた投球イベント候補について，各候補の時刻における動き特徴によりクラスタリングを行うことで，投球イベント候補の中から投球イベントのみを選別する．（3）投球イベントから投球動作テンプレートを作成する．（4）投球動作テンプレートを処理対象映像から自動的に選び，映像全体を再検索する．以上の処理により，音響解析によって検出が不可能であった投球イベントについても検出することが可能となり，高精度な投球イベント検出が実現できる．野球の放送映像及び個人撮影の野球映像を用いて実験を行い，放送映像において，音響解析による投球イベント検出の適合率は約60％，再現率は約81％であったが，提案手法を用いることにより，適合率約90％，再現率約95％（検出漏れはテロップによる投手の遮へいなど）の精度で検出が可能となり，野球映像構造化の第1段階として十分な精度を得ることができた．