OpenPoseに基づくユーザの動作を用いた映像の関心度推定に関する検討

摘要

本稿では，画像からユーザの骨格情報を取得可能とするOpenPoseを用いた関心度推定手法を提案する.提案手法では，深層学習の利用により画像中のユーザの骨格情報を取得可能なOpenPoseを用いることで，映像に対するユーザの関心度推定を可能とする.具体的に，提案手法ではまず，映像を視聴中のユーザの動作に関するデータに基づいた特徴量を算出する. このとき，動作に関するデータの取得には，OpenPoseを利用する.続いて，算出された骨格情報に基づく特徴量および映像から得られる特徴量に対して，semi-supervised canonical correlation analysis（SemiCCA）を用いた特徴統合を適用することにより，2種類の特徴量が統合された新たな特徴量を算出する.最終的に，提案手法では，統合された特徴量およびユーザの関心度に対して，データに含まれる未知の値を推定可能であるテンソル補完を適用することにより，未知の関心度を推定する.提案手法では，OpenPoseを用いることで，可視光カメラのような簡便に設置可能なデバイスを利用した関心度推定が可能となる.