ライン露光順次読み出し方式カメラを用いた撮影動画像に基づく音声獲得

摘要

音は疎密波として空気中を伝搬するため，音源付近に存在する物体の表面は音波によって振動している．近年，音波による物体の振動を撮影した映像から音波を抽出する手法が提案されている．我々はこれまで，安価な機材を用いた音波抽出を実現するため，ライン露光順次読み出し方式カメラを用いて物体の振動を撮影した画像から音波を抽出する手法を提案してきた．本稿では，この手法を拡張し，より長時間の音源収録を可能にするため，ライン露光順次読み出し方式カメラを用いて撮影した動画像から音声を獲得する手法を提案する．ライン露光順次読み出し方式カメラの撮像素子として， Complementarymetal-oxide-semiconductor (CMOS) センサが用いられている．CMOS センサを用いた動画像の撮影は，画像の最上部から1 行ずつ順に読み出しが行われる．そのため，動体を撮影した場合，行毎の読み出し時刻の差により被写体が歪むローリングシャッタ歪みが発生する．音波による被写体の振動を撮影することで生じる，ローリングシャッタ歪みのエッジを画像処理によって検出することで音波を獲得できる．本稿では，撮影した動画像に対して，1 フレーム毎に音波抽出手法を適用し，抽出した音源を時系列順に接続することで音声獲得を目指す．また，提案法の音声獲得性能を確認するため，音声により励振したアルミ板上の直線をライン露光順次読み出し方式カメラにより撮影し，その動画像から音声獲得を行った．