言葉をおぼえるしくみ一母語から外国語まで

摘要

音声や画像,映像といった異なるモダリテイにまたがる情報を教師ラベルなしで対応付けるクロスモ一ダル学習は,今世界的にホットな研究テ一マの1っである.たとえば,画像と,その画像に写る情景や物体を説明する音声のペアデ一タを大量に集めて深層距離学習すると,物体の画像領域と,その名前を発話する音声区間が教師ラベルなしで対応付けられる.映像とその様子を説明するナレ一ション音声のペアデ一タを大量に集めれば,物体の名前だけでなく,その動きや人物動作が音声言葉と対応付けられる.さらに異なる言語の音声を学習に利用すると,画像や映像を介して,異なる言語間の音声言葉が対応付けられる.