Attention Mapを用いた道路構造物の変状画像分類におけるテキストデータの導入に基づく高精度化に関する検討

摘要

本稿では,attention mapを用いた道路構造物の変状画像分類におけるテキストデータの導入に基づく高精度化に開する検討を行う.具体的に,本論文では,マルチモーダルなデータを用いた変状画像の劣化レベル推定のため,correlation-aware attention branch network(CorABN)を提案する.CorABNでは,変状画像から得られる画像特徴と,検査時に記録されたテキストデータから得られるテキスト特徴を協調利用することで,劣化レベル推定の高精度化を実現する.提案手法では,画像特徴と劣化レベル推定に有用な情報を有するテキスト特徴との相関を最大化することで,これらの相関を考慮したattention mapを生成可能とする.また,最終的な推定では,アテンションメカニズムによって改良された画像特徴とともにテキスト特徴を利用することで,精度の向上を可能にする.CorABNは,推定精度と相関の両方に基づく損失を用いて,モデル全体をend-to-endに学習させることが可能である.本文の最後では,変状画像とそれに対応するテキストデータを用いた実験により,提案手法の有効性を確認する.