表示画像を用いた状態認識の精度向上手法の検討

摘要

業務支援システム（OSS）を用いた業務を高度に支援するためには，OSSの状態の的確な把握が重要なポイントとなる．OSSの状態把握により，業務の効率性や安定性を高めることが可能になる．具体的な応用例としては，業務のナビゲーションや自動化，業務監査などが挙げられる．しかし，実際にOSSが導入される運用環境は多様であるため，一般的に想定されるWimdowsメッセージなどの情報取得技術を用いて全てのシステムやその運用環境に対応することは困難である・そこで，運用環境に依存しない手法として，OSSのユーザインタフェース（UI）を画像として取得し，画像認識技術を用いて状態を認識する手法を我々はこれまで検討してきた．今回，提案手法の実装を行い実験を行っていく中で，幾つかのケースにおいて状態の認識精度が低いという事象やモデル作成の負担が大きいことを確認した．そこで，状態の認識精度を向上させるための事前知識ありの画像領域分副手法の検討・実装，及びモデル作成の負荷を軽減するためのOCRと正規表現を活用したモデルの作成・活用手法の検討を実施したので，実験結果を踏まえ報告する．%Advanced operation support using Operation Support Systems (OSSs) requires appropriate state recognition. State recognition can enhance operation efficiency and stability. For concrete application examples, there are operation navigation, operation automation or operating audit. However, due to the wide diversity of actual OSS environment, it is difficult to recognize state on each environment by using common techniques such as capturing Windows messages. Therefore, we have been studying a method for obtaining state information independent of OSS environment. Our method captures an OSS client screen as an image and recognizes the OSS state from the image. Currently, we are studying a method for improving recognition accuracy and reducing the burden of model creation. In this paper, we describe the detail of our method with some experiment results.