Représentation visuelle des sources sonores, des forces d'intéraction et intégration d'une représentation 3D de l'environnement dans une interface de téléopération pour robot mobile

摘要

Ces dernières années, de nombreuses compagnies ont mis sur le marché des robots de téléprésence pour des usages de vidéoconférence mobile. Ces plateformes robotiques transmettent généralement la vidéo, l’audio et les données de capteurs de proximité à l’opérateur distant par l’intermédiaire d’une interface de téléopération s’exécutant sur un ordinateur de bureau standard. De nouvelles modalités d’interaction comme la localisation et le suivi de sources sonores, la capacité de ressentir les forces appliquées et la visualisation d’une représentation 3D de l’environnement sont développées et testées sur des plateformes robotique avancées. Il devient donc nécessaire d’explorer de nouvelles techniques pour intégrer ces informations supplémentaires au sein de l’interface.Ce projet de maîtrise propose une solution pour représenter visuellement les sources sonores et les forces d’interaction du robot à travers une interface de téléopération 3D. Cette interface inclut sous une seule vue les fonctionnalités de base comme la représentation du modèle du robot, la reconstruction 3D du nuage de points transmis par le capteur Kinect, la présentation des données des capteurs de proximité ainsi que la possibilité de passer d’une vue égocentrique à une vue exocentrique. L’affichage des sources sonores est réalisé avec des bulles de bandes dessinées pour la parole et des anneaux bleus pour tous les autres types de sons. L’intensité des forces d’interaction sur les bras du robot est affichée par changement de couleur et de taille du modèle 3D et avec des jauges. La direction des forces exercées est matérialisée par des flèches. Enfin, le champs de vision limité de la caméra est augmenté par l’affichage d’une représentation 3D de l’environnement construit dynamiquement par le robot. La phase de validation a été effectuée avec la plateforme robotique IRL-1 qui dispose des modalités perceptuelles nécessaires.Les performances de 31 participants ont été comparées dans l’exécution de trois sous-tâches réalisées avec et sans l’ajout des modalités supplémentaires. La première épreuve d’écoute visait à connaître l’impact de l’affichage de la position des sources sonores. La tâche de manipulation évaluait l’impact de l’affichage des forces ressenties sur les bras. Enfin, le pilotage du robot à travers un slalom avait pour but de tester l’impact de la représentation 3D de l’environnement. L’étude démontre que l’affichage visuel des modalités d’interaction sonores et de force du robot soulage et améliore les performances des utilisateurs dans la réalisation de certaines tâches précises d’écoute ou de manipulation. Cependant, les tests de pilotage du robot à travers un slalom autour de trois cylindres ne permettent pas d’affirmer que l’ajout d’une représentation 3D de l’environnement déjà visité par le robot améliore les performances de navigation.