A new efficient pose estimation and tracking method for personal devices : application to interaction in smart spaces

摘要

Esta tesis aborda la estimación y el seguimiento de posición y orientación de los dispositivos personales con seis grados de libertad (6-GdL) y las aplicaciones en espacios inteligentes. Este problema ha atraído la atención de industrias e investigadores de diversos campos, tales como los espacios inteligentes, la robótica, el seguimiento en interiores y la Realidad Aumentada. Además, se discute el problema relevante de la selección de la cámara en un sistema con múltiples cámaras, ya que es de fundamental importancia para la gestión de la cámara en una red de cámaras de gran tamaño. Apesar de los grandes esfuerzos de investigación que se han llevado a cabo para hacer frente a estos problemas en los últimos años, sigue siendo un reto fundamental proporcionar un sistema de estimación de pose de bajo coste, preciso, rápido, fácil de implementar, robusto y que además sea adecuado para pequeñas y grandes áreas. Los sistemas existentes por lo general no pueden proporcionar una solución integral de interior teniendo en cuenta todos estos aspectos. Para abordar estas cuestiones, esta tesis describe un sistema de múltiples sensores para la estimación de la posición exacta. El sistema se basa en tecnologías de bajo coste, en particular, en una combinación de uno o más sensores de visión externa, acelerómetros incorporados en el dispositivo y un marcador imprimible de color pegado en el dispositivo. Un conjunto de cámaras de infraestructura se despliegan para tener el objeto visible la mayor parte del tiempo de funcionamiento. El objeto tiene que incluir un acelerómetro de tres ejes incorporado y ser etiquetado con un marcador de referencia. El marcador está diseñado para que su detección sea fácil y robusta. Se puede adaptar mediante variaciones en forma y color a diferentes escenarios de servicio, como el seguimiento de dispositivos móviles, personas y robots. Con la ayuda de los acelerómetros, el sistema puede estimar la posición y la orientación con una o más cámaras basado en los enfoques propuestos de fusión de datos de múltiples sensores. Dos algoritmos de seguimiento basados en el Filtro de Kalman son presentados con explicaciones detalladas de la aplicación, incluyendo la inicialización del filtro, el modelo del sistema dinámico, el ajuste de parámetros y el modelo de error de medición y de proceso. Un modelo de error del sistema completo se deriva analíticamente en base a la propagación de los errores. La secuencia de la innovación es explotada para detectar valores atípicos. Además, se trata la falsa detección de valores atípicos debido al cambio de las fuentes de medición. Se presenta asimismo un mecanismo de selección de la cámara en una red multi-cámara. En primer lugar, el enfoque selecciona cámaras disponibles que van a ver el objeto en el siguiente instante de tiempo basado en el estado predicho del sistema, la prueba point-inview y la prueba de oclusión. Con respecto a la prueba de oclusión, se proponen varios métodos de modelado. Entonces, todas las cámaras disponibles se clasifican de acuerdo a una métrica de calidad: la distancia entre el objeto y la cámara. Por otra parte, la tesis explora el potencial del sistema propuesto de seguimiento de posición y orientación en espacios inteligentes. Varios prototipos están diseñados en diversos campos, incluyendo las aplicaciones relacionadas con los apuntamientos, la realidad virtual para el aprendizaje de inmersión, los juegos en 3D y la realidad aumentada para la educación. Los datos experimentales demuestran que el sistema propuesto de estimación de posición y orientación logra una alta precisión (del orden de centímetros para la estimación de la posición y de algunos grados para la estimación de la orientación), utilizando los sensores mencionados de bajo coste, trabajando en alrededor de 10 imágenes por segundo. De esta manera, se cumple el requisito de tiempo real de la mayoría de las aplicaciones. Los dos Filtros de Kalman propuestos son validados para ser coherentes, capaces de detectar valores atípicos y mantener la continuidad del seguimiento. Además, los resultados experimentales muestran que el enfoque propuesto de selección de la cámara proporciona una alta precisión y reduce en gran medida el coste computacional, especialmente en una red de cámaras de gran tamaño. En definitiva, se puede afirmar que el sistema propuesto es una solución precisa, rápida, robusta y fácil de implementar, de bajo coste y que tiene un gran potencial en el ámbito de los servicios en los espacios inteligentes. ABSTRACT This thesis addresses a new efficient method for six-degree-of-freedom (6-DoF) pose estimation and tracking of personal devices and applications in smart spaces. This problem has attracted attention of industries and researchers from various fields such as smart spaces, robotics, indoor tracking, and Augmented Reality. Besides, the relevant problem of camera selection in a multi-camera system is also discussed, which is of fundamental importance to camera management in large camera networks. Although major research efforts have been carried out to address these problems in recent years, it remains a critical challenge to provide a low-cost, accurate, fast, easy-to-deploy, and robust indoor pose estimation system, which is suitable for both small and large areas. Better said, existing systems usually fail to provide an indoor holistic solution taking into account all these aspects. Addressing these issues, this thesis describes a multi-sensor system for accurate pose estimation that relies on low-cost technologies, in particular on a combination of one or more external vision sensor, embedded accelerometers in the device, and a printable colored fiducial to be stuck on the device. A set of infrastructure cameras are deployed to have the object to be tracked visible most of the operation time. The object has to include an embedded three-axis accelerometer and be tagged with a fiducial marker. The marker is designed to be easily and robustly detected. It may be adapted to different service scenarios (in shape and colors) such as mobile device tracking, person tracking, and robot localization. With the aid of accelerometers, the system can estimate the full pose with one or more cameras based on the proposed multi-sensor data fusion approaches. Two tracking algorithms based on the Kalman filter are presented with detailed explanations of the implementation, including filter initialization, system dynamic model, parameter setting, measurement, and process error modeling. A complete system error model is analytically derived based on error propagation. The innovation sequence is exploited to detect outliers. Besides, the false detection of outliers due to camera hand-offs is dealt with. A camera selection mechanism in multi-camera systems is presented. Firstly, the approach selects available cameras that will see the object at the next time instant based on the predicted state of the system, point-in-view test, and occlusion test. Regarding the occlusion test, several modeling approaches are proposed. Then, all the available cameras are ranked according to a quality metric: the distance between the object and the camera. Furthermore, the thesis explores the potential of the proposed pose tracking system in smart spaces. Several prototypes are designed in various fields, including pointing applications, Virtual Reality for immersive learning, 3D gaming, and Augmented Reality for education. Experimental data demonstrates that the proposed pose estimation system achieves high accuracy (in the order of centimeters for the position estimation and few degrees for the orientation estimation) using the mentioned low-cost sensors, working at around 10 frames/sec, which fulfills the real-time requirement of most applications. The proposed two Kalman filters are validated to be consistent, able to detect outliers, and keep the tracking continuity. Also, experimental results show that the proposed camera selection approach provides high selection accuracy and largely reduces the computational cost, especially in a large camera network. All in all, we can claim that the proposed system is a low-cost, accuracy, fast, robust, and easy-to-deploy solution, being richly potential for services in smart spaces.