Stereo Reconstruction using Induced Symmetry and 3D scene priors

摘要

Recuperar a geometria 3D a partir de dois vistas, conhecida como reconstruçãoestéreo, é um dos tópicos mais antigos e mais investigado em visão por computador.A computação de modelos 3D do ambiente é útil para uma grande número deaplicações, desde a robótica‎, passando pela sua utilização do consumidor comum,até a procedimentos médicos. O princípio para recuperar a estrutura 3D cena ébastante simples, no entanto, existem algumas situações que complicam consideravelmente o processo de reconstrução. Objetos que contêm estruturas poucotexturadas ou repetitivas, e superfícies com bastante inclinação ainda colocam emdificuldade os algoritmos state-of-the-art.Esta tese de doutoramento aborda estas questões e apresenta um novo frameworkestéreo que é completamente diferente das abordagens convencionais. Propomosa utilização de simetria em vez de foto-similaridade para avaliar a verosimilhançade pontos em duas imagens distintas serem uma correspondência. O frameworké chamado SymStereo, e baseia-se no efeito de espelhagem que surge sempreque uma imagem é mapeada para a outra câmera usando a homografia induzidapor um plano de corte virtual que intersecta a baseline. Experiências em estéreodenso comprovam que as nossas funções de custo baseadas em simetria se comparamfavoravelmente com os custos baseados em foto-consistência de melhordesempenho. Param além disso, investigamos a possibilidade de realizar Stereo-Rangefinding, que consiste em usar estéreo passivo para recuperar exclusivamente a profundidade ao longo de um plano de varrimento. Experiências abrangentes fornecem evidência de que estéreo baseada em simetria induzida é especialmente eficaz para esta finalidade.Como segunda linha de investigação, propomos superar os problemas descritosanteriormente usando informação a priori sobre o ambiente 3D, com o objectivo deaumentar a robustez do processo de reconstrução. Para tal, apresentamos uma nova abordagem global para detectar pontos de desvanecimento e grupos de direcções de desvanecimento mutuamente ortogonais em ambientes Manhattan. Experiências quer em imagens sintéticas quer em imagens reais demonstram que os nossos algoritmos superaram os métodos state-of-the-art, mantendo a computação aceitável. Além disso, mostramos pela primeira vez resultados na detecção simultânea de múltiplas configurações de Manhattan. Esta informação a priori sobre a estrutura da cena é depois usada numa pipeline de reconstrução que gera modelos piecewise planares de ambientes urbanos a partir de duas vistas calibradas. A nossaformulação combina SymStereo e o algoritmo de clustering PEARL [3], e alternaentre um passo de otimização discreto, que funde hipóteses de superfícies planarese descarta detecções com pouco suporte, e uma etapa de otimização contínua, querefina as poses dos planos. Experiências com pares estéreo de ambientes interiorese exteriores confirmam melhorias significativas sobre métodos state-of-the-artrelativamente a precisão e robustez.Finalmente, e como terceira contribuição para melhorar a visão estéreo napresença de superfícies inclinadas, estendemos o recente framework de agregação estéreo baseada em histogramas [4]. O algoritmo original utiliza janelas de suporte fronto-paralelas para a agregação de custo, o que leva a resultados imprecisosna presença de superfícies com inclinação significativa. Nós abordamos oproblema considerando hipóteses de orientação discretas. Os resultados experimentais obtidos comprovam a eficácia do método, permitindo melhorar a precisçãode correspondência, preservando simultaneamente uma baixa complexidade computacional.