Efficient 3D scene modeling and mosaicing

Abstract

El modelat d'escenes és clau en un gran ventall d'aplicacions que van des de la generació mapes fins a la realitat augmentada. Aquesta tesis presenta una solució completa per a la creació de models 3D amb textura. En primer lloc es presenta un mètode de Structure from Motion seqüencial, a on el model 3D de l'entorn s'actualitza a mesura que s'adquireix nova informació visual. La proposta és més precisa i robusta que l'estat de l'art. També s'ha desenvolupat un mètode online, basat en visual bag-of-words, per a la detecció eficient de llaços. Essent una tècnica completament seqüencial i automàtica, permet la reducció de deriva, millorant la navegació i construcció de mapes. Per tal de construir mapes en àrees extenses, es proposa un algorisme de simplificació de models 3D, orientat a aplicacions online. L'eficiència de les propostes s'ha comparat amb altres mètodes utilitzant diversos conjunts de dades submarines i terrestres.

Scene modeling has a key role in applications ranging from visual mapping to augmented reality. This thesis presents an end-to-end solution for creating accurate, automatic 3D textured models, with contributions at different levels. First, we discuss a method developed within the framework of sequential Structure from Motion, where a 3D model of the environment is maintained and updated as visual information becomes available. The technique is more accurate and robust than state-of-the-art 3D modeling approaches. We also develop an online effcient loop-closure detection algorithm, allowing the reduction of drift and uncertainties for mapping and navigation. Inspired from visual bag-of-words, the technique is entirely sequential and automatic. Lastly, motivated by the need to map large areas, we propose a 3D model simplification oriented towards online applications. We discuss the efficiency of the proposals and compare them with state-of-the-art approaches, using a series of challenging datasets both in underwater and outdoor scenarios.