Geometric approximation of structured scenes from images

Description

Geometric approximation of urban objects with compact and accurate representation is a challenging problem that concerns both computer vision and computer graphics communities. Existing literature mainly focuses on reconstruction from high-quality point clouds obtained by laser scanning which are too costly for many practical scenarios. This motivates the investigation into the problem of geometric approximation from low-budget image data. Dense reconstruction from a collection of images is made possible by recent advances in multi-view stereo techniques, yet the resulting point cloud is often far from perfect for generating a compact model. In particular, our goal is to describe the captured scene with a compact and accurate representation.In this thesis, we propose two generic algorithms which address different aspects of image-based geometric approximation. First, we present an algorithm for extracting and vectorizing objects in images with polygons. Second, we present a global registration algorithm from multi-modal geometric data, typically 3D point clouds and surface meshes. Both approaches exploit detection of linear geometric primitives to approximate either 2D silhouettes with polygons consisting of line segments, or 3D point sets with a collection of planar shapes. The proposed algorithms could be used sequentially to form a pipeline for geometric approximation of an urban object from a set of image data, consisting of an overhead shot for coarse model extraction and multi-view stereo data for point cloud generation. We demonstrate the robustness and scalability of our methods for structured scenes and objects, as well as applicative potential for free-form objects.

Abstract (French)

L'approximation géométrique d'objets urbains avec une représentation compacte et précise est un problème difficile en vision par ordinateur et en infographie. La littérature existante se concentre principalement sur la reconstruction à partir de nuages de points de haute qualité obtenus par balayage laser qui sont trop coûteux pour de nombreux scénarios pratiques. Ceci motive l'investigation du problème d'approximation géométrique à partir de données image. La reconstruction dense à partir d'une collection d'images est rendue possible par les progrès récents des techniques de stéréoscopie multi-vues, mais le nuage de points résultant est souvent trop imparfait pour créer un modèle compact. En particulier, nous visons à décrire la scène capturée avec une représentation compacte et précise.Dans cette thèse, nous proposons deux algorithmes génériques qui abordent différents aspects de l'approximation géométrique basée image. Dans un premier temps, nous présentons un algorithme d'extraction et de vectorisation d'objets dans des images avec des polygones. Dans un second temps, nous présentons un algorithme de recalage global à partir de données géométriques multimodales, typiquement des nuages de points 3D et des maillages surfaciques. Les deux approches exploitent la détection de primitives géométriques pour approcher soit des formes 2D avec des polygones formés à partir de segments de ligne, soit des ensembles de points 3D avec une collection de formes planes. Les algorithmes proposés peuvent être utilisés de manière séquentielle pour former une chaîne de traitement pour l'approximation géométrique d'un objet urbain à partir d'un ensemble de données d'image, composé d'une prise de vue aérienne pour l'extraction de modèles grossiers et de données stéréo multi-vues pour la génération de nuages de points. Nous démontrons la robustesse et l'évolutivité de nos méthodes pour les scènes et objets structurés, ainsi que le potentiel applicatif pour les objets de forme libre.

Additional details