Proposition de stage de magistère 2001-2002

Reconstruction voxélique des scènes naturelles

Méthodes « space carving » et « évolution de surfaces par EDP »

Responsables

Résumé

Reconstruire les objets et les scènes réels à partir de quelques images est un défi perpétuel en vision par ordinateur. Il existe déjà une grande nombre de méthodes, selon le type de scène et l'application visée. Dans le cadre de cette stage, nous voulons reconstruire des modèles d'objets de forme naturelle - donc difficilement représentable par les primitives géométriques comme des plans, des droits - qui sont susceptibles d'être utilisés pour le rendu d'images virtuelles visuellement satisfaisantes.

Les représentations volumiques - où l'objet est représenté par une grille de petits cubes où « voxéls » - sont bien adaptées à modéliser des formes irrégulières, et nous avons sélectionné deux classes de méthodes voxéliques qui supportent en plus le rendu graphique réaliste : « la sculptage d'espace (space carving) » et « l'évolution de surfaces par EDP ». Dans les deux méthodes, l'essentiel est de parcourir depuis l'extérieur l'espace voxélique qui représente la scène, enlevant les voxéls qui sont visibles (selon la carte voxélique en cours) en plusieurs caméras, mais dont la couleur n'est pas consistante entre les caméras (selon une mesure de consistance de couleur entre les pixéls images correspondants). En raison de leur manque de consistance, ces voxéls ne peuvent pas être sur la surface de l'objet, donc ils peuvent être éliminés. Ce qui rend visible d'autres voxéls, et le cycle recommence, jusqu'au ce qu'il ne reste que des voxéls consistants dans toutes les caméras. Dans le cas idéal, le résultat est une approximation voxélique à la surface précise de l'objet. Dans le cas pratique il y a souvent des artefacts - en particulier les voxéls qui sont faussement consistants ne sont pas éliminés - mais avec des objets bien texturés les résultats peuvent être assez satisfaisants. Les différences entre les méthodes :

• La méthode « sculptage d'espace » à une conception relativement simple. Elle balai l'espace voxélique plan par plan dans des directions alternantes, jusqu'á la convergence. (Ceci au moins en principe - des optimisations à la base de listes de visibilité et de consistance sont à recommander en terme de vitesse de calcul...). Elle travail en voxélique pure, donc les résultats ont une petite rugosité à l'échelle voxélique. (Mais on peut lisser à la fin avec une méthode « marching cubes » existante...)
• La méthode « évolution de surfaces par EDP » est mathématiquement beaucoup plus sophistiquée. Elle balai l'espace avec une frontière mouvante représentée par une équation de dérivée partielle (EDP). L'évolution de cette frontière est pilotée par la mesure de consistance de couleur : elle arrête elle-même quand elle trouve la consistance, ce qui donne une surface lisse et donc une affichage graphique très satisfaisante. Au niveau algorithmique, cette méthode n'est pas beaucoup plus difficile à mettre en oeuvre que l'autre, mais une certaine sophistication mathématique vous sera indispensable pour lire les papiers d'origine...

La stage peut être adaptée selon les cas, mais dans un cas idéal elle sera prise par deux personnes qui veulent travailler ensemble, dont (au moins) une a un goût mathématique/numérique. L'essentiel sera de comprendre, d'implanter et de valider une méthode qui est documentée déjà dans la littérature scientifique. Si deux personnes travaillent ensemble, il y aura un seul rapport a faire mais les différentes méthodes doivent être intégrées dans le même logiciel et comparées en détail.

La stage aura lieu dans l'équipe MOVI à l'INRIA Montbonnot. Au niveau matériel, l'implantation sera sur les PC sous LINUX, avec système graphique X Windows / OpenGL. Les caméras seraient probablement des caméras USB ou FireWire de type grand publique. Il existe déjà dans l'équipe quelques bibliothèques susceptibles de fournir des éléments utiles.

Une session de reconstruction nécessitera les étapes suivantes :

• Monter et calibrer les caméras, et éventuellement - si la géométrie permet une scène sans objet - prendre quelques images du fond de la scène afin de faciliter les étapes suivantes. Il existe déjà des routines qui peuvent probablement être adaptées. La calibrage trouve la correspondance géométrique entre la système de coordonnées 3D et les pixéls de chaque caméra. Elle peut se faire à la base d'une bibliothèque INTEL.
• Prendre et faire une éventuelle pré-traitement des images.
• Lancer les méthodes de reconstruction proprement dit.
• Afficher les résultats à partir de différentes points de vue avec une interface utilisateur OpenGL. (Dont certaines parties existent déjà).

Références

Méthodes de type « voxel carving »: vous avez sur la carte une choix de « voxel coloring » de Steve Seitz (voir les papiers CVPR'97 et IJCV'99 de Seitz et Dyer), de « space carving » et de « approximate N view stereo » sur la page de Kyros Kutulakos et de « generalized voxel coloring » de Culbertson et al.

Méthode « évolution de surface »: O. Faugeras et R. Keriven. Regardez les demos ou une vidéo et la partie stéreo de la thèse ou le papier ECCV. Mais n'ayez pas peur si vous n'en comprenez rien ... la méthode est plus simple que les papiers. Pour une bonne introduction générale aux méthodes « ensembles de niveau » pour l'evolution des interfaces, voir les pages de J. Sethian.

Cette stage est en quleque sort la suite d'une stage sur la reconstruction voxélique approximative fait en 2000-2001 par Olivier Galizzi et Laure Heigeas. Certains résultats pourraient être repris. Voilà le rapport de stage.

Bibliothèque vision INTEL.