Amélioration de la reconstruction 3D par Gaussian Splatting et stéréovision M2

[DorianG02]

Amélioration de la reconstruction 3D par Gaussian Splatting et stéréovision M2

Étudiant(e) : Dorian Geraldes Pereira
Encadrant académique : Romain Dupont
Structure d'accueil : Cea
Période : 02/2025-08/2025

Contexte

Les méthodes de Gaussian Splatting sont récentes et très efficaces pour représenter et rendre des scènes 3D.
Elles reposent sur des points appelés splats gaussiens, qui permettent de produire un rendu photoréaliste en temps réel.

Cependant, plusieurs limites apparaissent dans des conditions réelles :

• Ces méthodes sont surtout pensées pour le rendu visuel, pas pour obtenir une géométrie exploitable (maillages 3D).
• La méthode 3DGS peut créer des incohérences entre les vues, ce qui complique la reconstruction géométrique.
• La version 2DGS améliore la cohérence inter-vues, mais reste sensible à la qualité des données d’entrée.
• En pratique, les images utilisées ne sont pas toujours parfaites :
  • présence de spécularité,
  • variations de couleur ou d’éclairage selon la position de la caméra,
  • zones peu texturées ou bruitées.

Ces phénomènes introduisent des dérives lors de l’entraînement du modèle, qui se traduisent par des reconstructions incomplètes, des surfaces mal définies ou des erreurs locales de profondeur.

L’objectif de ce travail est donc de proposer une approche plus robuste, capable de gérer ces situations réelles et d’améliorer la cohérence et la précision des reconstructions 3D.

Méthode

L’objectif de ce travail est d’améliorer la qualité des reconstructions 3D obtenues avec 2DGS, en exploitant la stéréovision pour calculer des cartes de profondeur plus précises.

Une difficulté supplémentaire vient du fait que les données utilisées proviennent de conditions réelles.
Elles ne sont pas toujours calibrées, ce qui nécessite des étapes de calcul des poses caméras et de détermination des paramètres de calibration avant d’exploiter les images.

Le pipeline mis en place comporte plusieurs étapes :

1. Estimation caméra et poses avec COLMAP.
2. Rectification des images avec une OpenCV modifié pour préparer la stéréovision et la compatibilité avec le gaussian splatting.
3. Génération de cartes de disparité denses avec FoundationStereo, puis conversion en cartes de profondeur.
4. Reprojection en nuage de points dense à partir des profondeurs.
5. Initialisation et entraînement de 2DGS avec ces données enrichies.
6. Fusion des cartes de profondeur avec Open3D dans un volume TSDF.
7. Extraction du maillage 3D explicite avec l’algorithme Marching Cubes.

Outils et implémentation

Le pipeline mis en place combine plusieurs outils et langages pour produire des reconstructions 3D cohérentes et détaillées :

• COLMAP : estimation des paramètres caméras et poses (Structure-from-Motion et Multi-View Stereo).
• OpenCV (C++) : rectification stéréo et préparation des images pour la compatibilité avec Gaussian Splatting.
• FoundationStereo : génération de cartes de disparité denses à partir des paires rectifiées, conversion en cartes de profondeur.
• Reprojection 3D : création d’un nuage de points dense à partir des cartes de profondeur.
• 2D Gaussian Splatting (Python) : initialisation et entraînement du modèle sur les nuages de points enrichis, avec intégration d’une nouvelle fonction de coût basée sur les cartes de profondeur.
• Open3D : fusion volumique des cartes de profondeur dans un volume TSDF et extraction finale du maillage 3D via Marching Cubes.

Cette combinaison permet de traiter des images réelles, parfois non calibrées, tout en obtenant des reconstructions détaillées et exploitables.

Résultats

L’apport majeur de notre pipeline est la supervision par cartes de profondeur.
Sans cette supervision, l’entraînement uniquement photométrique est sensible aux spécularité, aux variations d’éclairage et aux changements de couleur selon l’angle de vue, ce qui entraîne des dérives visibles dans la reconstruction et un maillage bruité.

Avec l’intégration de la loss de profondeur, la géométrie est nettement améliorée :

• le maillage reconstruit est plus stable et continu,
• les surfaces planes (murs, sols) sont beaucoup plus cohérentes,
• les artefacts photométriques disparaissent presque totalement,
• un niveau de détail plus fin est atteint sur les petits objets.

---

Exemple 1 – Scène complète (atelier électrique)

Remarque : pour la visualisation, les maillages sont colorés par triangle et non texturés, ce qui rend les couleurs visibles mais moins réalistes.

La supervision profondeur stabilise la reconstruction globale : les murs et le sol deviennent réguliers, et les incohérences géométriques disparaissent.

---

Exemple 2 – Objet fin et détaillé

Au-delà de la stabilité globale, la supervision permet de préserver les détails fins : les formes complexes et petites structures sont correctement reconstruites, alors qu’elles se dégradent sans supervision.

Liens utiles

• 📄 Rapport de stage
• 🎤 Présentation
• 👔 Mon CV