Ces dernières années, l’utilisation de caméras 360° grand public, telles qu’Insta360 et DJI Osmo, pour la reconstruction 3D est devenue bien plus qu’une expérience de laboratoire de niche.

Dans de nombreux cabinets techniques à travers le monde, le flux de travail est devenu remarquablement similaire : un opérateur transporte une caméra à 360 ° autour de la scène pour capturer des images panoramiques, exporte les images au format équirectangulaire, puis les convertit en plusieurs vues en perspective. Les images traitées sont introduites dans COLMAP, où les poses de la caméra sont estimées à l'aide de Structure-from-Motion (SfM). Les données résultantes sont ensuite traitées à l'aide de frameworks open source tels que nerfstudio et gsplat pour former un modèle 3D Gaussian Splatting (3DGS). Dans de petits environnements dotés de textures riches et d’un éclairage cohérent, les modèles obtenus peuvent offrir une excellente qualité visuelle.

Il existe également des approches techniques plus avancées. Par exemple, certains flux de travail utilisent directement des images brutes double fisheye comme entrée, tandis que d'autres s'appuient sur des cadres de rastérisation panoramique spécialisés tels que gsplat360 et PFGS360, éliminant ainsi le besoin de conversion de carte cubique. Ces approches techniques continuent d'évoluer, soutenues par des communautés open source très actives.

La conclusion est claire : les caméras 360° grand public sont capables de produire des modèles 3DGS.

Alors où est la limite ?

Lorsque le flux de travail de reconstruction 3D ci-dessus est étendu de petites pièces intérieures à des environnements plus grands tels que des étages entiers, des rues extérieures et de vastes zones boisées, le principal défi se résume systématiquement à une étape critique :estimation de la pose de la caméra.

La SfM purement basée sur la vision présente plusieurs limites inévitables :

• Dépendance aux textures :Dans des environnements à texture faible tels que les forêts, les terrains enneigés, les grands murs blancs et les murs-rideaux en verre, les points caractéristiques peuvent être difficiles à faire correspondre. Les poses de la caméra peuvent dériver ou ne pas être complètement calculées.
• Dépendance à l'éclairage :Dans les parkings souterrains, les zones intérieures mal éclairées ou les environnements nocturnes, des rapports signal/bruit d'image réduits peuvent directement dégrader la qualité de la reconstruction.
• Dérive sur de longues trajectoires :Plus le parcours d’acquisition est long et plus il y a de fermetures de boucles impliquées, plus les erreurs accumulées deviennent importantes. Finalement, le modèle peut ne pas réussir à s'aligner ou à coudre correctement.
• Pas de véritable échelle physique :SfM reconstruit une scène uniquement jusqu'à une transformation de similarité. Le modèle résultant ne sait pas intrinsèquement quelle est la longueur d’un mètre. Des références d'échelle supplémentaires, des objets d'étalonnage ou des points de contrôle sont donc nécessaires pour les mesures dimensionnelles.

Il existe un autre défi pratique :Lorsque les données collectées sur une vaste zone échouent, la répétition de l’enquête sur le terrain peut s’avérer coûteuse.Dans de nombreux flux de travail, les opérateurs ne peuvent pas déterminer immédiatement si les images capturées sont adaptées à la formation du modèle. Ils doivent souvent retourner à un poste de travail et exécuter le workflow COLMAP complet avant de découvrir que certaines sections de l'ensemble de données ne peuvent pas être utilisées.

Les caméras 360° grand public offrent déjà d'excellentes performances d'imagerie, et les caméras panoramiques grand public peuvent surpasser de nombreuses caméras de topographie développées par nous-mêmes en termes de coût et de qualité d'image.

La faiblesse de la solution globale ne réside pas dans le matériel d’imagerie lui-même, mais dans l’absence d’un système d’estimation de pose stable capable de prendre en charge les mesures spatiales réelles.

Pour remédier aux limites fondamentales de la reconstruction SfM purement visuelle, notamment l'échec dans des environnements à texture faible, la dégradation dans des conditions de faible luminosité, la dérive sur de longues trajectoires et l'absence d'une véritable échelle de mesure, TourPop propose une nouvelle solution.

En tant qu'appareil de numérisation LiDAR SLAM portable, TourPop est équipé d'un capteur LiDAR offrant un taux de points de 48 000 points par seconde, ainsi que d'une poignée d'alimentation intégrée, d'une unité de contrôle et d'un système de stockage de données. L'appareil ne comprend pas de module d'imagerie panoramique intégré. Au lieu de cela, il dispose d'une interface de montage universelle standardisée qui prend en charge une large gamme de caméras 360° tierces, permettant aux utilisateurs de continuer à tirer parti de leur équipement d'imagerie existant.

Les deux systèmes de détection ont des rôles clairement définis et fonctionnent ensemble :

En utilisant des nuages ​​de points LiDAR pour calculer la trajectoire de l'appareil, TourPop ne s'appuie pas sur la correspondance des caractéristiques de l'image pour l'estimation de la pose. Il peut maintenir un positionnement stable dans des environnements à texture faible tels que les forêts et les zones enneigées, ainsi que dans des environnements faiblement éclairés tels que les parkings et les scènes nocturnes. Une acquisition longue distance continue peut être réalisée sans dérive cumulative significative.

Les observations LiDAR fournissent également au modèle une véritable échelle physique, garantissant que les dimensions spatiales correspondent directement à l'environnement réel. Les utilisateurs peuvent effectuer des mesures sur site des distances, largeurs, hauteurs et autres dimensions spatiales directement dans la scène capturée.

La qualité du rendu de 3DGS dépend fortement de la qualité des images originales. Lorsqu'elle est associée à une caméra 360° commerciale mature, TourPop offre des avantages significatifs par rapport aux caméras spatiales tout-en-un en termes de coût d'acquisition, de performances d'imagerie et de flexibilité matérielle.

Le logiciel de TourPop intègre une architecture de formation hybride 3DGS. Plutôt que de s'appuyer uniquement sur l'estimation de pose basée sur SfM, il utiliseLes nuages ​​de points LiDAR servent de référence spatiale principale, le SfM basé sur l'image servant de mécanisme auxiliaire pour la sélection et le filtrage des images..

Ses principaux avantages comprennent :

• Distribution de points gaussiens plus uniforme et structurée, réduisant considérablement le bruit dispersé en virgule flottante que l'on trouve couramment dans les solutions purement basées sur la vision.
• Reconstruction 3D stable dans des environnements complexes avec des textures faibles ou un faible éclairage, réduisant ainsi l'impact des conditions environnementales sur le processus de modélisation.

La notion de"caméra spatiale"a émergé au sein de l’industrie, représentant une proposition de valeur technologique clairement définie. Son concept principal est que l'appareil ne capture pas simplement des images panoramiques à 360°. Au lieu de cela, il enregistredes données spatiales complètes ainsi que des poses spatiales précises et une échelle mesurable du monde réel.

TourPop suit la même direction technologique tout en adoptant une implémentation différenciée :

Une architecture de caméra ouverte à 360° combinée au LiDAR SLAM comme technologie de base d'estimation de pose.

• Les utilisateurs peuvent monter leurs caméras 360° existantes directement sur TourPop et les utiliser comme unité d'imagerie visuelle.
• LiDAR construit un cadre spatial complet tout en déterminant avec précision la position, l'orientation, la distance de mouvement et les dimensions réelles de l'environnement de l'appareil.
• Après l'acquisition, le résultat n'est pas simplement une collection d'images panoramiques, mais une séquence de panoramas avec des informations de pose précises, accompagnées de nuages ​​de points LiDAR mesurables et de modèles d'éclaboussures gaussiennes 3D.

En termes simples, TourPop met à niveau une caméra grand public capable de capturer uniquement des images panoramiques en un terminal d'acquisition de données spatiales professionnel capable d'enregistrer de manière exhaustive des informations spatiales tridimensionnelles.

L'architecture ouverte et modulaire de la caméra est conçue autour de deux considérations pratiques.

Premièrement, dans le secteur du matériel de topographie et de cartographie, il est difficile de développer indépendamment un capteur d’imagerie panoramique combinant à la fois un faible coût et une excellente qualité d’image.

Deuxièmement, les produits de caméras 360° ont des cycles de production relativement courts et évoluent rapidement. Une architecture de compatibilité modulaire permet à l'unité principale TourPop de prendre en charge une large gamme de modèles de caméras. Lorsque les utilisateurs mettent à niveau leurs caméras ou que de nouvelles générations de caméras 360° arrivent sur le marché, le système TourPop peut continuer à être utilisé sans remplacer l'ensemble du système d'acquisition.

TourPop peut générer une gamme de produits de données spatiales :

• Nuages ​​de points colorisés :Avec une véritable échelle physique, permettant de mesurer la distance, la hauteur, la superficie et d'autres dimensions spatiales.
• Modèles 3DGS :Offre une qualité visuelle photoréaliste, avec prise en charge de l'exploration de points de vue libres et de la navigation basée sur la trajectoire.
• Images panoramiques étiquetées avec pose :Les panoramas peuvent être visualisés et parcourus spatialement, chaque image contenant sa position précise dans l'environnement.
• Modèles de maillage :Généré à partir d'images et/ou de nuages ​​de points à l'aide d'un logiciel tiers pour la visualisation, l'édition et le rendu.
• Modèles BIM :Développé davantage à l'aide d'un logiciel tiers pour la diffusion d'informations orientées ingénierie.

Note:Les modèles maillés et BIM nécessitent un traitement supplémentaire à l’aide d’un logiciel tiers professionnel.

1. Les utilisateurs possédant déjà du matériel d’imagerie 360° et réalisant régulièrement des reconstructions 3DGS ou des numérisations spatiales à grande échelle.
2. Applications impliquant la documentation spatiale intérieure et extérieure, la présentation numérique culturelle et touristique et la reconstruction 3D rapide d'environnements du monde réel.
3. Scénarios qui nécessitent une représentation globale des dimensions spatiales mais n'ont pas d'exigences strictes de précision d'arpentage au niveau millimétrique, y compris la reconstruction 3D rapide de scènes d'accidents de la circulation, les enquêtes sur les ressources forestières et paysagères et des applications similaires.

Projets d'arpentage et de cartographie de précision qui nécessitentprécision de mesure au niveau millimétrique.

TourPop est conçu comme unoutil d'acquisition spatiale rapide et réel au niveau centimétrique. Il n'est pas destiné à remplacer les instruments de topographie de haute précision tels que les stations totales ou les scanners laser 3D de qualité professionnelle.