Negli ultimi anni, l'utilizzo di telecamere 360° di livello consumer, come Insta360 e DJI Osmo, per la ricostruzione 3D è diventato molto più di un esperimento di laboratorio di nicchia.

In numerose pratiche tecniche in tutto il mondo, il flusso di lavoro è diventato notevolmente simile: un operatore porta una telecamera a 360° in giro per la scena per catturare immagini panoramiche,esporta le immagini in formato equirettangolareLe immagini elaborate vengono inserite in COLMAP, dove le posizioni della fotocamera vengono stimate utilizzando Structure-from-Motion (SfM).I dati risultanti vengono quindi elaborati utilizzando framework open-source come nerfstudio e gsplat per addestrare un modello 3D Gaussian Splatting (3DGS)In ambienti piccoli con ricche caratteristiche di texture e illuminazione costante, i modelli risultanti possono fornire un'eccellente qualità visiva.

Esistono anche approcci tecnici più avanzati.mentre altri si basano su framework di rasterizzazione panoramica specializzati come gsplat360 e PFGS360Questi approcci tecnici continuano ad evolversi, sostenuti da comunità open source molto attive.

La conclusione è chiara: le telecamere 360° di consumo sono in grado di produrre modelli 3DGS.

Allora, qual è il limite?

Quando il flusso di lavoro di ricostruzione 3D di cui sopra viene esteso da piccole stanze interne a ambienti più grandi come interi piani, strade all'aperto e grandi aree boschive,la sfida principale si riduce costantemente ad una fase critica:stima della posizione della fotocamera.

L'SfM basato esclusivamente sulla visione presenta numerose limitazioni inevitabili:

• Dipendenza dalla consistenza:In ambienti con una struttura debole come le foreste, il terreno coperto di neve, le grandi pareti bianche e le pareti a tenda di vetro, i punti caratteristici possono essere difficili da abbinare.Le pose della fotocamera possono essere derivate o non calcolate del tutto.
• Dipendenza dall'illuminazione:Nei parcheggi sotterranei, nelle aree interne scarsamente illuminate o negli ambienti notturni, il ridotto rapporto segnale/rumore dell'immagine può direttamente degradare la qualità della ricostruzione.
• Drift su lunghe traiettorie:Più lungo è il percorso di acquisizione e più chiusure di loop sono coinvolte, più significativi diventano gli errori accumulati.
• Nessuna vera scala fisica:L'SfM ricostruisce una scena solo fino a una trasformazione di somiglianza. Il modello risultante non sa intrinsecamente quanto sia lungo un metro.o punti di controllo sono pertanto necessari per le misurazioni dimensionali.

C'è un'altra sfida pratica:quando i dati raccolti su una vasta area non riescono, la ripetizione dell'indagine sul campo può essere costosa.In molti flussi di lavoro, gli operatori non possono determinare immediatamente se le immagini catturate sono adatte per l'addestramento del modello.Spesso devono tornare a una postazione di lavoro e eseguire l'intero flusso di lavoro COLMAP prima di scoprire che alcune sezioni del set di dati non possono essere utilizzate.

Le telecamere 360° di consumo offrono già prestazioni di imaging eccellenti e le telecamere panoramiche tradizionali possono superare molte telecamere di rilevamento auto-sviluppate in termini di costo e qualità dell'immagine.

La debolezza della soluzione complessiva non è l'hardware di imaging in sé, ma la mancanza di un sistema di stima della posizione stabile in grado di supportare la misurazione spaziale del mondo reale.

Per affrontare i limiti fondamentali della ricostruzione SfM puramente visiva, inclusi il fallimento in ambienti a debole consistenza, il degrado in condizioni di scarsa illuminazione, la deriva su lunghe traiettorie,e l'assenza di una vera scala di misurazione.

Come dispositivo portatile di scansione LiDAR SLAM, TourPop è dotato di un sensore LiDAR con una velocità di punteggio di 48.000 punti al secondo, insieme a un manubrio di alimentazione integrato, unità di controllo,e sistema di archiviazione dati. Il dispositivo non include un modulo di imaging panoramica integrato. Invece dispone di un'interfaccia di montaggio universale standardizzata che supporta una vasta gamma di telecamere 360 ° di terze parti,consentire agli utenti di continuare a sfruttare le loro apparecchiature di imaging esistenti.

I due sistemi di rilevamento hanno ruoli chiaramente definiti e lavorano insieme:

Utilizzando le nubi di punti LiDAR per calcolare la traiettoria del dispositivo, TourPop non si basa sulla corrispondenza tra caratteristiche dell'immagine per la stima della posa.Può mantenere un posizionamento stabile in ambienti a struttura debole come le foreste e le zone innevateL'acquisizione continua a lunga distanza può essere eseguita senza una significativa deriva cumulativa.

Le osservazioni LiDAR forniscono anche al modello una vera scala fisica, garantendo che le dimensioni spaziali corrispondano direttamente all'ambiente del mondo reale.Gli utenti possono effettuare misurazioni di distanze sul posto, larghezza, altezza e altre dimensioni spaziali direttamente all'interno della scena catturata.

La qualità del rendering di 3DGS dipende molto dalla qualità delle immagini originali.TourPop offre vantaggi significativi rispetto alle telecamere spaziali all-in-one in termini di costo di acquisizione, prestazioni di imaging e flessibilità hardware.

Il software di TourPop integra un'architettura di formazione 3DGS ibrida.Nuvole di punti LiDAR come riferimento spaziale primario, con SfM basato su immagini che funge da meccanismo ausiliario per la selezione e il filtraggio delle immagini.

I suoi principali vantaggi sono:

• Distribuzione dei punti gaussiani più uniforme e strutturata, riducendo significativamente il rumore disperso dei punti galleggianti comunemente trovato nelle soluzioni basate esclusivamente sulla visione.
• Ricostruzione 3D stabile in ambienti complessi con texture deboli o scarsa illuminazione, riducendo l'impatto delle condizioni ambientali sul processo di modellazione.

Il concetto di"camera spaziale"Il concetto di base è che il dispositivo non si limita a catturare immagini panoramiche a 360°.Si registra.dati spaziali completi con posizioni spaziali accurate e una scala misurabile del mondo reale.

TourPop segue la stessa direzione tecnologica ma adotta un'implementazione differenziata:

Un'architettura di telecamere aperta a 360° combinata con LiDAR SLAM come tecnologia di valutazione della posizione di base.

• Gli utenti possono montare le loro telecamere 360° esistenti direttamente sul TourPop e usarle come unità di imaging visivo.
• Il LiDAR costruisce un quadro spaziale completo determinando con precisione la posizione, l'orientamento, la distanza di movimento e le dimensioni reali dell'ambiente del dispositivo.
• Dopo l'acquisizione, l'output non è semplicemente una raccolta di immagini panoramiche, ma una sequenza di panorami con informazioni precise sulla posizione,Accompagnato da nuvole di punti LiDAR misurabili e modelli 3D di Gauss Splatting.

In termini semplici, TourPop upgrades a consumer-grade camera that can only capture panoramic imagery into a professional spatial data acquisition terminal capable of comprehensively recording three-dimensional spatial information.

L'architettura della fotocamera aperta e modulare è progettata attorno a due considerazioni pratiche.

In primo luogo, nel settore dell'hardware di rilevamento e mappatura, è difficile sviluppare in modo indipendente un sensore di immagini panoramiche che coniuga costi contenuti e ottima qualità dell'immagine.

In secondo luogo, i prodotti per fotocamere a 360° hanno cicli di produzione relativamente brevi e si evolvono rapidamente.Quando gli utenti aggiornano le loro fotocamere o quando entrano sul mercato nuove generazioni di fotocamere a 360°, il sistema TourPop può continuare ad essere utilizzato senza sostituire l'intero sistema di acquisizione.

TourPop può generare una serie di prodotti di dati spaziali:

• Nuvole di punti colorate:Con una vera scala fisica, che consente di misurare la distanza, l'altezza, l'area e altre dimensioni spaziali.
• Modelli 3DGS:Fornire una qualità visiva foto-realistica, con supporto per l'esplorazione dal punto di vista libero e la navigazione basata sulla traiettoria.
• Immagini panoramiche in posa:I panorami possono essere visualizzati e navigati spazialmente, con ogni immagine contenente la sua posizione precisa nell'ambiente.
• Modelli di maglie:Generato da immagini e/o nuvole di punti utilizzando software di terze parti per la visualizzazione, la modifica e il rendering.
• Modelli BIM:Ulteriore sviluppo utilizzando software di terze parti per la fornitura di informazioni orientate alla progettazione.

Nota:I modelli mesh e BIM richiedono un'elaborazione aggiuntiva utilizzando software di terze parti professionali.

1. Utenti che possiedono già apparecchiature di imaging a 360° e eseguono regolarmente ricostruzioni 3DGS o digitalizzazione spaziale su larga scala.
2. Applicazioni che coinvolgono la documentazione spaziale interna ed esterna, la presentazione digitale culturale e turistica e la ricostruzione rapida in 3D di ambienti reali.
3. Scenari che richiedono una rappresentazione globale delle dimensioni spaziali, ma non hanno rigorosi requisiti di precisione di rilevamento a livello millimetrico;compresa la ricostruzione 3D rapida delle scene degli incidenti stradali, indagini sulle risorse forestali e paesaggistiche e applicazioni analoghe.

Progetti di rilevamento e mappatura di precisione che richiedonoaccuratezza di misura a livello millimetrico.

TourPop è progettato come unstrumento di acquisizione spaziale rapida a livello di centimetroNon è destinato a sostituire strumenti di rilevamento ad alta precisione quali stazioni totali o scanner laser 3D di livello professionale.