W ostatnich latach wykorzystanie aparatów fotograficznych w granicach 360°, takich jak Insta360 i DJI Osmo, do rekonstrukcji 3D stało się czymś więcej niż eksperymentem laboratoryjnym.

W wielu praktykach technicznych na całym świecie przepływ pracy stał się niezwykle podobny: operator nosi kamerę 360° po miejscu zdarzenia, aby uchwycić obrazy panoramiczne,Eksportuje obrazy w formacie równorzędnymPrzetworzone obrazy są wprowadzane do COLMAP, gdzie pozycje aparatu są szacowane przy użyciu Structure-from-Motion (SfM).W rezultacie dane są następnie przetwarzane przy użyciu otwartych ram, takich jak nerfstudio i gsplat, aby wyszkolić 3D Gaussian Splatting (3DGS) modelW małych pomieszczeniach o bogatej teksturze i stałym oświetleniu powstałe modele mogą zapewnić doskonałą jakość wizualną.

Istnieją również bardziej zaawansowane podejścia techniczne.podczas gdy inne opierają się na wyspecjalizowanych ramach rasterizacji panoramicznej, takich jak gsplat360 i PFGS360Takie podejście techniczne wciąż ewoluuje, wspierane przez bardzo aktywne społeczności open source.

Wniosek jest jasny: kamery 360° klasy konsumenckiej są w stanie produkować modele 3DGS.

Więc gdzie jest granica?

Kiedy powyższy przepływ prac rekonstrukcji 3D jest rozszerzany z małych pomieszczeń wewnętrznych na większe środowiska, takie jak całe piętra, zewnętrzne ulice i duże obszary lasów,Najważniejsze wyzwanie sprowadza się do jednego krytycznego etapu.:Szacunek pozycji kamery.

Zasadniczo oparte na wizji SfM ma kilka nieuniknionych ograniczeń:

• Zależność od tekstury:W środowiskach o słabej teksturze, takich jak lasy, pokryty śniegiem teren, duże białe ściany i szklane ściany zasłonowe, punkty charakterystyczne mogą być trudne do dopasowania.Pozycja w kamerze może się poruszać lub nie być całkowicie obliczona.
• Zależność od oświetlenia:W podziemnych garażach, słabo oświetlonych pomieszczeniach wewnętrznych lub w środowiskach nocnych zmniejszone współczynniki sygnału do hałasu obrazu mogą bezpośrednio pogorszyć jakość rekonstrukcji.
• Drift na długich trajektoriach:Im dłuższa trasa pozyskiwania danych, tym większa liczba zamknięć pętli, tym większa liczba błędów.
• Nie ma prawdziwej skali fizycznej:SfM odtwarza scenę tylko do przekształcenia podobieństwa.lub punktów sterowania są zatem wymagane do pomiarów wymiarowych.

Istnieje jeszcze jedno praktyczne wyzwanie:gdy dane zebrane na dużym obszarze nie są skuteczne, powtórzenie badania terenowego może być kosztowne.W wielu przepływach pracy operatorzy nie mogą natychmiast określić, czy uchwycone obrazy nadają się do szkolenia modeli.Często muszą wrócić do stanowiska pracy i uruchomić pełny przepływ pracy COLMAP przed odkryciem, że niektóre sekcje zestawu danych nie mogą być używane.

Kamery 360° klasy konsumenckiej zapewniają już doskonałą wydajność obrazowania, a główne kamery panoramiczne mogą przewyższać wiele samodzielnie opracowanych kamer geodezyjnych pod względem kosztów i jakości obrazu.

Słabością ogólnego rozwiązania nie jest sam sprzęt obrazowania, ale brak stabilnego systemu oszacowania pozycji zdolnego do wspierania realnego pomiaru przestrzennego.

W celu rozwiązania podstawowych ograniczeń rekonstrukcji SfM czysto wizualnej, w tym awarii w środowiskach o słabej teksturze, degradacji w warunkach słabego oświetlenia, dryfowaniu na długich trajektoriach,W związku z brakiem prawdziwej skali pomiarowej, TourPop oferuje nowe rozwiązanie..

Jako przenośne urządzenie do skanowania LiDAR SLAM, TourPop jest wyposażony w czujnik LiDAR o prędkości punktu 48 000 punktów na sekundę, wraz z zintegrowanym uchwytem zasilania, jednostką sterującą,i systemów przechowywania danych. Urządzenie nie zawiera wbudowanego modułu panoramicznego obrazowania. Zamiast tego posiada standaryzowany uniwersalny interfejs montażowy, który obsługuje szeroki zakres kamer 360°,umożliwienie użytkownikom dalszego wykorzystania istniejącego sprzętu obrazowania.

Oba systemy czujników mają jasno zdefiniowane role i współpracują ze sobą:

Wykorzystując chmury punktów LiDAR do obliczenia trajektorii urządzenia, TourPop nie polega na dopasowaniu rysów obrazu do oszacowania pozycji.Może utrzymywać stabilną pozycję w środowiskach o słabiej teksturze, takich jak lasy i pokryte śniegiem obszary, a także w środowiskach o niskim świetle, takich jak garaże parkingowe i nocne sceny.

Obserwacje LiDAR zapewniają również modelowi prawdziwą skalę fizyczną, zapewniając, że wymiary przestrzenne odpowiadają bezpośrednio rzeczywistemu środowisku.Użytkownicy mogą mierzyć odległości na miejscu, szerokości, wysokości i innych wymiarów przestrzennych bezpośrednio wewnątrz uchwyconej sceny.

Jakość renderowania 3DGS jest w dużym stopniu zależna od jakości oryginalnego obrazu.TourPop oferuje znaczące zalety w stosunku do kamer przestrzennych typu all-in-one pod względem kosztów nabycia, wydajność obrazowania i elastyczność sprzętu.

Oprogramowanie TourPop integruje hybrydową architekturę szkolenia 3DGS.Obłoki punktowe LiDAR jako podstawowe odniesienie przestrzenne, z SfM opartym na obrazie służącym jako mechanizm pomocniczy do wyboru obrazu i filtrowania.

Do jego najważniejszych zalet należą:

• Bardziej jednolite i ustrukturyzowane rozkłady punktów Gaussa, znacząco zmniejszające rozproszony hałas pętli pływających powszechnie występujący w rozwiązaniach opartych wyłącznie na wizji.
• Stabilna rekonstrukcja 3D w złożonych środowiskach o słabych teksturach lub niskim oświetleniu, zmniejszając wpływ warunków środowiskowych na proces modelowania.

Pojęcie"kamera przestrzenna"Jego podstawowa koncepcja polega na tym, że urządzenie nie po prostu rejestruje 360° obrazy panoramiczne.zapisujepełne dane przestrzenne wraz z dokładnymi pozycjami przestrzennymi i mierzalną skalą rzeczywistego świata.

TourPop podąża tym samym kierunkiem technologicznym przy jednoczesnym zastosowaniu zróżnicowanej implementacji:

Otwarta architektura kamery 360° w połączeniu z LiDAR SLAM jako podstawową technologią oszacowania pozycji.

• Użytkownicy mogą montować istniejące kamery 360° bezpośrednio na TourPop i używać ich jako urządzenia do obrazowania wizualnego.
• LiDAR buduje kompletne ramy przestrzenne, jednocześnie precyzyjnie określając pozycję urządzenia, orientację, odległość ruchu i realne wymiary środowiska.
• Po przejęciu wynik nie jest po prostu kolekcją zdjęć panoramicznych, ale sekwencją panoram z dokładnymi informacjami o pozycji,wraz z mierzalnymi chmurami punktów LiDAR i 3D modelami Gaussian Splatting.

W prostych słowach, TourPop upgrades a consumer-grade camera that can only capture panoramic imagery into a professional spatial data acquisition terminal capable of comprehensively recording three-dimensional spatial information.

Otwarta, modułowa architektura kamery została zaprojektowana w oparciu o dwa praktyczne względy.

Po pierwsze, w sektorze sprzętu geodezyjnego i mapowego trudno jest samodzielnie opracować czujnik panoramicznego, który łączy zarówno niską cenę, jak i doskonałą jakość obrazu.

Po drugie, produkty z kamer 360° mają stosunkowo krótkie cykle produkcji i szybko się rozwijają.Kiedy użytkownicy modernizują swoje aparaty fotograficzne lub wprowadzają na rynek nowe generacje kamer 360°, system TourPop może być nadal wykorzystywany bez zastąpienia całego systemu nabywania.

TourPop może generować szereg produktów danych przestrzennych:

• Kolorowe chmury punktowe:Z prawdziwą skalą fizyczną, umożliwiającą pomiary odległości, wysokości, powierzchni i innych wymiarów przestrzennych.
• Modele 3DGS:Zapewnienie fotorealistycznej jakości wizualnej, z obsługą swobodnej eksploracji punktu widzenia i nawigacji na podstawie trajektorii.
• Zdjęcia panoramiczne:Panoramy można oglądać i poruszać się po przestrzeni, a każde zdjęcie zawiera dokładne położenie w otoczeniu.
• Modele siatki:Wygenerowane z obrazów i/lub chmur punktowych przy użyciu oprogramowania innych firm do wizualizacji, edycji i renderowania.
• Modele BIM:Dalszy rozwój z wykorzystaniem oprogramowania zewnętrznego do dostarczania informacji zorientowanych na inżynierię.

Uwaga:Modele sieciowe i BIM wymagają dodatkowego przetwarzania za pomocą profesjonalnego oprogramowania zewnętrznego.

1. Użytkownicy, którzy posiadają już sprzęt do obrazowania 360° i regularnie wykonują rekonstrukcję 3DGS lub dużą cyfryzację przestrzenną.
2. Aplikacje obejmujące dokumentację przestrzenną w pomieszczeniach wewnętrznych i zewnętrznych, cyfrową prezentację kultury i turystyki oraz szybką rekonstrukcję środowisk rzeczywistych w 3D.
3. Scenariusze, które wymagają ogólnej reprezentacji wymiarów przestrzennych, ale nie mają rygorystycznych wymagań dotyczących dokładności pomiarów na poziomie milimetrowym,w tym szybka rekonstrukcja 3D miejsc wypadków drogowych, badania zasobów leśnych i krajobrazowych i podobne zastosowania.

Precyzyjne projekty geodezyjne i mapowe wymagającedokładność pomiaru na poziomie milimetrowym.

TourPop jest zaprojektowany jakonarzędzie do szybkiego przechwytywania przestrzennego w świecie rzeczywistym na poziomie centymetrówNie jest przeznaczony do zastąpienia wysokoprecyzyjnych instrumentów pomiarowych, takich jak stacje całkowite lub profesjonalne skanery laserowe 3D.