В последние годы использование 360-градусных камер потребительского уровня, таких как Insta360 и DJI Osmo, для 3D-реконструкции стало нечто большим, чем просто нишевый лабораторный эксперимент.

Во многих технических практиках по всему миру рабочий процесс стал удивительно похожим: оператор носит с собой камеру с обзором на 360° вокруг сцены для захвата панорамных изображений, экспортирует изображения в равнопромежуточный формат, а затем преобразует их в несколько перспективных изображений. Обработанные изображения передаются в COLMAP, где позы камеры оцениваются с использованием структуры из движения (SfM). Полученные данные затем обрабатываются с использованием платформ с открытым исходным кодом, таких как nerfstudio и gsplat, для обучения модели 3D Gaussian Splatting (3DGS). В небольших помещениях с богатыми текстурами и постоянным освещением полученные модели могут обеспечить превосходное визуальное качество.

Есть и более продвинутые технические подходы. Например, некоторые рабочие процессы используют необработанные кадры с двойным «рыбим глазом» непосредственно в качестве входных данных, в то время как другие полагаются на специализированные платформы растеризации панорам, такие как gsplat360 и PFGS360, что устраняет необходимость преобразования кубической карты. Эти технические подходы продолжают развиваться при поддержке весьма активных сообществ открытого исходного кода.

Вывод ясен: камеры потребительского класса с обзором 360° способны создавать модели 3DGS.

Так где же ограничение?

Когда описанный выше рабочий процесс 3D-реконструкции распространяется от небольших внутренних помещений до более крупных сред, таких как целые этажи, открытые улицы и большие лесные массивы, основная задача последовательно сводится к одному критическому этапу:оценка позы камеры.

У SfM, основанного исключительно на видении, есть несколько неизбежных ограничений:

• Зависимость от текстуры:В средах со слабой текстурой, таких как леса, заснеженная местность, большие белые стены и стеклянные навесные стены, сопоставить характерные точки может быть сложно. Позы камеры могут отклоняться или вообще не рассчитываться.
• Зависимость освещения:В подземных гаражах, плохо освещенных помещениях или в ночных условиях пониженное соотношение сигнал/шум изображения может напрямую ухудшить качество реконструкции.
• Дрифт по длинным траекториям:Чем длиннее маршрут сбора данных и чем больше замыканий контуров задействовано, тем более значительными становятся накопленные ошибки. В конечном итоге модель может не выровняться или сшить правильно.
• Нет истинного физического масштаба:SfM реконструирует сцену только с точностью до преобразования подобия. Полученная модель по своей сути не знает, какова длина одного метра. Поэтому для измерений размеров требуются дополнительные эталоны шкалы, калибровочные объекты или контрольные точки.

Есть еще одна практическая задача:когда данные, собранные на большой территории, оказываются неэффективными, повторение полевых исследований может оказаться дорогостоящим.Во многих рабочих процессах операторы не могут сразу определить, подходят ли полученные изображения для обучения модели. Им часто приходится возвращаться на рабочую станцию ​​и запускать весь рабочий процесс COLMAP, прежде чем обнаружить, что определенные разделы набора данных невозможно использовать.

Камеры потребительского класса с обзором 360° уже обеспечивают превосходные характеристики изображения, а обычные панорамные камеры могут превзойти многие геодезические камеры собственной разработки с точки зрения стоимости и качества изображения.

Слабость общего решения заключается не в самом аппаратном обеспечении визуализации, а в отсутствии стабильной системы оценки позы, способной поддерживать реальные пространственные измерения.

Чтобы устранить фундаментальные ограничения чисто визуальной реконструкции SfM, включая сбои в средах со слабой текстурой, ухудшение качества в условиях низкой освещенности, дрейф на длинных траекториях и отсутствие истинной шкалы измерений, TourPop предлагает новое решение.

Будучи портативным сканирующим устройством LiDAR SLAM, TourPop оснащен датчиком LiDAR со скоростью 48 000 точек в секунду, а также встроенной рукояткой питания, блоком управления и системой хранения данных. Устройство не имеет встроенного модуля панорамной съемки. Вместо этого он оснащен стандартизированным универсальным монтажным интерфейсом, который поддерживает широкий спектр камер 360° сторонних производителей, что позволяет пользователям продолжать использовать существующее оборудование для обработки изображений.

Две сенсорные системы имеют четко определенные роли и работают вместе:

Используя облака точек LiDAR для расчета траектории устройства, TourPop не полагается на сопоставление объектов изображения для оценки позы. Он может сохранять стабильное позиционирование в условиях слабой текстуры, таких как леса и заснеженные территории, а также в условиях низкой освещенности, таких как гаражи и ночные сцены. Непрерывный сбор данных на большом расстоянии может осуществляться без значительного кумулятивного дрейфа.

Наблюдения LiDAR также обеспечивают модели истинный физический масштаб, гарантируя, что пространственные размеры напрямую соответствуют реальной среде. Пользователи могут выполнять измерения расстояний, ширины, высоты и других пространственных размеров на месте непосредственно в пределах захваченной сцены.

Качество рендеринга 3DGS во многом зависит от качества исходного изображения. В сочетании с зрелой коммерческой камерой обзора 360° TourPop предлагает значительные преимущества перед универсальными пространственными камерами с точки зрения стоимости приобретения, производительности изображения и гибкости оборудования.

Программное обеспечение TourPop объединяет гибридную архитектуру обучения 3DGS. Вместо того, чтобы полагаться исключительно на оценку позы на основе SfM, он используетОблака точек LiDAR в качестве основной пространственной привязки, а SfM на основе изображений служит вспомогательным механизмом для выбора и фильтрации изображений..

К его ключевым преимуществам относятся:

• Более равномерное и структурированное распределение точек по Гауссу, что значительно снижает рассеянный шум с плавающей запятой, обычно встречающийся в решениях, основанных исключительно на машинном изображении.
• Стабильная 3D-реконструкция в сложных средах со слабыми текстурами или низкой освещенностью, снижающая влияние условий окружающей среды на процесс моделирования.

Концепция«пространственная камера»появился в отрасли, представляя собой четко определенное технологическое ценностное предложение. Его основная концепция заключается в том, что устройство не просто снимает панорамные изображения на 360°. Вместо этого он записываетполные пространственные данные вместе с точными пространственными позами и измеримым реальным масштабом.

TourPop следует тому же технологическому направлению, но использует дифференцированную реализацию:

Открытая архитектура камеры с обзором на 360° в сочетании с LiDAR SLAM в качестве основной технологии оценки позы.

• Пользователи могут установить имеющиеся у них камеры обзора 360° непосредственно на TourPop и использовать их в качестве устройства формирования визуальных изображений.
• LiDAR создает полную пространственную структуру, точно определяя положение устройства, ориентацию, расстояние перемещения и реальные размеры окружающей среды.
• После получения на выходе получается не просто коллекция панорамных изображений, а последовательность панорам с точной информацией о положении, сопровождаемая измеримыми облаками точек LiDAR и трехмерными моделями Gaussian Splatting.

Проще говоря, TourPop модернизирует камеру потребительского уровня, которая может снимать только панорамные изображения, в профессиональный терминал сбора пространственных данных, способный всесторонне записывать трехмерную пространственную информацию.

Открытая модульная архитектура камеры разработана с учетом двух практических соображений.

Во-первых, в секторе геодезического и картографического оборудования сложно самостоятельно разработать датчик панорамного изображения, который сочетал бы в себе низкую стоимость и превосходное качество изображения.

Во-вторых, продукты для камер обзора 360° имеют относительно короткий производственный цикл и быстро развиваются. Модульная архитектура совместимости позволяет основному блоку TourPop поддерживать широкий спектр моделей камер. Когда пользователи обновляют свои камеры или на рынке появляются новые поколения камер 360°, систему TourPop можно продолжать использовать без замены всей системы сбора данных.

TourPop может генерировать ряд продуктов пространственных данных:

• Раскрашенные облака точек:С настоящим физическим масштабом, позволяющим измерять расстояние, высоту, площадь и другие пространственные измерения.
• 3DGS-модели:Обеспечение фотореалистичного визуального качества с поддержкой свободного исследования точек обзора и навигации на основе траектории.
• Панорамные изображения с тегами позы:Панорамы можно просматривать и перемещаться в пространстве, при этом каждое изображение содержит свое точное положение в окружающей среде.
• Сетчатые модели:Создано на основе изображений и/или облаков точек с использованием стороннего программного обеспечения для визуализации, редактирования и рендеринга.
• BIM-модели:Дальнейшая разработка с использованием стороннего программного обеспечения для доставки инженерно-ориентированной информации.

Примечание:Mesh- и BIM-модели требуют дополнительной обработки с использованием профессионального стороннего программного обеспечения.

1. Пользователи, которые уже владеют оборудованием для получения изображений 360° и регулярно выполняют 3DGS-реконструкцию или крупномасштабную пространственную оцифровку.
2. Приложения, связанные с пространственной документацией внутри и снаружи помещений, цифровыми презентациями в области культуры и туризма, а также быстрой 3D-реконструкцией реальной среды.
3. Сценарии, которые требуют общего представления пространственных размеров, но не имеют строгих требований к точности съемки на уровне миллиметра, включая быструю 3D-реконструкцию сцен дорожно-транспортных происшествий, исследования лесных и ландшафтных ресурсов и аналогичные приложения.

Проекты точной съемки и картографирования, требующиеточность измерения на уровне миллиметра.

TourPop спроектирован какИнструмент для быстрого получения реальных пространственных данных на уровне сантиметра. Он не предназначен для замены высокоточных геодезических инструментов, таких как тахеометры или лазерные 3D-сканеры профессионального уровня.