近年、Insta360やDJI Osmoなどのコンシューマー向け360°カメラを用いた3D再構成は、一部の研究室による実験の域をはるかに超えたものとなっています。
世界中の数多くの技術的実践において、そのワークフローは驚くほど類似しています。オペレーターが360°カメラを持って現場を歩き回りパノラマ画像を撮影し、正距円筒図法(Equirectangular)形式でエクスポートして複数の中心投影画像へと変換します。処理された画像はCOLMAPに入力され、SfM(Structure-from-Motion)を用いてカメラポーズが推定されます。得られたデータはnerfstudioやgsplatなどのオープンソースフレームワークで処理され、3D Gaussian Splatting(3DGS)モデルがトレーニングされます。テクスチャが豊富で照明が安定した小規模な環境では、生成されるモデルは優れた視覚的品質を実現できます。
さらに高度な技術的アプローチも存在します。例えば、生のデュアル魚眼フレームを直接入力として使用するワークフローや、gsplat360やPFGS360などの専用パノラマラスタライズフレームワークを利用してキューブマップ変換を不要にするアプローチなどがあります。これらの技術的アプローチは、非常に活発なオープンソースコミュニティに支えられて進化を続けています。
結論は明白です。コンシューマー向け360°カメラでも3DGSモデルを生成することは十分に可能です。
では、一体どこに限界があるのでしょうか?
上記の3D再構成ワークフローを、狭い屋内の一室からフロア全体、屋外の街路、広大な森林地帯などのより大規模な環境へと拡張した場合、核心となる課題は常に1つの重要な段階に行き着きます。それは、カメラポーズ推定。
純粋な視覚ベースのSfMには、避けられないいくつかの限界があります:
さらに、もうひとつの現実的な課題もあります:広範囲で収集したデータが処理に失敗した場合、現地での再調査に多大なコストがかかるという点です。 多くのワークフローでは、撮影した画像がモデルのトレーニングに適しているかどうかをオペレーターが現場で即座に判断できません。ワークステーションに戻ってCOLMAPのワークフローを最初から最後まで実行して初めて、データセットの一部が使用できないことに気づくケースが少なくありません。
コンシューマー向け360°カメラはすでに優れた撮影性能を備えており、主流のパノラマカメラはコストと画質の面で、自社開発の測量用カメラの多くを凌駕しています。
ソリューション全体の弱点は撮影ハードウェアそのものではなく、現実世界の空間計測を支えられる安定したポーズ推定システムの欠如にあるのです。
テクスチャの乏しい環境での失敗、低照度下での品質低下、長距離軌道でのドリフト、真の測定スケールの欠如といった、純粋な視覚ベースのSfM再構成における根本的な限界に対処するため、TourPopは新たなソリューションを提供します。
ハンドヘルドLiDAR SLAMスキャンデバイスであるTourPopは、毎秒48,000点のポイントレートを誇るLiDARセンサー、一体型電源ハンドル、制御ユニット、データストレージシステムを備えています。本デバイスにはパノラマ撮影モジュールは内蔵されていません。その代わりに、標準化されたユニバーサルマウントインターフェースを備え、幅広いサードパーティ製360°カメラに対応しているため、ユーザーは既存の撮影機材を引き続き活用できます。
2つのセンシングシステムは明確に役割分担され、連携して機能します:
LiDAR点群を使用してデバイスの移動軌跡を計算するため、TourPopはポーズ推定を画像の特徴点マッチングに依存しません。森林や積雪地帯などのテクスチャが乏しい環境や、駐車場や夜間などの暗所環境でも安定した測位を維持できます。顕著な累積ドリフトを起こすことなく、長距離の連続データ取得が可能です。
また、LiDARの観測データによってモデルに真の物理スケールが付与され、空間寸法が実環境と正確に一致することが保証されます。ユーザーは、取得したシーン内で距離、幅、高さ、その他の空間寸法を直接計測できます。
3DGSのレンダリング品質は、元画像の品質に大きく依存します。成熟した市販の360°カメラと組み合わせることで、TourPopは導入コスト、撮影性能、ハードウェアの柔軟性の面で、オールインワン型の空間カメラに対して大きな優位性をもたらします。
TourPopのソフトウェアは、ハイブリッド3DGSトレーニングアーキテクチャを統合しています。SfMベースのポーズ推定のみに頼るのではなく、LiDAR点群を主要な空間基準として使用し、画像ベースのSfMを画像選択およびフィルタリングの補助メカニズムとして活用。
その主な利点は以下の通りです:
「空間カメラ」という概念が業界内で台頭しており、明確に定義された技術的価値を提示しています。その中核となるコンセプトは、単に360°のパノラマ画像を撮影するだけでなく、正確な空間ポーズと測定可能な実世界のスケールを伴った完全な空間データを記録する。
TourPopはこの技術的方針を踏襲しつつ、差別化された実装を採用しています:
LiDAR SLAMを中核ポーズ推定技術として組み合わせた、オープンな360°カメラアーキテクチャ。
分かりやすく言えば、TourPopはパノラマ画像の撮影しかできなかったコンシューマー向けカメラを、3次元空間情報を包括的に記録できるプロフェッショナルな空間データ取得端末へとアップグレードします。
このオープンでモジュール式のカメラアーキテクチャは、2つの実用的な考慮事項に基づいて設計されています。
第1に、測量・マッピング用ハードウェアの分野において、低コストと高画質を両立させたパノラマ撮影センサーを独自開発することは困難であるためです。
第2に、360°カメラ製品は製品サイクルが比較的短く、急速に進化するためです。モジュール式の互換アーキテクチャにより、TourPop本体は幅広いカメラモデルをサポートできます。ユーザーがカメラをアップグレードしたり、新世代の360°カメラが登場したりしても、取得システム全体を買い換えることなくTourPopシステムを継続して利用できます。
TourPopは、さまざまな空間データ成果物を生成できます:
注: メッシュモデルおよびBIMモデルの作成には、専門のサードパーティ製ソフトウェアによる追加の処理が必要です。
以下を必要とする精密な測量・マッピングプロジェクト:ミリメートル精度の測定。
TourPopは、センチメートル精度の迅速な実空間データ取得ツールとして設計されています。トータルステーションやプロフェッショナルグレードの3Dレーザースキャナーなどの高精度測量機器を代替するものではありません。
近年、Insta360やDJI Osmoなどのコンシューマー向け360°カメラを用いた3D再構成は、一部の研究室による実験の域をはるかに超えたものとなっています。
世界中の数多くの技術的実践において、そのワークフローは驚くほど類似しています。オペレーターが360°カメラを持って現場を歩き回りパノラマ画像を撮影し、正距円筒図法(Equirectangular)形式でエクスポートして複数の中心投影画像へと変換します。処理された画像はCOLMAPに入力され、SfM(Structure-from-Motion)を用いてカメラポーズが推定されます。得られたデータはnerfstudioやgsplatなどのオープンソースフレームワークで処理され、3D Gaussian Splatting(3DGS)モデルがトレーニングされます。テクスチャが豊富で照明が安定した小規模な環境では、生成されるモデルは優れた視覚的品質を実現できます。
さらに高度な技術的アプローチも存在します。例えば、生のデュアル魚眼フレームを直接入力として使用するワークフローや、gsplat360やPFGS360などの専用パノラマラスタライズフレームワークを利用してキューブマップ変換を不要にするアプローチなどがあります。これらの技術的アプローチは、非常に活発なオープンソースコミュニティに支えられて進化を続けています。
結論は明白です。コンシューマー向け360°カメラでも3DGSモデルを生成することは十分に可能です。
では、一体どこに限界があるのでしょうか?
上記の3D再構成ワークフローを、狭い屋内の一室からフロア全体、屋外の街路、広大な森林地帯などのより大規模な環境へと拡張した場合、核心となる課題は常に1つの重要な段階に行き着きます。それは、カメラポーズ推定。
純粋な視覚ベースのSfMには、避けられないいくつかの限界があります:
さらに、もうひとつの現実的な課題もあります:広範囲で収集したデータが処理に失敗した場合、現地での再調査に多大なコストがかかるという点です。 多くのワークフローでは、撮影した画像がモデルのトレーニングに適しているかどうかをオペレーターが現場で即座に判断できません。ワークステーションに戻ってCOLMAPのワークフローを最初から最後まで実行して初めて、データセットの一部が使用できないことに気づくケースが少なくありません。
コンシューマー向け360°カメラはすでに優れた撮影性能を備えており、主流のパノラマカメラはコストと画質の面で、自社開発の測量用カメラの多くを凌駕しています。
ソリューション全体の弱点は撮影ハードウェアそのものではなく、現実世界の空間計測を支えられる安定したポーズ推定システムの欠如にあるのです。
テクスチャの乏しい環境での失敗、低照度下での品質低下、長距離軌道でのドリフト、真の測定スケールの欠如といった、純粋な視覚ベースのSfM再構成における根本的な限界に対処するため、TourPopは新たなソリューションを提供します。
ハンドヘルドLiDAR SLAMスキャンデバイスであるTourPopは、毎秒48,000点のポイントレートを誇るLiDARセンサー、一体型電源ハンドル、制御ユニット、データストレージシステムを備えています。本デバイスにはパノラマ撮影モジュールは内蔵されていません。その代わりに、標準化されたユニバーサルマウントインターフェースを備え、幅広いサードパーティ製360°カメラに対応しているため、ユーザーは既存の撮影機材を引き続き活用できます。
2つのセンシングシステムは明確に役割分担され、連携して機能します:
LiDAR点群を使用してデバイスの移動軌跡を計算するため、TourPopはポーズ推定を画像の特徴点マッチングに依存しません。森林や積雪地帯などのテクスチャが乏しい環境や、駐車場や夜間などの暗所環境でも安定した測位を維持できます。顕著な累積ドリフトを起こすことなく、長距離の連続データ取得が可能です。
また、LiDARの観測データによってモデルに真の物理スケールが付与され、空間寸法が実環境と正確に一致することが保証されます。ユーザーは、取得したシーン内で距離、幅、高さ、その他の空間寸法を直接計測できます。
3DGSのレンダリング品質は、元画像の品質に大きく依存します。成熟した市販の360°カメラと組み合わせることで、TourPopは導入コスト、撮影性能、ハードウェアの柔軟性の面で、オールインワン型の空間カメラに対して大きな優位性をもたらします。
TourPopのソフトウェアは、ハイブリッド3DGSトレーニングアーキテクチャを統合しています。SfMベースのポーズ推定のみに頼るのではなく、LiDAR点群を主要な空間基準として使用し、画像ベースのSfMを画像選択およびフィルタリングの補助メカニズムとして活用。
その主な利点は以下の通りです:
「空間カメラ」という概念が業界内で台頭しており、明確に定義された技術的価値を提示しています。その中核となるコンセプトは、単に360°のパノラマ画像を撮影するだけでなく、正確な空間ポーズと測定可能な実世界のスケールを伴った完全な空間データを記録する。
TourPopはこの技術的方針を踏襲しつつ、差別化された実装を採用しています:
LiDAR SLAMを中核ポーズ推定技術として組み合わせた、オープンな360°カメラアーキテクチャ。
分かりやすく言えば、TourPopはパノラマ画像の撮影しかできなかったコンシューマー向けカメラを、3次元空間情報を包括的に記録できるプロフェッショナルな空間データ取得端末へとアップグレードします。
このオープンでモジュール式のカメラアーキテクチャは、2つの実用的な考慮事項に基づいて設計されています。
第1に、測量・マッピング用ハードウェアの分野において、低コストと高画質を両立させたパノラマ撮影センサーを独自開発することは困難であるためです。
第2に、360°カメラ製品は製品サイクルが比較的短く、急速に進化するためです。モジュール式の互換アーキテクチャにより、TourPop本体は幅広いカメラモデルをサポートできます。ユーザーがカメラをアップグレードしたり、新世代の360°カメラが登場したりしても、取得システム全体を買い換えることなくTourPopシステムを継続して利用できます。
TourPopは、さまざまな空間データ成果物を生成できます:
注: メッシュモデルおよびBIMモデルの作成には、専門のサードパーティ製ソフトウェアによる追加の処理が必要です。
以下を必要とする精密な測量・マッピングプロジェクト:ミリメートル精度の測定。
TourPopは、センチメートル精度の迅速な実空間データ取得ツールとして設計されています。トータルステーションやプロフェッショナルグレードの3Dレーザースキャナーなどの高精度測量機器を代替するものではありません。