در سال‌های اخیر، استفاده از دوربین‌های ۳۶۰° تجاری، مانند Insta360 و DJI Osmo، برای بازسازی سه‌بعدی به مراتب فراتر از یک آزمایش محدود آزمایشگاهی رفته است.

در سراسر فعالیت‌های فنی متعدد در سراسر جهان، جریان کاری به‌طور چشمگیری مشابه شده است: اپراتور یک دوربین ۳۶۰° را در محیط حرکت می‌دهد تا تصاویر پانوراما ثبت کند، تصاویر را در فرمت Equirectangular خروجی می‌گیرد و سپس آن‌ها را به چندین نمای پرسپکتیو تبدیل می‌کند. تصاویر پردازش‌شده به COLMAP داده می‌شوند، جایی که وضعیت قرارگیری (Pose) دوربین با استفاده از ساختار بر پایه حرکت (SfM) تخمین زده می‌شود. سپس داده‌های به‌دست‌آمده با استفاده از چارچوب‌های متن‌باز مانند nerfstudio و gsplat برای آموزش مدل ۳D Gaussian Splatting (3DGS) پردازش می‌شوند. در محیط‌های کوچک با بافت‌های غنی و نورپردازی یکنواخت، مدل‌های حاصل می‌توانند کیفیت بصری فوق‌العاده‌ای ارائه دهند.

همچنین رویکردهای فنی پیشرفته‌تری نیز وجود دارد. برای مثال، برخی از جریان‌های کاری از فریم‌های خام دوچشمی فیش‌آی مستقیماً به‌عنوان ورودی استفاده می‌کنند، در حالی که برخی دیگر به چارچوب‌های تخصصی شطرنجی‌سازی پانوراما مانند gsplat360 و PFGS360 تکیه می‌کنند و نیاز به تبدیل cube-map را برطرف می‌سازند. این رویکردهای فنی با پشتیبانی جوامع متن‌باز بسیار فعال، همچنان به تکامل خود ادامه می‌دهند.

نتیجه‌گیری روشن است: دوربین‌های ۳۶۰° مصرف‌کننده توانایی تولید مدل‌های 3DGS را دارند.

پس محدودیت کجاست؟

هنگامی که جریان کاری بازسازی سه‌بعدی فوق از اتاق‌های داخلی کوچک به محیط‌های بزرگ‌تر مانند کل طبقات، خیابان‌های بیرونی و مناطق وسیع جنگلی تعمیم می‌یابد، چالش اصلی همواره به یک مرحله حیاتی محدود می‌شود: تخمین وضعیت قرارگیری (Pose) دوربین هستند.

روش SfM صرفاً مبتنی بر بینایی دارای چندین محدودیت غیرقابل اجتناب است:

• وابستگی به بافت: در محیط‌هایی با بافت ضعیف مانند جنگل‌ها، زمین‌های پوشیده از برف، دیوارهای بزرگ سفید و نماهای شیشه‌ای، تطبیق نقاط ویژگی می‌تواند دشوار باشد. وضعیت‌های دوربین ممکن است دچار انحراف (Drift) شوند یا اصلاً محاسبه نشوند.
• وابستگی به نور: در پارکینگ‌های زیرزمینی، فضاهای داخلی با نور ضعیف یا محیط‌های شبانه، کاهش نسبت سیگنال به نویز تصویر می‌تواند مستقیماً کیفیت بازسازی را کاهش دهد.
• انحراف در طول مسیرهای طولانی: هرچه مسیر ثبت طولانی‌تر باشد و بستن حلقه‌های بیشتری (Loop Closures) درگیر باشد، خطاهای انباشته‌شده چشمگیرتر می‌شوند. در نهایت، ممکن است مدل نتواند به‌درستی تراز یا متصل شود.
• نبود مقیاس فیزیکی واقعی: روش SfM صحنه را تنها تا حد یک تبدیل تشابه بازسازی می‌کند. مدل حاصل ذاتاً نمی‌داند طول یک متر چقدر است. بنابراین، برای اندازه‌گیری‌های ابعادی به مراجع مقیاس اضافی، اشیاء کالیبراسیون یا نقاط کنترل نیاز است.

یک چالش عملی دیگر نیز وجود دارد: هنگامی که داده‌های جمع‌آوری‌شده در یک منطقه بزرگ با شکست مواجه می‌شوند، تکرار نقشه‌برداری میدانی می‌تواند پرهزینه باشد. در بسیاری از جریان‌های کاری، اپراتورها نمی‌توانند فوراً تشخیص دهند که آیا تصاویر ثبت‌شده برای آموزش مدل مناسب هستند یا خیر. آن‌ها اغلب مجبورند به ایستگاه کاری برگردند و جریان کاری کامل COLMAP را اجرا کنند تا متوجه شوند بخش‌های خاصی از مجموعه داده قابل استفاده نیست.

دوربین‌های ۳۶۰° مصرف‌کننده در حال حاضر عملکرد تصویربرداری عالی ارائه می‌دهند و دوربین‌های پانورامای متداول می‌توانند از نظر هزینه و کیفیت تصویر، از بسیاری از دوربین‌های نقشه‌برداری توسعه‌یافته سفارشی عملکرد بهتری داشته باشند.

نقطه ضعف کل راه‌حل، خود سخت‌افزار تصویربرداری نیست، بلکه نبود یک سیستم تخمین وضعیت پایدار است که قادر به پشتیبانی از اندازه‌گیری فضایی در دنیای واقعی باشد.

برای رفع محدودیت‌های اساسی بازسازی صرفاً بصری SfM—از جمله شکست در محیط‌های با بافت ضعیف، افت کیفیت در شرایط کم‌نور، انحراف در مسیرهای طولانی و عدم وجود مقیاس اندازه‌گیری واقعی—دستگاه TourPop راه‌حل جدیدی ارائه می‌دهد.

به‌عنوان یک دستگاه اسکن دستی LiDAR SLAM، تورپاپ مجهز به یک حسگر لیدار با نرخ برداشت ۴۸,۰۰۰ نقطه در ثانیه به همراه دسته تغذیه یکپارچه، واحد کنترل و سیستم ذخیره‌سازی داده است. این دستگاه شامل ماژول تصویربرداری پانورامای داخلی نیست. در عوض، دارای یک رابط نصب استاندارد و جهانی است که از طیف گسترده‌ای از دوربین‌های ۳۶۰° متفرقه پشتیبانی می‌کند و به کاربران امکان می‌دهد به بهره‌گیری از تجهیزات تصویربرداری موجود خود ادامه دهند.

این دو سیستم حسگری نقش‌های کاملاً مشخصی دارند و با هم کار می‌کنند:

با استفاده از ابرهای نقطه لیدار برای محاسبه مسیر دستگاه، TourPop برای تخمین وضعیت به تطبیق ویژگی‌های تصویر متکی نیست. این دستگاه می‌تواند موقعیت‌یابی پایدار را در محیط‌های با بافت ضعیف مانند جنگل‌ها و مناطق پوشیده از برف، و همچنین در محیط‌های کم‌نور مانند پارکینگ‌ها و صحنه‌های شبانه حفظ کند. ثبت مداوم در مسافت‌های طولانی بدون انحراف تجمعی قابل توجه امکان‌پذیر است.

مشاهدات لیدار همچنین یک مقیاس فیزیکی واقعی برای مدل فراهم می‌کند و تضمین می‌کند که ابعاد فضایی مستقیماً با محیط دنیای واقعی مطابقت دارند. کاربران می‌توانند اندازه‌گیری‌های فاصله‌ها، عرض‌ها، ارتفاع‌ها و سایر ابعاد فضایی را مستقیماً در صحنه ثبت‌شده انجام دهند.

کیفیت رندرینگ 3DGS به‌شدت به کیفیت تصاویر اصلی وابسته است. هنگامی که TourPop با یک دوربین ۳۶۰° تجاری بالغ جفت می‌شود، از نظر هزینه تهیه، عملکرد تصویربرداری و انعطاف‌پذیری سخت‌افزاری، مزایای قابل توجهی نسبت به دوربین‌های فضایی یکپارچه (All-in-one) ارائه می‌دهد.

نرم‌افزار TourPop یک معماری آموزشی ترکیبی 3DGS را ادغام می‌کند. به جای تکیه صرف بر تخمین وضعیت مبتنی بر SfM، از ابرهای نقطه لیدار به‌عنوان مرجع فضایی اصلی استفاده می‌کند و SfM مبتنی بر تصویر به‌عنوان یک مکانیزم کمکی برای انتخاب و فیلتر کردن تصاویر عمل می‌کند هستند.

مزایای کلیدی آن عبارتند از:

• توزیع یکنواخت‌تر و ساختاریافته‌تر نقاط گاوسی، که نویز پراکنده ناشی از نقاط شناور را که معمولاً در راه‌حل‌های صرفاً مبتنی بر بینایی یافت می‌شود، به‌طور چشمگیری کاهش می‌دهد.
• بازسازی سه‌بعدی پایدار در محیط‌های پیچیده با بافت‌های ضعیف یا روشنایی کم، که تأثیر شرایط محیطی بر فرآیند مدل‌سازی را کاهش می‌دهد.

مفهوم «دوربین فضایی» در این صنعت پدیدار شده است و نشان‌دهنده یک ارزش پیشنهادی فناورانه با تعریفی کاملاً مشخص است. مفهوم اصلی آن این است که دستگاه صرفاً تصاویر پانورامای ۳۶۰° ثبت نمی‌کند. در عوض، داده‌های فضایی کامل را همراه با وضعیت‌های فضایی دقیق و مقیاس واقعی قابل اندازه‌گیری هستند.

دستگاه TourPop همین جهت‌گیری فناورانه را با اتخاذ یک پیاده‌سازی متمایز دنبال می‌کند:

یک معماری باز دوربین ۳۶۰° همراه با LiDAR SLAM به‌عنوان فناوری اصلی تخمین وضعیت.

• کاربران می‌توانند دوربین‌های ۳۶۰° موجود خود را مستقیماً روی TourPop نصب کرده و از آن‌ها به‌عنوان واحد تصویربرداری بصری استفاده کنند.
• لیدار یک چارچوب فضایی کامل می‌سازد و در عین حال موقعیت، جهت‌گیری، مسافت پیموده‌شده دستگاه و ابعاد واقعی محیط را به‌طور دقیق تعیین می‌کند.
• پس از ثبت، خروجی صرفاً مجموعه‌ای از تصاویر پانوراما نیست، بلکه توالی‌ای از پانوراماها با اطلاعات دقیق وضعیت قرارگیری به همراه ابرهای نقطه لیدار قابل اندازه‌گیری و مدل‌های 3D Gaussian Splatting است.

به زبان ساده، TourPop یک دوربین معمولی را که فقط می‌تواند تصاویر پانوراما بگیرد، به یک پایانه حرفه‌ای جمع‌آوری داده‌های فضایی تبدیل می‌کند که قادر است اطلاعات سه‌بعدی فضا را به‌طور جامع ثبت کند.

معماری باز و ماژولار دوربین بر اساس دو ملاحظه عملی طراحی شده است.

اولاً، در بخش سخت‌افزارهای نقشه‌برداری، توسعه مستقل یک حسگر تصویربرداری پانوراما که هم کم‌هزینه باشد و هم کیفیت تصویر عالی ارائه دهد، دشوار است.

ثانیاً، محصولات دوربین ۳۶۰° چرخه‌های عمر نسبتاً کوتاهی دارند و به‌سرعت تکامل می‌یابند. یک معماری سازگاری ماژولار به واحد اصلی TourPop اجازه می‌دهد از طیف گسترده‌ای از مدل‌های دوربین پشتیبانی کند. هنگامی که کاربران دوربین‌های خود را ارتقا می‌دهند یا نسل‌های جدیدی از دوربین‌های ۳۶۰° وارد بازار می‌شوند، سیستم TourPop می‌تواند بدون نیاز به تعویض کل سیستم برداشت، همچنان مورد استفاده قرار گیرد.

دستگاه TourPop می‌تواند مجموعه‌ای از محصولات داده‌های فضایی را تولید کند:

• ابرهای نقطه رنگی: دارای مقیاس فیزیکی واقعی، که اندازه‌گیری فاصله، ارتفاع، مساحت و سایر ابعاد فضایی را امکان‌پذیر می‌سازد.
• مدل‌های 3DGS: ارائه کیفیت بصری فوتورئالیستی، با پشتیبانی از کاوش با دید آزاد و ناوبری مبتنی بر مسیر.
• تصاویر پانورامای دارای برچسب وضعیت (Pose): پانوراماها را می‌توان به‌صورت فضایی مشاهده و پیمایش کرد، به‌طوری که هر تصویر حاوی موقعیت دقیق خود در محیط است.
• مدل‌های مش (Mesh): تولیدشده از تصاویر و/یا ابرهای نقطه با استفاده از نرم‌افزارهای متفرقه برای مصورسازی، ویرایش و رندرینگ.
• مدل‌های بیم (BIM): توسعه‌یافته بیشتر با استفاده از نرم‌افزارهای متفرقه برای تحویل اطلاعات مبتنی بر مهندسی.

توجه: مدل‌های Mesh و BIM نیازمند پردازش تکمیلی با استفاده از نرم‌افزارهای تخصصی شخص ثالث هستند.

1. کاربرانی که در حال حاضر تجهیزات تصویربرداری ۳۶۰° دارند و مرتباً بازسازی 3DGS یا دیجیتالی‌سازی فضایی در مقیاس بزرگ انجام می‌دهند.
2. کاربردهای مربوط به مستندسازی فضاهای داخلی و خارجی، ارائه دیجیتال فرهنگی و گردشگری، و بازسازی سریع سه‌بعدی محیط‌های دنیای واقعی.
3. سناریوهایی که نیازمند نمایش کلی ابعاد فضایی هستند اما الزامات سخت‌گیرانه دقت نقشه‌برداری در سطح میلی‌متری ندارند، از جمله بازسازی سریع سه‌بعدی صحنه‌های تصادفات رانندگی، بررسی منابع جنگلی و طبیعی، و کاربردهای مشابه.

پروژه‌های دقیق نقشه‌برداری که نیازمند دقت اندازه‌گیری در سطح میلی‌متری هستند.

دستگاه TourPop به‌عنوان یک ابزار سریع برداشت فضایی دنیای واقعی در سطح سانتی‌متری طراحی شده است. این دستگاه به منظور جایگزینی ابزارهای نقشه‌برداری با دقت بالا مانند توتال استیشن‌ها یا اسکنرهای لیزری سه‌بعدی حرفه‌ای در نظر گرفته نشده است.