ในช่วงหลายปีที่ผ่านมา การใช้กล้อง 360 องศาของผู้บริโภค เช่น Insta360 และ DJI Osmo สําหรับการสร้างใหม่ 3 มิติ ได้กลายเป็นมากกว่าการทดลองในห้องปฏิบัติการ

ผ่านการปฏิบัติงานทางเทคนิคมากมายทั่วโลก กระแสการทํางานได้กลายเป็นคล้ายกันอย่างน่าทึ่ง: ผู้ประกอบการแบกกล้อง 360 องศารอบสถานที่เกิดเหตุเพื่อจับภาพพานาโรมส่งออกภาพในรูปแบบ Equirectangularภาพที่ผ่านการประมวลผลถูกนําเข้าสู่ COLMAP โดยการประเมินรูปภาพของกล้องโดยใช้ Structure-from-Motion (SfM)ข้อมูลที่เกิดขึ้นจากนั้นจะถูกประมวลผลโดยใช้กรอบงานแหล่งเปิด เช่น nerfstudio และ gsplat เพื่อฝึกแบบ 3D Gaussian Splatting (3DGS)ในสภาพแวดล้อมขนาดเล็กที่มีลักษณะเนื้อหาที่รวยและแสงสว่างที่สม่ําเสมอ รูปแบบที่เกิดขึ้นสามารถให้คุณภาพภาพภาพที่ดีเยี่ยม

ยังมีแนวทางทางเทคนิคที่ก้าวหน้ากว่า เช่น กระบวนการทํางานบางส่วนใช้กรอบตาปลาสองแบบ raw โดยตรงเป็นข้อมูลในขณะที่คนอื่นๆพึ่งพากับโครงสร้าง rasterization panoramic ที่เชี่ยวชาญ เช่น gsplat360 และ PFGS360, ยกเลิกความจําเป็นของการแปลงแผนที่ลูกกลอง แนวทางทางเทคนิคเหล่านี้ยังคงพัฒนาต่อไป, โดยได้รับการสนับสนุนจากชุมชนแหล่งเปิดที่มีความเคลื่อนไหวสูง

ข้อสรุปชัดเจนคือ กล้อง 360 ° ของผู้บริโภคสามารถผลิตรูปแบบ 3DGS ได้

แล้วข้อจํากัดอยู่ที่ไหน?

เมื่อกระบวนการสร้างใหม่แบบ 3 มิติข้างต้นขยายจากห้องเล็กๆในบ้าน ไปยังสภาพแวดล้อมที่ใหญ่กว่า เช่น ชั้นทั้งหลัง ถนนกลางแจ้ง และพื้นที่ป่าขนาดใหญ่ความท้าทายหลักที่เกิดขึ้นอย่างต่อเนื่อง:การประเมินรูปภาพ.

SfM ที่ใช้การมองเห็นโดยบริสุทธิ์ มีข้อจํากัดหลายอย่างที่หลีกเลี่ยงไม่ได้:

• ความขึ้นอยู่กับเนื้อเยื่อ:ในสภาพแวดล้อมที่มีเนื้อเยื่ออ่อนแอ เช่น ป่า, พื้นที่หิมะครอบคลุม, ผนังสีขาวใหญ่, และผนังผ้าม่านแก้ว, จุดลักษณะอาจยากที่จะตรงกันการวางภาพถ่ายอาจเคลื่อนไหว หรือไม่สามารถคํานวณได้เลย.
• ความขึ้นอยู่กับแสง:ในโรงจอดรถใต้ดิน พื้นที่ภายในที่สว่างไม่ดี หรือสภาพแวดล้อมกลางคืน อัตราส่วนสัญญาณ-เสียงภาพที่ลดลงสามารถทําให้คุณภาพการสร้างใหม่เสื่อมลงโดยตรง
• พลอยไปตามเส้นทางที่ยาวนานยิ่งเส้นทางการสกัดและการปิดวงกลมที่เกี่ยวข้องมากขึ้น ความผิดพลาดสะสมที่สําคัญยิ่งขึ้น ในที่สุด รูปแบบอาจไม่ตรงกันหรือเย็บถูกต้อง
• ไม่มีขนาดทางกายภาพจริงSfM จะสร้างฉากใหม่ได้เพียงจนถึงการแปลงความคล้ายคลึง ตัวแบบที่เกิดขึ้นไม่ได้รู้ตัวว่าหนึ่งเมตรยาวเท่าไหร่หรือจุดควบคุมจึงจําเป็นสําหรับการวัดขนาด.

มีปัญหาทางการปฏิบัติอีกอย่างเมื่อข้อมูลที่รวบรวมในพื้นที่ใหญ่ล้มเหลว การซ้ําการสํารวจสนามอาจมีค่าใช้จ่ายสูงในหลายกระบวนการทํางาน ผู้ประกอบการไม่สามารถกําหนดได้ทันทีว่าภาพที่จับได้เหมาะสําหรับการฝึกแบบหรือไม่พวกเขามักต้องกลับไปยังสถานีทํางานและทํางานคลื่นทํางาน COLMAP ทั้งหมด ก่อนที่จะค้นพบว่าส่วนบางส่วนของชุดข้อมูลไม่สามารถใช้.

กล้องถ่ายภาพ 360 องศาของผู้บริโภคได้ให้ผลการถ่ายภาพที่ดีมากแล้ว และกล้องถ่ายภาพพานารามาหลัก ๆ สามารถทําผลงานได้ดีกว่ากล้องถ่ายภาพการสํารวจที่พัฒนาเองในแง่ของค่าใช้จ่ายและคุณภาพภาพภาพ

ความอ่อนแอของคําตอบโดยรวมไม่ใช่ฮาร์ดแวร์การถ่ายภาพเอง แต่การขาดระบบประเมินรูปร่างที่มั่นคง ที่สามารถรองรับการวัดพื้นที่ในโลกจริง

เพื่อแก้ไขข้อจํากัดพื้นฐานของการสร้าง SfM แบบมองเห็นเพียงอย่างเดียว รวมถึงความล้มเหลวในสภาพแวดล้อมที่มีเนื้อเยื่อที่อ่อนแอ, การทําลายในสภาพแสงสว่างต่ํา, การเคลื่อนไหวในเส้นทางยาวและการขาดปริมาตรการที่แท้จริง TourPop ให้ทางแก้ใหม่.

ในฐานะเครื่องสแกน LiDAR SLAM มือถือ TourPop มีเซ็นเซอร์ LiDAR ที่มีอัตราการแต้ม 48,000 จุดต่อวินาที พร้อมกับมือเชื่อมพลังงานที่บูรณาการและระบบเก็บข้อมูลอุปกรณ์นี้ไม่รวมโหลดภาพพานาโรมะที่ติดตั้งใน แต่มีอินเตอร์เฟซการติดตั้งทั่วไปมาตรฐานที่รองรับกล้อง 360 องศาจากฝ่ายที่สามทําให้ผู้ใช้สามารถใช้อุปกรณ์ถ่ายภาพที่มีอยู่ต่อไป.

ระบบตรวจจับทั้งสองระบบ มีบทบาทที่กําหนดไว้อย่างชัดเจน และทํางานร่วมกัน

โดยใช้เมฆจุด LiDAR ในการคํานวณเส้นทางของอุปกรณ์ TourPop ไม่พึ่งพาการสอดคล้องภาพ-ลักษณะในการประเมินโพสมันสามารถรักษาตําแหน่งที่มั่นคงในสภาพแวดล้อมที่อ่อนแอ เช่นป่าและพื้นที่ที่หิมะ, รวมทั้งในสภาพแวดล้อมที่มีแสงสว่างต่ํา เช่น การจอดรถและฉากกลางคืน การสกัดข้อมูลระยะไกลต่อเนื่องสามารถดําเนินการได้โดยไม่ต้องมีการเคลื่อนไหวสะสมที่สําคัญ

การสังเกต LiDAR ยังทําให้รุ่นมีขนาดทางกายภาพที่แท้จริง ทําให้แน่ใจว่ามิติพื้นที่ตรงกับสภาพแวดล้อมของโลกจริงผู้ใช้สามารถวัดระยะทางในสถานที่, ความกว้าง ความสูง และมิติพื้นที่อื่น ๆ ภายในฉากที่จับได้โดยตรง

คุณภาพการเรนเดอร์ของ 3DGS ขึ้นอยู่กับคุณภาพของภาพเดิมTourPop ให้ข้อดีที่สําคัญเหนือกล้องพื้นที่ทั้งหมดในหนึ่ง ในแง่ของค่าซื้อ, การแสดงภาพและความยืดหยุ่นของฮาร์ดแวร์

โปรแกรมของ TourPop รวมสถาปัตยกรรมการฝึกอบรม 3DGS แบบไฮบริด แทนที่จะพึ่งพากับการประเมินโพสแบบ SfM เท่านั้นเมฆจุด LiDAR เป็นจุดอ้างอิงพื้นที่หลัก โดยใช้ SfM ที่ใช้ภาพเป็นกลไกช่วยในการเลือกและกรองภาพ.

ข้อดีหลัก ๆ ของมันประกอบด้วย:

• การกระจายจุด Gaussian ที่เรียบร้อยและมีโครงสร้างมากขึ้น ลดเสียงกระจายกระจายของจุดลอยที่พบได้ทั่วไปในคําตอบที่พึ่งพาการมองเห็น
• การสร้างใหม่แบบ 3 มิติที่มั่นคงในสภาพแวดล้อมที่ซับซ้อนที่มีเนื้อเยื่อที่อ่อนแอหรือแสงน้อย ลดผลกระทบของสภาพแวดล้อมต่อกระบวนการจําลอง

แนวคิดของ"กล้องในพื้นที่"ได้ปรากฏขึ้นภายในอุตสาหกรรม เป็นตัวแทนของข้อเสนอคุณค่าทางเทคโนโลยีที่กําหนดไว้อย่างชัดเจน แนวคิดหลักของอุปกรณ์นี้คืออุปกรณ์นี้ไม่เพียงแค่ถ่ายภาพพานาโรม่า 360 องศามันบันทึกข้อมูลพื้นที่ที่สมบูรณ์ พร้อมกับตําแหน่งพื้นที่ที่แม่นยําและขนาดที่สามารถวัดได้ในโลกจริง.

TourPop ติดตามทิศทางทางเทคโนโลยีเดียวกันในขณะที่ใช้การดําเนินการที่แตกต่างกัน

สถาปัตยกรรมกล้อง 360 องศาที่เปิดพร้อมกับ LiDAR SLAM เป็นเทคโนโลยีประเมินรูปร่างหลัก

• ผู้ใช้สามารถติดตั้งกล้อง 360 องศาที่มีอยู่โดยตรงบน TourPop และใช้มันเป็นหน่วยการถ่ายภาพทางสายตา
• LiDAR สร้างโครงสร้างพื้นที่ที่สมบูรณ์แบบ พร้อมการกําหนดตําแหน่งของอุปกรณ์ โดยแม่นยํา แนวโน้ม ระยะทางการเคลื่อนไหว และมิติของสิ่งแวดล้อมในโลกจริง
• หลังจากการเก็บภาพแล้ว ผลลัพธ์ไม่ได้เป็นแค่ภาพรวมของภาพพานาโรมะ แต่เป็นภาพพานาโรมะเรียงลําดับพร้อมด้วยเมฆจุด LiDAR ที่สามารถวัดได้ และรูปแบบ 3 มิติของ Gaussian Splatting.

พูดง่ายๆ TourPop upgrades a consumer-grade camera that can only capture panoramic imagery into a professional spatial data acquisition terminal capable of comprehensively recording three-dimensional spatial information.

สถาปัตยกรรมกล้องแบบเปิดและแบบโมดูลถูกออกแบบโดยใช้สองข้อพิจารณาทางปฏิบัติ

อันดับแรก ในส่วนของอุปกรณ์การวัดและการแผนที่ มันยากที่จะพัฒนาเซ็นเซอร์ภาพพานาโรมะ โดยอิสระ ที่รวมกันทั้งราคาถูกและคุณภาพภาพภาพภาพที่ดี

อันดับที่สอง ผลิตภัณฑ์กล้อง 360 องศามีวงจรผลิตภัณฑ์ที่ค่อนข้างสั้นและพัฒนาอย่างรวดเร็ว สถาปัตยกรรมความสอดคล้องแบบโมดูล ทําให้หน่วยหลัก TourPop สามารถรองรับรูปแบบกล้องหลายรูปแบบได้เมื่อผู้ใช้งานปรับปรุงกล้องของพวกเขาหรือรุ่นใหม่ของกล้อง 360 ° เข้าสู่ตลาด, ระบบ TourPop สามารถใช้ต่อไปได้ โดยไม่ต้องเปลี่ยนระบบการจัดซื้อทั้งหมด

TourPop สามารถสร้างผลิตภัณฑ์ข้อมูลพื้นที่ได้หลายประเภท:

• เมฆจุดสี:ด้วยขนาดทางกายภาพที่แท้จริง ทําให้สามารถวัดระยะทาง ความสูง พื้นที่ และมิติพื้นที่อื่นๆ ได้
• รูปแบบ 3DGS:ส่งผลให้มีภาพภาพที่มีคุณภาพจริงรูปแบบ พร้อมการสนับสนุนการสํารวจจุดมองแบบอิสระ และการนําทางที่พิจารณาตามเส้นทาง
• รูปภาพโป๊-แท็กพานาโรม่าปานโราม่าสามารถดูและนําทางได้ในพื้นที่ โดยภาพแต่ละภาพมีตําแหน่งที่แม่นยําของมันในสิ่งแวดล้อม
• รูปแบบ Meshสร้างจากภาพและ/หรือเมฆจุด โดยใช้โปรแกรมของฝ่ายที่สามสําหรับการจินตนาการ, การแก้ไขและการแสดง
• รูปแบบ BIM:พัฒนาต่อด้วยการใช้ซอฟต์แวร์ของผู้บริการที่มาจากฝ่ายที่ 3 สําหรับการจัดส่งข้อมูลที่มีแนวทางทางวิศวกรรม

หมายเหตุ:รูปแบบ Mesh และ BIM ต้องการการประมวลผลเพิ่มเติมโดยใช้โปรแกรมมืออาชีพจากฝ่ายที่สาม

1. ผู้ใช้ที่มีอุปกรณ์ถ่ายภาพ 360 องศาแล้ว และทําการสร้างใหม่ 3DGS หรือการดิจิตัลพื้นที่ขนาดใหญ่เป็นประจํา
2. แอพลิเคชั่นที่เกี่ยวข้องกับเอกสารพื้นที่ภายในและภายนอก, การนําเสนอดิจิตอลทางวัฒนธรรมและการท่องเที่ยว, และการสร้างใหม่ 3 มิติอย่างรวดเร็วของสภาพแวดล้อมในโลกจริง
3. สถานการณ์ที่ต้องการการแสดงขนาดพื้นที่ทั้งหมด แต่ไม่มีความต้องการความแม่นยําในการสํารวจระดับมิลลิเมตรที่เข้มงวดรวมถึงการสร้างใหม่ 3 มิติอย่างรวดเร็วของฉากอุบัติเหตุทางการจราจรการสํารวจทรัพยากรป่าไม้และภูมิทัศน์ และการใช้งานที่คล้ายกัน

โครงการสํารวจและแผนที่แม่นยําที่ต้องการความแม่นยําในการวัดระดับมิลลิเมตร.

TourPop ได้ถูกออกแบบเป็นเครื่องมือการสกัดพื้นที่ในโลกจริงอย่างรวดเร็ว ระดับเซนติเมตรมันไม่ได้ตั้งใจที่จะแทนเครื่องมือการสํารวจความละเอียดสูง เช่น สถานที่รวมหรือเครื่องสแกนเลเซอร์ 3D ระดับมืออาชีพ