Brush: เครื่องมือประมวลผล Gaussian Splatting แบบครอบคลุมที่ทำให้การสร้างโมเดล 3D เข้าถึงได้ง่ายขึ้น

วงการการสร้างโมเดล 3D กำลังเผชิญกับการเปลี่ยนแปลงครั้งสำคัญด้วยการเกิดขึ้นของเครื่องมือที่เข้าถึงได้ง่ายขึ้น การสนทนาในชุมชนแสดงให้เห็นถึงความสนใจที่เพิ่มขึ้นในเทคโนโลยี Gaussian splatting โดยเฉพาะอย่างยิ่งศักยภาพในการทำให้การสร้างโมเดล 3D เป็นที่แพร่หลายในแพลตฟอร์มและอุปกรณ์ต่างๆ

รายละเอียดทางเทคนิคและความรับผิดชอบเบื้องหลังโครงการ " Brush " แสดงให้เห็นถึงความสามารถในการสร้างภาพ 3 มิติ

การทลายกำแพงข้อจำกัด

Brush เครื่องมือประมวลผล Gaussian splatting ตัวใหม่ กำลังได้รับความสนใจจากความสามารถในการทำงานร่วมกับระบบต่างๆ และประสิทธิภาพที่น่าประทับใจ ผู้ใช้รายงานว่าการสาธิตบนเว็บเบราว์เซอร์ทำงานได้อย่างราบรื่น สามารถจัดการไฟล์ .ply ขนาด 50MB ด้วยความหน่วงต่ำ และสร้างภาพที่มีคุณภาพสูงโดยไม่มีการกระพริบหรือข้อบกพร่อง

ข้อกำหนดทางเทคนิคในปัจจุบัน

สำหรับผู้ใช้เว็บ:

• Chrome 129+ (เวอร์ชันเดสก์ท็อป)
• ต้องเปิดใช้งานแฟล็ก WebGPU สำหรับผู้ใช้ Linux
• พารามิเตอร์เพิ่มเติมสำหรับ Linux: --enable-features=Vulkan
• อยู่ระหว่างการพัฒนาการรองรับ Firefox และ Safari

กระบวนการสองขั้นตอน

ขั้นตอนการทำงานในปัจจุบันประกอบด้วยสองขั้นตอนหลัก:

1. การสร้างตำแหน่งกล้อง :

   • ต้องใช้ COLMAP หรือทางเลือกอื่นเช่น GLOMAP
   • ใช้เวลาประมาณ 30 นาที
   • ถือเป็นคอขวดสำคัญในกระบวนการทำงาน

2. การฝึกฝน Gaussian Splatting :

   • ใช้ภาพและตำแหน่งกล้องเป็นข้อมูลนำเข้า
   • สร้างโมเดล 3D ที่ตรงกับภาพถ่ายที่ป้อนเข้าไป
   • เร็วกว่าขั้นตอนการสร้างตำแหน่งกล้องอย่างมาก

ประสิทธิภาพและคุณภาพ

การเปรียบเทียบประสิทธิภาพกับการใช้งาน Gaussian Splat แบบดั้งเดิมแสดงผลลัพธ์ที่แข่งขันได้:

การประยุกต์ใช้งานจริง

สมาชิกในชุมชนเน้นย้ำการใช้งานที่เป็นไปได้หลายรูปแบบ:

• การทัวร์อสังหาริมทรัพย์เสมือนจริง
• ประสบการณ์ Street View ที่ดียิ่งขึ้น
• การสร้างเนื้อหา VR
• เอฟเฟกต์พิเศษในการผลิตวิดีโอ
• ระบบหุ่นยนต์และการใช้งาน SLAM (แต่ยังช้าเกินไปสำหรับยานยนต์ไร้คนขับ)

การพัฒนาในอนาคต

ทีมพัฒนารับทราบถึงพื้นที่ที่ต้องปรับปรุงหลายด้าน:

• กำลังทำงานเพื่อกำจัดการพึ่งพา COLMAP
• กำลังศึกษาการผสานรวมกับ ARCore/ARKit สำหรับการเริ่มต้นบนอุปกรณ์มือถือ
• การเพิ่มประสิทธิภาพการฝึกฝน
• การศึกษาการรองรับเมชเพื่อการแก้ไขที่ดีขึ้น

คุณสมบัติด้านการเข้าถึง

ข้อได้เปรียบที่โดดเด่นคือความสามารถในการทำงานบนการกำหนดค่าฮาร์ดแวร์ที่หลากหลาย:

• ทำงานบนแล็ปท็อปที่มี GPU ระดับปานกลาง
• รองรับ macOS/Windows/Linux
• ใช้งานได้กับการ์ด AMD/NVIDIA
• รองรับ Android (ต้องตั้งค่าเพิ่มเติม)
• ทำงานบนเว็บเบราว์เซอร์
• มีโอกาสรองรับ iOS (ยังไม่ได้พัฒนา)

โครงการนี้ถือเป็นก้าวสำคัญในการทำให้เทคโนโลยีการสร้างโมเดล 3D เข้าถึงได้ง่ายขึ้นสำหรับผู้ใช้ในวงกว้าง แม้ว่าจะยังมีอุปสรรคทางเทคนิคบางประการที่ต้องแก้ไข