ในการผสมผสานที่สร้างสรรค์ระหว่างเกมย้อนยุคและเทคโนโลยี AI ล้ำสมัย นักพัฒนาได้สร้าง xPong ซึ่งเป็นเวอร์ชันใหม่ของเกมคลาสสิก Pong ที่มีการบรรยายแบบเรียลไทม์ที่สร้างโดย LLM โครงการทดลองนี้แสดงให้เห็นว่าโมเดลภาษาขนาดใหญ่สามารถเปลี่ยนแปลงประสบการณ์การเล่นเกมและการถ่ายทอดกีฬาในอนาคตอันใกล้ได้อย่างไร
ระบบการบรรยายด้วย AI แสดงศักยภาพที่มากกว่าเกมง่ายๆ
โครงการ xPong ใช้ระบบการทำงานแบบเหตุการณ์ที่ซับซ้อน ซึ่งรวบรวมเหตุการณ์ในเกม สร้างเมตริกซ์ จัดลำดับความสำคัญของหัวข้อการบรรยาย และส่งมอบเสียงสังเคราะห์แบบเกือบเรียลไทม์ แม้ว่าความเรียบง่ายของ Pong จะจำกัดความลึกของการบรรยายที่เป็นไปได้ แต่ชุมชนก็ตระหนักถึงศักยภาพของระบบพื้นฐานสำหรับการประยุกต์ใช้ที่ซับซ้อนมากขึ้น นักพัฒนาอธิบายว่าวิธีการรวบรวมเหตุการณ์ การสร้างเมตริกซ์จากเหตุการณ์เหล่านั้นเป็นระยะ การจัดลำดับความสำคัญ การสร้างข้อความบรรยาย การจัดคิวผลลัพธ์เหล่านั้น และการสังเคราะห์เสียงพูด สร้างพื้นฐานที่แข็งแกร่งซึ่งสามารถนำไปใช้กับเกมที่ซับซ้อนมากขึ้นได้
ผู้แสดงความคิดเห็นหลายคนแนะนำว่าเกมที่มีสถานะที่หลากหลายมากขึ้น เช่น หมากรุก Texas Hold'Em หรือเกม esports อย่าง Rocket League และ League of Legends จะได้รับประโยชน์อย่างมากจากเทคโนโลยีนี้ ผู้ใช้คนหนึ่งแม้กระทั่งแบ่งปันว่าพวกเขาได้พัฒนาผู้บรรยายแบบโต้ตอบสำหรับ Rocket League ที่เป็นทั้งผู้บรรยายและคู่หูในการเล่นเกมในช่วงปลายปี 2024
การประยุกต์ใช้งานที่เป็นไปได้นอกเหนือจากเกม
- การถ่ายทอดสด esports (เช่น League of Legends, Rocket League)
- การวิจารณ์เกมหมากรุกและโป๊กเกอร์
- การบรรยายในที่ทำงานสำหรับการเขียนโค้ด
- เครื่องมือทางการศึกษา
- เกมจำลองกีฬา
การสร้างเรื่องราวกีฬาที่สมจริงผ่านประวัติศาสตร์จำลอง
สิ่งที่ทำให้ xPong แตกต่างคือการสร้างบริบททางประวัติศาสตร์ที่สมบูรณ์ ระบบจำลองประวัติศาสตร์การแข่งขัน 15 ปีด้วยผู้เล่น 64 คนที่แข่งขันในสี่ทัวร์นาเมนต์ใหญ่ต่อปี ทั้งหมดนี้ถูกติดตามโดยใช้การจัดอันดับ ELO ประวัติศาสตร์จำลองนี้สร้างพื้นฐานสำหรับการบรรยายที่น่าสนใจมากขึ้นซึ่งอ้างอิงถึงการแข่งขันในอดีต การแข่งขันระหว่างผู้เล่น และเส้นทางอาชีพ
ข้อมูลเพียงอย่างเดียวไม่สนุก - คุณต้องมีเมตริกซ์ที่ดีด้วย - เพื่อสร้างความสัมพันธ์ที่สนุก! เมตริกซ์ไม่จำเป็นต้องสมบูรณ์แบบ หลังจากทั้งหมด มนุษย์ก็ไม่สมบูรณ์แบบ สิ่งสำคัญคือการสร้างความผูกพัน
นักพัฒนาใช้การค้นหาเพื่อนบ้านที่ใกล้ที่สุดโดยใช้ KD-tree เพื่อค้นหาการแข่งขันในประวัติศาสตร์ที่คล้ายกันอย่างมีประสิทธิภาพ ช่วยให้การบรรยายสามารถเปรียบเทียบระหว่างการเล่นเกมปัจจุบันกับทัวร์นาเมนต์ในอดีตได้ วิธีการนี้แสดงให้เห็นว่าการบรรยายด้วย AI สามารถสร้างเรื่องราวที่น่าสนใจแม้ในสภาพแวดล้อมเกมที่เรียบง่าย
รายละเอียดทางเทคนิคของ xPong
- ใช้ gpt-4o-mini-tts ของ OpenAI สำหรับการสร้างคำบรรยายแบบเรียลไทม์
- ระบบคำบรรยายแบบสามชั้น: คำบรรยายเปิด, คำบรรยายระหว่างเกมแบบลูกต่อลูก, และคำบรรยายปิด
- ไปป์ไลน์การสร้างคำบรรยายแบบอิงเหตุการณ์
- จำลองประวัติการแข่งขันย้อนหลัง 15 ปีด้วยการจัดอันดับผู้เล่นแบบ ELO
- ใช้การค้นหาแบบเพื่อนบ้านที่ใกล้ที่สุดเพื่ออ้างอิงการแข่งขันในอดีตที่คล้ายกัน
- สร้างด้วย Python และ Eel (ไลบรารีคล้าย Electron)
ความท้าทายทางเทคนิคและการประยุกต์ใช้ในอนาคต
ข้อจำกัดหลักที่ผู้ใช้ระบุคือความล่าช้า—ความล่าช้าระหว่างการกระทำในเกมและการบรรยายที่เกี่ยวข้องเนื่องจากการประมวลผล สำหรับเกมที่มีจังหวะเร็ว สิ่งนี้อาจทำให้การบรรยายล้าหลังการกระทำ ผู้แสดงความคิดเห็นบางคนแนะนำวิธีแก้ไข เช่น การทำงานกับเมตริกซ์รวมแทนตัวเลขที่แม่นยำ และการใช้เทคนิคการทำงานแบบไปป์ไลน์เพื่อลดความล่าช้าที่ปรากฏให้ต่ำกว่า 500 มิลลิวินาที
นอกเหนือจากเกม ชุมชนได้จินตนาการถึงการประยุกต์ใช้สร้างสรรค์สำหรับระบบการบรรยายด้วย AI ที่คล้ายกัน รวมถึงเพื่อนร่วมงานที่บรรยายเซสชันการเขียนโค้ดในรูปแบบของผู้บรรยายกีฬาหรือสารคดีธรรมชาติ และการถ่ายทอด e-sports ที่เพิ่มประสิทธิภาพซึ่งสามารถเสริมผู้บรรยายมนุษย์ด้วยข้อมูลเชิงลึกทางสถิติที่ละเอียด
เมื่อการสังเคราะห์เสียง AI และโมเดลภาษายังคงพัฒนาต่อไป เทคโนโลยีที่แสดงใน xPong อาจเข้าสู่กระแสหลักของเกมและการถ่ายทอดในไม่ช้า แฟรนไชส์เกมกีฬาขนาดใหญ่ เช่น Madden NFL และ NBA 2K ซึ่งมีระบบการบรรยายที่บันทึกไว้ล่วงหน้าที่ซับซ้อนอยู่แล้ว อาจรวมการบรรยายด้วย AI แบบไดนามิกในที่สุดเพื่อสร้างประสบการณ์ที่น่าดื่มด่ำยิ่งขึ้นโดยไม่ต้องพูดประโยคเดิมซ้ำๆ
การทดลอง xPong แม้จะเรียบง่ายในการดำเนินการ แต่ก็เสนอภาพรวมว่าการบรรยายที่สร้างโดย AI สามารถเปลี่ยนแปลงไม่เพียงแค่วิธีการเล่นเกมของเรา แต่ยังรวมถึงวิธีที่เราสัมผัสกับการแข่งขันและความบันเทิงทุกรูปแบบในอนาคต
อ้างอิง: xPong