ชุมชนนักพัฒนา AI กำลังตระหนักมากขึ้นว่าแอปพลิเคชัน LLM ที่พร้อมใช้งานในระบบการผลิตมักต้องการแนวทางที่เป็นโมดูลและควบคุมได้มากกว่า แทนที่จะพึ่งพา agent frameworks ที่ครอบคลุมทุกอย่าง ข้อมูลเชิงลึกนี้เกิดขึ้นจากการอภิปรายเกี่ยวกับหลักการ 12 Factor Agents ซึ่งกำหนดแนวทางปฏิบัติที่ดีที่สุดสำหรับการสร้างแอปพลิเคชัน LLM ที่เชื่อถือได้
การถกเถียงระหว่าง Framework กับ Library
นักพัฒนากำลังพบว่าในขณะที่ agent frameworks สัญญาว่าจะมีความเรียบง่ายและการปรับใช้ที่รวดเร็ว แต่มักนำไปสู่ข้อจำกัดเมื่อขยายไปสู่การผลิต ชุมชนกำลังลงความเห็นว่า LLMs ทำงานได้ดีที่สุดเมื่อนำไปใช้เป็น libraries มากกว่า frameworks ซึ่งให้วิศวกรมีการควบคุมองค์ประกอบสำคัญมากขึ้น แนวทางนี้ช่วยให้สามารถปรับแต่งได้ดีขึ้น มีพฤติกรรมที่คาดการณ์ได้มากขึ้น และแก้ไขข้อบกพร่องได้ง่ายขึ้นเมื่อเกิดปัญหาขึ้น
'AI Agents' ส่วนใหญ่ที่เข้าสู่การผลิตจริงไม่ได้มีความเป็น agent มากนัก ตัวที่ดีที่สุดส่วนใหญ่เป็นเพียงซอฟต์แวร์ที่ออกแบบมาอย่างดีโดยมี LLMs แทรกอยู่ในจุดสำคัญๆ
ความรู้สึกนี้สะท้อนถึงความเป็นจริงในทางปฏิบัติที่นักพัฒนาหลายคนเผชิญเมื่อก้าวข้ามจากการสาธิตไปสู่ระบบการผลิตที่ต้องเชื่อถือได้และคุ้มค่า ความตื่นเต้นเกี่ยวกับ agents ที่ทำงานได้โดยอัตโนมัติมักจะนำไปสู่การนำไปใช้งานที่เป็นจริงมากขึ้น ซึ่ง LLM จะเสริมสถาปัตยกรรมซอฟต์แวร์ที่มีอยู่แทนที่จะแทนที่ทั้งหมด
รูปแบบการนำไปใช้ที่พบบ่อย:
- Workflows vs. Agents: 90% ของการนำไปใช้ในระบบการผลิตใช้รูปแบบเวิร์กโฟลว์มากกว่าการใช้เอเจนต์ที่ทำงานโดยอัตโนมัติอย่างเต็มรูปแบบ
- การควบคุมการทำงาน: การรักษาการควบคุมการทำงานโดยนักพัฒนามากกว่าการมอบหมายให้เฟรมเวิร์กจัดการ
- กลยุทธ์การทดสอบ: การรับประกันความน่าเชื่อถือที่มากกว่าเกณฑ์ "ทำงานได้ 99% ของเวลา"
- การจัดการต้นทุน: การใช้คอมโพเนนต์ที่มีการทำงานแบบกำหนดไว้ล่วงหน้าเมื่อเป็นไปได้เพื่อลดการใช้โทเค็น
 |
|---|
| เอาต์พุตแบบมีโครงสร้างช่วยให้มีการควบคุมแอปพลิเคชัน LLM ได้มากขึ้นโดยใช้ไลบรารีแทนเฟรมเวิร์ก |
การควบคุมขั้นตอนการทำงานและการจัดการสถานะ
หนึ่งในหลักการสำคัญที่เน้นในการอภิปรายของชุมชนคือความสำคัญของการรักษาการควบคุมเหนือขั้นตอนการทำงานและการจัดการสถานะ แทนที่จะยอมแพ้การควบคุมให้กับ frameworks แบบกล่องดำ การนำไปใช้ที่ประสบความสำเร็จมักจะให้วิศวกรควบคุมวิธีการและเวลาที่องค์ประกอบ LLM ถูกเรียกใช้
นักพัฒนาสังเกตว่าการรวมสถานะการทำงานกับสถานะทางธุรกิจ (ปัจจัยที่ 6) และการเป็นเจ้าของการควบคุมขั้นตอน (ปัจจัยที่ 8) มีความสำคัญอย่างยิ่งสำหรับการสร้างระบบที่สามารถแก้ไขข้อบกพร่อง ตรวจสอบ และปรับให้เหมาะสมได้อย่างเหมาะสม แนวทางนี้ช่วยให้ทีมจัดการกับกรณีพิเศษและโหมดความล้มเหลวที่อาจไม่ได้คาดการณ์ไว้โดยผู้ออกแบบ framework
หลักการสำคัญจาก 12 Factor Agents:
- ปัจจัยที่ 1: การแปลงภาษาธรรมชาติเป็นการเรียกใช้เครื่องมือ
- ปัจจัยที่ 2: เป็นเจ้าของ prompts ของคุณเอง
- ปัจจัยที่ 6: รวมสถานะการทำงานและสถานะทางธุรกิจเข้าด้วยกัน
- ปัจจัยที่ 7: ติดต่อมนุษย์ด้วยการเรียกใช้เครื่องมือ
- ปัจจัยที่ 8: เป็นเจ้าของการควบคุมการทำงานของคุณเอง
- ปัจจัยที่ 10: เอเจนต์ขนาดเล็กที่มีจุดมุ่งหมายเฉพาะ
- ปัจจัยที่ 11: เรียกใช้งานได้จากทุกที่ พบผู้ใช้ในที่ที่พวกเขาอยู่
- ปัจจัยที่ 12: ทำให้เอเจนต์ของคุณเป็น stateless reducer
 |
|---|
| การจัดการการควบคุมการไหลมีความสำคัญอย่างยิ่งสำหรับแอปพลิเคชัน LLM ที่เชื่อถือได้ ช่วยให้มั่นใจในพฤติกรรมที่คาดเดาได้และการแก้ไขข้อบกพร่องที่ง่ายขึ้น |
การพิจารณาต้นทุนในระดับขยาย
ข้อพิจารณาทางปฏิบัติที่สำคัญที่ชุมชนยกขึ้นมาคือต้นทุนของการเรียกใช้แอปพลิเคชัน LLM ในระดับขยาย การใช้โทเค็นสามารถกลายเป็นค่าใช้จ่ายที่สูงได้อย่างรวดเร็ว โดยเฉพาะเมื่อ agents ทำงานในลูปที่มีการเรียก LLM หลายครั้ง นักพัฒนาแนะนำให้ใช้องค์ประกอบที่กำหนดไว้แน่นอนเมื่อใดก็ตามที่เป็นไปได้ก่อนที่จะใช้การเรียก LLM
แนวทางที่คำนึงถึงต้นทุนนี้ไม่เพียงแต่ปรับปรุงผลกำไรเท่านั้น แต่มักส่งผลให้เกิดระบบที่เชื่อถือได้มากขึ้นด้วยความล่าช้าที่ต่ำกว่า โดยการเลือกอย่างระมัดระวังว่าจะใช้ความสามารถของ LLM ที่ไหน ทีมสามารถเพิ่มมูลค่าให้สูงสุดในขณะที่ลดค่าใช้จ่ายที่ไม่จำเป็นให้น้อยที่สุด
ความท้าทายในการทดสอบและความน่าเชื่อถือ
ชุมชนได้เน้นย้ำถึงความท้าทายด้านความน่าเชื่อถือที่มีอยู่ในระบบที่ใช้ agent แม้ว่า agent จะทำงานได้ถูกต้อง 99% ของเวลา อัตราความล้มเหลว 1% นั้นอาจเป็นปัญหาในสภาพแวดล้อมการผลิต การเพิ่มการป้องกันที่ใช้ LLM ไม่จำเป็นต้องแก้ปัญหา เนื่องจากพึ่งพาเทคโนโลยีเดียวกันที่อาจผิดพลาดได้
สิ่งนี้ทำให้ทีมหลายทีมใช้ขั้นตอนการทำงานที่มีโครงสร้างมากขึ้นแทนที่จะเป็น agents ที่ทำงานโดยอัตโนมัติอย่างเต็มรูปแบบ โดยเฉพาะอย่างยิ่งสำหรับแอปพลิเคชันองค์กรที่การคาดการณ์ได้และความน่าเชื่อถือมีความสำคัญสูงสุด ความสามารถในการทดสอบ ตรวจสอบ และรับรองพฤติกรรมที่สม่ำเสมอจะมีความสำคัญมากขึ้นเมื่อระบบเหล่านี้รับงานที่สำคัญมากขึ้น
สรุปได้ว่า ในขณะที่คำมั่นสัญญาของ AI agents ที่ทำงานโดยอัตโนมัติยังคงจับความสนใจและขับเคลื่อนนวัตกรรม ความเป็นจริงในทางปฏิบัติของการสร้างแอปพลิเคชัน LLM ที่พร้อมใช้งานในระบบการผลิตมักนำนักพัฒนาไปสู่แนวทางที่มีการควบคุมและเป็นโมดูลมากขึ้น โดยการเข้าใจหลักการและการแลกเปลี่ยนเหล่านี้ ทีมสามารถสร้างระบบที่เสริมด้วย AI ที่เชื่อถือได้มากขึ้น คุ้มค่า และบำรุงรักษาได้ซึ่งมอบคุณค่าที่แท้จริงให้กับผู้ใช้
อ้างอิง: 12 Factor Agents - Principles for building reliable LLM applications