ในภูมิทัศน์ที่กำลังพัฒนาอย่างรวดเร็วของการผสมผสาน AI เข้ากับระบบการผลิต เครื่องมือจัดการเวิร์กโฟลว์กำลังเร่งปรับตัว Airflow AI SDK ที่เพิ่งเปิดตัวล่าสุดนำเสนอโซลูชันสำหรับทีมที่ต้องการรวมโมเดลภาษาเข้ากับโครงสร้างเวิร์กโฟลว์ที่มีอยู่ ซึ่งจุดประกายให้เกิดการถกเถียงเกี่ยวกับอนาคตของการจัดการเวิร์กโฟลว์ในยุค AI
ภูมิทัศน์การจัดการเวิร์กโฟลว์กำลังแตกแยก
การสนทนาในชุมชนเผยให้เห็นถึงการแตกแยกที่สำคัญในพื้นที่การจัดการเวิร์กโฟลว์ ในขณะที่ Apache Airflow ยังคงถูกใช้อย่างแพร่หลายด้วยประวัติความน่าเชื่อถือมายาวนานกว่าทศวรรษ คู่แข่งรายใหม่อย่าง Prefect, Dagster, Temporal, Hatchet และ Hamilton กำลังท้าทายความเป็นผู้นำของมัน แต่ละแพลตฟอร์มนำเสนอวิธีการจัดการเวิร์กโฟลว์ที่แตกต่างกัน ด้วยระดับความซับซ้อนและความยืดหยุ่นที่แตกต่างกัน
ผู้ปฏิบัติงานหลายคนแสดงความไม่พอใจกับสถานะปัจจุบันของเครื่องมือจัดการเวิร์กโฟลว์ บางคนพบว่า Airflow ล้าสมัยแต่เชื่อถือได้ ในขณะที่คนอื่นๆ ดิ้นรนกับการนำไปใช้งานเฉพาะอย่างเช่น Amazon's Managed Workflows for Apache Airflow (MWAA) ซึ่งผู้ใช้รายหนึ่งอธิบายว่าเป็น ขยะร้อน เนื่องจากปัญหาประสิทธิภาพและการล่มโดยไม่มีคำอธิบาย ความไม่พอใจนี้ผลักดันให้เกิดการสำรวจทางเลือกอื่น แม้ว่าจะยังไม่มีผู้สืบทอดที่ชัดเจน
ผมได้ทำการสำรวจอย่างละเอียดประมาณ 1.5 ปีที่แล้ว และข้อสรุปสุดท้ายของผมคือการสร้างด้วย airflow คุณจะได้รับความเรียบง่ายแต่มีข้อควรระวังว่าระบบของคุณต้องสอดคล้องกันอย่างสมบูรณ์แบบ หรือคุณจะได้รับความซับซ้อนแต่จะทำงานได้กับเกือบทุกอย่าง (airflow)
การเสริม LLM แบบกำหนดไว้ล่วงหน้า vs. เวิร์กโฟลว์แบบตัวแทนเต็มรูปแบบ
รูปแบบที่น่าสนใจปรากฏในวิธีที่ผู้ปฏิบัติงานมองการผสมผสาน AI เข้ากับเวิร์กโฟลว์ หลายคนสงสัยว่าเวิร์กโฟลว์แบบตัวแทนเต็มรูปแบบจำเป็นสำหรับกรณีการใช้งานส่วนใหญ่หรือไม่ โดยแนะนำว่ากระบวนการที่กำหนดไว้ล่วงหน้าพร้อมการเสริม LLM แบบเฉพาะเจาะจงอาจมีความปฏิบัติได้และเชื่อถือได้มากกว่า นี่เป็นวิธีการผสมผสาน AI ที่อนุรักษ์นิยมมากกว่า ซึ่งใช้ประโยชน์จาก LLM เป็นส่วนประกอบภายในเวิร์กโฟลว์แบบดั้งเดิมแทนที่จะเป็นตัวแทนอัตโนมัติ
Airflow AI SDK จัดการกับพื้นที่ตรงกลางนี้โดยให้ตัวตกแต่งเช่น @task.llm และ @task.agent ที่อนุญาตให้นักพัฒนาสามารถรวมการเรียก LLM และพฤติกรรมของตัวแทนภายในรูปแบบงาน Airflow ที่คุ้นเคย ในขณะที่ผู้แสดงความคิดเห็นบางคนตั้งคำถามถึงคุณค่าของตัวตกแต่งเหล่านี้เมื่อเทียบกับการเรียกฟังก์ชันโดยตรง ผู้เขียน SDK ได้ชี้แจงว่าพวกเขาเปิดใช้งานคุณสมบัติเฉพาะของ Airflow เช่นการจัดกลุ่มบันทึกที่ปรับปรุงความสามารถในการสังเกต
คุณสมบัติหลักของ Airflow AI SDK
- @task.llm: กำหนดงานที่เรียกใช้โมเดลภาษาเพื่อประมวลผลข้อความ
- @task.agent: จัดการการให้เหตุผลของ AI แบบหลายขั้นตอนด้วยเครื่องมือที่กำหนดเอง
- @task.llm_branch: เปลี่ยนการควบคุมการไหลของ DAG ตามผลลัพธ์ของ LLM
- การแยกวิเคราะห์ผลลัพธ์อัตโนมัติ: ใช้คำใบ้ประเภทฟังก์ชันสำหรับการแยกวิเคราะห์และการตรวจสอบความถูกต้อง
- รองรับหลากหลายโมเดล: ทำงานร่วมกับ OpenAI, Anthropic, Gemini, Ollama, Groq, Mistral AI, Cohere
ความกังวลของชุมชนเกี่ยวกับเครื่องมือเวิร์กโฟลว์
- Airflow: มองว่าเก่าแต่เชื่อถือได้; มีปัญหาด้านการปฏิบัติงานเกี่ยวกับการบันทึกและการปรับใช้
- MWAA: มีปัญหาด้านประสิทธิภาพรวมถึงการใช้ CPU สูงจากการแยกวิเคราะห์ DAG อย่างต่อเนื่อง
- ทางเลือกใหม่กว่า: Prefect ได้รับการชื่นชมสำหรับการดีบักในเครื่องและการผสานรวมกับ K8s
- ฐานข้อมูลดั้งเดิม: ความสนใจที่เพิ่มขึ้นในโซลูชันเวิร์กโฟลว์ที่ใช้ PostgreSQL เป็นฐาน
เวิร์กโฟลว์ AI แบบฐานข้อมูลกำลังได้รับความสนใจ
ความคิดเห็นหลายรายการเน้นความสนใจในวิธีการแบบฐานข้อมูลสำหรับเวิร์กโฟลว์ AI โซลูชันเช่น PostgresML และเครื่องมือจัดการเวิร์กโฟลว์แบบ Postgres-native ที่กำหนดเองกำลังถูกสำรวจเป็นทางเลือกสำหรับเครื่องมือจัดการแบบดั้งเดิม วิธีการเหล่านี้ผสมผสานความสามารถของ AI เข้ากับระบบฐานข้อมูลโดยตรง ซึ่งอาจทำให้สถาปัตยกรรมง่ายขึ้นโดยกำจัดชั้นการจัดการแยกต่างหาก
แนวโน้มนี้สะท้อนถึงความต้องการลดความซับซ้อนโดยใช้ประโยชน์จากโครงสร้างพื้นฐานฐานข้อมูลที่มีอยู่แทนที่จะเพิ่มเครื่องมือจัดการเฉพาะทาง สำหรับเวิร์กโฟลว์ที่ง่ายกว่าซึ่งไม่ต้องการ DAG ที่ซับซ้อน ทริกเกอร์ฐานข้อมูลพร้อมการเรียก LLM แบบบูรณาการนำเสนอทางเลือกที่น่าสนใจที่รักษาการประมวลผลให้อยู่ใกล้กับข้อมูล
อนาคตอาจเป็นของเครื่องมือประมวลผลแบบไดนามิก
หัวข้อที่เกิดขึ้นซ้ำในการสนทนาคือเครื่องมือเวิร์กโฟลว์แบบดั้งเดิมเช่น Airflow เหมาะสมกับลักษณะไดนามิกของเวิร์กโฟลว์ AI ขั้นสูงหรือไม่ ผู้แสดงความคิดเห็นบางคนมีมุมมองในแง่ลบอย่างมากต่อความสามารถของเครื่องมือที่มีอยู่ในการจัดการเวิร์กโฟลว์แบบตัวแทนอย่างมีประสิทธิภาพ โดยแนะนำว่าแพลตฟอร์มที่ออกแบบมาสำหรับการประมวลผลแบบไดนามิกสูงเช่น Temporal หรือผู้เข้าร่วมใหม่เช่น DBOS อาจอยู่ในตำแหน่งที่ดีกว่า
ความท้าทายพื้นฐานคือเครื่องมือเวิร์กโฟลว์แบบดั้งเดิมหลายอย่างถูกออกแบบมาสำหรับกราฟการประมวลผลแบบคงที่ที่กำหนดไว้ล่วงหน้า ในขณะที่เวิร์กโฟลว์ AI ที่ซับซ้อนมักต้องการเส้นทางการประมวลผลแบบไดนามิกที่ปรับตัวได้ซึ่งตอบสนองต่อผลลัพธ์ของขั้นตอนก่อนหน้า ความตึงเครียดระหว่างการจัดการแบบคงที่และการประมวลผลแบบไดนามิกนี้เป็นความท้าทายทางสถาปัตยกรรมที่สำคัญสำหรับอุตสาหกรรม
เมื่อองค์กรต่างๆ ยังคงผสมผสาน AI เข้ากับระบบปฏิบัติการของพวกเขา เครื่องมือและรูปแบบสำหรับการจัดการเวิร์กโฟลว์เหล่านี้จะยังคงพัฒนาต่อไป Airflow AI SDK เป็นตัวแทนของวิธีการหนึ่งในการเชื่อมต่อการจัดการแบบดั้งเดิมกับความสามารถของ AI สมัยใหม่ แต่การสนทนาในชุมชนบ่งชี้ว่าเรายังอยู่ในช่วงเริ่มต้นในการกำหนดรูปแบบที่เหมาะสมที่สุดสำหรับระบบผสมผสานเหล่านี้
อ้างอิง: airflow-ai-sdk