การเปิดตัว BrowserAI เมื่อเร็วๆ นี้ได้จุดประเด็นการถกเถียงในชุมชนนักพัฒนาเกี่ยวกับบทบาทของมันในวงการ AI บนเบราว์เซอร์ แม้ว่าในตอนแรกจะนำเสนอตัวเองในฐานะโซลูชันสำหรับการรัน Large Language Models (LLMs) แบบโลคอลบนเบราว์เซอร์ การพูดคุยในชุมชนได้เผยให้เห็นทั้งข้อจำกัดในปัจจุบันและศักยภาพในอนาคต
การนำไปใช้งานในปัจจุบันและการพึ่งพาเฟรมเวิร์ค
ปัจจุบัน BrowserAI ทำหน้าที่หลักเป็นตัวห่อหุ้มรอบ WebLLM และ Transformers.js แม้จะมีการดัดแปลงที่น่าสนใจบางประการ ทีมพัฒนาได้ดำเนินการปรับปรุงความเข้ากันได้ของเฟรมเวิร์คโดยการ fork และแปลงโค้ดของ Transformers.js เป็น TypeScript เพื่อแก้ไขปัญหาการบิลด์ที่เคยส่งผลกระทบต่อเฟรมเวิร์คอย่าง Next.js การตัดสินใจทางเทคนิคนี้สะท้อนให้เห็นถึงการให้ความสำคัญกับประสบการณ์ของนักพัฒนาและการรองรับเฟรมเวิร์คที่หลากหลายมากขึ้น
ฟีเจอร์ที่วางแผนไว้และทิศทางการพัฒนา
ทีมโปรเจกต์ได้วางแผนฟีเจอร์ที่น่าสนใจหลายอย่างที่กำลังพัฒนา โดยเน้นเป็นพิเศษที่ Retrieval-Augmented Generation (RAG) และการผสานรวมการสังเกตการณ์ อย่างไรก็ตาม สมาชิกในชุมชนได้สังเกตเห็นการขาดหายไปของส่วนประกอบสำคัญ เช่น BERT family encoders ซึ่งจำเป็นสำหรับการใช้งานฟังก์ชัน RAG ทีมพัฒนาได้รับทราบถึงข้อจำกัดนี้และระบุว่ามีแผนที่จะเพิ่ม encoders ตามความจำเป็น
เมื่อผมอ่านชื่อเรื่อง ผมคิดว่าโปรเจกต์นี้จะเป็นปลั๊กอิน LLM สำหรับเบราว์เซอร์ (หรือสิ่งที่คล้ายกัน) ที่จะใช้หน้าเว็บปัจจุบันเป็นบริบทโดยอัตโนมัติ อย่างไรก็ตาม หลังจากดูโปรเจกต์บน GitHub แล้ว ดูเหมือนว่ามันจะเป็นอินเตอร์เฟซเบราว์เซอร์สำหรับ LLMs แบบโลคอล
การประยุกต์ใช้งานจริงและความสนใจจากชุมชน
แม้จะอยู่ในช่วงเริ่มต้น ชุมชนได้ระบุการใช้งานที่เป็นประโยชน์หลายอย่างสำหรับ BrowserAI รวมถึงการจัดการการแจ้งเตือนคุกกี้อัตโนมัติและส่วนขยายเบราว์เซอร์สำหรับการแก้ไขคำผิด/เติมคำอัตโนมัติที่ดีขึ้น โครงการที่เน้นการประมวลผล AI แบบเนทีฟบนเบราว์เซอร์นี้ได้รับความสนใจจากนักพัฒนาที่ต้องการใช้โซลูชัน AI ที่คำนึงถึงความเป็นส่วนตัวโดยไม่ต้องพึ่งพาเซิร์ฟเวอร์
โมเดลที่รองรับในปัจจุบัน:
-
โมเดล MLC:
- LLama-3.2-1b-Instruct
- SmolLM2-135M-Instruct
- SmolLM2-360M-Instruct
- Qwen-0.5B-Instruct
- Gemma-2B-IT
- TinyLLama-1.1b-Chat-v0.4
- Phi-3.5-mini-Instruct
- Qwen2.5-1.5B-Instruct
-
โมเดล Transformers:
- LLama-3.2-1b-Instruct
- Whisper-tiny-en
- SpeechT5-TTS
ข้อพิจารณาด้านประสิทธิภาพทางเทคนิค
ทีมพัฒนาได้รายงานว่าในขณะที่การบีบอัดโมเดลและการใช้ RAM ของ WebLLM นั้นน่าประทับใจ พวกเขาพบว่าในบางกรณีโมเดลที่ถูกลดขนาดอาจให้ผลลัพธ์ที่ไม่สม่ำเสมอ การสังเกตนี้นำไปสู่การทดลองอย่างต่อเนื่องเพื่อปรับปรุงประสิทธิภาพและความน่าเชื่อถือของโมเดลในสภาพแวดล้อมของเบราว์เซอร์
โครงการนี้แสดงให้เห็นถึงความพยายามที่กำลังพัฒนาในการทำให้ AI เข้าถึงได้ง่ายขึ้นในสภาพแวดล้อมของเบราว์เซอร์ แม้ว่าคุณค่าที่แท้จริงของมันยังคงถูกกำหนดผ่านข้อเสนอแนะจากชุมชนและความพยายามในการพัฒนาอย่างต่อเนื่อง