ในการผสมผสานนวัตกรรมระหว่างการจดบันทึกดิจิทัลและปัญญาประดิษฐ์ โครงการทดลองใหม่ที่เรียกว่า Ghostwriter กำลังเปลี่ยนแปลงวิธีที่ผู้ใช้โต้ตอบกับแท็บเล็ต reMarkable 2 โครงการนี้ช่วยให้สามารถรับการตอบสนองจาก AI แบบเรียลไทม์ผ่านการเขียนด้วยลายมือ สร้างการโต้ตอบที่เป็นธรรมชาติและใกล้ชิดมากขึ้นระหว่างผู้ใช้และโมเดลภาษา
วิวัฒนาการของอินเตอร์เฟซธรรมชาติ
โครงการนี้ได้สร้างความสนใจอย่างมากในชุมชนเทคโนโลยี โดยเฉพาะอย่างยิ่งในแนวทางที่เป็นเอกลักษณ์ในการโต้ตอบระหว่างมนุษย์กับ AI แตกต่างจากอินเตอร์เฟซแบบแป้นพิมพ์ทั่วไป Ghostwriter ช่วยให้ผู้ใช้สามารถเขียนได้อย่างเป็นธรรมชาติบนหน้าจอ reMarkable 2 และรับการตอบสนองจาก AI ผ่านสื่อเดียวกัน สมาชิกในชุมชนได้สังเกตว่าวิธีการโต้ตอบนี้สร้างประสบการณ์ที่เป็นส่วนตัวมากขึ้น คล้ายกับการเขียนบันทึกในขอบหนังสือหรือการแลกเปลี่ยนโน้ต
มีบางสิ่งเกี่ยวกับการเขียนด้วยลายมือที่ทำให้รู้สึกเป็นส่วนตัวมากขึ้น เหมือนกับการเขียนโน้ตในขอบของตำราเวทมนตร์ การเปลี่ยนจากการพิมพ์เป็นการใช้ปากกาทำให้บรรยากาศในการโต้ตอบกับ AI เปลี่ยนไปอย่างชัดเจน
การนำไปใช้งานทางเทคนิคและการเข้าถึง
การนำไปใช้งานอาศัยโมเดลการมองเห็นและภาษาต่างๆ รวมถึง GPT-4 Vision และ Claude-3 ของ OpenAI โดยมีขั้นตอนการติดตั้งที่ง่าย เพียงต้องใช้ API keys และการเข้าถึง SSH พื้นฐานของอุปกรณ์ โครงการนี้แสดงให้เห็นถึงศักยภาพที่เพิ่มขึ้นในการปรับแต่งอุปกรณ์ e-paper แม้ว่าผู้ใช้บางรายจะแสดงความกังวลเกี่ยวกับการยืนยันตัวตนและการจัดการสิทธิ์สำหรับแอปพลิเคชันของบุคคลที่สาม
โมเดลที่รองรับ:
- OpenAI GPT-4 Vision
- Claude-3-5-sonnet
- โมเดลประมวลผลภาพและภาษาที่เข้ากันได้อื่นๆ
ข้อกำหนดในการติดตั้ง:
- แท็บเล็ต reMarkable 2
- การเข้าถึง SSH บนอุปกรณ์
- API keys สำหรับโมเดลภาษาที่เลือก
- ความรู้พื้นฐานเกี่ยวกับการใช้คำสั่งในคอมมานด์ไลน์
 |
|---|
| ที่เก็บซอฟต์แวร์ Ghostwriter แสดงให้เห็นไฟล์โค้ดและเครื่องมือต่างๆ ที่จำเป็นสำหรับการใช้งานการตอบสนอง AI บนแท็บเล็ต reMarkable 2 |
การพัฒนาในอนาคต
การสนทนาในชุมชนได้เน้นย้ำถึงการพัฒนาหลายประการ โดยเฉพาะความสนใจในการตอบสนองแบบลายมือ นักพัฒนาและผู้ใช้กำลังสำรวจความเป็นไปได้ในการฝึกโมเดลให้เลียนแบบลายมือส่วนตัวเพื่อสร้างการโต้ตอบที่เป็นธรรมชาติมากขึ้น นอกจากนี้ยังมีความสนใจที่เพิ่มขึ้นในการขยายฟังก์ชันที่คล้ายคลึงกันไปยังอุปกรณ์ e-paper อื่นๆ โดยผู้ใช้สอบถามเกี่ยวกับความเข้ากันได้กับอุปกรณ์อย่าง Onyx Boox
ความเป็นไปได้ในการบูรณาการ
โครงการนี้ได้สร้างแรงบันดาลใจให้เกิดการอภิปรายเกี่ยวกับการประยุกต์ใช้งานในทางปฏิบัติ รวมถึงระบบจัดการงานอัตโนมัติและการประมวลผลโน้ตแบบเรียลไทม์ นักพัฒนากำลังสำรวจวิธีการบูรณาการความสามารถเหล่านี้กับเครื่องมือเวิร์กโฟลว์ที่มีอยู่ ซึ่งอาจปฏิวัติวิธีที่เราโต้ตอบกับอุปกรณ์จดบันทึกดิจิทัล
โครงการ Ghostwriter ถือเป็นก้าวสำคัญในการทำให้การโต้ตอบกับ AI รู้สึกเป็นธรรมชาติและเป็นส่วนตัวมากขึ้น ในขณะที่ยังคงรักษาความเรียบง่ายที่น่าดึงดูดของอุปกรณ์ e-paper เมื่อการพัฒนายังคงดำเนินต่อไป การมีส่วนร่วมของชุมชนแสดงให้เห็นถึงความสนใจอย่างมากในการขยายขีดความสามารถของอุปกรณ์ e-paper ผ่านการบูรณาการกับ AI
อ้างอิง: Ghostwriter: An Experiment on Using a Remarkable2 as an Interface to Vision-LLMs