เครื่องมือ AI สำหรับการตรวจสอบงานวิจัยเผชิญปัญหาทางเทคนิคและความสงสัยจากชุมชนวิชาการ แม้จะเสนอการทดสอบฟรี

เครื่องมือใหม่ที่ขับเคลื่อนด้วย AI สำหรับการตรวจสอบต้นฉบับงานวิจัยทางวิทยาศาสตร์ชื่อ Rigorous ได้เปิดตัวแล้วพร้อมคำมั่นสัญญาที่จะทำให้การเผยแพร่งานวิชาการเร็วขึ้นและโปร่งใสมากขึ้น บริการบนคลาวด์นี้เสนอการวิเคราะห์ต้นฉบับฟรี โดยส่งมอบรายงาน PDF ที่ครอบคลุมภายใน 1-2 วันทำการ อย่างไรก็ตาม ผู้ใช้รุ่นแรกกำลังประสบปัญหาทางเทคนิคที่สำคัญ และชุมชนวิชาการยังคงแบ่งแยกความคิดเห็นเกี่ยวกับบทบาทของ AI ในการตรวจสอบงานวิจัย

ปัญหาทางเทคนิครบกวนการเปิดตัวในช่วงแรก

ผู้ใช้ที่พยายามอัปโหลดต้นฉบับไปยังแพลตฟอร์ม Rigorous กำลังประสบปัญหาทางเทคนิคต่างๆ นักวิจัยคนหนึ่งรายงานว่าพบข้อผิดพลาด HTTP 413 และความล้มเหลวในการแยกวิเคราะห์ JSON เมื่อพยายามส่งเอกสารงานวิจัยขนาด 9.4 MB ข้อความแสดงข้อผิดพลาดบ่งชี้ถึงปัญหาการหมดเวลาของเซิร์ฟเวอร์และข้อจำกัดขนาดไฟล์ที่อาจส่งผลต่อความน่าเชื่อถือของบริการในระหว่างช่วงทดสอบ

นักพัฒนายอมรับว่าเหล่านี้เป็นปัญหาในช่วงเริ่มต้น โดยอธิบายว่าขั้นตอนการทำงานหลักในปัจจุบันใช้เวลาประมาณ 8 นาทีในเครื่องท้องถิ่น แต่สามารถปรับให้เหลือ 1-2 นาทีได้ พวกเขาอ้างว่าเวลาดำเนินการ 1-2 วันในปัจจุบันเกิดจากขั้นตอนการตรวจสอบด้วยตนเองและมาตรการควบคุมต้นทุนในขณะที่พวกเขากำลังแก้ไขปัญหาทางเทคนิค

เมตริกประสิทธิภาพปัจจุบัน:

• เวลาการประมวลผลในเครื่อง: ประมาณ 8 นาที (สามารถปรับให้เหลือ 1-2 นาทีได้)
• ระยะเวลาการให้บริการคลาวด์: 1-2 วันทำการ
• ข้อจำกัดขนาดไฟล์: มีรายงานปัญหากับไฟล์ขนาด 9.4 MB
• สถานะปัจจุบัน: ระยะทดสอบฟรี

ชุมชนวิชาการแสดงความกังวลเรื่องคุณภาพและความไว้วางใจ

ชุมชนวิชาการแสดงปฏิกิริยาที่หลากหลายต่อการตรวจสอบงานวิจัยที่ช่วยเหลือด้วย AI นักวิจัยบางคนกังวลเกี่ยวกับคุณภาพของข้อเสนอแนะที่สร้างโดย AI โดยเฉพาะอย่างยิ่งเมื่อพิจารณาจากการแพร่หลายของบทวิจารณ์ที่เขียนโดย AI บนแพลตฟอร์มวิชาการเมื่อเร็วๆ นี้ นักวิพากษ์วิจารณ์โต้แย้งว่าการตรวจสอบงานวิจัยที่มีความหมายต้องการความเชี่ยวชาญเชิงลึกและข้อมูลเชิงลึกที่ระบบ AI ปัจจุบันไม่สามารถให้ได้

จุดประสงค์ของการตรวจสอบคือการได้รับข้อมูลเชิงลึก/ความคิดเห็นเชิงลึกจากผู้เชี่ยวชาญในอุตสาหกรรมที่มีความรู้เหนือกว่า LLMs ฉันรู้ว่ามาตรฐานต่ำมาก แต่เราควรทำให้ดีขึ้นในฐานะชุมชนวิจัย

ปัญหาความไว้วางใจยังเกิดขึ้นเกี่ยวกับความโปร่งใสของแพลตฟอร์ม ผู้ใช้สังเกตเห็นการขาดนโยบายความเป็นส่วนตัวที่ชัดเจน ข้อมูลการติดต่อ และรายละเอียดเกี่ยวกับแนวทางปฏิบัติในการจัดการข้อมูล นักพัฒนาตอบสนองโดยยอมรับว่าพวกเขาอยู่ในโหมด MVP เบื้องต้นและสัญญาว่าจะเพิ่มข้อมูลการติดต่อและนโยบายที่เหมาะสม

ข้อมูลการฝึกอบรมที่จำกัดขัดขวางการพัฒนา AI

ความท้าทายที่สำคัญที่เผชิญหน้ากับระบบตรวจสอบงานวิจัยด้วย AI คือการขาดแคลนข้อมูลการฝึกอบรมที่มีคุณภาพ รายงานการตรวจสอบงานวิจัยในอดีตไม่ค่อยได้รับการเผยแพร่ และเพิ่งเมื่อเร็วๆ นี้เท่านั้นที่วารสารบางฉบับเริ่มเปิดเผยรายงานการตรวจสอบต่อสาธารณะ การขาดข้อมูลการฝึกอบรมที่ครอบคลุมนี้อาจจำกัดประสิทธิภาพของระบบ AI ในการให้ข้อเสนอแนะที่มีความหมาย

นักพัฒนากำลังสำรวจแนวทางทางเลือก รวมถึงการวิเคราะห์ความแตกต่างระหว่างต้นฉบับเบื้องต้นและเวอร์ชันสุดท้ายที่เผยแพร่เพื่อทำความเข้าใจว่าการตรวจสอบงานวิจัยมักขับเคลื่อนการเปลี่ยนแปลงอะไรบ้าง อย่างไรก็ตาม พวกเขายอมรับว่าแม้แต่แนวทางนี้อาจไม่สามารถจับภาพข้อเสนอแนะที่ดีที่สุดได้ เนื่องจากความคิดเห็นของผู้ตรวจสอบมนุษย์บางครั้งอาจไม่สอดคล้องกันหรือไม่สมเหตุสมผล

บทสรุป

แม้ว่า Rigorous มีเป้าหมายที่จะแก้ไขปัญหาจริงในการเผยแพร่งานวิชาการโดยทำให้การตรวจสอบงานวิจัยเร็วขึ้นและเข้าถึงได้มากขึ้น แต่การเปิดตัวในช่วงแรกเผยให้เห็นความท้าทายที่เครื่องมือวิชาการที่ขับเคลื่อนด้วย AI กำลังเผชิญ ปัญหาทางเทคนิค ความสงสัยของชุมชน และคำถามพื้นฐานเกี่ยวกับความสามารถของ AI ในการให้ข้อเสนอแนะทางวิชาการที่มีความหมายบ่งชี้ว่าการยอมรับอย่างแพร่หลายอาจต้องการการปรับปรุงที่สำคัญทั้งในด้านเทคโนโลยีและมาตรการสร้างความไว้วางใจ

นักพัฒนาของเครื่องมือดูเหมือนจะตอบสนองต่อข้อเสนอแนะและกำลังทำงานเพื่อแก้ไขข้อกังวล แต่การต้อนรับอย่างระมัดระวังของชุมชนวิชาการเน้นย้ำถึงมาตรฐานสูงที่คาดหวังสำหรับระบบที่อาจมีอิทธิพลต่อการตัดสินใจเผยแพร่งานทางวิทยาศาสตร์

อ้างอิง: Rigorous - Al-Powered Scientific Manuscript Analysis