Cloudflare เปิดตัว AI Labyrinth เพื่อต่อต้านการดึงข้อมูลโดยไม่ได้รับอนุญาต

ในการต่อสู้ที่ดำเนินอยู่ระหว่างเจ้าของเว็บไซต์และบริษัท AI ที่ดึงข้อมูลเนื้อหาโดยไม่ได้รับอนุญาต Cloudflare ได้แนะนำมาตรการตอบโต้ที่มีนวัตกรรม แทนที่จะเพียงแค่บล็อกตัวดึงข้อมูลที่ไม่พึงประสงค์ วิธีการใหม่นี้มีเป้าหมายเพื่อทำให้ทรัพยากรของพวกเขาสูญเปล่าในขณะที่ปกป้องเนื้อหาต้นฉบับจากการถูกเก็บเกี่ยวสำหรับชุดข้อมูลฝึกฝน AI

กลยุทธ์การป้องกันใหม่ต่อตัวดึงข้อมูล AI

Cloudflare ได้เปิดตัว AI Labyrinth เครื่องมือฟรีที่ออกแบบมาเพื่อต่อสู้กับตัวดึงข้อมูลเว็บที่ไม่ได้รับอนุญาตซึ่งรวบรวมข้อมูลสำหรับการฝึกฝน AI โดยไม่ได้รับอนุญาต แทนที่จะใช้วิธีการบล็อกแบบดั้งเดิม AI Labyrinth ใช้วิธีการที่ฉลาดกว่าโดยการเปลี่ยนเส้นทางบอทที่ตรวจพบไปยังหน้าล่อที่สร้างขึ้นโดย AI ซึ่งทำให้ทรัพยากรการคำนวณของพวกเขาสูญเปล่าอย่างมีประสิทธิภาพในขณะที่ปกป้องเนื้อหาที่แท้จริง การเปลี่ยนแปลงเชิงกลยุทธ์นี้เกิดขึ้นเมื่อ Cloudflare รายงานว่าจัดการคำขอจากตัวดึงข้อมูลเว็บมากกว่า 50 พันล้านรายการต่อวัน ซึ่งแสดงให้เห็นถึงขนาดที่ใหญ่มากของปัญหาการดึงข้อมูลที่เจ้าของเว็บไซต์กำลังเผชิญอยู่

สถิติเว็บครอว์เลอร์:

• Cloudflare ประมวลผลคำขอจากเว็บครอว์เลอร์มากกว่า 50 พันล้านรายการต่อวัน
• คำขอจากเว็บครอว์เลอร์คิดเป็นประมาณ 1% ของคำขอทั้งหมดที่ Cloudflare รับรู้

AI Labyrinth ทำงานอย่างไร

เมื่อ AI Labyrinth ตรวจพบพฤติกรรมบอทที่ไม่เหมาะสม มันจะไม่บล็อกตัวดึงข้อมูลทันที แต่จะแสดงลิงก์ให้บอทเห็นเนื้อหาสังเคราะห์ที่ดูเหมือนจะถูกต้องพอที่จะหลอกระบบอัตโนมัติได้ เมื่อตัวดึงข้อมูลตามลิงก์เหล่านี้ มันจะถูกนำไปสู่เขาวงกตของหน้าที่สร้างขึ้นโดย AI ซึ่งไม่มีอะไรเกี่ยวข้องกับเนื้อหาเว็บไซต์จริง หน้าล่อเหล่านี้ได้รับการออกแบบมาเป็นพิเศษให้มองไม่เห็นสำหรับผู้เยี่ยมชมที่เป็นมนุษย์ในขณะที่ยังคงดึงดูดตัวดึงข้อมูล Cloudflare ได้สร้างหน้าเหล่านี้อย่างระมัดระวังโดยเริ่มจากการสร้างหัวข้อที่หลากหลายและจากนั้นสร้างเนื้อหาสำหรับแต่ละหัวข้อ เพื่อให้มั่นใจว่าหน้าล่อมีความหลากหลายและน่าเชื่อถือ

การแก้ไขปัญหา Robots.txt

วิธีการดั้งเดิมในการจัดการตัวดึงข้อมูลเว็บได้พึ่งพาไฟล์ robots.txt ซึ่งทำงานบนระบบเกียรติโดยระบุส่วนใดของไซต์ที่ไม่ควรถูกดึงข้อมูล อย่างไรก็ตาม บริษัท AI หลายแห่ง รวมถึงบางบริษัทที่มีชื่อเสียงเช่น Anthropic และ Perplexity AI ถูกกล่าวหาว่าละเลยคำสั่งเหล่านี้ AI Labyrinth นำเสนอโซลูชันที่เชิงรุกมากขึ้นต่อปัญหานี้โดยทำให้การดึงข้อมูลที่ไม่ได้รับอนุญาตไม่เกิดประโยชน์แทนที่จะเพียงแค่ขอให้ปฏิบัติตาม

เหนือกว่าการบล็อกอย่างง่าย

Cloudflare อธิบายว่าการเพียงแค่บล็อกบอทที่เป็นอันตรายมักจะเตือนผู้โจมตีว่าพวกเขาถูกตรวจพบ ซึ่งทำให้พวกเขาเปลี่ยนกลยุทธ์และสร้างการแข่งขันที่ไม่มีที่สิ้นสุด AI Labyrinth ใช้วิธีการที่แตกต่างโดยปล่อยให้ตัวดึงข้อมูลเชื่อว่าพวกเขากำลังรวบรวมข้อมูลได้สำเร็จในขณะที่จริงๆ แล้วกำลังรวบรวมเนื้อหาที่ไร้ความหมาย กลยุทธ์นี้ไม่เพียงแต่ปกป้องเว็บไซต์แต่ยังช่วยระบุรูปแบบและลายเซ็นบอทใหม่ที่อาจไม่ถูกตรวจพบ

ฟังก์ชันการล่อเหยื่อ

นอกเหนือจากบทบาทการป้องกันหลักแล้ว AI Labyrinth ยังทำหน้าที่เป็นสิ่งที่ Cloudflare เรียกว่าหลุมล่อเหยื่อรุ่นถัดไป ระบบสามารถระบุบอทที่เป็นอันตรายตามรูปแบบพฤติกรรมของพวกมัน เนื่องจากผู้เยี่ยมชมที่เป็นมนุษย์จริงๆ จะไม่ตามลิงก์หลายลิงก์ไปยังหน้าเนื้อหาที่สร้างโดย AI โดยทั่วไป สิ่งนี้ช่วยให้ Cloudflare สร้างฐานข้อมูลที่ครอบคลุมมากขึ้นของผู้กระทำที่ไม่ดีและปรับปรุงความสามารถในการตรวจจับของตนเองเมื่อเวลาผ่านไป

ข้อพิจารณาด้านคุณภาพเนื้อหา

Cloudflare ได้เน้นย้ำว่ากำลังดำเนินการเพื่อให้แน่ใจว่า AI Labyrinth ไม่ได้มีส่วนในการสร้างข้อมูลที่เป็นเท็จบนอินเทอร์เน็ต บริษัทระบุว่าเนื้อหาที่สร้างขึ้นเป็นความจริงและเกี่ยวข้องกับข้อเท็จจริงทางวิทยาศาสตร์ เพียงแต่ไม่เกี่ยวข้องหรือเป็นกรรมสิทธิ์ของไซต์ที่กำลังถูกดึงข้อมูล วิธีการนี้มีเป้าหมายเพื่อทำให้ทรัพยากรของตัวดึงข้อมูลสูญเปล่าโดยไม่เพิ่มข้อมูลที่ทำให้เข้าใจผิดในระบบนิเวศของเว็บ

ความพร้อมใช้งานและการนำไปใช้

AI Labyrinth มีให้บริการสำหรับลูกค้า Cloudflare ทุกราย รวมถึงผู้ที่ใช้บริการระดับฟรี ผู้ดูแลเว็บไซต์สามารถเปิดใช้งานฟีเจอร์นี้ผ่านแดชบอร์ด Cloudflare โดยไปที่ส่วน Bot Management และเปิดใช้งานตัวเลือก AI Labyrinth การนำไปใช้ได้รับการออกแบบให้เป็นเรื่องง่าย โดยไม่จำเป็นต้องสร้างกฎที่กำหนดเองจากผู้ใช้

คุณสมบัติหลักของ AI Labyrinth:

• เครื่องมือฟรีและเลือกใช้ได้สำหรับลูกค้า Cloudflare ทุกราย
• เปลี่ยนเส้นทางโปรแกรมคลอว์เลอร์ที่ไม่ได้รับอนุญาตไปยังเนื้อหาล่อลวงที่สร้างโดย AI
• ทำหน้าที่เป็นฮันนี่พอตเพื่อระบุรูปแบบบอทใหม่ๆ
• สร้างเนื้อหาที่ถูกต้องตามหลักวิทยาศาสตร์แต่ไม่เกี่ยวข้องกับเว็บไซต์จริง
• หน้าล่อลวงจะไม่ปรากฏให้ผู้เยี่ยมชมที่เป็นมนุษย์เห็น
• ไม่จำเป็นต้องสร้างกฎแบบกำหนดเองจากผู้ใช้

การพัฒนาในอนาคต

Cloudflare ได้ระบุว่าการเปิดตัวนี้เป็นเพียงจุดเริ่มต้นของกลยุทธ์การป้องกันบอทด้วย AI บริษัทวางแผนที่จะพัฒนา AI Labyrinth เพื่อสร้างเครือข่ายของ URL ที่เชื่อมโยงกันทั้งหมดซึ่งมีความสมจริงมากขึ้นและยากสำหรับโปรแกรมอัตโนมัติที่จะระบุว่าเป็นของปลอม การพัฒนาอย่างต่อเนื่องนี้มีเป้าหมายเพื่อก้าวล้ำเทคนิคการตรวจจับบอทที่อาจปรับตัวเพื่อรู้จักการใช้งานปัจจุบัน